@wir schlagen uns weiter mit wildgewordenen Bots rum, die von zehntausenden weltweit verteilen Quellen aus versuchen, Daten von freiburg.social abzugreifen.
-
@wir schlagen uns weiter mit wildgewordenen Bots rum, die von zehntausenden weltweit verteilen Quellen aus versuchen, Daten von freiburg.social abzugreifen.
Besonders schmerzt dabei, dass der Medienservice von Mastodon verwendet wird, um Bilder von anderen Instanzen über uns abzurufen, was uns durch die dafür erforderliche Zwischenspeicherung regelmäßig Platzprobleme bringt. Da jede dieser Quelladressen nur wenige Zugriffe macht, greifen die in Mastodon dafür eingebauten Limits nicht.
Ich habe temporär die /media_proxy/ - URL, die für diese Abrufe verwendet wird, komplett geblockt. Deshalb können bei Posts von anderen Instanzen, die älter als eine Woche sind, keine Bilder und andere Medienanhänge auf freiburg.social mehr angezeigt werden.
Alleine in den letzten 15 Minuten wurden dadurch über 20.000 Zugriffsversuche abgelehnt.
Ich hoffe, dass die Mastodon-Entwickler bald eine Lösung für dieses Problem finden...
-
@wir schlagen uns weiter mit wildgewordenen Bots rum, die von zehntausenden weltweit verteilen Quellen aus versuchen, Daten von freiburg.social abzugreifen.
Besonders schmerzt dabei, dass der Medienservice von Mastodon verwendet wird, um Bilder von anderen Instanzen über uns abzurufen, was uns durch die dafür erforderliche Zwischenspeicherung regelmäßig Platzprobleme bringt. Da jede dieser Quelladressen nur wenige Zugriffe macht, greifen die in Mastodon dafür eingebauten Limits nicht.
Ich habe temporär die /media_proxy/ - URL, die für diese Abrufe verwendet wird, komplett geblockt. Deshalb können bei Posts von anderen Instanzen, die älter als eine Woche sind, keine Bilder und andere Medienanhänge auf freiburg.social mehr angezeigt werden.
Alleine in den letzten 15 Minuten wurden dadurch über 20.000 Zugriffsversuche abgelehnt.
Ich hoffe, dass die Mastodon-Entwickler bald eine Lösung für dieses Problem finden...
...abgesehen davon ist jetzt Mastodon v4.5.7 installiert, wieder mit ein paar kleineren Bugfixes: https://github.com/mastodon/mastodon/releases/tag/v4.5.7
-
@wir schlagen uns weiter mit wildgewordenen Bots rum, die von zehntausenden weltweit verteilen Quellen aus versuchen, Daten von freiburg.social abzugreifen.
Besonders schmerzt dabei, dass der Medienservice von Mastodon verwendet wird, um Bilder von anderen Instanzen über uns abzurufen, was uns durch die dafür erforderliche Zwischenspeicherung regelmäßig Platzprobleme bringt. Da jede dieser Quelladressen nur wenige Zugriffe macht, greifen die in Mastodon dafür eingebauten Limits nicht.
Ich habe temporär die /media_proxy/ - URL, die für diese Abrufe verwendet wird, komplett geblockt. Deshalb können bei Posts von anderen Instanzen, die älter als eine Woche sind, keine Bilder und andere Medienanhänge auf freiburg.social mehr angezeigt werden.
Alleine in den letzten 15 Minuten wurden dadurch über 20.000 Zugriffsversuche abgelehnt.
Ich hoffe, dass die Mastodon-Entwickler bald eine Lösung für dieses Problem finden...
-
@wir schlagen uns weiter mit wildgewordenen Bots rum, die von zehntausenden weltweit verteilen Quellen aus versuchen, Daten von freiburg.social abzugreifen.
Besonders schmerzt dabei, dass der Medienservice von Mastodon verwendet wird, um Bilder von anderen Instanzen über uns abzurufen, was uns durch die dafür erforderliche Zwischenspeicherung regelmäßig Platzprobleme bringt. Da jede dieser Quelladressen nur wenige Zugriffe macht, greifen die in Mastodon dafür eingebauten Limits nicht.
Ich habe temporär die /media_proxy/ - URL, die für diese Abrufe verwendet wird, komplett geblockt. Deshalb können bei Posts von anderen Instanzen, die älter als eine Woche sind, keine Bilder und andere Medienanhänge auf freiburg.social mehr angezeigt werden.
Alleine in den letzten 15 Minuten wurden dadurch über 20.000 Zugriffsversuche abgelehnt.
Ich hoffe, dass die Mastodon-Entwickler bald eine Lösung für dieses Problem finden...
-
@wir schlagen uns weiter mit wildgewordenen Bots rum, die von zehntausenden weltweit verteilen Quellen aus versuchen, Daten von freiburg.social abzugreifen.
Besonders schmerzt dabei, dass der Medienservice von Mastodon verwendet wird, um Bilder von anderen Instanzen über uns abzurufen, was uns durch die dafür erforderliche Zwischenspeicherung regelmäßig Platzprobleme bringt. Da jede dieser Quelladressen nur wenige Zugriffe macht, greifen die in Mastodon dafür eingebauten Limits nicht.
Ich habe temporär die /media_proxy/ - URL, die für diese Abrufe verwendet wird, komplett geblockt. Deshalb können bei Posts von anderen Instanzen, die älter als eine Woche sind, keine Bilder und andere Medienanhänge auf freiburg.social mehr angezeigt werden.
Alleine in den letzten 15 Minuten wurden dadurch über 20.000 Zugriffsversuche abgelehnt.
Ich hoffe, dass die Mastodon-Entwickler bald eine Lösung für dieses Problem finden...
@freiheit ist das vielleicht der Grund für die Speicherplatzprobleme auf digitalcourage.social?
-
@wir schlagen uns weiter mit wildgewordenen Bots rum, die von zehntausenden weltweit verteilen Quellen aus versuchen, Daten von freiburg.social abzugreifen.
Besonders schmerzt dabei, dass der Medienservice von Mastodon verwendet wird, um Bilder von anderen Instanzen über uns abzurufen, was uns durch die dafür erforderliche Zwischenspeicherung regelmäßig Platzprobleme bringt. Da jede dieser Quelladressen nur wenige Zugriffe macht, greifen die in Mastodon dafür eingebauten Limits nicht.
Ich habe temporär die /media_proxy/ - URL, die für diese Abrufe verwendet wird, komplett geblockt. Deshalb können bei Posts von anderen Instanzen, die älter als eine Woche sind, keine Bilder und andere Medienanhänge auf freiburg.social mehr angezeigt werden.
Alleine in den letzten 15 Minuten wurden dadurch über 20.000 Zugriffsversuche abgelehnt.
Ich hoffe, dass die Mastodon-Entwickler bald eine Lösung für dieses Problem finden...
@galaxis
Moin. Habt ihr schon mal drüber nachgedacht Strafanzeige zu stellen? Wir haben in DE ein Gesetz das DDOS Attacken verbietet.Mich würde interessieren was Polizei und Staatsanwalt da machen.
-
@galaxis
Moin. Habt ihr schon mal drüber nachgedacht Strafanzeige zu stellen? Wir haben in DE ein Gesetz das DDOS Attacken verbietet.Mich würde interessieren was Polizei und Staatsanwalt da machen.
@cccpresser @galaxis Die werden das einstellen weil die Verantwortlichen nicht ermittelt werden können.
-
...abgesehen davon ist jetzt Mastodon v4.5.7 installiert, wieder mit ein paar kleineren Bugfixes: https://github.com/mastodon/mastodon/releases/tag/v4.5.7
@galaxis vielen Dank für die Mühe! Würde es vielleicht helfen Abrufe von externen Inhalten auf eingeloggte Accounts zu beschränken?
So dass zwar alles auf Freiburg.social selbst Öffentliche nach wie vor über die Website frei für alle abgerufen werden kann, aber ohne Login eben nichts aus dem Fediverse? -
@cccpresser @galaxis Die werden das einstellen weil die Verantwortlichen nicht ermittelt werden können.
Aber ich denken man sollte das trotzdem anzeigen.
Wenn das in Statistiken auftaucht dann bewegt sich evtl. was in der Zukunft. -
@cccpresser @orava Schwierig, der oder die Akteure haben Kontrolle über (vermutlich) ein großes Botnetz, das Zugriffe von hunderttausenden Adressen von Internetprovidern und Hostinganbietern aus Asien, Afrika, Südamerika initiieren kann. USA, Europa, Deutschland kommen nur sehr vereinzelt als Quelle vor. Das Interesse scheint sich auf Bilder zu konzentrieren.
Ich kann mir zwar nicht vorstellen, dass ausgerechnet wir die einzigen Betroffenen sind, aber zumindest unter den Leuten, die Mastodon-Instanzen betreiben, hat sich noch niemand mit den selben Erfahrungen gemeldet... Ganz allgemein sind aggressiv datensammelnde Bots aber leider auch einfach normal heutztage.
Im Moment betreiben wir Logging nur zur Fehleranalyse, wenn es im Fall einer Anzeige tatsächlich zu Ermittlungen käme, müssten wir wahrscheinlich detailliertere Daten sammeln und liefern. Das würde zumindest ich persönlich gerne vermeiden.
-
@cccpresser @orava Schwierig, der oder die Akteure haben Kontrolle über (vermutlich) ein großes Botnetz, das Zugriffe von hunderttausenden Adressen von Internetprovidern und Hostinganbietern aus Asien, Afrika, Südamerika initiieren kann. USA, Europa, Deutschland kommen nur sehr vereinzelt als Quelle vor. Das Interesse scheint sich auf Bilder zu konzentrieren.
Ich kann mir zwar nicht vorstellen, dass ausgerechnet wir die einzigen Betroffenen sind, aber zumindest unter den Leuten, die Mastodon-Instanzen betreiben, hat sich noch niemand mit den selben Erfahrungen gemeldet... Ganz allgemein sind aggressiv datensammelnde Bots aber leider auch einfach normal heutztage.
Im Moment betreiben wir Logging nur zur Fehleranalyse, wenn es im Fall einer Anzeige tatsächlich zu Ermittlungen käme, müssten wir wahrscheinlich detailliertere Daten sammeln und liefern. Das würde zumindest ich persönlich gerne vermeiden.
@galaxis @orava
Ja, technisch ist das schwierig, gegen 'Residential Proxys' kann man da eher wenig machen. Es gibt die ProofOfWork Dinge (z.B. Anubis) - die nicht ideal sind.Ich finde es doof das wir den status quo als 'normal' hinnehmen. Es ist eben nicht normal das große Firmen mit vielen Resourcen irgendwelche Community-Projekte "kaputt" machen. Da sollten wir uns wehren. Strafrecht hat AFAIK noch niemand ausprobiert.
Ich sehe ein das Ihr kein Logging wollt, das ist ein valides Argument.
-
@cccpresser @orava Schwierig, der oder die Akteure haben Kontrolle über (vermutlich) ein großes Botnetz, das Zugriffe von hunderttausenden Adressen von Internetprovidern und Hostinganbietern aus Asien, Afrika, Südamerika initiieren kann. USA, Europa, Deutschland kommen nur sehr vereinzelt als Quelle vor. Das Interesse scheint sich auf Bilder zu konzentrieren.
Ich kann mir zwar nicht vorstellen, dass ausgerechnet wir die einzigen Betroffenen sind, aber zumindest unter den Leuten, die Mastodon-Instanzen betreiben, hat sich noch niemand mit den selben Erfahrungen gemeldet... Ganz allgemein sind aggressiv datensammelnde Bots aber leider auch einfach normal heutztage.
Im Moment betreiben wir Logging nur zur Fehleranalyse, wenn es im Fall einer Anzeige tatsächlich zu Ermittlungen käme, müssten wir wahrscheinlich detailliertere Daten sammeln und liefern. Das würde zumindest ich persönlich gerne vermeiden.
@galaxis @cccpresser Verständlich bzgl. Logging. Zumal die logs nicht wirklich helfen um da den Übeltäter zu ermitteln. da hast du ja auch nur die IPs der Bots. Legitime Nutzung des /media_proxy Endpunkt sollte doch eigentlich nur von Nutzern eurer Instanz komme, oder? Da könntet ihr vielleicht die lokalen eyeball ISPs allow listen. Dann ist der Impact für eure echten Nutzer nicht so groß
-
@galaxis vielen Dank für die Mühe! Würde es vielleicht helfen Abrufe von externen Inhalten auf eingeloggte Accounts zu beschränken?
So dass zwar alles auf Freiburg.social selbst Öffentliche nach wie vor über die Website frei für alle abgerufen werden kann, aber ohne Login eben nichts aus dem Fediverse?@stevE Leider gibt es da ein paar Lücken im Berechtigungskonzept bzw. dessen Steuerung. Wir haben unauthentisierte Zugriffe auf bei uns vorhandene Inhalte von anderen Instanzen schon weitgehend deaktiviert, aber zum Beispiel sowas wie die Trends (und die Artikel, die darüber angezeigt werden) lassen sich nur komplett fürballe an- oder abschalten.
Auf die Mediendaten gibt es gar keine Berechtigungen, die sind nur durch ihre nicht erratbare URL vor direktem Abruf geschützt (aber natürlich ausnahmslos aus Beiträgen verlinkt, die man vorher indiziert haben kann)...
Der Medienproxy ist nochmal ein eigenes Ding und steckt irgendwo dazwischen (auch grundsätzlich unauthentisiert, aber es gibt z.B. unterschiedliche Limits für angemeldete und nicht angemeldete Zugriffe). Mein Vorschlag wäre auch, diesen Proxy nur für angemeldete Sessions verfügbar zu machen, aber im Moment hat Mastodon es dafür keine Optionen.
-
@stevE Leider gibt es da ein paar Lücken im Berechtigungskonzept bzw. dessen Steuerung. Wir haben unauthentisierte Zugriffe auf bei uns vorhandene Inhalte von anderen Instanzen schon weitgehend deaktiviert, aber zum Beispiel sowas wie die Trends (und die Artikel, die darüber angezeigt werden) lassen sich nur komplett fürballe an- oder abschalten.
Auf die Mediendaten gibt es gar keine Berechtigungen, die sind nur durch ihre nicht erratbare URL vor direktem Abruf geschützt (aber natürlich ausnahmslos aus Beiträgen verlinkt, die man vorher indiziert haben kann)...
Der Medienproxy ist nochmal ein eigenes Ding und steckt irgendwo dazwischen (auch grundsätzlich unauthentisiert, aber es gibt z.B. unterschiedliche Limits für angemeldete und nicht angemeldete Zugriffe). Mein Vorschlag wäre auch, diesen Proxy nur für angemeldete Sessions verfügbar zu machen, aber im Moment hat Mastodon es dafür keine Optionen.
@galaxis vielen herzlichen Dank für die ausführliche Erklärung! Es tut mir sehr leid, dass Ihr Euch damit rumärgern müsst.
(Ich schau oft ältere Toots nach und finde es immer schade, wenn ich die Bilder dazu erstmal nicht sehen kann. Aber ich geh dann auf den Original server und das klappt dann meistens und ich brauch den Komfortgewinn zum Schaden von Freiburg.social nicht. Einzig bei toots die nur für Folgende freigegeben sind klappt das leider nicht, aber ich gehe davon aus, dass das ja kein Dauerzustand sein wird...)
-
@freiheit ist das vielleicht der Grund für die Speicherplatzprobleme auf digitalcourage.social?
@DetlevSieber @freiheit Danke für diesen Hinweis!
-
R relay@relay.infosec.exchange shared this topic
