Massen von KI-Bots, Ressourcen und was wir dagegen tun können

fabianb

Administrator
Teammitglied
Beiträge
351
Ort
DE
Bassix
ß59.598
Hallo zusammen,
in allen Foren werden wir zunehmend Opfer von KI-Bots, die aus sämtlichen Ländern unsere Inhalte "abgrasen" und verwerten. Ganz ungefragt und total aggressiv. Das führt so weit, dass manche Foren komplett down sind, weil die Ressourcen für diese Massen nicht ausgelegt sind. Im Musiker-Board hatten wir teilweise 10.000+ "Gäste" online – allerdings Bots, die sich nicht als solche zu erkennen geben und unzählige Seiten pro Minute aufrufen.

Bei den Bots gibt es gute (Google, Apple...) und leider auch "böse". Es liegt zudem der Verdacht im Raum, dass sie sich regelkonform registrieren, um so an weitere Inhalte zu kommen, die nur für eingeloggte Mitglieder gedacht sind.

Unsere Lösung: Es wird eine vorgeschaltete Seite für die User geben, die beim Erstaufruf prüft, ob der Nutzer ein Bot ist oder nicht. Das habt ihr bestimmt schon auf anderen Seiten gesehen. Falls ihr diese Seite mehr als 1 x pro Sitzung bekommt, würden wir euch bitten die AddOns wie Privacy-Plugins & Script-Blocker entsprechend anzupassen.

Grüße und danke für euer Verständnis
Fabian
 
Zuletzt bearbeitet:
  • Like
Reaktionen: crystalgreen, Mudskipper, aBaxxi und 8 andere

Moin,
das ist ein richtiges Problem und das Ende ist nicht in Sicht. Würde mich interessieren, wie die Vorschaltseite wirkt. Allerdings würde ich hier nicht zu viel verraten... Der "Feind" liest mit.
Vielleicht muss man über einen ganz anderen Weg der Registrierung nachdenken. Wieviele Neu User haben wir denn so im Monat?
 
Ausser den üblichen Dingen (fail2ban, javascript Seite), gefällt mir das noch gut:

"Tarpitting" und Honigfallen​

Wenn Bots sich nicht an Verbote halten, kann man sie technisch "bestrafen" oder ablenken:

  • Honeypots: Verstecke Links im HTML, die für Menschen unsichtbar sind (z. B. via CSS display: none;). Wenn eine IP diesen Link aufruft, ist es garantiert ein Bot -> Sofortige IP-Sperre.
  • Tarpitting: Anstatt den Zugriff mit 403 sofort abzubrechen (was dem Bot sagt: "Hier ist was, ich darf nur nicht ran"), antwortet der Server extrem langsam (z. B. 1 Byte alle 10 Sekunden). Das bindet die Ressourcen des Crawlers und macht das Scannen ineffizient.
 
  • Like
Reaktionen: crystalgreen, aBaxxi, Crims0 und 2 andere
Wie ärgerlich! Eine Art Whitelist für Bots und Gäste nach kurzer Authentifizierung als Mensch geht nicht?
 
Danke, wir haben ja schon einiges probiert. Eine White -List funktioniert leider nicht, das Problem ist eben, dass man die Bots mittlerweile kaum mehr von normalen Usern unterscheiden kann und sie sich nicht als Bots zu erkennen geben.

Die Frage kam noch auf: nein, es wird keine Abfrage geben, in der man irgendetwas anklicken muss oder dergleichen. Es ist einfach nur eine Verzögerung für einen Bruchteil einer Sekunde.
 
  • Like
Reaktionen: Prof-A.(Bassic-Detox)., OliB. und f_luxus
Vielleicht so?
IMG_0849.webp
 
  • Haha
  • Like
  • Gute Idee
Reaktionen: aBaxxi, Prof-A.(Bassic-Detox)., Radunt und 7 andere
...ich weiss nicht, ob "Wayne Schlegel" als "allgemeingültig vertrauenswürdig" gelten darf (zumal im Zustand der Amnesie agierend)... - ...Versicherungsvertreter / Autoverkäufer / Solaranbieter...?...

Solange ich nicht wieder "Bilder mit Ampeln / Treppen / Fahrrädern etc." suchen muss (was jede halbwegs (intelligente) KI in Sekundenbruchteilen schafft), macht es als Betreiber einfach so, wie es tatsächlich funktioniert ( @fabianb - gute Idee...:great:...und gute Arbeit...:great::great:)... - ...und der Unterschied von einem "Bruchteil einer Sekunde" ist nun wirklich verschmerzbar...(solange es die Bots auch vertreibt)... - ...meine Meinung...

P.:-):bier:
 

Beliebte Themen

Zurück
Oben Unten