Skip to content

Crawler und KI-Bots im Bot- und Lastschutz

Last reviewed

This content is not available in your language yet.

Der Bot- und Lastschutz erkennt echte Crawler an ihrer Herkunft, nicht an ihrem Namen. Suchmaschinen kommen immer durch, deine Rankings bleiben unberührt. Für KI-Crawler, SEO-Tools und Preisvergleicher legst du mit uns fest, ob sie frei durchkommen, gebremst oder abgewiesen werden.

Jeder Crawler nennt sich im User-AgentKennung, die ein Browser oder Bot bei jedem Aufruf mitschickt. Jeder kann sie frei wählen., aber diesen Namen kann jeder fälschen. Der Schutz glaubt ihm deshalb nicht. Er prüft, ob die Anfrage aus den Netzen kommt, die der Betreiber offiziell für seinen Crawler veröffentlicht, oder ob der Rückwärts-DNS-Eintrag der IP-Adresse zum Betreiber passt.

  • Echt: Der Crawler bekommt nie eine Prüfseite und läuft nach den Regeln seiner Gruppe.
  • Gefälscht: Wer sich nur als Googlebot ausgibt, bekommt sofort einen Fehler 403.

Die Netzlisten der Betreiber gleichen wir täglich ab. Welche Crawler deinen Shop besucht haben, zeigt das Dashboard unter Verifizierte Crawler.

GruppeBeispiele
SuchmaschinenGoogle, Bing
KI-SucheCrawler, die Antworten von KI-Suchdiensten mit Quellen belegen
KI-TrainingCrawler, die Inhalte für das Training von Sprachmodellen sammeln
MetaFacebook, Instagram
SEO-WerkzeugeDienste, die Rankings und Backlinks auswerten
PreisvergleichPreissuchmaschinen und Vergleichsportale
MonitoringDienste, die deine Erreichbarkeit überwachen

Link-Vorschauen aus WhatsApp, iMessage und dem Teilen-Dialog des iPhones bekommen immer die echte Seite.

Für jede Gruppe gilt eine von drei Regeln. Einzelne Crawler lassen sich auch abweichend von ihrer Gruppe behandeln.

  • Erlauben: Der Crawler kommt ohne Prüfseite durch.
  • Bremsen: Der Crawler bekommt ein festes Budget an Anfragen. Darüber antwortet der Schutz mit Fehler 429 und dem Hinweis Retry-After. Seriöse Crawler halten sich daran und kommen später wieder.
  • Abweisen: Der Crawler bekommt keine Inhalte.

Ein typischer Fall für das Bremsen: Ein Suchmaschinen-Crawler ruft so viele Seiten ab, dass er einen großen Teil der Last ausmacht. Mit einem Budget crawlt er langsamer weiter, Google bleibt davon unberührt.

Gewünschte Regeln schickst du uns per Ticket. Häufige Wünsche sind KI-Training-Crawler sperren oder zulassen und einen einzelnen Crawler bremsen.

Ein SEO-Tool bekommt Fehler 429 oder die Prüfseite

Abschnitt betitelt „Ein SEO-Tool bekommt Fehler 429 oder die Prüfseite“

Läuft das Tool als Dienst aus der Cloud, ist es entweder als Crawler bekannt und unterliegt den Regeln seiner Gruppe, oder es zählt als Zugriff aus einem Rechenzentrum. Läuft es auf deinem Rechner, etwa ein Desktop-Crawler, führt es kein JavaScript aus und scheitert unter Last an der Prüfseite.

Lösung: Schick uns per Ticket den Namen des Tools und, bei einem Desktop-Tool, deine IP-Adresse. Wir stellen es frei oder passen die Regel seiner Gruppe an.

Preisportale und Shopping-Dienste holen Produkt-Feeds als Datei ab. Ist der Abrufer noch nicht als Crawler bekannt, landet er wie ein Tool an der Prüfung.

Lösung: Nenn uns den Pfad deines Feeds, zum Beispiel /export/feed.xml, und den Dienst, der ihn abruft. Wir stellen den Pfad frei und nehmen den Abrufer über seine veröffentlichten Netze in die Crawler-Liste auf.

Dein Monitoring meldet den Shop als nicht erreichbar

Abschnitt betitelt „Dein Monitoring meldet den Shop als nicht erreichbar“

Monitoring-Dienste laufen aus Rechenzentren und bekommen dort auf jeder Stufe die Prüfseite, wenn sie nicht als Crawler bekannt sind.

Lösung: Schick uns den Namen des Dienstes oder seine IP-Adressen. Wir stellen ihn frei.

Ein Crawler oder Dienst kommt nicht mehr durch? Ticket im Kundencenter öffnen. Nenn Domain, Zeitpunkt und den Namen des Dienstes.

Hosting plans and serversNot a rack::SPEED customer yet? This guide applies to our hosting plans and servers, looked after by engineers instead of a call center, since 2008.