Crawler und KI-Bots im Bot- und Lastschutz
This content is not available in your language yet.
Der Bot- und Lastschutz erkennt echte Crawler an ihrer Herkunft, nicht an ihrem Namen. Suchmaschinen kommen immer durch, deine Rankings bleiben unberührt. Für KI-Crawler, SEO-Tools und Preisvergleicher legst du mit uns fest, ob sie frei durchkommen, gebremst oder abgewiesen werden.
So erkennt der Schutz echte Crawler
Abschnitt betitelt „So erkennt der Schutz echte Crawler“Jeder Crawler nennt sich im User-AgentKennung, die ein Browser oder Bot bei jedem Aufruf mitschickt. Jeder kann sie frei wählen., aber diesen Namen kann jeder fälschen. Der Schutz glaubt ihm deshalb nicht. Er prüft, ob die Anfrage aus den Netzen kommt, die der Betreiber offiziell für seinen Crawler veröffentlicht, oder ob der Rückwärts-DNS-Eintrag der IP-Adresse zum Betreiber passt.
- Echt: Der Crawler bekommt nie eine Prüfseite und läuft nach den Regeln seiner Gruppe.
- Gefälscht: Wer sich nur als Googlebot ausgibt, bekommt sofort einen Fehler 403.
Die Netzlisten der Betreiber gleichen wir täglich ab. Welche Crawler deinen Shop besucht haben, zeigt das Dashboard unter Verifizierte Crawler.
Die Crawler-Gruppen
Abschnitt betitelt „Die Crawler-Gruppen“| Gruppe | Beispiele |
|---|---|
| Suchmaschinen | Google, Bing |
| KI-Suche | Crawler, die Antworten von KI-Suchdiensten mit Quellen belegen |
| KI-Training | Crawler, die Inhalte für das Training von Sprachmodellen sammeln |
| Meta | Facebook, Instagram |
| SEO-Werkzeuge | Dienste, die Rankings und Backlinks auswerten |
| Preisvergleich | Preissuchmaschinen und Vergleichsportale |
| Monitoring | Dienste, die deine Erreichbarkeit überwachen |
Link-Vorschauen aus WhatsApp, iMessage und dem Teilen-Dialog des iPhones bekommen immer die echte Seite.
Erlauben, bremsen, abweisen
Abschnitt betitelt „Erlauben, bremsen, abweisen“Für jede Gruppe gilt eine von drei Regeln. Einzelne Crawler lassen sich auch abweichend von ihrer Gruppe behandeln.
- Erlauben: Der Crawler kommt ohne Prüfseite durch.
- Bremsen: Der Crawler bekommt ein festes Budget an Anfragen. Darüber antwortet der Schutz mit Fehler 429 und dem Hinweis
Retry-After. Seriöse Crawler halten sich daran und kommen später wieder. - Abweisen: Der Crawler bekommt keine Inhalte.
Ein typischer Fall für das Bremsen: Ein Suchmaschinen-Crawler ruft so viele Seiten ab, dass er einen großen Teil der Last ausmacht. Mit einem Budget crawlt er langsamer weiter, Google bleibt davon unberührt.
Gewünschte Regeln schickst du uns per Ticket. Häufige Wünsche sind KI-Training-Crawler sperren oder zulassen und einen einzelnen Crawler bremsen.
Wenn etwas schiefläuft
Abschnitt betitelt „Wenn etwas schiefläuft“Ein SEO-Tool bekommt Fehler 429 oder die Prüfseite
Abschnitt betitelt „Ein SEO-Tool bekommt Fehler 429 oder die Prüfseite“Läuft das Tool als Dienst aus der Cloud, ist es entweder als Crawler bekannt und unterliegt den Regeln seiner Gruppe, oder es zählt als Zugriff aus einem Rechenzentrum. Läuft es auf deinem Rechner, etwa ein Desktop-Crawler, führt es kein JavaScript aus und scheitert unter Last an der Prüfseite.
Lösung: Schick uns per Ticket den Namen des Tools und, bei einem Desktop-Tool, deine IP-Adresse. Wir stellen es frei oder passen die Regel seiner Gruppe an.
Ein Feed-Abruf schlägt fehl
Abschnitt betitelt „Ein Feed-Abruf schlägt fehl“Preisportale und Shopping-Dienste holen Produkt-Feeds als Datei ab. Ist der Abrufer noch nicht als Crawler bekannt, landet er wie ein Tool an der Prüfung.
Lösung: Nenn uns den Pfad deines Feeds, zum Beispiel /export/feed.xml, und den Dienst, der ihn abruft. Wir stellen den Pfad frei und nehmen den Abrufer über seine veröffentlichten Netze in die Crawler-Liste auf.
Dein Monitoring meldet den Shop als nicht erreichbar
Abschnitt betitelt „Dein Monitoring meldet den Shop als nicht erreichbar“Monitoring-Dienste laufen aus Rechenzentren und bekommen dort auf jeder Stufe die Prüfseite, wenn sie nicht als Crawler bekannt sind.
Lösung: Schick uns den Namen des Dienstes oder seine IP-Adressen. Wir stellen ihn frei.
Verwandte Artikel
Abschnitt betitelt „Verwandte Artikel“- Bot- und Lastschutz: Shop schützen, Lagebericht lesen: Überblick, Freistellungen, Buchung.
- Prüfseite „Einen Moment bitte“: was Besucher sehen und wann.
- SEO-Tools blockiert: ModSecurity konfigurieren: wenn die WAF statt des Bot-Schutzes greift.
Du kommst nicht weiter?
Abschnitt betitelt „Du kommst nicht weiter?“Ein Crawler oder Dienst kommt nicht mehr durch? Ticket im Kundencenter öffnen. Nenn Domain, Zeitpunkt und den Namen des Dienstes.