Bot- und Lastschutz: 147,8 Millionen Aufrufe, die Bilanz der BETA

Am 1. Oktober haben wir den Bot- und Lastschutz für die ersten Shops scharfgeschaltet, eine Woche später gab es die ersten Zahlen aus der BETA. Knapp vier Wochen danach ist aus dem Versuch ein Werkzeug geworden, das auf 35 Servern täglich mitarbeitet. Am 1. November endet die BETA. Alle bisher installierten Systeme laufen bis auf weiteres kostenlos weiter, als Dankeschön für eure Teilnahme.

Vier Wochen in Zahlen

Der Schutz läuft auf 35 Servern mit 50 geschützten Domains. Dabei sind Magento 2 und Magento 1, Shopware 6, JTL-Shop und WooCommerce, dazu ein Rennrad-Portal und Messe-Websites auf TYPO3. Vom einzelnen Shop-Server bis zum Shared-Hosting-Server mit über 200 Kunden war alles dabei.

Gezählt haben wir vom 1. bis 26. Oktober alle Seiten-, Such- und Filteraufrufe. Bilder, CSS und Skripte prüft der Dienst nicht einzeln, sie stecken also nicht in den Zahlen.

Fast jeder zweite Aufruf hat den Shop nie erreicht. Gebremst heißt: Der Dienst antwortet mit dem Statuscode 429 (HTTP-Antwort „Too Many Requests“ mit der Angabe, wann der Absender es erneut versuchen darf. Seriöse Crawler halten sich daran.)HTTP-Antwort „Too Many Requests“ mit der Angabe, wann der Absender es erneut versuchen darf. Seriöse Crawler halten sich daran. und sagt dem Absender, wann er wiederkommen darf. Direkt abgewiesen werden zum Beispiel gefälschte Googlebots, die sich nur über den Namen als Suchmaschine ausgeben.

Die Last sitzt in Suche und Filtern

46,9 Millionen Aufrufe, also 32 %, gingen auf Such- und Filterseiten. Genau diese Seiten kosten Datenbank und PHP am meisten, weil jede Filterkombination neu berechnet wird. 78 % davon, 36,8 Millionen Aufrufe, kamen beim Shop gar nicht erst an.

Woher der Verkehr kam, zeigt, warum IP-Sperren allein nicht mehr reichen: rund 20,8 Millionen IP-Adressen in 30 Tagen (je Shop gezählt), Zugriffe aus bis zu 236 Ländern je Server, 11 % des Verkehrs aus Rechenzentren. Kein Mensch sperrt 20 Millionen Adressen von Hand.

Wer die Prüfung löst und wer nicht

Von 50,8 Millionen Prüfseiten wurden 2,5 Millionen gelöst, eine Lösequote von 4,9 %. Die übrigen 95 % kamen von Bots ohne echte Browser-Umgebung. Echte Besucher lösen die kleine Rechenaufgabe einmal, ohne es zu merken, und tragen danach für Stunden ein Token. Wer kauft, sieht die Prüfseite im Alltag also höchstens einmal.

Und was nie geprüft wird: 10,8 Millionen Aufrufe von Zahlungsdiensten, Warenwirtschaften, Webhooks und Admin-Bereichen liefen ohne jede Prüfung durch. Ein Schutz, der den Checkout blockiert, wäre schlimmer als die Bots.

Acht Shops, acht Geschichten

Die Zahlen oben sind Summen. Spannender sind die einzelnen Fälle, hier anonymisiert:

• Magento-Shop in einer Such- und Filterwelle von 5.500 IP-Adressen in zehn Minuten: Serverlast (Zahl der Prozesse, die gerade rechnen oder auf einen CPU-Kern warten. Liegt sie über der Kernzahl, staut es sich.)Zahl der Prozesse, die gerade rechnen oder auf einen CPU-Kern warten. Liegt sie über der Kernzahl, staut es sich. von 56 auf 2 in fünf Minuten, Fehler 500 von 170 je Minute auf null.
• Weinhändler mit Magento, Suchwelle von 118.000 IP-Adressen an einem Vormittag: Last von 40 auf 11,7 in zwei Minuten, statt rund 25 PHP-Prozessen nur noch 3.
• Modehändler mit Magento, bei dem der Bingbot 54 % aller Zugriffe machte: Mit einem Crawler-Budget fiel die Last von 24 auf 1,6. Google crawlt unverändert.
• Magento-Shop mit 70 % Fehler 503 vor dem Einbinden: danach keine mehr, Last von 21 auf 2,7.
• Shopware-Shop mit Preis-Scrapern aus Proxy-Netzen, rund 16.000 Treffer von 8.000 IP-Adressen an einem Wochenende: Seit die Scraper-Erkennung scharf ist, bekommen sie keine Produktseite mehr.
• Kaufhaus mit vier Shops, vorher sechs Speicher-Abstürze in einer Woche: in der ersten Nacht rund 230.000 Prüfseiten bei einer Last unter 1.
• WooCommerce-Shop auf Shared Hosting, der am CPU-Limit seines Accounts hing: fünf Minuten nach dem Einbinden unter 1 % des Limits.
• Rennrad-Portal mit Mitgliederbereich: Datenbanklast von rund 300 % auf 33 %, 235 statt 2.400 Abfragen je Sekunde.

61 Updates in vier Wochen

Gebaut haben wir den Schutz nicht im Labor, sondern mit euch. In vier Wochen sind 61 Updates ausgerollt worden, 27 Rückfragen von Kunden sind direkt eingeflossen. Ein Import, der länger lief als gedacht, ein Preisvergleicher, der zu Unrecht geprüft wurde, eine Warenwirtschaft mit eigenen Zugriffen: Jeder dieser Hinweise steckt heute im Standard und schützt alle anderen Shops gleich mit.

Danke für die Geduld, die schnellen Antworten und die vielen Screenshots aus euren Dashboards. Ohne euch wäre der Dienst heute ein gutes Stück weniger erwachsen 😉

Wie es nach der BETA weitergeht

Mit dem 1. November ist die BETA beendet. Wer den Schutz schon nutzt, muss nichts tun: Die bestehenden Installationen laufen bis auf weiteres kostenlos weiter.

Als Nächstes stehen auf unserer Liste:

• den Schutz im Dashboard selbst pausieren,
• ein eigenes Dashboard-Passwort je Kunde auf Shared Hosting,
• ein Besucher-Header, damit Shops den geprüften Verkehr in ihrer eigenen Statistik auswerten können,
• ein Adapter für reine Nginx-Server.

In unseren neuen Tarifen gehört der Bot- und Lastschutz fest dazu. Auf den Shop-Servern für Magento und Shopware ist er immer inklusive, auf Managed Servern, Pimcore- und WordPress-Servern ab Größe M. Auf kleineren Servern läuft er 30 Tage kostenlos, danach kostet er 19 € im Monat je Server. In den geteilten Paketen wie dem SHOP-Hosting sind es ebenfalls 30 Tage kostenlos, danach 9 € im Monat je Domain. Nach der Testphase schaltet der Schutz in einen Beobachtungsmodus ohne Eingriff, ein Abo entsteht daraus nicht automatisch.

Wenn dein Shop regelmäßig unter Bots leidet, sag uns Bescheid. Die Einrichtung dauert unter einer Minute, und passt der Schutz nicht, ist er genauso schnell wieder aus.