Es ist noch gar nicht so lange her da haben wir die Einführung von JetBackup in unserem Blog gefeiert. Damals ging es darum die fehlerbehaftete Backup-Software von r1soft zu ersetzen weil diese immer unzuverlässiger wurde.
Nun, ca. 3 Jahre später, mussten wir uns wieder mit dem Thema auseinandersetzen.
Ausgangslage // JetBackup
Der Grund ist das Versagen von JetBackup, auf ganzer Linie, als es darum ging einen zerstörten Storage-Server im Dezember 2021 wiederherzustellen. Betroffene Kunden werden sich sicher an diesen Vorfall wenige Tage vor Weihnachten erinnern, auf unserer Status-Seite gibt es eine komplette Aufarbeitung des Vorfalls zum Nachlesen.
Wie dem Eintrag zu entnehmen ist dauerte die Wiederherstellung viel zu lange und zog sich über mehrere Tage hin. Noch schlimmer war allerdings die Erkenntnis, dass wir den meisten Kunden keine Wiederherstellung anbieten konnten da JetBackup (trotz fehlerfreier Logs) keine oder nur Bruchteile der Daten gesichert hatte. 🤯
Da nur die Daten unserer Kunden gesichert wurden, nicht aber die Server und deren Konfiguration, mussten alle betroffenen Systeme manuell neu erstellt, anhand von Tickets und Dokus rekonstruiert, neu konfiguriert und mit den Daten der Kunden gefüllt werden. Dieser Vorgang zog sich über weitere 3-4 Wochen hin.
Ein drittes Problem bestand in der immer längeren Laufzeit der Backups. 1 bis 6 Stunden pro Server, was zu immensen I/O-Belastungen der Storage-Server geführt hat, war keine Seltenheit.
Unser oberstes Ziel war es daher eine schnelle und vor allem zuverlässige Disaster-Recovery Lösung zu etablieren, auch wenn dabei einige Funktion wegfallen werden.
Aktueller Stand der Umstellung
Kurz nach Abschluss der Wiederherstellungsarbeiten haben wir damit begonnen die Backup-Software auszutauschen. Dieser Vorgang ist im neuen Rechenzentrum DUS2 komplett abgeschlossen, dort läuft bereits seit einigen Wochen das Backup-System im Produktivbetrieb. In DUS1 werden in der nächsten Woche alle Vorbereitungen getroffen damit wir auch diesen Standort kurzfristig umstellen können.
In diesem Zusammenhang ist einigen von Euch schon aufgefallen das JetBackup nur noch jeden 2. oder 3. Tag eine Sicherung erstellt oder schon gar nicht mehr zur Verfügung steht. Dies ist beabsichtigt um die Storage-Server für die Erstsicherung des neuen Systems zu entlasten. In den Fällen in denen JetBackup nicht mehr korrekt gearbeitet hat haben wir die Software direkt deinstalliert um weitere Schäden und Missverständnisse durch vermeintlich korrekt erstellte Backups zu vermeiden.
Manuelle (Off-Site) Backups // Snapshots
Immer wieder werden wir gefragt wie man ein manuelles (Off-Site) Backup oder Snapshot des eigenen Projekts erstellen kann. Wir werden daher in Kürze damit beginnen entsprechende Anleitungen in unserem FAQ-Bereich zu veröffentlichen.
Für Kunden die solche Aufgaben nicht manuell, sondern per Knopfdruck, erledigen möchten bieten wir in Kürze das „Off-Site Backup AddOn“ an. Dieses AddOn ist im cPanel integriert und ermöglicht neben der Erstellung von Snapshots auch die automatisierte Auslagerung von Backups auf den externen Speicher eines Drittanbieters.
Ein Download der so erstellten Snapshots ist ebenfalls möglich.
Was ist zu beachten?
Sobald alle Server mehrere Wochen mit der neuen Software gesichert wurden, werden wir JetBackup komplett deaktivieren. – Solltest du die JetBackup Icons noch in deinem cPanel finden gedulde dich bitte ein wenig, wir arbeiten unter Hochdruck daran alle Server kurzfristig umzustellen!
Generell solltest du, wie auch schon vor der Umstellung, eigene Backups deiner Daten anfertigen und an einem sicheren Ort aufbewahren. Dies wird nun noch etwas wichtiger da wir mit der neuen Backup-Lösung nur die gesamte VM in einem Stück wiederherstellen können, außerdem steht unser Support Team an Wochenenden und Feiertagen nicht zur Verfügung.
Aufträge zur Wiederherstellung eines Servers müssen per Support-Ticket eingereicht werden, die Bearbeitungsgebühr während unserer Bürozeiten beträgt nun pauschal 50€. Es findet keine Zeit-basierte Abrechnung mehr statt! – Die Wiederherstellung einzelner Hosting-Accounts ist aktuell nicht möglich.
