Das hört sich nicht wirklich gut an, was zwei Blog-Leser mir per E-Mail und als Kommentar im Diskussionsbereich hinterlassen haben. Beim Hosting Anbieter INWX hat es zum 3. September 2025 geplante Wartungsarbeiten gegeben. Dabei muss etwas gravierend schief gelaufen sein, denn die Hosting-Inhalte sind weg. Wer dort gehostet und kein Backup hat, steht vor einem Problem. Ergänzung: INWX hat sich gemeldet und merkt an "Wir haben eine rund 2 Tage alte Datensicherung, wollten aber diese noch nicht zurückspielen, solange wir noch versuchen den aktuellen Bestand zu retten."
Admin-Passwörter schützen mit Windows LAPS. eBook jetzt herunterladen » (Anzeige)
Ein anonymer Blog-Leser hat gerade im Diskussionsbereich des Blogs den nachfolgenden Kommentar hinterlassen: "Beim Hosting Anbieter INWX hat es mächtig gerummst. Scheinbar ist dort bei einem Update das Storage auseinandergeflogen. Webseiten und Postfächer derzeit nicht erreichbar oder eingeschränkt. Dauerhafter Datenverlust ist scheinbar möglich."
Und Blog-Leser Phillipp V. schrieb mir heute früh, dass er von INWX per Mail drüber informiert worden sei, dass es massive Probleme gebe. Hier sein Text:
Ich habe gestern Abend (05.09.2025 22:05 Uhr) eine E-Mail vom Hosting Anbieter INWX erhalten, dass es dort am Mittwoch (03.09.2025) bei Routinearbeiten zu einem Ausfall des Speichersystems gekommen ist. In der Folge sind Webseiten und E-Mails nicht erreichbar und eine sofortige Wiederherstellung ist leider nicht möglich.
Stand 05.09.2025 20:00 Uhr konnte das Speichersystem noch nicht wieder in Betrieb genommen werden. Um die Auswirkungen zu reduzieren wurden betroffene Postfächer neu aufgesetzt. Die bisherigen Daten stehen darin jedoch nicht zur Verfügung.
Hier noch der Screenshot der Mail, die mit Phillipp per Mail zukommen ließ (danke an die Leser für den Hinweis).
Ausmaß der Störung
Der aktuelle Stand lässt sich auf der Webseite status.inwx.com einsehen. Dort werden viele Systeme als gestört aufgelistet. Auf der Statusseite heißt es auch:
Mittwoch, 3. September 2025 Im Rahmen eines geplanten Updates unserer Hosting-Infrastruktur treten seit ca. 17:30 Uhr unerwartete Beeinträchtigungen auf. Betroffen sind unter anderem Webseiten und das Mailhosting.
Status der Postfächer nach dem Reset
Inzwischen teilt der Hoster mit, dass der Reset der Postfächer abgeschlossen sei und es ist wieder möglich E-Mails zu empfangen und zu versenden. E-Mails aus dem Zeitraum mit Beginn des Ausfalls wurden in die jeweiligen Postfächer einsortiert und sind ab sofort abrufbar. Die Bestandsmails aus dem Zeitraum vor dem Ausfall werden nachträglich wiederhergestellt.
Der Hoster schreibt: "Sollten Sie mit dem Abruf und / oder Senden von E-Mails über Ihr E-Mailprogramm Probleme feststellen, empfehlen wir die Neu-Einrichtung des jeweiligem Postfaches in Ihrem E-Mailprogramm." Wer das Passwort für das Postfach nicht mehr kennt, muss sich an support@inwx.de wenden.
Webseiten und weitere Dienste nicht zugreifbar
Gehostete Webseiten sind derzeit weiterhin nicht erreichbar, die Wiederherstellung erfolgt ebenfalls später. Über die Arbeiten an der Wiederherstellung will der Anbieter gesondert informieren.
Die Verwaltungsoberfläche (Froxlor) ist ebenfalls aktuell nicht erreichbar und bleibt noch vorübergehend abgeschaltet. S
Ursache gefunden
Die Ursache der Störungen wurde laut Hoster identifiziert: Es handelt sich um einen Bug in der Software des Storage-Systems. Zur Behebung arbeiten die Techniker des Hosters laut eigener Aussage eng mit externen Entwicklern und Dienstleistern an einer dauerhaften Lösung.
Sollte die Wiederherstellung des Storage-Systems fehlschlagen, ist mit einem Datenverlust im Bereich Web- und Mailhosting für den Zeitraum von ca. 01.09., 16:30 Uhr bis 03.09., 17:30 Uhr zu rechnen. Alle übrigen Daten bleiben erhalten. Der Hoster informiert Kunden über die obige Statusseite auf dem Laufenden.
MVP: 2013 – 2016
INWX ist für Domains neben Namecheap der beste Anbieter meiner Meinung nach.
Aber die anderen Dienste der beiden sind nicht ganz so gut.
Diese massive Abhängigkeit in großen RZ von riesigen und hoch komplexen Storage-Systemen (NetApp und Co.) finde ich schon ziemlich bedenklich. Im Grunde kann man die damit verbundenen Risiken nicht mehr zu vertretbaren Kosten managem. Es gehen nur immer alle „Verantwortlichen" davon aus, dass schon alles funktioniert bzw. Bugs leicht behebbar sind.
Ist es wirklich Netapp? Die sind doch eher midrange. Bei INWX hätte ich eher EMC/Dell oder HPE erwartet.
Naja, auch bei Dell gäbe es dafür sog. METRO Volumes. Da wäre ein Bug auf einer (von hoffentlich mehreren) Powerstore(s) mal total bedeutungslos… Irgendwie vermute ich Ceph oder diese Software Storage Lösung deren Namen sich schon aus meinem Gedächtnis gelöscht hat…
„ Wer das Passwort für das Postfach nicht mehr kennt, muss sich an support@inwx.de wenden."
ROFL
Auf der INWX-Website konnte ich keine Informationen zum Rechenzentrum finden ….
Andere Anbieter werben mit der Sicherheit ihrer Rechenzentren, verpflichten aber auch zum Backup, zum Beispiel:
https://all-inkl.com/info/rechenzentrum/
https://all-inkl.com/agb/ Absatz 4.5
Tja, kein Backup – keine Mitleid. So einen Supergau passiert alle Jahre mal, wohl dem wer zuhause noch ein "paar" MebiBytes im Backupstorage für seine heiligen Daten übrig hat. Gegen Bugs der Hardware-Hersteller kann der beste Hoster nix ausrichten.
Ab dem 03. September 2025 kommt es seit ca. 17:30 Uhr im Rahmen eines geplanten Updates unserer Hosting-Infrastruktur zu unerwarteten Störungen.
Die Ursache liegt an mehreren Bugs im CephFS. Wir haben bereits externe Entwickler von Ceph hinzugezogen, um das Problem schnellstmöglich zu beheben und die Dienste vollständig wiederherzustellen. Betroffen sind unter anderem Webseiten sowie das Mailhosting.
Das Team von INWX sowie die externen Entwickler versuchen noch bis Montag, 08.09. den Datenbestand wiederherzustellen. Sollte das nicht klappen, so werden wir in der Nacht vom 08.09. auf den 09.09. eine Datensicherung zurückspielen, was bedeuten würde, dass geänderte Dateien im Webhosting sowie E-Mails im Zeitraum 01.09. 16:30 Uhr bis ca. 03.09. 17:30 Uhr fehlen. MySQL Datenbanken waren zu keiner Zeit betroffen und haben aktuelle Daten.
Aktuell können E-Mails empfangen und versendet werden, auf den Altbestand gibt es zur Zeit noch keinen Zugriff.
Sollte bereits vorher eine Wiederherstellung einer Website benötigt werden, so ist unser Support auch am Wochenende zu erreichen und wir können die Webhosting Daten manuell aus dem Backup vom 01.09. wiederherstellen. Dies haben wir aber noch nicht für alle Kunden gemacht, da es zu ungewolltem Verhalten kommen kann, sollten wir die originalen Daten am Montag doch noch zurückspielen können, weshalb wir dafür die Einwilligung eines jeden Kunden benötigen.
Ich benutze auch aktiv CephFS auf meiner Arbeit.
Es wäre sehr nett wenn auch auf die issues verlinkt werden könnte, sodass andere Admins nicht das selbe Schicksal erleidet.
Viele Grüße
Thomas
Wir haben unsere Erkenntnisse hier dokumentiert:
https://www.inwx.de/blog/rueckblick-auf-unseren-ceph-incident/
Ihr solltet euch weiterhin auf Domains konzentrieren, und darauf achten, nicht zu einem "Bietet Alles aber nichts professionell"-Hoster zu verkommen. Davon haben wir schon genug.
Als reiner Domainkunde hatte davon noch gar nichts mitbekommen (war die letzten Tage eh unterwegs).
Das ist jetzt so ein Fall von "Darf nicht passieren, kann aber passieren". Sprich: Ja, der Hoster muss solche Vorfälle vermeiden. Aber ein gewisses Restrisiko bleibt eben, dagegen muss sich jeder Kunde selbst schützen (oder das Risiko eben akzeptieren).
Ja, das Glück hatte ich auch. Hab nur Domains dort liegen, die aber externe Nameserver nutzen und Dienste wie E-Mail und Webhosting liegen woanders. Ich frage mich, ob so ein Drama nicht mit einem Test-Cluster hätte verhindert werden können.
Naja, manche Konstellationen kann man nicht gescheit testen. Und über die tatsächlichen Gegebenheiten wissen wir zu wenig, um etwaige Fehler und Versäumnisse zu beurteilen. Aber es wäre schön, wenn es seitens INWX am Ende einen technisch substanziierten Abschlussbericht gäbe – letztlich kann man aus jedem Fehler lernen, auch aus den Fehlern der anderen.
Ich denke nicht das es ein Bug im CephFS ist.
Eher falsche Konfiguration oder falsches Usecase…
Sonst wäre da ja bei anderen Firmen auch was bekannt geworden.
z.b ovh nutzt das ja auch massiv mit 50 PB
Manche Bugs treten halt nur in sehr speziellen Konstellationen auf. Das ist halt typischerweise auch die Bugs, die im Vorfeld vom Hersteller nicht gefunden werden. Aber ja, in der Regel führt erst eine Kombination diverser Sachverhalte zu derartigen Problemen.
Der Bug ist tatsächlich in einer besonderen Konstellation aufgetreten, wir haben eine Zusammenfassung in unserem Blog geschrieben:
https://www.inwx.de/blog/rueckblick-auf-unseren-ceph-incident/