Wiederherstellung sehr großer Volumes

Warum große Volumes anders sind

Ein Volume mit Hunderten Terabyte lässt sich nicht wie eine große Festplatte behandeln. Die Daten sind über Dutzende Platten verteilt, das Dateisystem hält seine Struktur in Bäumen und Verweisen fest, die selbst über das ganze Volume verstreut sind, und bei Copy-on-Write-Systemen wie ZFS und Btrfs bestehen oft mehrere Versionen derselben Struktur nebeneinander.

Gewöhnliche Wiederherstellungssoftware versucht, ein solches Volume in einem Durchgang zu lesen und zu verstehen. In dieser Größenordnung stößt sie an Grenzen bei Zeit, Arbeitsspeicher oder der Menge an Zwischenergebnissen.

Um welche Systeme es geht

Dateisysteme und Volumes, die Hunderte Terabyte groß werden, etwa:

• ZFS-Pools (TrueNAS, Solaris, Proxmox und andere), auch mit RAID-Z1, Z2 oder Z3.
• Btrfs, XFS und ext4 auf großen Linux-Servern und NAS-Systemen.
• NTFS und ReFS auf Windows-Servern.
• Große Volumes auf SAN-Speicher und in virtualisierten Umgebungen.

Sie sind unsicher, ob Ihr System dazugehört? Kontaktieren Sie uns mit den Angaben zu Ihrer Konfiguration.

Unser Ansatz: drei Prozesse

Deshalb haben wir eigene Software entwickelt, die die Wiederherstellung in drei aufeinanderfolgende Prozesse aufteilt:

Warum so: Durch die Aufteilung in drei Prozesse muss kein einzelner Prozess das ganze Volume auf einmal halten, und jeder liefert ein eigenes Ergebnis, auf dem der nächste aufbaut.

Die Software: Three-Tier Recovery

Die drei Prozesse laufen in unserer eigenen Software, Three-Tier Recovery. Ein Koordinator (Coordinator) verteilt die Arbeit und hält die gefundenen Schlüssel im Arbeitsspeicher; die eigentliche Verarbeitung übernehmen Worker, je Prozess: Find-Worker scannen das Volume, Link-Worker verknüpfen die Teile, Save-Worker schreiben die Dateien weg.

Ein Monitor zeigt jederzeit den Verlauf eines Auftrags:

• je Prozess den Fortschritt, den Durchsatz (Throughput) und wie viele Worker aktiv sind;
• den Speicherverbrauch des Koordinators sowie die Anzahl Schlüssel und Operationen pro Sekunde;
• die Summen: gescannt, gefundene Strukturen, verknüpfte Dateien, gelesene und geschriebene Daten, geprüfte und reparierte Checksummen sowie Lesefehler;
• je Worker den Status, Speicher- und CPU-Verbrauch, Durchsatz und Fehler.

Verteilt auf mehrere Maschinen (Nodes)

Die Worker müssen nicht auf einer Maschine laufen. Das Scannen wird auf mehrere Nodes verteilt, die jeweils einen Teil des Volumes verarbeiten. Für ein Volume mit Hunderten Terabyte setzen wir so viele Worker ein, wie der Auftrag erfordert, und verfolgen jeden einzeln.

ZFS im Besonderen

ZFS überschreibt nie bestehende Daten (Copy-on-Write), sondern schreibt neue Versionen und verweist darauf aus einem Baum von Blockzeigern. Ganz oben steht immer der neueste Zustand des Pools. Ist dieser beschädigt, etwa durch eine defekte Platte, einen Importfehler oder einen Stromausfall, verweigert der Pool oft den Import, obwohl die Daten selbst noch vorhanden sind.

Da ZFS ältere Versionen seiner Struktur nicht sofort überschreibt, kann eine Wiederherstellung oft auf einen früheren, konsistenten Zustand zurückgreifen. Genau für diese Art der Suche ist der erste Prozess da.

Mehrschichtige Wiederherstellung (Multi-Layer Recovery)

Etwas anderes als die drei Prozesse, aber oft im selben Auftrag: Konfigurationen, in denen Daten in mehreren Schichten übereinander liegen. Zum Beispiel:

• die Partitionierung
• das Dateisystem der Platte oder des Volumes (Native File System), eventuell mit Deduplizierung (Deduplication)
• die Virtualisierung, etwa VMware oder Hyper-V
• virtuelle Datenträger (Virtual Disk Images, etwa VMDK oder VHDX), oft in Fragmenten verteilt
• das Dateisystem innerhalb dieses virtuellen Datenträgers (Guest File System), eventuell erneut mit Deduplizierung
• Anwendungsdateien wie eine Exchange-Datenbank, die selbst fragmentiert sein können

Ist eine dieser Schichten beschädigt, nutzen wir die Informationen aus den anderen Schichten, um sie zu rekonstruieren. So verrät das Dateisystem in einer Partition, wo diese begann und endete, die Struktur in einem virtuellen Datenträger hilft, seine Fragmente in die richtige Reihenfolge zu bringen, und der innere Aufbau einer Datenbank ermöglicht es, einzelne Teile wieder zusammenzusetzen.

Alles über mehrschichtige Wiederherstellung →

Was Sie tun sollten

So läuft ein Auftrag ab

1. Analyse. Wir prüfen die Konfiguration, den Zustand der Platten und was passiert ist, und erstellen einen Plan.
2. Kopien. Von jeder Platte erstellen wir eine vollständige Kopie; physisch beschädigte Platten reparieren wir zuerst in unserem Class-1-Labor.
3. Drei Prozesse. Finden, verknüpfen und zusammenführen, mit unserer eigenen Software.
4. Kontrolle. Sie sehen die Liste der wiederhergestellten Dateien, bevor Sie bezahlen.
5. Lieferung. Die Daten werden auf ausreichend großen Speicher übertragen, bereitgestellt von Ihnen oder von uns.

Dürfen die Daten das Gebäude nicht verlassen, kann die Wiederherstellung auch bei Ihnen vor Ort stattfinden, mit unserem mobilen Reinraumschrank.