Neues (ReFS) Dateisystem für Windows.

Begonnen von Mam, Januar 23, 2019, 09:51:31

« vorheriges - nächstes »

Mam

Microsoft beginnt seit 1809 das neue, verbesserte, Dateisystem ReFS auch nach und nach in die Windows 10 Editionen einzubauen, derzeit allerdings nur in die "Business" Varianten.

Trotzdem mal langsam Zeit für einen aufopferungsvollen, heldenhaften, Selbsttest  ;D

Ersmal die Features von ReFS, damit man abschätzen kann, ob man es brauchen kann:


  • Schlanker als NTFS, durch Enfall einiger Feature wird es deutlich flotter
  • kein CHKDSK mehr nötig, ReFS ist selbstheilend und verträgt klaglos auch Stromausfälle (Ideal für RAID Arrays, senkt die Regenerationszeit nach Neustart)
  • Dateinamenlänge max 1366Bytes (683 Zeichen), Pfadlänge max 32768 Bytes
  • kein Performanceverlust bei tausenden von Dateien/Verzeichnissen in einem Unterverzeichnis
  • optimiert für "große" Dateien (also genau das Richtige für Videos & Co!)
  • Plattengrössen von bis zu 35 Petabytes möglich (256Bit Dateilänge)
  • "Integrity Streams" (automatische Dateiprüfsummen beim Schreiben)

Da nicht alles Gold ist, was glänzt, gibt es auch Einschränkungen:

  • nicht bootfähig (nicht als Systemplatte verwendbar)
  • keine Dateiverschlüsselung mehr (hat eh niemand mehr benutzt, es gibt ja BitLocker) (dadurch Enfall des 4k Limits bei NTFS Clustern)
  • keine Dateikomprimierung mehr (wurde auch nur sehr selten aktiviert bei den vorhandenen Plattengrössen)
  • keine DatenDeDuplikation mehr (ich wette, die meisten wissen nicht was das ist, und das es das bei NTFS gab
  • keine 8.3 Kurznamen mehr
  • nicht für externe Festplatten erlaubt (!also nicht auf ne USB Platte packen! Gefahr des Datenverlustes!!!)
  • keine Hardlinks mehr (Symlinks gehe aber weiterhin)
  • keine erweiterten Attribute (und keine NTFS-zusätzlichen-Datenströme) mehr
  • keine Quotas mehr

Die meisten Einschränkungen werden niemandem auffallen, weil diese Features selten bis gar nicht benutzt wurden. Die Datendeduplikation hatte den MAM-Test eh nicht bestanden, sie war ein ressourcefressendes Schrottmonster. Man musste da sowieso auf Drittanbieter ausweichen, die das Ganze "sauberer" aufgesetzt hatten.

Apropos Drittanbieter. Man muss natürlich im Moment höllisch darauf achten, welches Fremd-tool man auf solche Platten loslässt!
Irgendein altes OODefrag könnte schon mal zum Datenexitus führen, die aktuellen Versionen sollten aber mit ReFS klarkommen.

Das wichtigste ist natürlich die Performance, und hier hat ReFS bislang einen sehr guten Eindruck hinterlassen. Während die Kopie von NTFS auf ReFS vier Tage gedauert hatte, ging der Rückweg (alte Platte mit ReFS neu formatiert, alle Daten zurückkopiert) in unter 16 Stunden von der Bühne. Der Datendurchsatz stieg von (im Schnitt, 9,3Tb Daten kopiert) 120Mb/s auf 410Mb/s (wohlgemerkt, bei GLEICHER HARDWARE!). Offensichtlich wurde der Plattencache deutlich besser optimiert.
(allerdings hat es auch nach Kopieende fast 20min gedauert, bis die letzten Daten aus dem Cache wirklich auf der Platte waren)

Wir werden den weiteren Betrieb sorgsam beobachten und ggf. Updates präsentieren.

Bislang kann man sagen: funktioniert, flott, gut für viel/große Dateien, nix für "die-schnellen-daten-am-Hauptbahnhof".

Verwendete Hardware: Fileserver Windows2019 / 32Gb Ram / I7-6400@4Ghz. Platten: 6*10Tb WD-Red (Kopierplatte temporär: Wd-Book-Duo 2*6Tb Stripe and USB3.0)

Cypheros

Nicht bootfähig und nicht für externe Platten?

Das klingt nach unnötigen Einschränkungen aus dem Hause MS. Gerade die Schreibprüfung wäre doch besonders bei externen Platten wichtig.
Selbst heutzutage weiß man nicht, ob die Daten, die man auf eine Externe Platte sichert auch tatsächlich ankommen.

Mam

#2
Zitat von: Cypheros am Januar 23, 2019, 10:59:20
Nicht bootfähig und nicht für externe Platten?
Yep  ;D

Bootfähig geht nicht, weil BIOS und UEFI mit 128Bit Dateisystemen nix anfangen können (man hört, dass selbst einige Programmier sich immer noch weigern, auf 64Bit umzustellen  ;D).

Externe Platten gehen zwar, aber auf eigenes Risiko. Der Cache (wie erwähnt) braucht ewig um die letzten Daten rauszuquetschen. Man kann zwar mit "Hardware entfernen" sich brav (und sicher) abmelden, aber das ist nicht so wirklich bequem.

ReFS ist mehr für den Einsatz im Rechenzentrum gedacht, wo die Kisten immer durchlaufen (wie bei MAMi  ;D).
Es gibt EXTREME Vorteile bei der Arbeit mit VHDs. Z.B. dauert das Einsortieren von Checkpoints bei NTFS manchmal ein paar Minuten/Stunden (da ja alle Änderung in die VHDx Datei eingepflegt werden müssen), mit ReFS unter 10s (der "Trick" besteht darin, einfach die alten Blöcke zu invalidieren und die Checkpoints an diese Stelle einzuklinken, es werden also physikalisch gar keine Daten mehr bewegt).

Es macht schon Spaß zu sehen, wie leichtfüssig die Kiste "mal eben" sonne 80Gb Datei durch die Gegend schiebt  ;D

Cypheros

Andere sind nicht ganz so begeistert und bescheinigen NTFS die höhere Geschwindigkeit gegenüber REFS.

https://www.frankysweb.de/server-2016-geschwindigkeitsvergleich-zwischen-refs-und-ntfs-teil-1/

Mam

#4
Zitat von: Cypheros am Januar 23, 2019, 11:24:49
Andere sind nicht ganz so begeistert und bescheinigen NTFS die höhere Geschwindigkeit gegenüber REFS.

https://www.frankysweb.de/server-2016-geschwindigkeitsvergleich-zwischen-refs-und-ntfs-teil-1/

Ja, der liebe Franky hat das Kleingedruckte nicht gelesen  ;D
ReFS soll laut M$ nicht für SANs eingetzt werden, sondern nur für lokale Platten. Grund ist, dass beide Optimierungen vornehmen, die sich gegenseitig blockieren. Also zusammen wirds LANGSAMER, als einzeln.

Ausserdem kommt es ganz stark auf den persönlichen Einsatz and, Franky interessieren dauernd modifizierende Datenbanken, ich gucke nach statisch gelagerten Dateien.
Z.B. ist sein Einbruch beim Einsatz der optionalen Prüfsumme ganz einfach erklärbar: Beim Erstellen einer Datei muss diese ja berechnet werden, das kostet Zeit und Rechenleistung (aber nicht wirklich so viel wie bei ihm, da klemmts auch im Fiberchannel). Bei Lesen wirkt sich das hingegen gar nicht mehr aus. Also bei mir (1*schreiben, x*lesen) ist der Unterschied NULL.

Grundsätzlich gilt immer noch die oberste Ingenieurregel: "Wer misst, misst Mist!"

Ausserdem: "begeistert" bin ich noch lange nicht, das ist ersmal der erste Eindruck, es funktioniert und ist gefühlt geschmeidiger. Warten wir ein paar Wochen ab, wie es sich im Dauerbetrieb darstellt...


Mam

#5
Mal so ein erster Eindruck nach 24h Betrieb: RATTENGEIL!  ;D

Ignorieren wir mal Franky, der misst ja nur die Performance beim Schreiben/Lesen einer einzigen Datenbank und deren Logfiles. Das ist sicherlich nicht die Zielgruppe von ReFS.

Aber hier gehts um
* tausende von sehr großen Dateien
* abertausende (meine "Datenplatte" hat ca 2 Millionen Files!) kleine Dateien in tausenden von Unterverzeichnissen.
* tägliche Datensicherung mit RoboCopy (copy only new/changed files)

Und da gibts da gaaanz breite Grinsen  ;D.

Während RoboCopy für den Vergleich ob was neu ist oder nicht auf der NTFS Platte bis zu 5min braucht, braucht ReFS für den ersten Durchgang unter einer Minute, wiederholt man den Scan (auch nach Stunden), bleibt es unter einer Sekunde! (also, die komplette Verzeichnisstruktur bleibt im RAM!!!).
Da geht die Luzy ab, wenn es um Durchsuchen von/nach Dateien geht!

Es kommt also wirklich dramatisch auf die Anwendung an, ReFS ist sicherlich nicht "general purpose".

Hier der nicht so wissenschaftliche, aber doch recht eindeutige Beleg. Die "Film" Platten sind noch NTFS, die "Serien" Platten schon ReFS. Beide sind ~= voll mit Dateien, bei den Serien ist die Anzahl sogar deutlich höher. Es wurden keine Daten kopiert, sondern nur die Directories verglichen (man beachte die benötigte Zeit am Ende)
Filme
Kopiere VON "F" Platte f$ zu U:\


------------------------------------------------------------------------------

           Insgesamt   KopiertÜbersprungenKeine Übereinstimmung    FEHLER    Extras
Verzeich.:     12306         0     12306         0         0         0
  Dateien:     99866         0     99866         0         0         0
    Bytes:   7.596 t         0   7.596 t         0         0         0
   Zeiten:   0:03:10   0:00:00                       0:00:00   0:03:10
   Beendet: Donnerstag, 24. Januar 2019 07:40:27

Serien
Kopiere VON "F" Platte s$ zu s:\


------------------------------------------------------------------------------

           Insgesamt   KopiertÜbersprungenKeine Übereinstimmung    FEHLER    Extras
Verzeich.:      1999         0      1999         0         0         0
  Dateien:    109832         0    109832         0         0         0
    Bytes:   5.156 t         0   5.156 t         0         0         0
   Zeiten:   0:00:33   0:00:00                       0:00:00   0:00:33
   Beendet: Donnerstag, 24. Januar 2019 07:41:01


www.cypheros.de