Cypheros Transportstream Forum

Allgemeine Kategorie => Plauder-Ecke => Thema gestartet von: Mam am Januar 23, 2019, 09:51:31

Titel: Neues (ReFS) Dateisystem für Windows.
Beitrag von: Mam am Januar 23, 2019, 09:51:31
Microsoft beginnt seit 1809 das neue, verbesserte, Dateisystem ReFS auch nach und nach in die Windows 10 Editionen einzubauen, derzeit allerdings nur in die "Business" Varianten.

Trotzdem mal langsam Zeit für einen aufopferungsvollen, heldenhaften, Selbsttest  ;D

Ersmal die Features von ReFS, damit man abschätzen kann, ob man es brauchen kann:


Da nicht alles Gold ist, was glänzt, gibt es auch Einschränkungen:

Die meisten Einschränkungen werden niemandem auffallen, weil diese Features selten bis gar nicht benutzt wurden. Die Datendeduplikation hatte den MAM-Test eh nicht bestanden, sie war ein ressourcefressendes Schrottmonster. Man musste da sowieso auf Drittanbieter ausweichen, die das Ganze "sauberer" aufgesetzt hatten.

Apropos Drittanbieter. Man muss natürlich im Moment höllisch darauf achten, welches Fremd-tool man auf solche Platten loslässt!
Irgendein altes OODefrag könnte schon mal zum Datenexitus führen, die aktuellen Versionen sollten aber mit ReFS klarkommen.

Das wichtigste ist natürlich die Performance, und hier hat ReFS bislang einen sehr guten Eindruck hinterlassen. Während die Kopie von NTFS auf ReFS vier Tage gedauert hatte, ging der Rückweg (alte Platte mit ReFS neu formatiert, alle Daten zurückkopiert) in unter 16 Stunden von der Bühne. Der Datendurchsatz stieg von (im Schnitt, 9,3Tb Daten kopiert) 120Mb/s auf 410Mb/s (wohlgemerkt, bei GLEICHER HARDWARE!). Offensichtlich wurde der Plattencache deutlich besser optimiert.
(allerdings hat es auch nach Kopieende fast 20min gedauert, bis die letzten Daten aus dem Cache wirklich auf der Platte waren)

Wir werden den weiteren Betrieb sorgsam beobachten und ggf. Updates präsentieren.

Bislang kann man sagen: funktioniert, flott, gut für viel/große Dateien, nix für "die-schnellen-daten-am-Hauptbahnhof".

Verwendete Hardware: Fileserver Windows2019 / 32Gb Ram / I7-6400@4Ghz. Platten: 6*10Tb WD-Red (Kopierplatte temporär: Wd-Book-Duo 2*6Tb Stripe and USB3.0)
Titel: Re: Neues (ReFS) Dateisystem für Windows.
Beitrag von: Cypheros am Januar 23, 2019, 10:59:20
Nicht bootfähig und nicht für externe Platten?

Das klingt nach unnötigen Einschränkungen aus dem Hause MS. Gerade die Schreibprüfung wäre doch besonders bei externen Platten wichtig.
Selbst heutzutage weiß man nicht, ob die Daten, die man auf eine Externe Platte sichert auch tatsächlich ankommen.
Titel: Re: Neues (ReFS) Dateisystem für Windows.
Beitrag von: Mam am Januar 23, 2019, 11:09:31
Zitat von: Cypheros am Januar 23, 2019, 10:59:20
Nicht bootfähig und nicht für externe Platten?
Yep  ;D

Bootfähig geht nicht, weil BIOS und UEFI mit 128Bit Dateisystemen nix anfangen können (man hört, dass selbst einige Programmier sich immer noch weigern, auf 64Bit umzustellen  ;D).

Externe Platten gehen zwar, aber auf eigenes Risiko. Der Cache (wie erwähnt) braucht ewig um die letzten Daten rauszuquetschen. Man kann zwar mit "Hardware entfernen" sich brav (und sicher) abmelden, aber das ist nicht so wirklich bequem.

ReFS ist mehr für den Einsatz im Rechenzentrum gedacht, wo die Kisten immer durchlaufen (wie bei MAMi  ;D).
Es gibt EXTREME Vorteile bei der Arbeit mit VHDs. Z.B. dauert das Einsortieren von Checkpoints bei NTFS manchmal ein paar Minuten/Stunden (da ja alle Änderung in die VHDx Datei eingepflegt werden müssen), mit ReFS unter 10s (der "Trick" besteht darin, einfach die alten Blöcke zu invalidieren und die Checkpoints an diese Stelle einzuklinken, es werden also physikalisch gar keine Daten mehr bewegt).

Es macht schon Spaß zu sehen, wie leichtfüssig die Kiste "mal eben" sonne 80Gb Datei durch die Gegend schiebt  ;D
Titel: Re: Neues (ReFS) Dateisystem für Windows.
Beitrag von: Cypheros am Januar 23, 2019, 11:24:49
Andere sind nicht ganz so begeistert und bescheinigen NTFS die höhere Geschwindigkeit gegenüber REFS.

https://www.frankysweb.de/server-2016-geschwindigkeitsvergleich-zwischen-refs-und-ntfs-teil-1/ (https://www.frankysweb.de/server-2016-geschwindigkeitsvergleich-zwischen-refs-und-ntfs-teil-1/)
Titel: Re: Neues (ReFS) Dateisystem für Windows.
Beitrag von: Mam am Januar 23, 2019, 11:30:57
Zitat von: Cypheros am Januar 23, 2019, 11:24:49
Andere sind nicht ganz so begeistert und bescheinigen NTFS die höhere Geschwindigkeit gegenüber REFS.

https://www.frankysweb.de/server-2016-geschwindigkeitsvergleich-zwischen-refs-und-ntfs-teil-1/ (https://www.frankysweb.de/server-2016-geschwindigkeitsvergleich-zwischen-refs-und-ntfs-teil-1/)

Ja, der liebe Franky hat das Kleingedruckte nicht gelesen  ;D
ReFS soll laut M$ nicht für SANs eingetzt werden, sondern nur für lokale Platten. Grund ist, dass beide Optimierungen vornehmen, die sich gegenseitig blockieren. Also zusammen wirds LANGSAMER, als einzeln.

Ausserdem kommt es ganz stark auf den persönlichen Einsatz and, Franky interessieren dauernd modifizierende Datenbanken, ich gucke nach statisch gelagerten Dateien.
Z.B. ist sein Einbruch beim Einsatz der optionalen Prüfsumme ganz einfach erklärbar: Beim Erstellen einer Datei muss diese ja berechnet werden, das kostet Zeit und Rechenleistung (aber nicht wirklich so viel wie bei ihm, da klemmts auch im Fiberchannel). Bei Lesen wirkt sich das hingegen gar nicht mehr aus. Also bei mir (1*schreiben, x*lesen) ist der Unterschied NULL.

Grundsätzlich gilt immer noch die oberste Ingenieurregel: "Wer misst, misst Mist!"

Ausserdem: "begeistert" bin ich noch lange nicht, das ist ersmal der erste Eindruck, es funktioniert und ist gefühlt geschmeidiger. Warten wir ein paar Wochen ab, wie es sich im Dauerbetrieb darstellt...

Titel: Re: Neues (ReFS) Dateisystem für Windows.
Beitrag von: Mam am Januar 24, 2019, 07:33:53
Mal so ein erster Eindruck nach 24h Betrieb: RATTENGEIL!  ;D

Ignorieren wir mal Franky, der misst ja nur die Performance beim Schreiben/Lesen einer einzigen Datenbank und deren Logfiles. Das ist sicherlich nicht die Zielgruppe von ReFS.

Aber hier gehts um
* tausende von sehr großen Dateien
* abertausende (meine "Datenplatte" hat ca 2 Millionen Files!) kleine Dateien in tausenden von Unterverzeichnissen.
* tägliche Datensicherung mit RoboCopy (copy only new/changed files)

Und da gibts da gaaanz breite Grinsen  ;D.

Während RoboCopy für den Vergleich ob was neu ist oder nicht auf der NTFS Platte bis zu 5min braucht, braucht ReFS für den ersten Durchgang unter einer Minute, wiederholt man den Scan (auch nach Stunden), bleibt es unter einer Sekunde! (also, die komplette Verzeichnisstruktur bleibt im RAM!!!).
Da geht die Luzy ab, wenn es um Durchsuchen von/nach Dateien geht!

Es kommt also wirklich dramatisch auf die Anwendung an, ReFS ist sicherlich nicht "general purpose".

Hier der nicht so wissenschaftliche, aber doch recht eindeutige Beleg. Die "Film" Platten sind noch NTFS, die "Serien" Platten schon ReFS. Beide sind ~= voll mit Dateien, bei den Serien ist die Anzahl sogar deutlich höher. Es wurden keine Daten kopiert, sondern nur die Directories verglichen (man beachte die benötigte Zeit am Ende)
Filme
Kopiere VON "F" Platte f$ zu U:\


------------------------------------------------------------------------------

           Insgesamt   KopiertÜbersprungenKeine Übereinstimmung    FEHLER    Extras
Verzeich.:     12306         0     12306         0         0         0
  Dateien:     99866         0     99866         0         0         0
    Bytes:   7.596 t         0   7.596 t         0         0         0
   Zeiten:   0:03:10   0:00:00                       0:00:00   0:03:10
   Beendet: Donnerstag, 24. Januar 2019 07:40:27

Serien
Kopiere VON "F" Platte s$ zu s:\


------------------------------------------------------------------------------

           Insgesamt   KopiertÜbersprungenKeine Übereinstimmung    FEHLER    Extras
Verzeich.:      1999         0      1999         0         0         0
  Dateien:    109832         0    109832         0         0         0
    Bytes:   5.156 t         0   5.156 t         0         0         0
   Zeiten:   0:00:33   0:00:00                       0:00:00   0:00:33
   Beendet: Donnerstag, 24. Januar 2019 07:41:01