LAN zu schnell für Windows...

Begonnen von Mam, September 22, 2019, 15:37:24

« vorheriges - nächstes »

Mam

Ich hab mal einen meiner beliebten "MAM opfert sich selbst" Tests gemacht, diesmal um rauszufinden, ob man schon bei den Arbeitsplätzen bereit für die 10Gbe (oder gar 100???) LAN Verbindung ist.

Die Kurzfassung: NEIN! Finger weg!

Windows 10 ist nicht in der Lage über eine lange Zeit / große Datenmenge einen konstanten Datenfluß zu handeln. Es wird am Ende unter Umständen sogar dramatisch langsamer, als bei 1 Gbit/s!

Sehen wir uns mal diesen Copyverlauf an:

Hier wird eine 16Gb große Videodatei (unzweifelhafter Herkunft) von einem lokalen Fileserver auf die SSD der Arbeitstation kopiert.
Wie man sieht, fängt Windows mutig an und liegt mit 1.05 Gbyte/s sehr nah am theoretisch möglichen Maximum. Aber so nach 8 Gb kommt es dann ins Wankeln, der Cache ist voll und die alte lokale SATA SSD kann diese Speed schreibend nicht verkraften. Aber die Erkenntnis reift zu spät, der Transfer bricht auf einmal brutral auf die üblichen 110Gbit/s (bekann von 1Gbe) ein, teilweise geht es sogar mal auf 0 (NULL) runter. Windows ist dabei arg am Schwitzen und erholt sich bis zum Ende des Kopiervorgangs nicht mehr.
Offensichtlich wird vorhandenes RAM vom Filecache auch im Notfall nicht angepackt, die Datei hätte sonst locker 4mal in den Speicher gepasst.

Die Servervariante von Windows kann das deutlich besser. Kopiert man in Gegenrichtung, so erreicht man zwar immer "nur" etwa 500-700 Gbit/s, aber die werden dann auch ohne große Schwankungen durchgehalten für die gesamten 16 Gigabyte. Der Filecache wächst dabei an bis auf 32Gb.

Da ist also noch einiges an Finetuning zu machen für Microsoft bevor die nächste Rechnergeneration weitere Verbreitung findet...

(ach ja, noch ein Tipp: diese LAN Karten brauchen 4 PCIe Lanes. Guckt vorher streng in das Handbuch eures Motherboards, viele haben nur kastrierte Slots. Wenn man da die Karte reinsteckt, wird die Speed der Graka sofort halbiert!)

Update: nach einigen Experimenten zeigt es sich deutlich, dass der Einfluss von Kabeln/Steckern/Dosen extrem ist, wenn man sich jehnseits der Gigabit Grenze begibt. Ich habe erstmal ein paar CAT 8.1 (25/40/100Gb) Patchkabel geordert um auf der sicheren Seite zu sein. Offensichtlich ist nicht überall, wo "CAT 7" draufsteht, auch CAT 7.x drin...


Mam

to whom it may concern: Das Kabeldesaster bei 10Gbe ist wirklich dramatisch  >:(

Die Kurzversion: es gibt auf der ganzen Welt kein wirklich funktionierendes und normgerechtes Patchkabel!

Was man kaufen kann, sind sogenannte "Rohkabel" (steht dann auch "Rawcable" druff), die sind absolut so, wie erforderlich!
AAAAABER: es gibt keinen RJ45 Stecker, der wirklich CAT7 beherrscht!
Deshalb sind alle Verbindungen, die man mit Twisted Pair derzeit machen kann, maximal CAT6 (bis zu 5G/s).

Man hat also richtige Kabel mit falschen Steckern und das führt dann zu Übertragungsfehlern.

Bei jedem Steckerübergang addieren sich die Fehlerraten sogar, also, je mehr Stecker, desto weniger Geschwindigkeit.

Und wenn man dann noch sogar Wandinstallation mit 2 Dosen und 2 Patchkabeln macht, ist man schnell wieder auf 1G runter!

Es ist also kein Wunder, dass 10Gbe immer noch ein Nischendasein fristet und die Karten/Switches dafür teuer bleiben.

Verlässlicher Betrieb ist im Moment nur mit LWL möglich, das geht noch innerhalb des Rechnerraumes, und für Langstrecken, aber für Arbeitsplätze ist der Aufwand zu hoch und der Anschluß zu empfindlich (Stichwort: "frauentauglich").

Mam

#2
nicht glauben, MAM hätte aufgegeben  ;D

Ich hab die ASUS LAN Karten wieder zurückgeschickt, der Support von Amazon hat mich an den Support von ASUS weitergereicht, der hat nur mit den Achseln gezuckt, hatte absolut keinen Plan von der Materie. So hat man sich allseits geeinigt, den Kauf auch nach 4 Monaten und ohne Verpackung wieder rückgängig zu machen.

Ich habe daraufhin andere Karten geordert. UHU ("unter hundert") gibt es noch die "QNAP QXG 10GeE" Adapter, eigentlich für das NAS der Firma gedacht, aber man liefert auch einen Windows Treiber und drei verschiedene Slotbleche ("normal aka lang", "kurz aka 2U" und "flat (ohne Winkel zum Einbau ins NAS)" mit.
Installation war stressfrei, aber die Einrichtung von Windows hat so ihre Tücken.

Eigentlich wollte ich eine "Netzwerkbrücke" erzeugen mit einem normalen 1Gbe Adapter und der 10Gbe Karte. In der Hoffnung, Windows würde alles Paket brav durch- und weiterleiten und somit den Fileserver zum Miniswitch mit Geschwindigkeitsanpassung umbauen.

Die Hoffnung trog  ???
Es wird auch (manchmal, sehr oft scheitert die Einrichtung mit einem "unbekannten Fehler") eine Brücke erzeugt mit einer Gesamtbandbreite von 11Gb/s. Sie scheint auch zunächst zu funktionieren, aber dann stellen sich mystische Effekte ein. DHCP Anfragen für V6 kommen zunächst nicht durch (nach ein paar Minuten klappen sie dann doch irgendwann), Lesen von dem Fileserver geht mit voller Geschwindigkein, Schreiben leider stockend bis gar nicht... usw usw.... Da steckt also der Wurm drin (und, wie zu erwarten, no errors, no warnings).

Besser wird es erst, wenn man die Karten "richtig" einbindet, also jeder Karte ein eigenes LAN gönnt, den Fileserver zum Router macht und ihm noch einen DHCP Server verordnet, der die Klienten auf dem neuen LAN mit sinnvollen Daten versorgt. Ein DNS Server als Gateway ist Kür, es reicht auch auf die "alten" DNS Server zu verweisen, denn die Klienten können ja über den Router gehen.
Damit die Computer im neuen Segment dann auch ins Internet dürfen, muss man auch noch im alten Router (Fritzbox oder Ähnliches) eine statische Route des LANS auf den Fileserver generieren.

So ausgestattet können dann die "Abgetrennten" wie zuvor auf alle Server und das Internet zugreifen, auf den Fileserver nun aber mit vollen 10Gbit/s.

Wenn man dann eine grössere Datei durch die Gegend schickt, sieht das dann so aus:

(Der "Knick" im Transfer ist kein Fehler, da ist einfach der Ram Cache des Empfängers voll und er muss etwas auf die lahme NVMe SSD warten bis sie die Daten verdaut hat. Beim Einsatz von normalen Festplatten sind diese Zwangspausen noch viel häufiger und länger. Windows passt den Transfer offensichtlich nicht an die Schreibgeschwindigkeit der Platten an  :( )

(HEY SCHEFFE! MAN KANN KEINE BILDER MEHR HOCHLADEN!!!)

Cypheros


Mam

Zitat von: Cypheros am November 03, 2019, 13:57:36
Doch, geht.
hmm... probier...

jo, jetzt wieder. eben gabs immer so ein "Sicherheitsproblem"

Mam

also inzwischen hat sich noch ein 8 Port 10Gbe Switch (Buffalo, bezahlbar mit ~370€) und noch ein paar QNap Karten in die Server verirrt.

Ich war allerdings gespannt, ob die alten, langen, LAN Strecken mit Dosen usw. (teilweise sogar verlängert mit Dose raus-Dose rein) der neuen Geschwindigkeit Stand hielten. Die Kabel hatte ich vor ca. 10 Jahren verlegt, da konnte man von 10Gbe nur träumen, aber es gab schon die Empfehlungen. An die hatte ich mich gehalten, und wurde nun belohnt: ALLE STRECKEN mit Cat 6a Kabeln funktionierten auf Anhieb mit voller Geschwindigkeit.

Inzwischen ist schon eine Woche vergangen, da sind schon ein paar Terrabyte über die Kabel geflossen und der Fehlerzähler steht immer noch bei NULL  ;D

(Allerdings war heute morgen der Haupt File Server "abgestürzt". Im LAN nicht erreichbar, auch kein Bild, er fuhr aber nach Druck auf den Powerknopf noch sauber runter und kam auch stressfrei (und voll funktionsfähig) wieder hoch. Keinerlei Fehlermeldung irgendwo, ich betrachte das erstmal als zufälligen Event und hoffe, dass es nicht wieder auftritt.)

Mam

#6
to whom it may concern  ;D

Es traten nach einiger Zeit doch wieder "Merkwürdigkeiten" im LAN Betrieb auf. Mysteriöse Hänger, unmotivierte Pause, Performance deutlich schlechter als geplant.
Nur leider gibt es dazu nirgendwo eine Fehlermeldung, noch nichtmals eine Warnung.

"Auf die harte Tour" habe ich deshalb alles mal ganz gründlich durchprobiert und insgesamt 4 Fehlerquellen ausgemacht, die jede für sich dazu beitragen, dass es klemmt. Davon ist noch eine offen :-(

1) Bios reset. Keine Ahnung, welche Einstellung da nicht genehm war. Es gab aber sporadische (so einmal pro Woche) Busblockaden auf dem PCIe Bus. Der Rechner lief dann eigentlich, aber es ging nix mehr rein und raus (auf allen Schnittstellen). Den Mauszeiger durfte man noch durch die Gegend schubsen, aber Etwas anzuklicken war nicht mehr möglich. Nachdem alle BIOS Werte per Jumper zurückgesetzt wurden, ist das nicht mehr passiert (wir sparen uns jetzt das Overclocking)

2) Filezilla. Zumindest die Serverversion davon ist nachweislich nicht für solche Geschwindkeiten geeignet. Beim Transfer großer Dateien wird das Ende nicht erkannt, Verzeichnisse lassen sich oft nicht lesen, Dateien nicht schreiben. Ursache ist wohl eine sehr optimistische Speicherverwaltung. Beim Empfang packt der Server die Daten einfach ins RAM und schreibt sie verzögert auf Disk raus. Wenn die große Datei mit maximalen 1,2Gb/s übertragen wurde, dauert es noch bis zu 3minuten, bis sie auch wirklich auf der Platte landet. In dieser Zeit wird die FTP Verbindung wegen Timeout schon getrennt, und wenn der Server endlich "alles OK" melden möchte, kann der Klient ihn nicht mehr hören. Ist also der Fluch der bösen Tat...
Nimmt man den Microsoft FTP Server (Teil des IIS) als Gegenpart, geht alles, wie erwartet. Hier wird auch nicht so gecached (auf Serverseite), sondern die Lan Speed der Plattengeschwindigkeit angepasst. Brav so!

3) Hyper-V virtual Switch: in Windows Server 2019 hat Microsoft einen absolut tödlichen Bug eingebaut (nicht vorhanden in Server 2016!, also vor Update nochmal genau nachlesen und überlegen): Der virtuelle Switch bedient die angeschlossenen VMs immer nur mit maximal 1 / 10 Geschwindigkeit der zugeordneten Netzwerkkarte! Also, hat man eine 10Gbe Karte, laufen die VMs mit maximal 1Gbe. Bei manchen mit einer 1Gbe Karte, so geht es sogar runter auf 100Mbit/s !!!
Das ist inzwischen einigen Leuten aufgefallen, nachdem die Backupzeiten zum Sichern der VMs ins Unendliche gestiegen sind. Im Netz gibt es ein paar Tips, mit Einstellungen der LAN Karten, die das wieder geradebügeln sollen, aber so richtig verlässlich klappt das nicht bei allen (hier auch nicht).
Es ist fast ein Witz, das Host OS, dass an derselben Karte wie der virtuelle Switch hängt, hat volle Geschwindigkeit, der Switch hingegen krebst vor sich hin...
Nicht jede Hardware ist davon betroffen, aber auch teure Server (z.B. berichtet jemand von der HP Microserver Reihe, selbst in der aktuellsten Version) liegen danieder.
Hatte jemand 2016 am Laufen und macht ein Update auf 2019 bricht ihm voll die Performance weg.
(andererseits kommt man ja nicht mehr zurück, wenn die VMs erstmal auf den aktuellen Verwaltungsstand gehoben wurden, damit die Administration von Windows 10 aus wieder ordentlich funktioniert)

4) billiger SATA Controller. Im Slot steckte irgendein Taiwan-Gülle 4Port PCIe-1x Controller mit Marvel 92xx Chipsatz. Der vertrug sich wohl nicht mehr mit PCIe Version 3, weshalb der Rechner auf Version 2 runterschaltete, weshalb die 10Gbe LAN Karte nicht auf vollen Durchsatz kommen konnte, weshalb... egal, Controller raus, einen "ordentlichen" (8 Port SAS mit PCIe 8x V3.0) rein und schon war das Problem beseitigt.

5) (kein Fehler, aber bitte beachten!) Bei 10Gbe sind "Jumbo Packets" inzwischen Standard und werden meist in den Switchen schon von Anfang an aktiviert. Bei Windows muss man das aber in den Experten Einstellungen der LAN Karten immer noch von Hand machen. 9k Frames sind das Optimum, der SMB Durchsatz hier stieg von 1,1Gb/s auf 1,2Gb/s durch Aktivierung der Frames.
(Natürlich sollten sich dann im gleichen Switchbereich nicht irgendwelche Billiggeräte wie Router o.ä. rumtummeln, die mit Jumbo Frames nix anfangen können, die bremsen dann alles aus)

Von diesen drei Sachen befreit, funktioniert es nun wieder flott und ohne Hänger.

Ach ja, so sieht das aus, wenn man 40Gb "mal eben" über die Leitung schiebt. Das Sägezahnraster entsteht, wenn die Schreibleistung der Festplatte nicht an die Übertragungsgeschwindigkeit des LANs ranreicht. Hier ist nur eine vergleichsweise lahme SATA SSD im Test vorhanden (max 540Mb/s).


www.cypheros.de