Reparierte Streams mit Fehlern

[Zenani]

Hallo,

ich hab immer mal wieder das Problem das eine Aufnahme die beim schneiden fehlerfrei ist, nach dem schneiden Fehler hat.
Ich hatte erst meinen Server in Verdacht das dort beim endgültigen draufkopieren was schiefläuft, aber jetzt habe ich das schon ein paarmal direkt nach dem schneiden gehabt.
Ich sehe daher 3 mögliche Fehlerquellen:
- USB-SATA Adapter
- USB Controller im PC
- TS-Doctor

Den USB-SATA kann ich eigentlich ausschliesen, da es schon bei mehreren Festplatten aufgetaucht ist.
PC habe ich leider nur einen.
Könnte das am TS-Doctor liegen oder könnte er was machen um das zu entdecken?
Schneide ich den original Stream nochmal hat er dann meistens keinen Fehler mehr.

Stream schneiden:

Code Auswählen Erweitern

Starting at paket 0033F085 PCR: 00:07:46.707 (14:31:48.029)
Cutting the end at paket 0162823D PCR: 00:45:18.951 (15:17:06.980)

Reparierten Stream prüfen:

Code Auswählen Erweitern

Starting at paket 00000002 PTS: -00:00:00.139 (14:31:49.204)
No cutting at the end needed
TS  ERROR  : For PID 00FF, invalid paket 0118C311, skipped! Error: sync_byte_error
TS  ERROR  : Paket 0118C310 with 120 missing bytes

Resync found for paket 0118C311 with Offset: -120
TS  WARNING: For PID 00FF 00:42:59.977 TS packet 0118C312: Packet discontinuity  last=11 , current=11
TS  WARNING: For PID 0103 00:42:59.977 TS packet 0118C313: Packet discontinuity  last=8 , current=12
TS  WARNING: For PID 0104 00:42:59.977 TS packet 0118C31A: Packet discontinuity  last=3 , current=7
TS Warning: PCR timing for PID 00FF last PCR:15:14:48.006 current PCR:04:07:29.616 at paket 0118C347 TimeBase:1336465471 PCRExtension:282
PTS wrap > (32 bit) at paket 0118C378 on PID 00FF detected!
PES ERROR  : For PID 0103 00:43:00.034 PES paket 00003EF6 is invalid (SizeMismatch), starting with TS paket 0118C290 Size: 2720 should be 7688
PTS wrap > (32 bit) at paket 0118C429 on PID 0103 detected!
PES ERROR  : For PID 0104 00:42:59.970 PES paket 00003EF6 is invalid (SizeMismatch), starting with TS paket 0118C0C5 Size: 10448 should be 7688
PTS wrap > (32 bit) at paket 0118C6E6 on PID 0104 detected!
TS  ERROR  : For PID 0104, invalid paket 011A1B3D, skipped! Error: sync_byte_error
TS  ERROR  : Paket 011A1B3C with 68 missing bytes

Resync found for paket 011A1B3D with Offset: -188
TS  WARNING: For PID 00FF -10:24:06.339 TS packet 011A1B3E: Packet discontinuity  last=0 , current=9
TS  WARNING: For PID 0103 -10:24:06.339 TS packet 011A1B58: Packet discontinuity  last=15 , current=1
PTS wrap < (32 bit) at paket 011A1B60 on PID 00FF detected!
PES ERROR  : For PID 0103 -10:24:06.329 PES paket 00003F42 is invalid (SizeMismatch), starting with TS paket 011A1A05 Size: 3088 should be 7688
PTS wrap < (32 bit) at paket 011A1BE2 on PID 0103 detected!
TS Warning: PCR timing for PID 00FF last PCR:04:07:41.690 current PCR:15:15:00.340 at paket 011A1C2C TimeBase:4941030602 PCRExtension:224
PES ERROR  : For PID 0104 -10:24:06.393 PES paket 00003F41 is invalid (SizeMismatch), starting with TS paket 011A1833 Size: 11000 should be 7688
PTS wrap < (32 bit) at paket 011A1E93 on PID 0104 detected!

Bei anderen malen wo das Problem auftaucht sieht man auch immer diese Resync Fehler.

Hat noch jemand so ein Problem oder Tipps?

mfg Zenani

[Cypheros]

Hi, den TS-Doctor würde ich ausschließen, da die "sync_byte_error"-Fehler sehr untypisch für den TS-Doctor sind. Die Schreibroutine stellt immer sicher, das die 188 Byte-Pakete immer mit der richtigen Länge und dem korrekten Start-Byte gespeichert werden. Jedes Pakete wird einzeln verarbeitet!
Auch "Packet discontinuity"-Fehler können nicht auftauchen, da alle Counter beim Kopieren in den Schreibbuffer neu (und korrekt) gesetzt werden.

Allerdings können Fehler passieren beim Transfer auf die Festplatten oder aber die Festplatten leiden unter Amnesie.
Ach ja, welches Filesystem hast Du auf den Platten?

Werden die Platten auch an einem SAT-/Kabel-Receiver betrieben?

[Zenani]

Die Festplatten haben alle NTFS und hängen nur am PC. Ich kopiere meine Aufnahmen immer vom Receiver über LAN auf die externe am PC und schneide sie dann dort.

Ich kenn mich damit jetzt nicht so gut aus, aber sollten die USB Controller nicht sicherstellen das die Daten nicht immer korrekt übertragen wurden?

Edit: Da die Aufnahmen beim kopieren vom Receiver über LAN auf die gleiche Festplatte nie diese sync_byte_error haben, kanns auch irgendwie nicht sein das etwas im USB weg defekt ist oder?

[Cypheros]

Das stimmt ager wenn Du die "defekte" Aufnahme durch den TS-Doctor schickst, wirst Du feststellen, dass die "sync_byte_error"-Fehler anschließend verschwunden sind.

Wo tauchen denn die Fehler auf? Am Anfang oder am Ende?

[klabauter]

dass die "sync_byte_error"-Fehler anschließend verschwunden sind.

Die Datenpakete sind dann aber leider futsch, mit entsprechenden Wiedergabestörungen...

Das erinnert mich an das hier:

http://forum.cypheros.de/index.php?topic=1212.msg5212#msg5212

Seidem habe ich ja alle geschnittenen Filme nochmal gecheckt, bevor ich die Quelldateien gelöscht habe. Ich hatte noch einige Male wieder solche mysteriösen sync_byte_errors in lt. Log fehlerfrei geschnittenen Filmen, konnte den Fehler aber nie reproduzieren. Seit 4 Monaten habe ich ein neues Mainboard mit neuem USB 3.0-Controller, weil sich auf dem alten nach und nach die Onboard-Komponenten verabschiedet haben. Seitdem sind ist mir das Problem nicht mehr untergekommen.

Fehler beim Schreiben habe ich damals aber allerdings auch nur mit dem TS-Doctor festgestellt, beim Kopieren großer Datenmengen auf Betriebssystemebene mit anschließendem Check habe ich trotz großer Bemühungen keine Fehler produzieren können. Ist es denkbar, dass da unter bestimmten Umständen einfach ein Zugriffsmuster entsteht, das die externe Platte/USB-Controller nicht "verträgt", oder so was...

[Zenani]

Hi,

du schreibst in deinem Thread das an der Fehlerstelle einfach ein paar Sekunden Video sind, die da einfach nicht hingehören. Genau das gleiche hatte ich auch schon ein paarmal. Kann allerdings nicht sagen woher der Inhalt kam, da es Werbung war die einfach mitten im Film für 2-3 Sekunden aufgetaucht war.

Ich hab das Problem leider bei 100 Schnitten 2-3 mal im Moment. Aktuell nutze ich auch eine neue USB3.0 Platte. aber mit einer älteren 2.0 hatte ich den Fehler auch schon mal.

[klabauter]

Na, dann bin ich ja wenigstens nicht der einzige hier, der ab und an Gespenster sieht...

Das mit dem "falschen Film" hatte ich nur genau das eine Mal - ich habe diesen Fall immer als Produkt eines riesengroßen Zufalls betrachtet. In den anderen Fällen hatte ich irgendwo im Film einen Aussetzer von bis zu 20 Sekunden (bei SD-Material) aufgrund der fehlerhaften Pakete. Ein Neuschnitt lieferte immer problemlos ein fehlerfreies Ergebnis.

Da du nun auch von mehreren Fällen schreibst, wo nicht nur einfach Datenmüll, sondern sinnvoll aneinander gereihte TS-Pakete - wenn auch nicht die gewünschten - auf der Platte landen, war der Zufall vielleicht doch etwas kleiner.

Ich bleibe jedenfalls dabei, keine Datei ungeprüft ins Archiv wandern zu lassen - 0 Warnings/ 0 Errors bei Schnitt bedeuten eben nicht zwingend, dass die Zieldatei ok ist. Aber solange das Problem nicht massenhaft oder reproduzierbar auftritt wird sich die genaue Ursache wohl schlecht finden lassen. Falls bei mir wieder was komisches passiert, melde ich mich auf jeden Fall.

[Zenani]

Also mit meinem Laptop und der neuesten USB3.0 Platte hab ich den Fehler doch relativ oft jetzt. Es müsste nen Testprogramm oder so geben das einfach mal 100GB an daten erzeugt/kopiert und danach prüft.

[klabauter]

Ist die USB 3.0 Verbindung denn stabil, oder hast du auch Probleme mit USB-Disconnects, d.h. die Platte wird bei Belastung ausgehängt und wird dann automatisch neu eingehängt (ob das zweite passiert ist auch wohl von der USB-Bridge-Firmware abhängig)?

Zum Testen geht h2testw von der ct ganz gut.

Oder mal ein großes Verzeichnis mit dem Explorer kopieren und dann Quelle und Ziel mit CDCheck (einfach den Compare/Vergleiche-Button drücken und Verzeichnisse angeben) vergleichen. Ist zwar eigentlich für CD/DVD gedacht gewesen, funktioniert aber auch mit Festplatten.

Ich habe auch schon von Fällen gehört, wo z.B. Disconnects erst nach über 200 GB auftraten.

[klabauter]

Aaalso,

gestern war hier dann Vollkatastrophe: Plötzlich ist es mir nicht mehr gelungen, auf meiner seit Monaten problemlos laufenden USB-Platte auch nur eine einzige fehlerfreie Datei zu erzeugen. Fehlerbild wie oben beschrieben: Schnittlog OK, beim Überprüfen dann Fehler (so 50 bis 500.000, sync_byte_error, packet discontinuity, verschlüsselte Pakete, Müll halt...; aber bei jedem Durchlauf derselben TS-Datei immer anders; auch von verschiedenen Quellplatten; auch nach Reboot, komplett stromlos machen...; kurz CHAOS  )

Mal auf ne andere Platte geschrieben: ging fehlerfrei!

Die Frage war für mich dann: was ist heute anders, als beim letzten fehlerfreien Schnitt? Irgendwann kam ich dann drauf, dass ich zu Testzwecken vorgestern das benutzte Zielverzeichnis im WMP12 zur Bibliothek hinzugefügt und dabei fürs Netzwerkwerk freigegeben hatte.

Also im WMP Ordner aus Bibliothek entfernt und Freigabe dabei rückgängig gemacht; weil WMP da was geändert hatte dem Ordner wieder Vollzugriff für "Jeder" zurückgegeben (hatte ich auf der Platte mal komplett so vergeben, weil irgendwas (vergessen was ) nervte), sicherheitshalber Reboot (ist normalerweise wohl überflüssig, aber einmal hat WMP beim Lösen der Freigabe ziemlich rumgezickt, da gings erst nach Reboot) - Problem weg! 

Das Problem ließ sich auf die oben beschriebene Weise ein- und ausschalten. Hat also zumindest bei mir also offenbar weniger allein mit der Hardware als mit den Zugriffsberechtigungen/Ordnerfreigaben zu tun. Als ich das Problem vor längerer Zeit schon mal hatte, war - wenn ich recht erinnere zumindest zeitweise - die ganze USB-Platte auch auf diese Weise freigegeben. Das hab ich dann irgendwann wieder aufgehoben, weil es mich nervte, dass ich wegen der Freigabe die Platte nicht "sicher entfernen" konnte. Würde zeitlich auf jeden Fall gut zum Auftreten der Fehler passen; warum das damals nur sporadisch auftrat und jetzt so massiv; und woran das genau hängt: fragt mich nicht...

(Wo ich hier schreibe, fällt mir auf, dass ich gar nicht probiert habe, ob normales Kopieren in den Ordner immer fehlerfrei geht oder nicht)


@Zenani: Leg also im Zweifelsfall mal einen nicht freigegebenen Ordner mit Vollzugriff für "Jeder" als Zielverzeichnis an. Wenn du Glück hast sind die Probleme dann weg.



Bei Gelegenheit schau ich mal, ob ich die Problemquelle weiter eingrenzen kann. (In der stillen Hoffnung, dass sich die nicht auf den vor dem Rechner reduziert )

[Zenani]

Hi,

also bei mir ist garnichts freigegeben oder so und den WMP nutze ich auch garnicht.
Ich hab bis jetzt folgendes festgestellt (USB2.0 und USB3.0 Verbindungen sind immer stabil):
- Werden große Mengen an Daten auf eine Festplatte von extern kopiert, gibt es keine Fehler (bisher kein einziger bei fast 2TB)
- Ist die Quell- und Zielplatte beim TS-Doctor nicht die gleiche, dann gabs bisher auch noch nie Probleme
- Sobald Quell- und Zielordner auf der gleichen Festplatte liegen geht es los
- die Fehlerhäufigkeit ist bei USB3.0 um einiges höher als bei USB2.0 (USB2.0 vieleicht alle 100 bis 200 Schnitte und bei USB3.0 sehr viel öfter)

mfg Zenani

[Mam]

also bei mir ist garnichts freigegeben oder so und den WMP nutze ich auch garnicht.

Schon Sean Connery hat sich mit dem Spruch vertan und musste dann "Sag niemals nie" drehen.

Nach W7 Grundinstallion ist der WMP automatisch mitinstalliert und auch eine Freigabe dafür vorhanden. "Eigene Dateien\Musik" + "Videos" ist in der Bilbliothek eingetragen und wird auch von einem Hintergrundprozess beobachtet. Neue Dateien werden automatisch eingescannt und in die Bibliothek aufgenommen.

Also, solltest Du nich explizit den WMP deinstalliert haben, oder explizit in seinen Einstellungen die Freigabe gelöscht habe....
...sag niemals nie...

[Zenani]

Das mit den Eigenen Dateien ist mir bekannt, aber da es doch hier um externe Festplatten geht muss man die doch explizit hinzufügen.
Aber ich habe grade nochmal nachgeschaut in der Medienbibliothek sind nur der Ordner Eigene und Öffentliche Videos.

[Mam]

Gerade bei externen Platten macht sich WMP gerne mal unbeliebt und scanned sie ungefragt.

Könnte ja sein, dass die Platte ein USB Stick oder ein Walkman (wir vermeiden hier bewußt das "i" Wort der "a" Firma...) ist und MUSIK enthält!!!

Sowas kann man ja nicht einfach ignorieren, es muss ja der Bibliothek einverleibt werden!

WMP ist ne Datenkrake, und, solange Du ihn nicht wirklich deinstallierst, solange tut er irgendwas irgendwann auf Deinem Rechner.