arte subtitle extraction funktioniert seit 4.8.2015 nicht mehr

[PePo]

Also schieb mal den Stephansdom zur Seite und sorge für freie Sicht Deiner Schüssel 

Also 1.22km vom Stephansdom entfernt und mit den Schüsseln am Dach eines fünfstöckigen Hauses, da ist nur mehr der Himmel dazwischen!

Aber jetzt zur Sache: ich versuch mal, den Weg von den Schüsseln weg möglichst genau zu erfassen.
1. Schüsseln sind mit einem Switch verbunden, 8 Koaxleitungen (ausgemessen und ausgepegelt) gehen in meine Wohnung.
2. 5 der Koax-leitungen sind mit einer Reelbox Avantgarde2 verbunden (2 Dual DVB S2 Tuner, 1 Single DVB S2 Tuner), 3  Leitungen zu anderen Empfängern
3. Damit empfange ich eine Astra Gruppe  auf S19.2E, Eurobird/Astra Gruppe auf S28.2E, Hotbird Gruppe auf S13.0E
4. Empfangsdaten von Astra HD: STR (Signal Strength) zwischen 74 und 75%, SNR (Rauschabstand) 80%, BER (Bit error rate) 0; das Ganz beobachtet über mehrere Stunden
5. Ich steuere den Empfänger (Programmieren von Aufnahmen) über das Programm TV-Browser mit einem Plugin Lazy Bones.
6. Im weiteren beziehe ich mich auf eine einzelne Aufnahme: Arte HD, 2015-08-08 06:30 Reisen für Genießer, Katalonien und Barcelona
7. Der recorder schreibt eine kleine Info Datei, im Anhang ist das info.numbered.txt; dort ist ersichtlich (Zeilen  12-14), dass es Subtitle Streams geben kann (zumindest vom Sender angekündigt!)
8. Das ganze Recording wird ohne Veränderungen (garantiert!) via smb auf meinen MacPro (sorry, Mam) transferiert. Beide (Source am Receiver und am Mac) bitgenau verglichen.
9. Nun starte ich am Mac VMWARE, dort Windows 7 Professional, dort ts-doctor in der neuesten Version und lese die .ts Files ein.
10. Schaut kompliziert aus, ist es aber nicht, schliesslich ist der Mac ein BSD Derivat, hat eine schöne Unix Shell und man kann ohne Mühe kleine Automations-Scripts schreiben.
11. Nach Einlesen der .ts Files zeigt ts-doctor folgenden Schirm (Anhang 2015-08-07_23-04-04 before cutting in TSdoctor.jpg). Bemerkenswert ist hier folgendes: 3 der vier Subtitle Streams werden als fehlerhaft markiert (was übrigens in den Vorversionen von ts-doctor nicht passiert).
12. Nun Schneiden in ts-doctor (nur Vorlauf und Nachlauf entfernen), danach sollte eigentlich ein konsistenter subtitle stream zur Verfügung stehen. Hier wieder der Screenshot (Anhang 2015-08-07_23-07-55 cutting done.jpg); trotzdem weiter die 3 Fehlermarkierungen.
13. Nun TS-Doctor "Save new File", in den Teletext Settings ist "Ignore parity errors" NICHT mit Haken versehen.
14. Der log file (ich hab ihn wie alle anderen Files mit Zeilenummern versehen) ist im Anhang Katalonien, Barcelona (Spanien).numbered.log


Ich hör hier mal auf und lade das Bisherige hoch, ich will das nicht nochmals machen müssen!

[PePo]

Ich schick jetzt einmal die Anhänge nach, die das Forum nicht akzeptiert hat, sondern mich mit Fehler 403 (Firewall) in den Limbo geschickt hat, dann mach ich weiter im Protokoll.

[PePo]

So, noch ein Anhang, dann geht's weiter!

[PePo]

Ich setzt jetzt beim Punkt 14 von vorhin fort:
Interessant sind Zeilen 40 bis 50, in denen Streamtypes für Teletext und Subtitles erkannt werden.
Ebenso Zeilen 133 bis 157, sowie 192 bis 210, 294 bis 320
In Zeile 357 wird bestätigt , dass die Subtitle Streams 13FB, 13FE, 13FF, 13FA in den zu bildenden Stream importiert werden.
Zeile 412 ist phantastisch: 12483 Teletext lines scanned , 197 Parity errors!!!!!!!
Immerhin wird in Zeile 414-415 bestätigt, dass eine Teletext subtile stream page 888, french gefunden wurde; wo die übrigen subtitle streams geblieben sind, entzieht sich meiner Kenntnis.
Einigermassen interessant sind auch die Streamgrössen der Subtitle Streams in den Zeilen 485 bis 488.

ZUm Amusement hänge ich den .srt file an, der leicht mit jedem Editor gelesen werden kann. Ich hab jetzt mit ein paar Unix Tools im neuen ts file herumgestochert und bin dabei auf eine spannende Sache gestossen. Es sieht so aus, als ob in den 888 subtitle stream Daten aus den anderen unterdrückten Subtitle Streams hineingemuxt werden, eine neue Art von digitalen Übersprechen. Da kommen dann die Parity Errors her! Ob das schon der Sender macht oder ob's in ts-doctor passiert, ist mir nicht klar geworden.

15. Ich hab jetzt auf den gleichen Daten mit gleichen Schnittmasken die ganze ts-doctor Prozedur wiederholt, diesmal aber mit gesetzten Haken bei Parity Errors!
Der .srt file ist , nach Ansehen des ganzen Films, fehlerfrei vom Anfang bis zum Ende.
16. Dann Handbrake aufgerufen, den .srt file eingefügt, und voilá, ein .m4v file (könnte genausogut .mp4 heissen) war geboren.
17. In der Zwischenzeit Aufnahmen von RAI1 und ORF2 - beide mit Untertiteln - ohne Parity Errors und perfekt gemacht.

Jetzt lauf ich im Kreis und schwitze höllisch. Aber wenn Ihr bis hierher gelesen habt, danke für Eure Geduld!

[PePo]

Ich füge noch hinzu, dass ich heute nachmittags mehrere Filme auf Arte direkt von meinem Receiver angeschaut habe, Sprachstreams Französisch und Deutsch, Untertitelstreams Französisch, keine Fehler erkennbar.

Ein weiteres Rätsel oder??

[Mam]

Ein weiteres Rätsel oder??

Na ja, ganz so rätselhaft ist es nicht mehr 

Fangen wir mal am Anfang an, Deine sogenannten "Fehler", die der Doc Dir zeigt...
Das sind gar keine 
Die Anzeige bedeutet nur, dass dieser Stream nicht über die komplette Aufnahme verfügbar ist.

Ich nehme mal an, Du nimmst immer mit etwas Vor- und Nachlauf auf. Da kann es gut sein, dass die Sendung DAVOR, oder DANACH eventuell (z.B.) deutsche UT hat, Deine eigentlich aufgenommene Sendung hingegen aber nicht.
Das Ganze ist also erstmal nur eine Warnung.

Und wie meine Kontrollaufnahme zeigt, gibts bei der lustigen Reise auch gar keine deutschen UT, sondern nur franz. auf 888.

Es kann also durchaus sein, dass NACH Deinem Schnitt mit dem Doc von 151 und 152 gar nichts mehr übrig bleibt. Somit erzeugt der Doc dafür auch keine Seiten.

Was hier etwas irritiert sind die "Streams", die gibts natürlich in Wirklichkeit überhaupt nicht, sondern das sind nur Seiten im Teletext, alle im selben (realen) Stream drin, der Doc zeigt sie nur als getrennte virtuelle Streams an, damit man sie leichter bearbeiten kann.
Der Teletext an sich ist immer vorhanden, aber während der Aufnahmen werden bestimmte Seiten nicht mehr gesendet.

Die Paritätsfehler sind trotzdem merkwürdig, sie dürften sich aber nur auf den Inhalt einer Zeile auswirken, nicht auf das Vorhandensein an sich. Da würde also etwas "Matsche" bzw. Rechtschreibfehler auftauchen.

Um jetzt mal wieder etwas über den Mac abzulästern (ich bin eigentlich seit 30 Jahren FreeBSD Betreiber, ich war nur sauer, als Apple den Chefentwickler abgeworben hat, das ganze Betriebssystem mitgeklaut hat und es frech als "Mac Os" vermarktet. Apple hat so ca. 0% dazu beigetragen und nur ihre grützige Oberfläche drübergelegt. Dafür Geld zu nehmen ist mehr als dreist) und spekulieren, dass Dein Receiver wohl nicht wirklich in der Lage ist, den Teletext richtig zu empfangen und abzuspeichern.

Das, was Du beim Receiver als UT angezeigt bekommst, sind nicht die TTX Seiten, sondern die DVB Untertitel (welche der Doc IMMER NOCH NICHT VERDAUEN KANN :-((( )

[Djfe]

bevor Mam verwirrung stiftet:
Entfernen würde der TSD solche DVB Untertitel nicht automatisch, er kann sie nur bisher noch nicht als .srt abspeichern

Cypheros hat vor einiger Zeit mal OCR -Erkennung dafür angekündigt (im Gegensatz zu Teletextuntertiteln sind DVB-Untertitel eine Reihe von Bildern)

[Mam]

bevor Mam verwirrung stiftet:

Bevor Du MEHR VERWIRRUNG stiftest: Ich wollte ihm eigentlich nur schonend mitteilen, dass er seinen Augen nicht wirklich trauen kann, da im der Receiver beim Abspielen die DVB UT zeigt, der Doc später die aber gar nicht beachtet, sondern nur die Teletext UT auswertet (mit denen sein Receiver meist nichts anfangen kann...)

Also: what you see is what you NOT get!

[Derrick]

Nur ein paar Bemerkungen..  ..bei den Paritätsfehlern habe ich den TSDoc im Verdacht. Durch Übertragungsfehler können die unmöglich entstanden sein. Wenn dem so wäre, wäre alles unbrauchbar. DVB-Untertitel lassen sich übrigens mit Pj.x extrahieren. Allerdings wohl nur für SD. Hier ein Beispiel nach öffnen mit Subtitle Edit

[Mam]

Argggh! 

Nochmal von vorne:

* VERGISS DIE DVB Subs, VERGISS Project.X!
* Diese Dinger finden beim Doc bislang noch keine Verwendung, also, selbst, wenn Du glaubst, es sähe ja so heile und so toll aus: ES HAT KEINERLEI RELEVANZ! (es sieht übrigens immer recht toll aus, schon deshalb, weil es nur eine Grafik ist, kein Text. Wenn in der Grafik mal ein Pixel falsch sein sollte, fällt es gemeinhin nicht auf. Ist im Text ein Buchstabe verkehrt, dann sehr wohl...)

Also vergleich nicht Äpfel mit Birnen, sondern konzentriere Dich auf die Teletext Seiten!

Du solltest also zur Kontrolle am Receiver eine Aufnahme abspielen, dann dabei Teletext aktivieren und die Seite 888 aufrufen. Wenn dann immer noch sinnvolle Texte kommen, gucken wir weiter...

( zwischendurch könnte Scheffe hier mal erklären, was ein "Parityerror" im Doc ist, und wie er detektiert wird... Ich bin da nicht so firm mit Teletext, hab ich nie benutzt, hat mich immer zu sehr an das verhasste Btx erinnert  )

[Derrick]

..anstatt wieder mal typisch loszublöken, hättest du dir besser was zum Teletext reinziehen sollen. Dann findest du begriffe wie Hamming und Parity

Den log vom Doc habe ich schon früher als abschreckendes Beispiel beschrieben. Das wird hier mal wieder bestätigt. Besser nicht lesen

..und noch zu Pj.x. HD-subtitles haben es nicht mehr geschafft. Die chance für den TSDoctor

/edit
Arte HD habe ich natürlich getestet. Alles prima. Hier Subtitle Edit: oben der Doc und unten Pj.x

Im log vom Doc (doch gelesen stehen wieder die parity errors.

Teletext scan: Lines scanned: 5377 / Parity errors: 19

[Derrick]

Arte HD scheint aber auch Falschinformation zu verbreiten. Im laufenden Programm sind keinerlei UTs zu sehen, obwohl es im EPG steht.

Sonntag, 09.08.2015, 11:45 - 12:40  (00:55)
arte HD (deu)

Der Weiße Hai
Täter oder Opfer?

Der Weiße Hai gehört zu den meist gefürchteten Lebewesen unseres Planeten. Bis zu zwei Tonnen schwer jagt er mit seinem torpedoförmigen Körper an den Küsten nach Robben, Seelöwen und anderem Meeresgetier. Ein angsteinflößendes Ungeheuer - mit messerscharfen Zähnen. Sind die Weißen Haie wirklich die gnadenlosen Killer, für die man sie hält? In der Dokumentation nimmt der Oscar-Preisträger, Abenteurer und Unterwasserfilmer Mike Hoover den Zuschauer zusammen mit einem Team von Wissenschaftlern, Freitauchern und Abenteurern mit auf Expedition, um den Mythos des Raubfisches zu entschlüsseln.
Produziert in HD
[16:9] [H.264] [HD]
[stereo] [deu]
franz. oder Audiodeskription [mis]
[stereo] [fra]
[AC-3] [mul]
[DVB subtitles] [deu]
[DVB subtitles] [fra]
[DVB subtitles] [deu]

[Mam]

Arte HD scheint aber auch Falschinformation zu verbreiten. Im laufenden Programm sind keinerlei UTs zu sehen, obwohl es im EPG steht.

Grrr, nun gib es doch mal langsam auf, oder mach Dich vorher schlau, bevor Du hier völlig deplazierte Aussagen triffst.
Arte behauptet IMMER sie hätten UT, genauso wie Arte IMMER 5.1 Ton sendet.
Ob in dem Stream aber wirklich was Richtiges drin ist, weißt Du erst hinterher (und im Falle von 5.1 hilft nur ein Ohrentest weiter, weil sie Stereoquellen upscalen und "breiter" machen. Klingt etwas wie 5.1, fehlt aber natürlich die Dynamik und der richtige Wumms).

Und, bevor Du wieder ablästerst, ORF macht es genauso...

Und, um endlich zum Schluß zu kommen, ALL DIESES HAT NICHTS MIT SEINEM PROBLEM ZU TUN, selbst, wenn ARTE DVB-UT sendet, heißt es noch lange nicht, dass dann auch dieselben UT als TTX mitgesendet werden, die sind da SEHR VIRTUOS und man muß immer im Einzelfall gucken und hoffen...

[Derrick]

bevor Du hier völlig deplazierte Aussagen triffst.
Arte behauptet IMMER sie hätten UT

..man sieht, du neigst zur Ungenauigkeit. Das IMMER gilt nur für die deutschen HD-version.

Der user war bzw. ist ja auch verunsichert, da er den parity errors die Schuld gibt. Die dienen aber wohl zur Abschreckung beim Lesen des logs

[Mam]

Das IMMER gilt nur für die deutschen HD-version.

Wenn seiner einer auch meistens nur heiße Luft verbreitet, mit DEM Einwand könnte er vielleicht sogar recht haben... (allerdings natürlich völlig anders, als beabsichtigt).

Ich erinnere mich dunkel, der Verschieber des Stephansdom schrieb eingangs von einer Anlage mit mehreren SAT Positionen. 19,2, 28,2 und 13°...
Auf mehreren davon ist ARTE HD verfügbar, VON WELCHEM EMPFÄNGT ER DENN DEN SENDER ? ? ?