Ich habe DVB-S2-Streams die beinhalten nur "grafische" Untertitel. (kein Videotext) Ich brauche diese Untertitel aber unbedingt im Textformat (SRT).
Der TS-Doctor demuxt den Stream zu einem SUP-File. Mit Subtitle Edit kann ich die SUP-Datei laden aber die Timecodes sind falsch. Weil S.E. BluRay-Sups erwartet. Habt ihr ne Idee welches Programm die DVB-SUPs frisst und ein OCR durchlaufen lassen kann?
Dieses Feature ist in Planung und könnte eventuell in naher Zukunft bald zur Verfügung stehen. ;)
ZitatHabt ihr ne Idee welches Programm die DVB-SUPs frisst und ein OCR durchlaufen lassen kann?
Dafür brauchst du nicht zu warten. SubtitleEdit kann doch die SUPs mit OCR verarbeiten, wobei die Qualität nicht immer ausreicht. Du kannst aber alles inkl. timing editieren und als *srt oder andere Formate speichern. Ich wusste gar nicht, dass das Expertentool TS Demuxer auch die SUPs erstellt. Bisher hatte ich dafür PJ.X genommen :)
ZitatIch wusste gar nicht, dass das Expertentool TS Demuxer auch die SUPs erstellt. Bisher hatte ich dafür PJ.X genommen
..war auch besser so, denn der TS Demuxer vom TSDOC produziert Timing Müll >:(
Hier noch mal ein shot von der selben Aufnahme aber mit sup von ProjectX.
Ja, die Timecodes sind Mist. Da es sich bei mir aber um eine h264-Aufnahme handelt, geht Pj.x nicht.
..auch bei H.264-Aufnahmen lassen sich die SUPs durch Pj.x extrahieren. Einfach bei der Ausgabe video abwählen und die Fehlermeldungen ignorieren :D
BBC über 27,5W hat ja nur DVB-Subtiles und keinen Teletext ;)
Ich kriegs leider nicht hin.
ProjectX extrahiert keine Uts.
https://www.dropbox.com/sh/j0stz5u44s6bpz8/AABS95d7BMvWsD7-_jfOEtdKa?dl=0 (https://www.dropbox.com/sh/j0stz5u44s6bpz8/AABS95d7BMvWsD7-_jfOEtdKa?dl=0)
kriegst du sie aus dem Testfile raus ?
Ich verstehe Dein Problem irgendwie nicht.
Deine Testdatei lässt sich doch ohne Probleme vom TSDoc einlesen, er extrahiert ja auch ohne zu Murren die Teletext UT ?
(Und wenn Du noch etwas Geduld aufbringst, extrahiert er auch bald die DVB UT...)
Wozu also Project.X und der ganze Aufwand ? ? ?
Mein Problem ist nicht dieser Beispiel-Stream sondern, dass ich bald Streams bekomme wo kein Teletext vorhanden ist.
Na ja, dann glaub halt ErichV und mir: BLEIB COOL, das Problem erledigt sich bald von alleine...
(siehe meine 2te Beispieldatei, das ist die Umwandlung der SUP UT...)
OK ich habe jetzt mit PjX demuxt und es klappt!
Danke soweit!
Schön, dass der TSDOC das auch bald anbietet. Aber die Timecodes von deinem zweiten SRT stimmen so gar nicht mit dem überein was PjX mir ausgibt.
Zitat von: Christian am Oktober 29, 2015, 18:11:33
Schön, dass der TSDOC das auch bald anbietet. Aber die Timecodes von deinem zweiten SRT stimmen so gar nicht mit dem überein was PjX mir ausgibt.
Man arbeitet noch dran ;D
Außerdem ist der Timecode bei UT relativ unkritisch, sofern er nicht viele Sekunden in der Zukunft oder Vergangenheit liegt.
Ich persönlich lasse mir die Dinger noch mit einem eigenen Tool umrechnen, dass die Anzeigezeit dehnt, sofern der Text eine gewisse Länge überschreitet. Aber das ist ja Geschmackssache, und kommt auf die individuelle Lesegeschwindigkeit an.
Es gibt ja nun genug Tools, um bei SRTs die Zeitbasis zu manipulieren.
Ich hoffe eure OCR erkennt dann auch Tschechisch ;)
Zitat von: Christian am Oktober 29, 2015, 18:38:26
Ich hoffe eure OCR erkennt dann auch Tschechisch ;)
Ist dieselbe, wie in P.x, also wirst Du schon merken, obs geht (ist übrigens nicht "unsere").
..lass dich nicht ins Bockshorn jagen 8)
ZitatAußerdem ist der Timecode bei UT relativ unkritisch, sofern er nicht viele Sekunden in der Zukunft oder Vergangenheit liegt.
Die sups, die der TS Demuxer vom TSDoc erzeugt, sind vom timing unbrauchbar, wie mein screen shot oben beweist.
ZitatEs gibt ja nun genug Tools, um bei SRTs die Zeitbasis zu manipulieren.
Bei dem Müll ist alle Liebesmüh vergebens..
ZitatOK ich habe jetzt mit PjX demuxt und es klappt!
Danke soweit!
Besser wird es der TSDoc auch nicht können. Natürlich kennt nicht Jeder mehr Pj.x ;)
Dein file hat bei mir auch funktioniert, aber manche programme haben sicher mühe, den als TS zu erkennen, weil anscheinend brutal mitten in einem ts_packet geschnitten wurde. Ein Durchlauf iim TSDoc fixet das aber :)
Ich hab nun ein neues Problem. Ich habe einen anderen Stream bekommen, (CT1 - tschechisches Fernsehen) wo die Untertitel gelb sind mit transparentem Hintergrund. Irgendwie kriegt SE da aber nicht die richtige Farbpalette (oder wie das heisst) mitgeteilt. Er sieht nur "fette" Schrift, die er nicht richtig erkennen kann. Wie teilt man SE mit, welche Farben er nehmen muss? Habs mit SUP und SUB/IDX probiert.
Hier das neue Sample: https://www.dropbox.com/s/t6dw1k59o4wnt56/20151028%202226%20-%20CT%201%20HD.ts?dl=0 (https://www.dropbox.com/s/t6dw1k59o4wnt56/20151028%202226%20-%20CT%201%20HD.ts?dl=0)
Link funktioniert nicht.
Jetzt müsste er gehen.
Ich habe eine Lösung gefunden. Ich demuxe die Untertitel mit TSDoc und mit ProjektX. Die SUP-Datei von TSDOC nehme ich zur OCR weil die die richtige Farbpalette mitbringt. Und die Timecodes nehme ich von dem SUP, das von PjX erstellt wurde. In SE kombiniere ich beide.
Wir arbeiten gerade an einer Funktion für den TS-Doctor. Hab diese neue Funktion mal mit Deiner Testaufnahme ausprobiert.
Wie ist die Qualität dieser SRT-Untertitel?
[attachurl=1]
Ja das ist schonmal ein Anfang aber es sind doch eine Menge Fehler in deiner Datei.
Bei Item 6 steht bei euch "Stuj nStuj nebo strelím!" - Aber "Stůj nebo střelím!" muss es heissen, doppelte Wörter
Bei Item 14 wiederholt sich auch ein Halbsatz
Dann sind tschechische Umlaute falsch.
"(výstrel)" muss "(Výstřel)" heissen (das "r" ist falsch)
"Stuj" muss "Stůj" heissen das "u" ist falsch
"deti" muss "děti" heissen das "e" ist falsch
die Timecodes sind schon einigermassen in Ordnung und sind leicht nachzukorrigieren.
Aber an der Texterkennung müsst ihr noch arbeiten.
Hier meine Version, erstellt mit Hilfe von PjX und der SE-OCR (obwohl ich kein Tschechisch spreche und nicht weiss ob es 100% fehlerfrei ist)
ZitatAber an der Texterkennung müsst ihr noch arbeiten.
..ich fühle mich zwar nicht angesprochen, aber damit wirst du leben müssen. Es scheint mir für @Cypheros unmöglich jede Sprache fehlerfrei zu OCRen. Selbst Englisch hat genug Fehler. Entweder du machst das händisch selbst oder du findest OCR-Software, die das besser kann. Keine Ahnung, ob es die kostenfrei gibt.
@Derrick ja aber ich denke es geht ihm vor allem erstmal um die doppelten Wörter
das kann na sicher korrigieren
die Umlaute kann man abhängig vom Sprachcode im Container erkennen/bevorzugen oder eben nicht
natürlich geht sowas heute noch nicht 100%ig
@Christian
weichen die ungenauen Timecodes der Untertitel denn auch von denen der Originalaufnahme ab, oder sind die schon dort falsch?
wenn sie dort schon falsch sind, kann man sowas nur noch händisch nachbessern
dann wurde der Fehler beim Sender gemacht
andernfalls wird irgendwo noch etwas falsch erkannt
Ok, ich muss zugeben, dass die Timecodes, die vom (zukünfigten) TSDoc kommen, schon ok sind. Sie sind eigentlich synchron zum Film.
Ich hatte mich nur gewundert, dass Länge und Start/Endzeiten so ganz verschieden zu denen vom PjX sind. Bei PjX sind sie ca. 2 Sek zu früh. Aber das ist wirklich das geringste Problem, solange sie "gleichmässig" asynchron sind und leicht anpassbar durch Verschiebung.
Also ich bin mit der OCR von SE (das ja Wörterbücher zu Hilfe nimmt) erstmal zufrieden. Wenn man als Alternative noch ein zweites Programm hätte, wäre das auch nicht schlecht. Vor allem würde mir ein sauberes Demuxen der SUP schon genügen. Eins wo Timecodes und Farbpalette stimmen.
ich meinte eigentlich, ob die Zeiten in etwa mit denen übereinstimmen, die z.B. der VLC bei der Wiedergabe verwendet
oder ob sie sich von denen Unterscheiden
Die Anfangszeiten unterscheiden sich vielleicht um 0,5 Sekunden. Wobei die Zeiten von TSDOC besser passen.
Ich habe nun auch die Beta 2.0,2 ausprobiert und muss sagen, dass die OCR schon ganz gut läuft. Doppelt Wörter habe ich keine mehr entdeckt. Nur das Problem mit den Sonderzeichen bleibt. Und einige Silben werden zusammengezogen, die aber gar nicht zu einem Wort gehören. Dennoch ganz gut.
Ich fände es schön (unabhängig von der OCR), wenn der Demuxer verbessert werden würde, so dass die Timecodes des SUPs einigermassen stimmen.
Ich habe heute auf Version 2.09 "upgegradet"
Ich weiss, das steht nicht ganz oben auf eurer Entwicklungsliste aber ich gebe trotzdem meine Erfahrungen mit der DVB-Ut-OCR bekannt.
Nun bei der aktuellen Version werden "Häckchen" fast gar nicht mehr erkannt.
es heisst nun (falsch) "nej cekám" statt (wie richtig) "něj čekám"
oder
"dedo" -> "dědo"
ted' (3 Buchstaben und ein ' ) statt ted' (2 Buchstaben und ein Sonderzeichen)
"takjá pujdu." -> "tak já půjdu."
Nutzt der TS-Doctor denn beim OCR die Tschechischen Erkennungsmuster?
nun, im Fenster steht "erkannte Sprache... cze"
OK, dann sind da schon die Optimierungen für die Tschechische Sprache aktiv.
Ich hoffe ihr arbeitet noch dran. Ich wäre auch gerne Beta-Tester :)
Heute habe ich mir Version 2.0.15 installiert und die arbeitet beim erkennen der DVB-Untertitel genauso (schlecht) wie Version xx.9
Es sind immernoch die erwähnten Fehler in der SRT drin.
:(
Was erwartest du? Ne andere OCR engine?
Gemach, gemach ;D
Offensichtlich ist dem Liebhaber der tschechischen Sonderzeichen gar nicht so recht klar, dass er eigentlich im falschen Forum meckert und Abhilfe erwartet.
SIE WIRD NICHT KOMMEN!
Ganz einfach, weil dieser ganze OCR Kram "hinzugeklauft" ist. Das Teil ist eine public Domain Engine, die man in eigene Projekte mit aufnehmen kann.
Und natürlich hat der große Programmierguru hier keinerlei blassen Dunst davon, wie sie funktioniert, was sie macht, und wie man ihr besseres Tschechisch beibringen könnte (na ja, das kann jeder selber machen, die Standalone Version von dem Teil hat so einen "Trainingsmodus", den kannst Du wochenlang mit tschechischen Texten anfüttern, bis es passt. Und wenn Du dann nett bist, kannst Du das Ergebnis wieder an die Community schicken und darauf hoffen, dass es in der nächsten Version mit eingebaut ist.)
Also nochmal: HIER BIST DU FALSCH!
schau hier nach, und suche nach Abhilfe (https://github.com/tesseract-ocr)
.ich schrieb bereits:
Zitat von: Derrick am Oktober 31, 2015, 12:41:32
Es scheint mir für @Cypheros unmöglich jede Sprache fehlerfrei zu OCRen. Selbst Englisch hat genug Fehler. Entweder du machst das händisch selbst oder du findest OCR-Software, die das besser kann. Keine Ahnung, ob es die kostenfrei gibt.
..und einen Fernkursus für Cypheros, um Tschechisch zu lernen :-*
OK verstanden. Aber der Demuxer könnte wenigstens die richtigen Timecodes in die SUP-Datei schreiben.
Was sind die richtigen Timecodes?
Wenn ich die demuxte (mit dem Werkzeug) SUP-Datei in Subtitle Edit einlese, steht da
1
00:00:30,000 --> 00:01:00,000
2
00:02:00,000 --> 00:02:30,000
3
00:03:30,000 --> 00:04:00,000
4
00:05:00,000 --> 00:05:30,000
was völliger Quatsch ist.
Die Timecodes, die der TSDoc beim Erstellen einer SRT (mittels OCR) erstellt, würden mir reichen.
Jetzt muss ich immer aus zwei Dateien eine bauen. Ich nehme die Timecodes von der SRT und den Text (mittels SE OCR) von der SUP.
Zitat von: Christian am Januar 28, 2016, 10:38:53
in Subtitle Edit einlese, steht da
Das ist komisch, da
subtitleedit (ohne Blank, oder ist das nicht dasselbe Programm?) ebenfalls die Tesseract Engine benutzt, also dieselben "Fehler" wie der Doc produzieren sollte.
Allerdings hat Subtitleedit eine GUI, mit der Du die Engine trainieren kannst, bis Dein Tschechisch funktioniert. Das Ergebnis kannst Du dann wieder in den Doc kopieren...
..es geht ihm um das timing nicht um OCR.
Zitat von: Derrick am Januar 28, 2016, 16:47:25
..es geht ihm um das timing nicht um OCR.
Nur ein Nebenschauplatz ;D
Eigentlich gehts ihm um tschechisch...
und warum das so wenig Leute interessiert :-*
Richtig. SE benutzt scheinbar die selbe OCR wie TSDoc und macht ähnliche Fehler. Aber bei SE vergleicht er beim Einlesen jedes Wort mit dem Wörterbuch und ist, wie gesagt, lernfähig. Aber die Häkchen über den Buchstaben erkennt SE scheinbar besser als der Doc.
Dann geht es mir um OCR und um Timing.
Beim demuxten SUP-File stimmen die Timings überhaupt nicht, so dass ich mir die Timecodes von ProjectX oder von der SRT-(die die OCR vom DOC erstellt) nehmen muss
OCR mach ich in Zukunft wohl mit SE.
Es wäre wie gesagt schön, wenn die SUP-Datei wenigstens einigermaßen stimmige Timecodes hätte. Das erspart mir 2 weitere Arbeitschritte.
Zitat von: Christian am Januar 28, 2016, 17:05:21
Richtig. SE benutzt scheinbar die selbe OCR wie TSDoc und macht ähnliche Fehler.
SE und der Doc sind
IDENTISCH, kapier es doch endlich!
Sie sind gleich, arbeiten gleich und produzieren natürlich auch die gleichen Fehler.
Der einzige Unterschied der Versionen liegt im Trainingslevel.
Und in der GUI, der Doc winkt alles durch von der Engine, SE hält an und fragt Dich, wie es denn heißen sollte, wenn Unklarheiten da sind.
Du gibst dann was ein, und dieses Ergebnis wird mit in die Datei Tesseract\Tessdata\<LANGCODE>[.cube|.frak|].traineddata aufgenommen (.frak wenn Italics angewählt wurden, .cube bei bold].
Wenn Du anschließend hingehst, und diese Dateien in dasselbe Unterverzeichnis des Docs kopierst, S
O HAT ER DIE ÄNDERUNGEN auch gelernt!
(ach ja, und schön sichern, denn beim nächsten Update des Docs werden sie wieder überpinselt)
(das mit den Timecodes versteh ich nicht, bei mir lagen die noch nie weiter als 1-2s von den SRT Timecodes entfernt, also keine Ahnung, was da abgeht)
Bei mir sind die Timecodes einfach Schrott. Liegt vielleicht auch am Sender. Ich habe bisher nur HD Aufnahmen vom CT1 probiert und da gibts wie oben beschrieben einfach Dummycodes mit 30 Sek Abstand - ohne Sinn. (wohlgemerkt nur im Demuxerwerkzeug)
ich glaub Mam hat nicht gelesen/missverstanden, dass du geschrieben hast, dass die Timecodes in der sup(!) von SE falsch sind
und er deshalb immer die Timecodes vom Doc (oder Project X) und die OCR von SE nimmt
der Doc macht also eigentlich alles richtig (außer einige OCR Probleme ^^)
der Tipp, dass man mit SE trainieren und die Ergebnisse manuell in den Doc übernehmen kann ist übrigens super! 8)
werde ich auch mal in der Zukunft verwenden, wenn ich es brauche
Ich will nun mal wieder ein DVB-Subtitles mit dem Demuxer Werkzeug extrahieren, weil ich zusätzlich zur OCR vom DOC auch die OCR von SE nutzen will. Nur der Demuxer sieht den Subtitles in manchen Streams nicht. Er wird einfach nicht angezeigt, obwohl er beim Einlesen im DOC da steht.
Könnte man am Demuxer noch was ändern, oder ist das Fremdcode? Ich kann gerne ein Stück Stream zur Verfügung stellen. Gibt es ausser PrjX noch andere Tools die DVB-Sub-Streams demuxen können?
Mit dem Tool hier und etwas Mühe geht es
http://www.dvbstreamexplorer.com/dvbse/tsfiledemux.php
Subtitle Edit kann auch den großen TS-Stream einlesen. Damit hat sich das Problem erstmal erledigt.