Wunsch: erweiterte Batchverarbeitung

[dvb-guenni]

Hallo zusammen,

bin neu hier aber habe schon einen Wunsch für eine Programmergänzung.

Ich nehme mir gerne Serien auf und bearbeite diese mit dem TS-Doctor.

Der Vorgang ist immer derselbe:
Öffnen, warten auf den TS-Doctor, automatische Schnittmarken kontrollieren, zur Batchverarbeitung hinzufügen.
Klappt meistens recht gut, aber kostet Zeit.

Ich würde mir gerne die Wartezeit für die Analyse ersparen.
Daher wäre mein Wunsch, dass die Analysedaten auf die Festplatte speicherbar wären.
Damit wäre eine vorgelagerte Batchverarbeitung für die Analyse denkbar und man muss nicht immer auf das Programm warten.
So in der Art :
1. Öffne alle Dateien der Serie und speichere die Analysedaten.
2. Kontrolle jeder Datei wie oben beschrieben (nur schneller  )
3. Batchverarbeitung

Und wenn sich der TS-Doctor dann auch noch die Antworten auf seine Fragen merkt  (verschlüsselte Blöcke etc.)
und die Batchverarbeitung dann nicht mehr stehen bliebe wäre ich vollends glücklich. 


viele Grüße
dvb-guenni

[Cypheros]

Sorry, sie Analyse ist das Besondere am TS-Doctor. Damit erkennt der TS-Doctor die Hindernisse auf der Stecke und kann ausweichen. Die Analyse ist der aktivste Teil, der ständig weiterentwickelt wird um immer wieder neue Problem zu bekämpfen. Diesen über eine Parameterliste an die Leine zu legen, ist zu diesem Zeitpunkt noch zu aufwendig. Bei jeder kleinen Änderung müsste die Parameterliste geändert werden und dazu ist der TS-Doctor im Moment noch nicht ausgelegt.

Ich hab diesen Wunsch aber für die Zukunft im Hinterkopf.

[Lapje]

Ich klemm mich mal hier drann...^^

Wäre es denn zumindest irgendwie möglich, Dateien im Voraus im Stapel scannen zu lassen? Meiner Meinung nach nimmt das immer noch die meiste Zeit in Anspruch, daher wäre es von Vorteil, wenn man da nicht die ganze Zeit vorsitzen müsste...

Die Daten könnten doch in den Temp-Ordner geschrieben werden und beim erneuten Laden des Files dazugeladen werden...

Nur so ein Gedanke...^^

[Djfe]

das Thema wurde hier schon häufig angesprochen und die Vorteile liegen klar auf der Hand
jedoch ist die Struktur der Analyse, so wie ich das bisher verstanden habe, so aufgebaut, dass es recht komplex ist und ein Neuschreiben großer Teile des Programms erfordern würde (=großer Zeitaufwand)
mehr kann ich dazu auch nicht sagen, da ja nur Cypheros entwickelt

provisorische Lösung:
kann man den Bereich der Analyse nicht getrennt om Programm selbst "instanzieren", sodass man quasi mehrere Dateien in eigenen Tabs gleichzeitig offen haben kann
alle Analysedaten wären dann noch im RAM, nur alle Varaiblen würden zu einer Klasse gehören
man würde dann eine Reihe von Dateien auswählen, die erste wird analysiert, dann arbeitet man mit ihr (Schnitt, etc.), während die zweite analysiert wird, sodass immer eine im Vorraus analysiert wird
das Fixen könnte man dann auch über eine Warteschlange lösen

Probleme:
der Aufwand könnte eventuell der gleiche Sein, als wenn Cypheros die Analyse einfach umschreiben würde, sodass sie mit einem Cache arbeitet
außerdem braucht man eventuell eine Menge RAM und eine Festplatte mit ausreichender Geschwindigkeit, um die Analyse der nächsten Datei und den Schnitt der ersten gleichzeitig ausführen zu können

mein Modell hätte aber auch noch einen weiteren Vorteil neben schnellerem Arbeiten: Multitasking (worüber Cypheros eventuell auch noch nachdenken könnte)

Wünsche für die Zukunft:
Cachen der Analyse (u.a. für Batchverarbeitung)
Multitasking
Mam hatte auch mal von irgendeiner Technik gesprochen Dateien schneller laden zu können, indem der RAM als Cache genutzt wird (kann mich nur noch wage dran erinnern und finde es auch nicht über die Suche, hatte was mit den Begriffen i/o und memory caching zu tun)

[Mam]

Mam hatte auch mal von irgendeiner Technik gesprochen Dateien schneller laden zu können, indem der RAM als Cache genutzt wird (kann mich nur noch wage dran erinnern und finde es auch nicht über die Suche, hatte was mit den Begriffen i/o und memory caching zu tun)

Suche Er nach "memory-mapped-io" 

Aber:
a) das macht es nicht wirklich schneller, denn die Datei muss ja erstmal auf normalen Wege ins RAM rein
b) die Vorteile würden sich beim Doc nicht wirklich stark bemerkbar machen, da er die Dateien ja meist sequentiell liest. Datenbanken usw. profitieren da viel stärker von.
c) viel passt eh nicht rein, 2Gb sind das Maximum für 32Bit Programme (3Gb für 64Bit)

Ehrlich gesagt verstehe ich euer Aufbegehren auch nicht so wirklich, die Scanzeit ist doch im Vergleich zu "neue Datei erstellen" gering. Ich versteh auch nicht, warum man unbedingt tausend Dateien auf einmal bearbeiten will. Ich erledige die Filme der Nacht immer beim ersten Morgenkaffee, das sind dann nur 1-5 oder so, und während des Frühstücks kann sich Handbrake schon mal mit dem Encoden befassen. Und so um 10:00 morgens ist alles fertig und Ruhe ist.

Und Multitasking bringt Dich auch nicht viel weiter, eigentlich gar nicht, es könnte sogar zum totalen Schnarchen führen.
Überleg mal, WO es klemmt?
Ja, richtig, I/O (Festplatte), nicht am RAM, nicht am Prozessor. Multitasking macht der Prozessor, damit könntest Du ihn nur noch öfter darauf warten lassen, dass die schnarchige Platte neue Daten nachschiebt.
Akzeptiert es endlich, dass keine Änderung an der Software euch zu schnellerer I/O Verarbeitung helfen kann. Geht zum nächsten local-hardware-pirate (aaah, "computerladen") und kauft euch ne ordenliche SSD, und auch ein Motherboard, dass entsprechend Gummi auf die SATA Anschlüsse geben kann (Tip: das sind meist NICHT die, für 30€).

[Djfe]

Suche Er nach "memory-mapped-io" 

ach richtig so hieß dat Ding ja

a) das macht es nicht wirklich schneller, denn die Datei muss ja erstmal auf normalen Wege ins RAM rein
b) die Vorteile würden sich beim Doc nicht wirklich stark bemerkbar machen, da er die Dateien ja meist sequentiell liest. Datenbanken usw. profitieren da viel stärker von.

würde es nicht gegen das Stocken helfen, das ich manchmal beim fixen beobachte oder ist mein Prozessor einfach nur zu langsam?
sollte zumindestens die Analyse beschleunigen (weil der Doc bestimmte Dateipunkte ja mehrmals abfragt), doer liege ich da falsch?

c) viel passt eh nicht rein, 2Gb sind das Maximum für 32Bit Programme (3Gb für 64Bit)

diese RAM-Limit lässt sich ganz einfach per bcd-edit aushebeln
http://usa.autodesk.com/adsk/servlet/ps/dl/item?siteID=123112&id=9583842&linkID=9240617

Ehrlich gesagt verstehe ich euer Aufbegehren auch nicht so wirklich, die Scanzeit ist doch im Vergleich zu "neue Datei erstellen" gering. Ich versteh auch nicht, warum man unbedingt tausend Dateien auf einmal bearbeiten will. Ich erledige die Filme der Nacht immer beim ersten Morgenkaffee, das sind dann nur 1-5 oder so, und während des Frühstücks kann sich Handbrake schon mal mit dem Encoden befassen. Und so um 10:00 morgens ist alles fertig und Ruhe ist.

Und Multitasking bringt Dich auch nicht viel weiter, eigentlich gar nicht, es könnte sogar zum totalen Schnarchen führen.
Überleg mal, WO es klemmt?
Ja, richtig, I/O (Festplatte), nicht am RAM, nicht am Prozessor. Multitasking macht der Prozessor, damit könntest Du ihn nur noch öfter darauf warten lassen, dass die schnarchige Platte neue Daten nachschiebt.
Akzeptiert es endlich, dass keine Änderung an der Software euch zu schnellerer I/O Verarbeitung helfen kann. Geht zum nächsten local-hardware-pirate (aaah, "computerladen") und kauft euch ne ordenliche SSD, und auch ein Motherboard, dass entsprechend Gummi auf die SATA Anschlüsse geben kann (Tip: das sind meist NICHT die, für 30€).

sry muss noch bis Anfang 2014 warten 
auch wenns mir selbst wirklich schwer fällt, weil mein Rechner bereits bestimmt 6 Jahre aufm Buckel hat
dann wird das entweder ne SSD mit SATA-Express oder über PCI-Express
denn SATA 600 ist bereits am Limit
hoffentlich führt Samsung bis dahin nvme auch im Konsumerbereich ein (abgespecktes AHCI->weniger Overhead etc. und für nicht physische Speicher optimiert (SSD))
DDR4 kommt auch raus
Intel bringt Haswell-e mit nativen 8 Kernen
Nvidia bringt Cuda 6
AMD kommt mit Mantle
(bin mir noch nicht sicher bei der Graka)
USB 3.1 wird Standard

das mit dem Multitasking ist dann wohl doch eher schlecht, aber wenn der TSD die Analysedaten im Vorraus cachen könnte müsste man nicht immer zwischendurch warten und könnte noch ein Youtubevideo sehen oder Facebook aufrufen etc., während der Doc alle Dateien genauer betrachtet

[Mam]

würde es nicht gegen das Stocken helfen, das ich manchmal beim fixen beobachte oder ist mein Prozessor einfach nur zu langsam?
sollte zumindestens die Analyse beschleunigen (weil der Doc bestimmte Dateipunkte ja mehrmals abfragt), doer liege ich da falsch?

Wenn beim Stocken Dein Professor konstant bei 100% ist, dann ist er zu lahm. Aber das glaube ich nicht.
Stocken sind meistens Überlastungen im I/O System, genaueres kann Dir (nach komplizierter Einarbeitung) Dein Performancemonitor sagen.

diese RAM-Limit lässt sich ganz einfach per bcd-edit aushebeln
http://usa.autodesk.com/adsk/servlet/ps/dl/item?siteID=123112&id=9583842&linkID=9240617

Ja (hüstel  ) mach mal 
Vergess aber nicht, reichlich Kaffee bereitzuhalten, um die Pausen zu überbrücken. Das ist nur ne Softwarekrücke, die fehlenden Adressleitungen werden durch intensives Paging ersetzt. Wenn die Harddisklampe also nicht mehr ausgeht, sondern auch als Notbeleuchtung dienen kann, dann weist Du warum.
Ist aber eher unwahrscheinlich, dass beim Doc irgendwas passiert, denn von diesen potentiellen 3Gb können nur Programme profitieren, die speziell dafür erstellt wurden und entsprechende Bibliotheken eingebunden haben. Ausser ein paar Datenbanken kenne ich keine, und selbst die meinen "WARNUNG! USE AT YOUR OWN RISK!") und raten zur 64Bit Version (die kann die 3Gb wirklich direkt ansprechen).

sry muss noch bis Anfang 2014 warten 
auch wenns mir selbst wirklich schwer fällt, weil mein Rechner bereits bestimmt 6 Jahre aufm Buckel hat
dann wird das entweder ne SSD mit SATA-Express oder über PCI-Express
denn SATA 600 ist bereits am Limit
hoffentlich führt Samsung bis dahin nvme auch im Konsumerbereich ein (abgespecktes AHCI->weniger Overhead etc. und für nicht physische Speicher optimiert (SSD))
DDR4 kommt auch raus
Intel bringt Haswell-e mit nativen 8 Kernen
Nvidia bringt Cuda 6
AMD kommt mit Mantle
(bin mir noch nicht sicher bei der Graka)
USB 3.1 wird Standard

Na ja, die Investition wird dann aber mehr als eine SSD :-)

das mit dem Multitasking ist dann wohl doch eher schlecht, aber wenn der TSD die Analysedaten im Vorraus cachen könnte müsste man nicht immer zwischendurch warten und könnte noch ein Youtubevideo sehen oder Facebook aufrufen etc., während der Doc alle Dateien genauer betrachtet

Kann man so auch schon mit aktueller Hardware (hmm, blick mich um... 6Jahre alt ? ? ? nee, bis auf einen "historischen" Pc von 1996 (386+Coprozessor, glatte 640kb Ram!) gibts hier nix mehr aus der Ära in Betrieb...
Update often 

[Djfe]

das soll ja auch ein komplett neuer Rechner werden
den Rechner jetzt neu aufzusetzen ist mir zuviel Arbeit, weil da so viele Daten drauf sind (sollte vielleicht mal ein Backup machen)
denke auch, dass es an der i/o liegt, dass es manchmal beim Fixen leicht stockt