Batchverarbeitung: Was bringt mir das?

Begonnen von Kusei, November 15, 2019, 12:27:39

« vorheriges - nächstes »

Kusei

Hallo Zusammen,
einige von Euch nutzen die Batchverarbeitung, sicherlich aus guten Grund.
Ich frage mich daher, ob dies auch für mich hilfreich sein könnte und etwas Zeitersparnis bringt.
Ich habe leider noch nicht erkannt, welche Möglichkeiten diese Funktion kann.

Die Aufnahmen erfolgen über Tvheadend meiner NAS.
Anschließend öffne ich mit dem TS-Doctor jeden Film einzeln und es erfolgt:
- Datenanalyse
- Werbeerkennung
- Schneiden des Films
- Erstellung eines geschnittenen Films
und abschließend mittels Xmedia Recode kodieren in eine mp4 Datei.

Welche Arbeit könnte mir die Batchverarbeitung abnehmen?

Mam

Keine  ;D

Das ist mehr was für die Faulen, die monatelang alles auf den Haufen packen und dann "in einem Rutsch" alles an einem Tag durchwursten wollen.

Wenn Du Deine Aufnahmen täglich brav bearbeitest, bist Du "von Hand" schneller und genauer.

(Anmerkung: es gibt hier auf Freaks, die jede Aufnahme in die Batch werfen, anschliessend dasselbe nochmal von Hand machen und die Unterschiede der Ergebnisse ermitteln um dann hier einen auf dicke Hose machen zu können. Man kann seine Lebenszeit allerdings sicherlich auch sinnvoller verbraten als mit sowas)

Snipstream

Zitat von: Kusei am November 15, 2019, 12:27:39
- Erstellung eines geschnittenen Films
und abschließend mittels Xmedia Recode kodieren in eine mp4 Datei.
Warum muss die Dateiendung "mp4" lauten?

MiVaFo

#3
Wenn du mehr als einen Film zu bearbeiten hast, kannst du zunächst für alle Filme der Reihe nach die Schnittpunkte setzen, jedoch ohne den mehr oder weniger zeitaufwendigen Teil "Erstellung eines geschnittenen Films". Du müsstest sonst nämlich jedesmal darauf warten, bis der TSDoctor damit durch ist, um mit dem Bearbeiten des nächsten Films zu beginnen.

Wenn du z.B. für 10 Filme die Schnittpunkte gesetzt hast, kannst du anschließend die Batch-Verarbeitung starten und den Rechner "rödeln" lassen, ohne dich weiter drum kümmern zu müssen.

Anschließend kannst du die 10 geschnittenen Filme z.B. mit Handbrake ebenso in Form einer Batch-Verarbeitung automatisch in mp4-Dateien umwandeln lassen. Mit XMedia Recode hab' ich noch nicht gearbeitet, aber ein kurzer Blick ins Handbuch zeigt so etwas wie "Jobs", das scheint eine vergleichbare Funktion zu sein.


parameter

Zitat von: MiVaFo am November 17, 2019, 19:47:38
Du müsstest sonst nämlich jedesmal darauf warten, bis der TSDoctor damit durch ist, um mit dem Bearbeiten des nächsten Films zu beginnen.
Was für mich persönlich in der Praxis kein Argument ist. Wenn ich mal wirklich"durcharbeiten" will, kann ich auch eine weitere Instanz des TSDoctors öffnen und im Schnitt fortfahren.
TS-Doctor 1.2.184

MiVaFo

ZitatWenn ich mal wirklich"durcharbeiten" will, kann ich auch eine weitere Instanz des TSDoctors öffnen und im Schnitt fortfahren.

Ja, das ist auch eine Möglichkeit, wobei ich in der Praxis dann aber meist mindestens 4 Instanzen nebeneinander brauche, um den Arbeitsfluss nicht ständig unterbrechen zu müssen.

Hat halt den Nachteil, dass dann die "rechnenden" Instanzen (Videoanalyse, Schneiden) diejenige Instanz, in der ich gerade Schnittpunkte setzen will, etwas ausbremsen - nicht unbedingt so, dass man nicht mehr vernünftig arbeiten kann, aber schon so, dass man das als störend empfinden kann. Hängt aber natürlich auch ganz erheblich von der Hardwareausstattung ab (vor allem der Festplatten-Durchsatz scheint mir hier entscheidend), und wieviele Instanzen man wirklich braucht.

Traxx

Ich arbeite schon lange mit 2 TSD Instanzen, das Rohmaterial liegt bei mir auf einer SSD oder M.2 und ziel ist immer eine externe USB3.0 HDD.
entscheidend ist eig. nur das Leselaufwerk also SSD oder M.2 und dann bremst sich nichts aus, und man kann immer flüssig arbeiten & schneiden auch wenn im Hintergrund ein neues File erzeugt wird, und es geht sich immer super aus das ich mit dem Schnittpunkte setzen fertig bin und die andere TSD Instanz das neue File erzeugt hat.
VU+ Solo 4K, Vu+ Duo2, Xtrend ET 10000, Xtrend 7500, TBS-5980 CI

Mam

Zitat von: Traxx am November 18, 2019, 23:46:25
entscheidend ist eig. nur das Leselaufwerk also SSD oder M.2 und dann bremst sich nichts aus, und man kann immer flüssig arbeiten & schneiden auch wenn im

Na ja, generell richtig, aber es gibt eine Obergrenze, wenn man da rankommt, nutzt "bessere" Hardware nicht weiter. Der Doc zieht sich nunmal jedes Bild durch EINE CPU, die Singlecore Leistung begrenzt also meisten den Gesamtdurchsatz. Hier ist es egal, ob ich eine PCIe 4.0 NVMe SSD (5Gb/s), LAN (10Gbit/s), ne SATA SSD (500Mb/s), oder gar nur LAN mit 1Gbit/s als Quelllaufwerk nehme, das Ergebnis ist nahezu identisch. Nur beim 1Gbit/s LAN fällt es etwas ab, mit meiner derzeitigen CPU schafft der Doc so etwa 150Mb/s zu durchforsten.
(wobei der eine Core dann auch glüht).

Da ich dank ausreichender Kühlung noch Übertaktungsreserven hatte, konnte ich bei Experimenten (5,5Ghz Single Core) so 180Mb/s rauskitzeln, das wars dann aber auch (und da ich meine Ohren nicht böse bin, bin ich zurück auf 4,2Ghz).

Aber, mir reicht ein Doc, die anderen 23 CPUs sind mit Handbrake beschäftigt...

Lapje

Zitat von: Mam am November 15, 2019, 16:16:09
Keine  ;D

Das ist mehr was für die Faulen, die monatelang alles auf den Haufen packen und dann "in einem Rutsch" alles an einem Tag durchwursten wollen.

Sorry, aber bei manchen Deiner Threads kann ich nur noch den Kopf schütteln. Auch das was Du in manchen anderen Beiträgen ablässt ist sicherlich nicht wirklich das, was hier in der Netiquette gefordert wird.

Mal davon abgesehen, dass Deine Aussage, von wegen "für Faule" einfach nur Blödsinn ist. Die Batch ergibt in vielen Dingen mehr als Sinn.

Wenn man nach Deiner Arbeitsweise geht, würde man eine Aufnahme in den Doctor laden, die bearbeiten, abspeichern, warten bis fertig, dann zur nächsten. Wenn ich das machen würde, dann würde ich Stunden an meinen Aufnahmen sitzen. Auch das Arbeiten mit mehreren Instanzen ergibt in meinen Augen nur wenig Sinn - Da die Rechenleistung dennoch geteilt werden muss.

Da ergibt die Batch viel mehr Sinn. Aufnahme laden, schneiden, als Batch abspeichern. Das mache ich mit 20 Aufnahmen und lass den Rechner dann rödeln - und muss eben nicht mehr davor sitzen. Spart eine Menge Zeit, die ich mit anderen Dingen verbringen kann.

Wenn man sich mit Batch-Dateien auskennt, kann man sogar noch weiter gehen: Bei mir werden damit die vorbereiteten Aufnahmen geschnitten und bereinigt und anschließend umgewandelt bzw. runtergerechnet. Alles schön in der Nacht, wenn ich den Rechner nicht brauche. Was das mit "Faulen" zu tun hat, weißt sicherlich nur du.

Die Batch nimmt zwar keine Arbeit in dem Sinne ab, kann aber vieles Bündeln und automatisieren - so dass man eben nicht mehr die ganze Zeit vor dem Rechner sitzt. Soviel zum Thema Lebenszeit vernünftig nutzen.

Mam

#9
Zitat von: Lapje am Dezember 15, 2019, 19:44:31
Wenn man nach Deiner Arbeitsweise geht, würde man eine Aufnahme in den Doctor laden, die bearbeiten, abspeichern, warten bis fertig, dann zur nächsten. Wenn ich das machen würde, dann würde ich Stunden an meinen Aufnahmen sitzen. Auch das Arbeiten mit mehreren Instanzen ergibt in meinen Augen nur wenig Sinn - Da die Rechenleistung dennoch geteilt werden muss.
Also, wenn Du "Stunden" damit verbringst, solltest Du vielleicht mal über ein Workflow oder Hardware Update nachdenken. Der Schnitt eines normalen Spielfilms (~8-11Gb Aufnahme) dauert hier keine 20s.
Ich würde länger damit verbringen, eine Batchdatei zu erzeugen. Bis ich die dann angeworfen habe, ist die normale Verarbeitung hier schon durch.

"für Faule" bezog sich darauf, dass man natürlich erstmal so ein Jahr lang aufnehmen kann und sich dann an einem Tag entschließt, den ganzen Kram in einem Rutsch durchzuziehen. Klar, dann ist der Haufen groß und es dauert ewig (gefühlt).

"Die Rechenleistung zu teilen" ist für heutige Rechner ein Witz. Der Doc belegt nur einen CPU Core, ich hab 12 davon, könnte also reichlich Instanzen gleichzeitig anfeuern. Macht aber keinen Sinn, weil der Doc hauptsächlich durch die IO oder Netzwerkleistung begrenzt wird. Mehr Instanzen würden das Problem nur vergrössern. Auch dafür habe ich eigentlich ausreichend Ressourcen vorhanden, aber es bringt nix. Bis ich im 2ten Task die Schnittpunkte gefunden hab, ist der erste schon durch. Reicht gerade um ein oder zweimal am heißen Morgenkaffee zu nippen.

Also, jeden Morgen die Aufnahmen des Vortages vor dem Frühstück schnippeln, In Handbrake werfen (jaa, daaa iss ne Batch, sind ja auch immer dieselben Einstellungen für jedes Video (bzw. es gibt Presets, Formatwechsel sind meist nur einen Mausklick entfernt) und Frühstücken gehen. Wenn man damit fertig ist, sind die Filme auch durch und wollen nur noch an ihren Zielort verschoben werden. Dann noch ein wenig EMBER (Datenbankabrage aus dem Internet, Bilder laden, alles ordentlich umbenennen lassen) und schon zeigt Kodi die neuen Videos mit allen Infos an...

Lapje

Meine Hardware geht Dich erst einmal gar nichts an. Genauso wenig mein Workflow. Beides ist soweit optimiert genug um zu wissen, dass es mit Batch-Dateien in der gesamten Bearbeitungszeit zwar nicht schneller läuft, ich dadurch aber sicherlich weniger Zeit am Rechner verbringe, weil die Wartezeit beim Berechnen und Abspeichern entfällt. Und wenn ich hier einen Großteil des Sonntages schneide rödelt der Rechner nacher noch einmal eine Stunde in der Batch - wenn Du die Zeit vor dem Rechner sitzen willst, bitte. Meine Zeit ist mir dafür zu Schade.

Ach ja, dabei wird zudem aus der AC3-Spur in einem Rutsch zusätzlich noch eine MP3-Spru gemacht und das ganze in einen Container gebracht, den ich mir direkt anschauen kann.

Tja, wenn Du länger brauchen würdest eine Batch-Datei zu erzeugen, dann kann es mit Deinen Fähigkeiten doch nicht so lange her bleiben. Der Speicherprozess ist nicht wirklich anders (außer dass die Zeit für das eigentliche Speichern entfällt) und die Batch-Datei muss nur einmal erstell werden und kann dann immer wieder aufgerufen werden. Und wenn man sich mit Batch-Programmierung auskennt, dann geht auch das in ein paar Minuten.

Und nein, Ich nehme nicht erst "ein Jahr" auf, aber durch dir ganzen Dokus habe ich die 300GB meines Reveivers so jeden Monat voll - die müssen dann erst mal abgearbeitet werden. Wenn Du die Zeit hast Dich jeden Tag darum zu kümmern, bitte, aber Du solltest Dich weniger in den Mittelpunkt rücken, da Du mit großer Wahrscheinlichkeit nicht der Maßstab bist.

Nein, die Rechenleistung teilen ist auch heute für Rechner nicht unbedingt ein Witz. Mal davon abgesehen, dass ich nur für das Schneiden meinen Rechner sicherlich nicht aufrüsten werde - da müssen 4 Kerne mit knapp über 4 gHz, 16 GB und SSD reichen.  Und da merke ich einen Unterschied. Auch das ständige hin- und herswitchen zwischen den Instanzen - das nennst Du einen vernünftigen Workflow?

Weißt Du, bei mir beginnt der Tag um 5 Uhr, dann muss ich mich um unseren Junior kümmern und der Tag endet dann erst frühestens gegen Abend. Wenn Du die Zeit hast das "vor dem Frühstück" zu machen, bitte, aber wenn Du meinst, dass alle vor dem Frühstück Zeit haben müssen, sich unm die Aufgaben zu kümmern - ne, da habe ich wichtigeres zu tun - wie die meisten anderen sicherlich auch.

Mam

Zitat von: Lapje am Dezember 16, 2019, 07:57:48
Meine Hardware geht Dich erst einmal gar nichts an. Genauso wenig mein Workflow. Beides ist soweit optimiert genug um zu wissen, dass es mit Batch-Dateien in der gesamten Bearbeitungszeit zwar nicht schneller läuft, ich dadurch aber sicherlich weniger Zeit am Rechner verbringe, weil die Wartezeit beim Berechnen und Abspeichern entfällt. Und wenn ich hier einen Großteil des Sonntages schneide rödelt der Rechner nacher noch einmal eine Stunde in der Batch - wenn Du die Zeit vor dem Rechner sitzen willst, bitte. Meine Zeit ist mir dafür zu Schade.
Du kannst mit Deiner Zeit machen, was Du willst, auch an Batchläufe verschwenden  ;D

Aber akzeptiere einfach auch mal, dass andere ANDERS "arbeiten" und deshalb den Kram gar nicht benötigen.

Aber keine Angst, ich habe niemals gesagt, "das braucht keiner, das kann weg!", ich hab immer nur gesagt "ICH brauche es nicht!".

So, und nun Schluss mit dem Unsinn!

Lapje

#12
Zitat von: Mam am Dezember 16, 2019, 09:18:15
Aber akzeptiere einfach auch mal, dass andere ANDERS "arbeiten" und deshalb den Kram gar nicht benötigen.

Das solltest Du Dir auf Deine Fahnen schreiben, denn Du versuchst hier anderen einzureden, dass Dein Weg der bessere ist. Und Batchverläufe verschwenden eben nichts. Ich habe nirgends geschrieben, das die generelle Zeit kürzer wird - nur aber die Zeit, die man am Rechner sitzt. Ob ich beim Speicherprozess die "Batch" anklicke (die meist ja dann aktiviert bleibt), macht keinen Unterschied. Nur die Zeit, die Du dann wartest bis Du wieder eine neue Datei lädst, wird auf das Ende gelegt, bei dem man nicht mehr vor dem Rechner sitzt. Wenn ich dadurch 10 Minuten früher was anderes erledigen kann, dann mach ich das so.  Wenn ich beruflich so arbeiten würde, würde mir im Monat einiges Geld durch die Lappen gehen.

Zitat von: Mam am Dezember 16, 2019, 09:18:15
ich hab immer nur gesagt "ICH brauche es nicht!".

Nein, hast Du nicht. Lies Dir noch mal Deinen ersten Beitrag durch, da steht nichts von eigener Meinung. Du bezeichnest Leute, die die Batch nutzen als faul oder wo andere was auf "dicke Hose" machen.  Oder meinst, dass manche über ihren Workflow "nachdenken" sollen ohne zu wissen, wie viel Material sie überhaupt schneiden oder wie dieser ominöse Workflow überhaupt ausschaut.

Andere Nutzer haben da ja auch schon einiges zu geschrieben.

Zitat von: Mam am Dezember 16, 2019, 09:18:15
So, und nun Schluss mit dem Unsinn!

Den hast Du schon in Deiner ersten Antwort geschrieben...

Mam

Also nun reichts langsam!  >:(

Der Mensch hatte um persönliche Meinungen gebeten, ich hab ihm meine genannt.
Andere haben anderes berichtet (und ich hab sie nicht angegriffen).

Nun kommst Du nach nur 6 Wochen unter irgendeinem Stein hervorgekrochen und willst hier Krawall machen!

Du hast Deine Chance zur produktiven Mitarbeit verpasst!
Du hättest ihm vielleicht erläutern können, warum das so toll für Dich ist, hast Du nicht!
Also, seit nun auch still und geh wieder nach Mekka die Sonne putzen oder sowas!

Lapje

Zitat von: Mam am Dezember 16, 2019, 11:35:43
Der Mensch hatte um persönliche Meinungen gebeten, ich hab ihm meine genannt.

Der "Mensch" hat einen Namen. Zudem hat er nicht nach einer persönlichen Meinung gefragt:

ZitatWelche Arbeit könnte mir die Batchverarbeitung abnehmen?

Das ist eine faktische Frage, keine nach einer bestimmten Meinung.

Zitat von: Mam am Dezember 16, 2019, 11:35:43
Nun kommst Du nach nur 6 Wochen unter irgendeinem Stein hervorgekrochen und willst hier Krawall machen!

Ah, selbst sich hier so oft im Ton vergreifen und dann so dünnhäutig sein? tststs....

Zitat von: Mam am Dezember 16, 2019, 11:35:43
Du hast Deine Chance zur produktiven Mitarbeit verpasst!

Wer legt das fest? Du? Ich konnte zumindest in Deinen Posts nichts produktives erkennen. Da haben andere viel mehr geschrieben, was man mit einer Batch alles machen kann - und das ganz ohne andere zu beleidigen.

Zitat von: Mam am Dezember 16, 2019, 11:35:43
Du hättest ihm vielleicht erläutern können, warum das so toll für Dich ist, hast Du nicht!

Mit Deinem Textverständnis scheint es wohl nicht weit her zu sein. Schau einfach mal in meiner Beiträge Dezember 15, 2019, 19:44:31 und Heute um 07:57:48, da erläutere ich mehrfach wo die Vorteile für mich liegen.

Zitat von: Mam am Dezember 16, 2019, 11:35:43
Also, seit nun auch still und geh wieder nach Mekka die Sonne putzen oder sowas!

Wow, jetzt bin ich aber geplättet....nicht wirklich. Nur warum habe ich bei Dir nichts anderes erwartet?


www.cypheros.de