Handbrake, wäre das was für uns?

hi

kurze frage

koenne mal jemand mir ein ls -la in einem aufnahme verzeichnis posten ?
komme nicht an meinen vdr aus der ferne dran.

bitte eine aufnahme mit standart parameter des vdr ( sprich keine ueberlangen ts files , sondern
die default variante )

so desweiteren habe ich mir einen "schlachtplan" zurecht gelegt.

basered darauf das ich meinen neuen vdr kommendes we fertig habe.

testen meiner neuen version.

* im kern ist diese fuer lesbarkeit und im rahmen von perlcritic -1 ueberarbeitet.
* es gibt eine neue datei Vdrtranscode.pm die einige functionen enthaellt die ,
entweder ausgelagert sind , oder zur vereinfachung dort liegen , oder in doppel gebrauch ist
fuer server und das cuted script ( z.b. config ).
* desweiteren wird es dann , hoffentlich , moeglich sein die aufnahmen mit den standart
paramentern vom vdr zu verarbeiten , sprich es weden dann die 001.ts ... verwendet ( keine grosse
datei mehr noetig )
hierfuer wird keine zusaetzliche software benoetig sondern es wird binaer (raw ) die einzelnen
dateien zu einer grossen zusammen gefuegt. ( zumindesten ist das die idee dahinter )

* testen bezueglich thema links.
* wirklich neue keine neuen funktionen.
* neue startoptionen ( configfile kann angegeben werden )

sobald die tests und die daraus resultierenden korrekturen abgeschlossen sind wollte
ich das dann veroeffentlichen .
( wie mach ich das am besten ? habe ja keinen zugriff auf das wiki ? )

faup ich kann dir gerne das was ich aktuell gemacht habe vorab schicken.

holger

voila:

root@silverstone:/video/video.00/Green_Day___Live_at_Fox_Theatre/2010-05-02.02.10.30-0.rec# ls -la
insgesamt 4083104
drwxr-xr-x 2 vdr vdr 72 2010-05-02 10:18 .
drwxr-xr-x 3 vdr vdr 38 2010-05-02 02:10 ..
-rw-r--r-- 1 vdr vdr 2097474264 2010-05-02 02:46 00001.ts
-rw-r--r-- 1 vdr vdr 2082767212 2010-05-02 03:20 00002.ts
-rw-r--r-- 1 vdr vdr 839688 2010-05-02 03:20 index
-rw-r--r-- 1 vdr vdr 2036 2010-05-02 02:10 info
-rw-r--r-- 1 vdr vdr 8 2010-10-18 22:16 resume

'marks' hats da noch keine.

Zitat

Original von mark05
hi

sobald die tests und die daraus resultierenden korrekturen abgeschlossen sind wollte
ich das dann veroeffentlichen .
( wie mach ich das am besten ? habe ja keinen zugriff auf das wiki ? )

faup ich kann dir gerne das was ich aktuell gemacht habe vorab schicken.

holger

Alles anzeigen

Jeder kann im Wiki editieren, meinen Webspace für die Pakete hab ich da bei funpic kostenlos.
Lad doch mal dein Paket auf einen Hoster und schick den Link rum, veröffentlichen kannst du's ja als fork auf der Wiki Site .-)

Grüße vom Alex

moin,

mal ein lebenszeichen von mir ...

ich gehe nun in das 2te wochenende zum testen ....
mittlerweile hat sich etliches geaendert ...... und es gibt schon ein paar kleines und groessere ideen zum einbauen.

die aenderungen:

es wird zwingend

Proc::Daemon

version 0.09 benoetigt ( ggf muss dann cpan --upgrade

Proc::Daemon

eingegeben werden.

Getopt::Long 
Logfile::Rotate

wird nicht mehr benoetigt

Readonly 
File::Glob
Sys::Syslog

werden benoetigt und sollten eingentlich ueberall installiert sein da diese zu den core modulen von perl gehoert.

das script
vdrtranscode_touch_cuted_flag.pl
weicht
vdrtranscodeadm.pl

saemtliche ausgaben werden nun via syslog gemacht oder nach STDOUT (wenn proccess im vordergurnd laeeuft )
das hat den vorteil das man sich nicht um dinge wie logrotate kuemmern muss da vom system gemacht .
und man logs da wo man am ehesten sucht.

man arbeitet nicht mehr mit den orginal dateien der aufnahme.
man muss den vdr in seinen aufnahme einstellungen ,was die datei betrifft , nicht mehr verstellen ( thema 0001.ts 00002.ts etc )

ich habe intern sehr viel um strukturiert hin zur object orentierung.
dafuer gibt es nun Vdrtranscode.pm ; vorteil besseres debugging , uebersichtlicher.

das file haendling habe ich veraendert und vereinfacht so das ich die vielen regex aufrufe zum manipulieren der dateiname etc reduzieren konnte.

es wird handbrake nur noch 2x aufgerufen .
1x zum analysieren ( mit zusaetzlicher option -- scan )
und
1x zum transcodieren.

das ist 1x weniger.

es gibt nun ein mehrstufiges abarbeiten fuer einzelene schritte. diese koennen entweder per hand oder via osd ( wenn eingetragen ) angetriggert werden
dafuer wird das vdrtranscodeadm.pl verwendet ( in beiden faellen ).

grundsaetzlich wird weiterhin das in dir video.00 gescannt, jedoch nach einer datei namens
vdrtranscode.xml
ist diese in den aufnahme verzeichnissen nicht vorhanden wird sie angelegt , nach auswertung von info bzw info.vdr ; wenn die aufname beendet ist .
( betrechnet aus aktueller zeit und den angaben aus info.vdr )
dies ist der status "offline"

wenn nun mehrere aufnahmedateien vorhanden sind , wovon ich beim default setting vdr ausgehe , muss man diese joinen dafuer kann man im osd joinfiles
anwaehlen.

dies wird dann der status "joinfiles" und der daemon startet diese aufgabe wenn er nix zu transcodieren hat.
hierbei ist wichtig ... es wird eine zieldatei vdrtranscode.ts erstellt , im jeweiligen aufnahme verzeichniss, nur wenn diese datei vorhanden ist koennen alle weitere schritte
gemacht werden.

nachdem joinfiles gemacht wurde via ,osd oder hand , wrid der
status online gesetzt .
nun kann man via osd oder per hand dei bekannten optionen setzen wie gehabt .
ist dies geschehen wechselt der status auf ready

sobald der daemon diesen status sieht startet er den transcodier proccess und aendert den status auf proccessing und nach abschluss auf transcodedone,
und startet de rename proccess.

status offline und transcodedone werden nicht weiter mehr vom daemon verarbeitet.

das ganze geschieht gegen die datei aufnahmeverz/vdrtranscode.xml in die zeile <status>xxx</status> somit ist sichergestellt das selbst bei einem abbruch / absturz
des damons immer der letzte status vorhanden ist und wieder hergestellt werden kann beim neustart.

was ich noch kurzfristig einbauen will
- config option ob local oder remote transcodiert werden soll , hat im kern den hintergrund das mit dem neuen system auch 2te oder 3te rechner transcodieren koennen,
jedoch das gesteuert werden loal steht dann das der jeweilige rechner um rechnenen soll , remote ( wird dann eingenlich nur auf dem vdr selber , vorraussichtlich, gesetzt ) das local
nicht gerechnet werden soll.
- config option cpucores auto anzahl der zu verwendenen cpu cores von handbrake. auto wuerde dafuer stehen das immer die max anzahl der cpu core - 1 zum transcodieren
verwendet wird. z.b. bei einer quad cpu 3 cores.
somit wuerde ich sicherstellen das andere proccesse immer 1 cpu zu verfuegung haben zum arbeiten.

was ich noch langfristig einbauen will
es gibt ein perl modul welches mir , vorreaussichtlich . ermoeglich ts dateien weiterzu verarbeiten z.b. anhand der in marks.vdr vorhanden schnittmarken die datei zu schneiden.

aktuell habe ich noch 2 verstaendniss probleme
a: warum crop berechen wenn handbrake eine autocrop option hat ?
b: warum wird start und stop zeit mal fps gerechnet ?

testen

was extremst getestet werden muss ist das ergebniss des joinfiles da ich hier binaer die dateien zusammen kopiere .
das ganze ist aus der therorie herraus enstanden und funktioniert technisch auch , jedoch habe ich noch keinen ahnung ob der inhalt das auch problemlos verkraftet.

wenn meine funktionalen test am we gut gehen gibt es naechste woche neuen software , gerne wuerde ich diese aber erstmal an leute
verteilen die ein wenig ahnung haben um so das debugging besser zu gestalten.

faup
du solltest anhand der beschreibung gemerkt haben das ich eigentlich dein ganzes konstrukt umgebaut habe.
es sind nur noch teil fragmente da , gerade in dem bereich wo es an optionen fer handbrake geht bzw wo dinge berechnet werden.

ich hoffe du bist mir nicht boese

holger

Auf die Schnelle, wo kann man sich deine Sachen runterladen und anschauen ?

Grüße vom Alex

PS : Ich bin dir nicht böse, super wenn jemand so intensiv herangeht und weiterscriptet, so soll Open Source ja sein.
Ich scripte ja nicht für Ruhm und Ehre, sondern für alle, die es ( auch ) brauchen können

hi

ist hier jemand der sich mit hand brake auskennt ?

-b ist ? kbps oder kbit / sekunde

mir macht die umrechnnungs routine echt kopfzerbrechen da mit verschiedenen zahlen arten ( kbps kbit , byte , etc ) gearbeitet wird.

z.b. warum muss man dne -b wert neu berechen wenn ich a einen default von 1000 Kb /s von handbrake habe und b:
einen 2ten wert via config vorgebe. ?

holger

Zitat von gda

Hä?

Gerald

text korregiert;)

Zitat von mark05

-b ist ? kbps oder kbit / sekunde

von : https://trac.handbrake.fr/wiki/CLIGuide
-b or --vb: allows you to set an average output video bitrate in kilobits per second

Zitat von mark05

mir macht die umrechnnungs routine echt kopfzerbrechen da mit verschiedenen zahlen arten ( kbps kbit , byte , etc ) gearbeitet wird.

z.b. warum muss man dne -b wert neu berechen wenn ich a einen default von 1000 Kb /s von handbrake habe und b:
einen 2ten wert via config vorgebe. ?

aus README :
Die resultierenden Videos werden vor der Komprimierung in der Video Datenrate etwas feinjustiert, um runde Filegrößen zu bekommen.

z.B. aus vdrtranscode_server.log :
-> $probe_memory_ammount_Mbyte 532
-> $round_memory_ammount_Mbyte 525
-> $round_memory_ammount_video_kbit_sec 1208

Um schön runde Filegrößen zu bekommen wird also nachjustiert. Hier war z.B. HQ = 1200 aus der config vorgegeben.
Um die Sache genau zu machen, wird nachgerechnet, wie groß das/die Audio(spuren) nun wird/werden und die Videogröße angepasst.

Natürlich kann man auch fest 1000 kbit eingeben, dann aber eher -q 21 nach : https://trac.handbrake.fr/wiki/ConstantQuality

soweit , so kurz

Grüße vom Alex

moin moin,

kurzer stand ... umrechnen, transcodieren ist getestet ( mit first und oder all tracks ) und ok.

zz acker ich an dem thema marks und start bzw end .-zeitpunkt.

nun ist es ja so das markad oder noad auch ihr punkte dort hinein schreiben und ich es aktuell so habe das alles marks beachtet werden ( sollte ) und einzelne bloecke aus dem
source .ts file raus rechnet.

wie macht ihr das ?
nutzt ihr markad , noad oder aehnliche plugins ?

aktuell ist es so
*wenn marks nicht existiert wird die gesamte .ts datei transcodiert.
*wenn marks existiert , werden die enthalten schnittpunkte verwendet , und einzelne transcodier files erstellt , diese muessen dann wierder gejoint werden.
hierbei ist natuerlich das problem dass aktuell nicht zu sehen ist ob der block nur restwerbung ist ( z.b. nachlauf ) .

der join solcher files kann ueber die gleiche routine gemacht werden wie der join der aufnahme 000x.ts dateien.
jedoch nach welchen kriterien ?

z.b. man schaut sich die einzelenen bloecke an und loecht die dateien die nicht zum film gehoeren , danach ein join getriggert vom osd aus bzw vdrtranscodeadm.pl

fragen ueber fragen
aber es wird.

holger

Mahlzeit,

Großes Lob vorweg, mit den Scripten wird die Handbrake Integration praktikabel umgesetzt.

Zitat

wie macht ihr das ?
nutzt ihr markad , noad oder aehnliche plugins ?

Noad läuft automatisch über die Aufnahme, bislang archiviere ich im geschnittenen original Format - d.h. ich gehe vor dem schneiden einmal drüber und kontrolliere bzw. setzte die Schnittmarken richtig. Bei eine Aufzeichnung vom öffentlich rechtlichen Sender vor und nach der Sendung. Dann drücke ich 2 und wenn der Schnittfertig ist lösche ich die ungeschnittene Aufnahme - fertig.

Das würde dann wegfallen, wenn die Schnittmarken richtig sind - gehts gleich mit Handbrake weiter

Werde mir die Scripte auch mal installieren und testen!

Munter bleiben, Rossi

Der eigentliche Sinn des Konvertiervorgangs ist ja die Datenreduktion bei "gleichbleibender" Qualität. Ich glaub kaum das es Sinn macht, ungeschnittene Aufnahmen zu konvertieren. Von daher gehe ich davon aus, dass lediglich bereits geschnittene Aufnahmen oder Aufnahmen mit bereits kontrollierten Schnittmarken zu konvertieren sind. noad und markad setzen die Marken zwar schon relativ gut, aber eine nachträgliche Kontrolle ist bei beiden immer nötig.

Gruß
iNOB

Ich setze und kontrolliere Schnittmarken mit noad immer per Hand, und schneide dann auch mit noad. Nach dem Schneiden sind die Blöcke, die raus sollten, ja weg - die Schnittmarken sind aber noch da; an der Stelle eines herausgeschnittenenen Stücks sitzen sie somit 'doppelt' - das stört mich, weshalb ich eh mindestens eine Marke davon entferne. Die Marken, die dann übrigbleiben, und auch andere, nochmals zusätzlich per Hand gesetzte Marken, verwende ich dann nicht mehr zum Schneiden, sondern - so habe ich das bisher immer mit vdrconvert/burn und dem Erstellen von DVD's gemacht - als Sprungmarken.

Bedeutet: Schneiden mit noad, und die Marken, die danach an das Konvertierprogramm gehen, sollen von diesem ausschließlich als Sprungmarken benutzt werden.

Hintergrund ist der, dass ich sehr gerne Musikkonzerte aufnehme und Sprungmarken für jeden Song setze.

Gruß

Hi,

Wenn ich nun davon ausgehe das alle schittmarken ,die automatisch generierten und per hand gesetzten , in der marks datei wiederzufinden sind sollte ich die auch verwenden um aus dem
raw film mir die einzelnen bloecke raus transcodieren und dann die einzelnen bloecke wieder
zusammenfuegen hum so dann den fertigen film zu bekommen.

Koennte mir jemand mal eine marks datei posten wo manuell geschnitten wurde?

Holger

marks1: 4 Schnittmarken handisch in eine Aufnahme gesetzt (bisschen was vom Anfang und Ende weg, und in der Mitte einen Block rausgeschnitten). Aufnahme noch nicht geschnitten.
marks2: Aufnahme geschnitten.

Gruß

frohe ostern ...

mal ein kleines update von mir ...

der transcodier proccess laeuft jettzt komplett durch so ich mir das vorstelle.

wenn eine marks datei , mir entsprechenden eintraegen vorhanden ist , wird diese ausgewertet , und zum transcodieren verwendet.
dh. die errechneten start und end frames des einzelenen cuts werden an handbrake ebergeben so das handbrake auch nur diesen abschnitt jeweils transcodiert.
somit ist ein vorrab erstellen einer video datei anhand der schnittmarken nicht noetig.

wenn handbrake nun fertig ist gibt es entsprechend der schnittmarken ein anzahl X videofiles.
diese kann man nun sich ansehen oder ggf loeschen bevor man den letzten , neuen , schritt macht "rename" .

hierbei werden dann die gerechneten dateien zusaemmen gefuegt und entsprechend umbenannt.

das habe ich aktuell noch manuell jedoch koennte man das natuerlich auch automatich machen wenn man nicht die moeglichkeit der jeweiligen kontrolle , nach bearbeitung haben will.

was noch fehlt ist der rename teil , bzw ist noch nicht fertig.

aktuell habe ich das ganze mit diversen aufnahmen getestet , und sieht mittlerweile recht gut aus.

ich will nur noch mal die situation durch testen wenn es keine marks datei gibt , dann sollte er ja die komplette aufnahme transcodieren.

also mit etwas glueck und zeit koennte es eine oeffentliche 1 mai version geben.

holger

hi
nach etwas laengerer zeit mal wieder ein update von mir.

nachdem ich eigentlich fast durch war hat mich faup aufgeklaert da man fertige mpg4 files nicht einfach zusammen fuehren kann
da dann einiges nicht funktioniert okder kaputt geht , um das vereinfacht aus zu druecken.

nun musste ich das ganze thema umbauen wo faup mir auch die entsprechenden hinweise zu gegeben hat.

nun wir aus den rohdaten ( 0000x.ts ) eine vdrtranscode generiert in der die schnittmarken entsprechend verarbeitet werden,
und ggf files zusammen gefuehrt falls zwischen schnittmarke 1 und 2 mehre files dazischen liegen.

aktuell habe ich weitgehenst alles getestet und noch 2 kleiner bugs.

a: umbennung des fertigen transcode files vom tmp name zum endgueltigen namen.
b: der geforkte transcodier proccess beendet sich nicht nach dem handbrake fertig ist.

beides keine groessen dinge sollte recht zuegig gefixt sein.
danch ist das ding bereit fuer einen public beta test.

wichtig ist hier nochmal zu sagen das die orginal dateien vom vdr nur gelesen werden.

habe jetzt schon wieder einige ideen um das ding noch zu verbessern .
funktional sollte der stand ,wie ich ihn jetzt habe ,als release features zu sehen sein.

unter der haube gibt es noch eingiges zu verbessern optimieren was dann als bugfix relasese rauskommt.

ich werde mir im laufe der woche einige fertige film anschauen , um zu sehen ob das ergebniss wirklich verwendbar ist .

holger

hi

so ... es kann los gehen.

wer hat lust BETA tester zu spielen ?

ich habe alles soweit fertig das man loslegen kann .

bevor ich es ganz veroeffentliche wuerde waehre es mir lieb wenn einige versierte leute vorab testen.
wichtig ist im kern richtig logs zu lesen und ensprechen zu komunizieren.

aktuell gibt es noch keine changelog und kein readme da im prinzip sich das gesamte prg veraendert hat.

holger

Zitat

wer hat lust BETA tester zu spielen ?

Erkläre mich bereit das zu tun. Würde meinen vdr1 bzw. dessen CPU quälen

Munter bleiben, Rossi

hi

also

die software runterladen http://www.glaessixs.de/~glaess/vdrtranscode_beta-1.tgz

installation

im kern wie bei der software von faup

a: backup der alten dateien machen

b: files aus dem tgz an die entsprechende stelle kopiern . ( ausser contrib , und ggf etc/inet/init.d )
c: cpan upgrade Proc::Daemon ! WICHTIG
d: die command-hooks datei anpassen oder ggf ersetzten , jenachdem wie es einem besser passt.
zum testen ist das nicht zwingend da vdrtranscodeadm.pl auch per hand verwendbar ist , beispiele aus der reccmds.vdrtranscode.conf zu entnehmen.
wichtig ist hierbei zum schluss immer das jeweilige zu verarbeitetende verzeichnis anzugeben z.b. /var/video.00/meinfilm/meindatum und das das adm prg als vdr user verwendert wird.

e: es gib im contrib 2 scripte die das starten und verwenden von server und adm vereinfacht wenn man hier den config path anpasst ( zur vdrtrancode.conf )
muss man nicht zwingend sein etc/init etc/init.d verzeichnisse veraendern.

f; config anpassen ( das uebliche halt , hier gibt es eine option setcpu die aktuell auf manual steht . ggf anpasen oder auskommentieren dann nimmt handbrake das was es bekommen kann. )

soll der server im vordergund starten option -f
soll der server mehr ausgabe produzieren opion -v ... hierbei kann man auch mehre v angeben was den output level erhoeht.

es wird nach syslog geloggt wenn der server als daemon laeuft. man sollte dann mal , in der regel , /var/log/messages sich anschauen

ausserhalb von den core modulen werden verwendet

Proc::Daemon
File::Find ( sollte schon vorhanden sein )
Readonly ( wobei ich hier nicht verstehe warum debian das als seperates packet anbietet )

und Vdrtranscode sowie Vdrtranscodeio beide werden mitgeliefert und sollten im gleichen path wie der server liegen , oder wer moechte im perl path fuer module vom system.

checkt bitte ob ihr ein perl 5.10 habt perl -V sollte eigentlich sein lenny der fall sein.

ich bin dann auch ggf via skype erreichbar holger_glaess

es fehlt natuerlich noch docu aber das kommt jetzt nach und nach in der beta phase

holger