[Announce] vdrTUBE 0.2.3b

gonz · 20. Dezember 2007

Hallo Tiroler,
Hallo Leppenraub,

vielen Dank fuers Testen - langsam kommen wir der Sache auf die Schliche

Die Theorie mit dem "kill" war also wohl so falsch nicht. Fuer mich sieht es so aus als ob irgendwas externes den ffmpeg Prozess abschiesst (und zwar brutal mit Signal 9). Auffaellig ist, dass Ihr beide als Basis offenbar c't-VDR einsetzt. Gibt es da eventuell irgendeinen "Watchdog" oder aehnliches, der Prozesse bei zu hohem CPU und/oder RAM-Verbrauch abschiesst?

Was man nochmal probieren koennte waere anstatt dem mitgelieferten ffmpeg das von c't VDR auszuprobieren. Hierzu geht man wie folgt vor:

Ausfuehren von "which ffmpeg" um festzustellen wo das ffmpeg Binary der Distribution ist (vermutlich /usr/bin/ffmpeg)
Editieren von subs/config.pl.basics

Ersetzen der Zeile mit

Code

our $ffmpeg            = $vdrtube_path . "/sources/ffmpeg/ffmpeg";

durch

Code

our $ffmpeg = "/usr/bin/ffmpeg";

(bzw. dem Pfad aus Schritt 1)

Nochmal ausprobieren

Interessant waere noch ob andere c't-VDR Benutzer vdrtube einsetz

Vielen Dank fuer Eure Unterstuetzung!

cu
gonz

leppenraub · 20. Dezember 2007

Hallo gonz,

wegen watchdog bin ich überfragt, alternatives ffmpeg habe ich mit einer komplett frischen vdrtube-Version versucht:

Code

Ananas:/var/www# wget http://aggreg.at/vdrtube/vdrtube-0.2.1b.tar.gz
--19:41:31--  http://aggreg.at/vdrtube/vdrtube-0.2.1b.tar.gz
           => `vdrtube-0.2.1b.tar.gz'
Auflösen des Hostnamen »aggreg.at«.... 62.75.166.48
Verbindungsaufbau zu aggreg.at[62.75.166.48]:80... verbunden.
HTTP Anforderung gesendet, warte auf Antwort... 200 OK
Länge: 4,651,550 [application/x-tar]


100%[=========================================================>] 4,651,550      1.67M/s


19:41:35 (1.67 MB/s) - »vdrtube-0.2.1b.tar.gz« gespeichert [4651550/4651550]


Ananas:/var/www# tar xzf vdrtube-0.2.1b.tar.gz
Ananas:/var/www# cd vdrtube-0.2.1b
Ananas:/var/www/vdrtube-0.2.1b# perl vdrtube.pl /var/lib/video.00/Michael_Mittermeier#3A_Paranoid/200          7-12-16.15.10.50.50.rec/
   INFO: unknown: Create_Webtree_if_needed: /var/www/vdrtube-0.2.1b/webtree does not exist - creating          .
   INFO: 10001: Get_latest_ID: got id 10001.
   INFO: : Check_if_fine_title_exists_in_index: recordings.csv yet to be created.


   INFO: 10001: Get_Aspect_and_Final_Resolution: aspect ratio is 4 : 3.
   INFO: 10001: Get_Aspect_and_Final_Resolution: orig.resolution is 720 x 576.
   INFO: 10001: vdrtube: final resolution is 360 x 270.
   INFO: 10001: vdrtube: calling indexer.pl.
   INFO: 10001: indexer: 10001-mini.jpg does not exist!
   INFO: : filmstrip: creating owl.html.
   INFO: 10001: vdrtube: creating preview image.
   INFO: 10001: vdrtube: got  audiostreams.
   INFO: 10001: vdrtube: creating mini image.
   INFO: 10001: vdrtube: using single-pass encoding.
   INFO: 10001: vdrtube: found  audio streams.
   INFO: 10001: vdrtube: ... please have a look at the FAQ if you don't like the first one.
   INFO: 10001: vdrtube: fine, now converting movie... (this may take some time)
      you can start to watch the movie which is already linked in index.html.


      the process is beeing recorded at /tmp/vdrtube.log.10001.5970
      to watch it do something like
          tail -f /tmp/vdrtube.log.10001.5970


   INFO: 10001: vdrtube: ffmpeg returned with exit code 35072.
   INFO: 10001: vdrtube: calling indexer..
   INFO: : filmstrip: creating owl.html.
Modification of non-creatable array value attempted, subscript -1 at subs/randomize_array.sub line 7.
Ananas:/var/www/vdrtube-0.2.1b# mcedit ./subs/config.pl.basics


Ananas:/var/www/vdrtube-0.2.1b# perl vdrtube.pl /var/lib/video.00/Michael_Mittermeier#3A_Paranoid/200          7-12-16.15.10.50.50.rec/
   INFO: 10002: Get_latest_ID: got id 10002.
   INFO: 10002: Get_Aspect_and_Final_Resolution: aspect ratio is 4 : 3.
   INFO: 10002: Get_Aspect_and_Final_Resolution: orig.resolution is 720 x 576.
   INFO: 10002: vdrtube: final resolution is 360 x 270.
   INFO: 10002: vdrtube: calling indexer.pl.
   INFO: 10002: indexer: 10002-mini.jpg does not exist!
   INFO: : filmstrip: creating owl.html.
   INFO: 10002: vdrtube: creating preview image.
   INFO: 10002: vdrtube: got  audiostreams.
   INFO: 10002: vdrtube: creating mini image.
   INFO: 10002: vdrtube: using single-pass encoding.
   INFO: 10002: vdrtube: found  audio streams.
   INFO: 10002: vdrtube: ... please have a look at the FAQ if you don't like the first one.
   INFO: 10002: vdrtube: fine, now converting movie... (this may take some time)
      you can start to watch the movie which is already linked in index.html.


      the process is beeing recorded at /tmp/vdrtube.log.10002.6561
      to watch it do something like
          tail -f /tmp/vdrtube.log.10002.6561


   INFO: 10002: vdrtube: ffmpeg returned with exit code 256.
   INFO: 10002: vdrtube: calling indexer..
   INFO: : filmstrip: creating owl.html.
Modification of non-creatable array value attempted, subscript -1 at subs/randomize_array.sub line 7.
Ananas:/var/www/vdrtube-0.2.1b#

Alles anzeigen

256? Hmn, öfter 'mal 'was Neues Findet man irgendwo eine Beschreibung der exit codes - man eventuell?

EDIT: Log vergessen, klingt nun interessanter:

Code

cat \/var\/lib\/video\.00\/Michael_Mittermeier\#3A_Paranoid\/2007\-12\-16\.15\.10\.50\.50\.rec\//[0-9][0-9][0-9].vdr | /usr/bin/ffmpeg  -i - -b 400 -ar 44100 -ab 128 -f flv -ac 2 -s 360x270 '/var/www/vdrtube-0.2.1b/webtree'/10004.flv  >>/tmp/vdrtube.log.10004.11697 2>&1FFmpeg version CVS, Copyright (c) 2000-2004 Fabrice Bellard
  configuration:  --enable-gpl --enable-pp --enable-pthreads --enable-vorbis --enable-libogg --enable-theora --enable-a52 --enable-dts --enable-dc1394 --enable-libgsm --disable-debug --prefix=/usr
  libavutil version: 0d.49.0.0
  libavcodec version: 0d.51.8.0
  libavformat version: 0d.50.4.0
  built on May 13 2006 18:42:32, gcc: 3.3.5 (Debian 1:3.3.5-13)
pipe:: Unknown format

Gruß, leppenraub

gonz · 20. Dezember 2007

Hallo Leppenraub,

256 entspricht Returncode 1 (muss hier wie gesagt nachbessern, perl handhabt das bei System-aufrufen etwas "seltsam"). Leider habe ich fuer ffmpeg bisher keine Liste von Returncodes gefunden. Ich schlage vor wir verfahren wie zuletzt: Ausfuehren von ffmpeg direkt und schauen welchen Fehler es diesmal spuckt. Ganz offensichtlich gibt es aber ein Problem mit dem mitgelieferten ffmpeg welches nur bei sehr wenigen Konfigurationen aufzutreten scheint.

Um herauszufinden welches Problem nun das lokale ffmpeg hat waere folgendes Kommando (naemlich das aus dem Log ohne die Umleitung nach /dev/null) nochmal interessant direkt auszufuehren:

Code

cat \/video\/ZDF_Expedition\/2007\-03\-25\.19\.20\.99\.99\.rec\//[0-9][0-9][0-9].vdr | /usr/bin/ffmpeg  -i - -b 400 -ar 44100 -ab 128 -f flv -ac 2 -s 360x202 '/root/vdrtube-0.2.1b/webtree'/test.flv

Bitte ggf. Aufnahmenahmen entsprechend anpassen. Ich hoffe dann sehen wir welches Problem das lokale ffmpeg nun hat.

Danke!

cu
gonz

leppenraub · 20. Dezember 2007

Also quasi so !?

Code

Ananas:/var/www/vdrtube-0.2.1b# cat \/var\/lib\/video\.00\/Michael_Mittermeier\#3A_Paranoid\/2007\-12\-16\.15\.10\.50\.50\.rec\//[0-9][0-9][0-9].vdr | /usr/bin/ffmpeg  -i - -b 400 -ar 44100 -ab 128 -f flv -ac 2 -s 360x270 '/var/www/vdrtube-0.2.1b/webtree'/test.flv
FFmpeg version CVS, Copyright (c) 2000-2004 Fabrice Bellard
  configuration:  --enable-gpl --enable-pp --enable-pthreads --enable-vorbis --enable-libogg --enable-theora --enable-a52 --enable-dts --enable-dc1394 --enable-libgsm --disable-debug --prefix=/usr
  libavutil version: 0d.49.0.0
  libavcodec version: 0d.51.8.0
  libavformat version: 0d.50.4.0
  built on May 13 2006 18:42:32, gcc: 3.3.5 (Debian 1:3.3.5-13)
pipe:: Unknown format
Ananas:/var/www/vdrtube-0.2.1b#

gonz · 20. Dezember 2007

Hi Leppenraub,

also Dein Debian ffmpeg kann wohl entweder mpeg2 (unwahrscheinlich) oder flv (wahrscheinlich) nicht verarbeiten. Ziel sollte es aber ohnehin sein dass mitgelieferte zum rennen zu bringen. Wenn ich nur wuesste warum das gekillt wird.. Vielleicht kommen wir dem ganzen mit strace auf die Schliche.

Wenn Du sowas wie

Code

cat \/var\/lib\/video\.00\/Michael_Mittermeier\#3A_Paranoid\/2007\-12\-16\.15\.10\.50\.50\.rec\//[0-9][0-9][0-9].vdr | strace -f -o /tmp/strace.log /usr/bin/ffmpeg  -i - -b 400 -ar 44100 -ab 128 -f flv -ac 2 -s 360x270 '/var/www/vdrtube-0.2.1b/webtree'/test.flv

auf der Konsole bedienst solltest Du danach ein (eventuell laengliches) /tmp/strace.log erhalten.

Koenntest Du dies mal anhaengen?

cu
gonz

gonz · 20. Dezember 2007

Sorry, natuerlich statt /usr/bin/ffmpeg das /var/www/vdrtube-0.2.1b/sources/ffmpeg/ffmpeg verwenden

leppenraub · 20. Dezember 2007

OK, das sagt strace:

Code

Ananas:/var/www/vdrtube-0.2.1b# tail -f /tmp/strace.log
27632 brk(0)                            = 0x809d000
27632 brk(0)                            = 0x809d000
27632 brk(0x8085000)                    = 0x8085000
27632 brk(0)                            = 0x8085000
27632 brk(0)                            = 0x8085000
27632 brk(0)                            = 0x8085000
27632 brk(0x807d000)                    = 0x807d000
27632 brk(0)                            = 0x807d000
27632 write(2, "pipe:: Unknown format\n", 22) = 22
27632 exit_group(1)                     = ?


Ananas:/var/www/vdrtube-0.2.1b#

Alles anzeigen

...mit zurückgewechseltem ffmpeg.

gonz · 20. Dezember 2007

Koenntest Du das strace.log mal komplett anhaengen oder mir via PN oder sonstwie zukommen lassen?

Danke,
gonz

Tiroler · 21. Dezember 2007

Hallo gonz!

Also bei liegt's definitiv an der ffmpeg Version...

Code

vdr1:~# cat \/video\/ZDF_Expedition\/2007\-03\-25\.19\.20\.99\.99\.rec\//[0-9][0-9][0-9].vdr | /root/vdrtube-0.2.1b/sources/ffmpeg/ffmpeg  -i - -b 400 -ar 44100 -ab 128 -f flv -ac 2 -s 360x202 '/root/vdrtube-0.2.1b/webtree'/test.flv
Getötet
vdr1:~#
vdr1:~#
vdr1:~#
vdr1:~#
vdr1:~# cat \/video\/ZDF_Expedition\/2007\-03\-25\.19\.20\.99\.99\.rec\//[0-9][0-9][0-9].vdr | /usr/bin/ffmpeg  -i - -b 400 -ar 44100 -ab 128 -f flv -ac 2 -s 360x202 '/root/vdrtube-0.2.1b/webtree'/test.flv
FFmpeg version SVN-rUNKNOWN, Copyright (c) 2000-2004 Fabrice Bellard
  configuration:  --prefix=/usr --libdir=${prefix}/lib --shlibdir=${prefix}/lib --incdir=${prefix}/include/ffmpeg --enable-shared --enable-mp3lame --enable-gpl --enable-faad --mandir=${prefix}/share/man --enable-vorbis --enable-pthreads --enable-faac --enable-xvid --enable-dts --enable-amr_nb --enable-amr_wb --enable-pp --enable-libogg --enable-libgsm --enable-x264 --enable-a52 --extra-cflags=-Wall -g -fPIC -DPIC
  libavutil version: 49.0.0
  libavcodec version: 51.11.0
  libavformat version: 50.5.0
  built on Nov  3 2006 21:14:27, gcc: 3.3.5 (Debian 1:3.3.5-13)
Input #0, mpeg, from 'pipe:':
  Duration: N/A, bitrate: 15768 kb/s
  Stream #0.0[0x1e0]: Video: mpeg2video, yuv420p, 720x576, 15000 kb/s, 25.00 fps(r)
  Stream #0.1[0x1c1]: Audio: mp2, 48000 Hz, mono, 128 kb/s
  Stream #0.2[0x80]: Audio: ac3, 48000 Hz, stereo, 384 kb/s
  Stream #0.3[0x1c0]: Audio: mp2, 48000 Hz, stereo, 256 kb/s
Output #0, flv, to '/root/vdrtube-0.2.1b/webtree/test.flv':
  Stream #0.0: Video: flv, yuv420p, 360x202, q=2-31, 400 kb/s, 25.00 fps(c)
  Stream #0.1: Audio: mp3, 44100 Hz, stereo, 128 kb/s
Stream mapping:
  Stream #0.0 -> #0.0
  Stream #0.1 -> #0.1
[flv @ 0xa7dfb860]removing common factors from framerate
frame=   99 q=4.3 Lsize=     410kB time=3.8 bitrate= 886.7kbits/s
video:307kB audio:59kB global headers:0kB muxing overhead 12.059477%

Alles anzeigen

gonz · 21. Dezember 2007

Hallo Tiroler,

Danke fuers Probieren - dann bestehen ja Chancen dass der Workaround mit der subs/config.pl.basics bei Dir das Problem zunaechst loest. Bin gespannt ob wir noch die Ursache finden warum das beigelegte ffmpeg offenbar doch nicht ueberall funktioniert (davon ging ich eigentlich die letzten Wochen aus).

cu
gonz

Scogit · 22. Dezember 2007

Nabend,

kann das sein das das Script helpers/indexer.pl den RSS Feed nicht aktualisiert?

Ich hab alle Files mit der ID gelöscht und den Indexer aufgerufen aber im RSS Feed existiert immer noch der Link zum Video.

gonz · 23. Dezember 2007

Hi Scogit,

mist, hier hast Du mich ertappt

Der RSS-Feed wird erst beim hinzufuegen des naechsten Films aktualisiert - mein Fehler. Steht hiermit im Todo!

Danke,

cu
gonz

leppenraub · 27. Dezember 2007

Hallo gonz,

so, jetzt hab' ich wieder ein bischen Zeit für vdrtube

Ich hatte doch versehentlich das falsche ffmpeg verwendet, Ausgabe bei /usr/bin/ffmpeg:

Code

Ananas:/var/lib#  cat \/var\/lib\/video\.00\/Michael_Mittermeier\#3A_Paranoid\/2007\-12\-16\.15\.10\.50\.50\.rec\//[0-9][0-9][0-9].vdr | strace -f -o /tmp/strace.log /usr/bin/ffmpeg  -i - -b 400 -ar 44100 -ab 128 -f flv -ac 2 -s 360x270 '/var/www/vdrtube-0.2.1b/webtree/'test.flv
FFmpeg version CVS, Copyright (c) 2000-2004 Fabrice Bellard
  configuration:  --enable-gpl --enable-pp --enable-pthreads --enable-vorbis --enable-libogg --enable-theora --enable-a52 --enable-dts --enable-dc1394 --enable-libgsm --disable-debug --prefix=/usr
  libavutil version: 0d.49.0.0
  libavcodec version: 0d.51.8.0
  libavformat version: 0d.50.4.0
  built on May 13 2006 18:42:32, gcc: 3.3.5 (Debian 1:3.3.5-13)
pipe:: Unknown format




Ananas:/var/lib# tail -f /tmp/strace.log
21618 brk(0)                            = 0x809d000
21618 brk(0)                            = 0x809d000
21618 brk(0x8085000)                    = 0x8085000
21618 brk(0)                            = 0x8085000
21618 brk(0)                            = 0x8085000
21618 brk(0)                            = 0x8085000
21618 brk(0x807d000)                    = 0x807d000
21618 brk(0)                            = 0x807d000
21618 write(2, "pipe:: Unknown format\n", 22) = 22
21618 exit_group(1)                     = ?

Alles anzeigen

Bei /var/www/vdrtube-0.2.1b/sources/ffmpeg/ffmpeg:

Code

Ananas:/var/lib#  cat \/var\/lib\/video\.00\/Michael_Mittermeier\#3A_Paranoid\/2007\-12\-16\.15\.10\.50\.50\.rec\//[0-9][0-9][0-9].vdr | strace -f -o /tmp/strace.log /var/www/vdrtube-0.2.1b/sources/ffmpeg/ffmpeg  -i - -b 400 -ar 44100 -ab 128 -f flv -ac 2 -s 360x270 '/var/www/vdrtube-0.2.1b/webtree/'test.flv
Ananas:/var/lib# tail -f /tmp/strace.log
21349 execve("/var/www/vdrtube-0.2.1b/sources/ffmpeg/ffmpeg", ["/var/www/vdrtube-0.2.1b/sources/ffmpeg/ffmpeg", "-i", "-", "-b", "400", "-ar", "44100", "-ab", "128", "-f", "flv", "-ac", "2", "-s", "360x270", "/var/www/vdrtube-0.2.1b/webtree/test.flv"], [/* 16 vars */]) = 0
21349 +++ killed by SIGKILL +++

Beide strace-Logs schick ich Dir als PN.

Gruß, leppenraub

gonz · 27. Dezember 2007

Hallo Leppenraub,

vielen Dank fuer Deine Muehe. Aus dem Strace geht leider wirklich nicht mehr hervor als dass unmittelbar nach dem Starten der Prozess "hart" abgeschossen wird. Mir ist es in einem einzigen Fall gelungen einen aehnlichen Effekt zu erzeugen, vielleicht haben wir ja Glueck und die Theorie geht auf.

Koenntest Du mir mal die Ausgaben der beiden Kommandos "ulimit -a" und "ulimit -H -a" zukommen lassen?

Danke!

cu
gonz

leppenraub · 27. Dezember 2007

Na klar:

Code

Ananas:/var/www/vdrtube-0.2.1b# ulimit -a
core file size        (blocks, -c) 0
data seg size         (kbytes, -d) unlimited
file size             (blocks, -f) unlimited
max locked memory     (kbytes, -l) unlimited
max memory size       (kbytes, -m) unlimited
open files                    (-n) 1024
pipe size          (512 bytes, -p) 8
stack size            (kbytes, -s) 8192
cpu time             (seconds, -t) unlimited
max user processes            (-u) unlimited
virtual memory        (kbytes, -v) unlimited


Ananas:/var/www/vdrtube-0.2.1b# ulimit -H -a
core file size        (blocks, -c) unlimited
data seg size         (kbytes, -d) unlimited
file size             (blocks, -f) unlimited
max locked memory     (kbytes, -l) unlimited
max memory size       (kbytes, -m) unlimited
open files                    (-n) 1024
pipe size          (512 bytes, -p) 8
stack size            (kbytes, -s) unlimited
cpu time             (seconds, -t) unlimited
max user processes            (-u) unlimited
virtual memory        (kbytes, -v) unlimited

Alles anzeigen

leppenraub · 29. Dezember 2007

Hallo gonz,

vdrtube läuft bei mir!

...leider ohne Lösung für das eigentliche Problem. Nachdem ich andere gravierendere Probleme hatte, habe ich meinen VDR neu aufgesetzt und auf ctVDR6 gewechselt.

Was hat sich also geändert?

c't VDR 5 -> 6
vdr 1.4.5 -> 1.4.6
Kernel 2.6.16-ct-1 -> 2.6.18-4-486

...dann werde ich 'mal meine Erkundung fortsetzen

Gruß, leppenraub

gonz · 29. Dezember 2007

Hallo Leppenraub,

na das ist mal eine gute Nachricht! An den ulimits lag es naemlich definitiv nicht. Ich denke die vdr-Version sollte komplett irrelevant sein und das Kernel eigentlich auch. Irgendwas wird sich in c't vdr 6 noch geaendert haben.

Die Vermutung wird dadurch gestuetzt dass Tiroler ja offenbar auch c't vdr 5 als Unterbau verwendet hatte.

Danke fuers "Dranbleiben"!

cu
gonz

wilderigel · 29. Dezember 2007

Zitat

Original von leppenraub
Was hat sich also geändert?

c't VDR 5 -> 6

ist immerhin der sprung von debian sarge auf debian etch

jejune · 29. Dezember 2007

Hi,

habe gerade das Tool getestet, sehr schön. Vielen Dank!

Da ist mir aber auch direkt gekommen: warum nicht eine Streamingfunktion einbauen?
Ich würd mir sehr wünschen, wenn ich auf meinem iphone einfach den stream anschauen könnte, d.h. es wäre eine Umrechnung nach dem Motto des extern_remux (Streaming-Plugin) nötig. Kann jemand bestätigen, dass zB ein iphone einen mp4-stream abspielen kann?

ciao
Jejune

leppenraub · 29. Dezember 2007

Hallo gonz,

habe gerade vdrtube "konkreter" in mein System eingebaut, d.h. unter /var/www/ (Apache) ein Unterverzeichnis (d.h. eigentlich symbolischer Link auf eine Netzwerkfreigabe) angelegt und dieses in der config.pl angegeben. Nun habe ich das "Problem", dass vdrtube bei Erststart sagt:

Code

ERROR: webtree path exists but does not contain stuff needed - you better start with a new webtree!

Also habe ich mir zunächst ein erstes webtree-Verzeichnis durch eine Umwandlung erzeugt, die Dateien (10001*) wieder gelöscht, helpers/indexer.pl drüberlaufen lassen und das Ergebnis in das Zielverzeichnis kopiert.

Vermutlich prüfst Du, ob das webtree-Verzeichnis vorhanden ist - vielleicht wäre eine Kombination aus vorhanden/leer besser?

Gruß, leppenraub

[Announce] vdrTUBE 0.2.3b

Jetzt mitmachen!

Teilen