[markad] überarbeiteter Decoder

stschulze · 20. Dezember 2021

Zitat von kfb77

Nein, da bin ich raus. Ich fasse mit meinem Programmen/Skripten grundsätzlich keine Dateien an, die VDR gehören.

das ist schade ... diese erweiterung würde zusammen mit vdr-transcode eine sehr großen Mehrwert für die vdr-Umgebung darstellen .... ohen den Schalter muss man als vdr-user persönlich Hand anlegen und Dateien umbenennen etc.

kfb77 · 20. Dezember 2021

Bist du dir dabei über die Auswirkungen bewusst ? Du kannst nicht einfach die 00001.ts austauschen, da gibt es eine Index und eine info Datei dazu, die dann nicht mehr passen. Was ist mit 0002.ts und den weiteren ? Und wer weis, was sonst noch für Abhängigkeiten bestehen. Und genau darum fasse ich keine "fremden" Dateien an.

cinfo · 20. Dezember 2021

Zitat von kfb77

Bist du dir dabei über die Auswirkungen bewusst ? Du kannst nicht einfach die 00001.ts austauschen, da gibt es eine Index und eine info Datei dazu, die dann nicht mehr passen. Was ist mit 0002.ts und den weiteren ? Und wer weis, was sonst noch für Abhängigkeiten bestehen. Und genau darum fasse ich keine "fremden" Dateien an.

verstehe ich --> könnte man nicht ein Backupverzeichnis erstellen was den Namen des Films erhält und dort das Ergebnis aus markad als 00001.ts ablegt? Dann könnte aus diesen Verzeichnis die Konvertierung (vdr-transcode) in eine MP4 oder etc... angestoßen werden. "Nur mal so als Idee"

stschulze · 20. Dezember 2021

Super Idee

kfb77 · 21. Dezember 2021

Zitat von cinfo

könnte man nicht ein Backupverzeichnis erstellen was den Namen des Films erhält und dort das Ergebnis aus markad als 00001.ts ablegt?

Das gibt es schon, genau so arbeitet die VDR interne Schnittfunktion.

stschulze · 21. Dezember 2021

hier die info zum segfault im Anhang

kfb77 · 21. Dezember 2021

Code

Tue Dec 21 12:36:44 [14699] INFO:  starting markad v3.0.18-BM2LTS (6c73e7c) (64bit)

Das ist nicht der aktuelle Stand aus dem Branch V03, das ist der Stand vom Tag 3.0.18. Da ist der Bug natürlich noch drin.

Entweder selber bauen oder auf den Weihnachtsmann warten, vielleicht bringt der ja eine neue Version

stschulze · 21. Dezember 2021

aktuelle Version 03 aus dem git läuft:

Code

root@BM2LTSN64nativeDD:~# markad -V
markad 3.0.18 - marks advertisements in VDR recordings

segfault im log ... siehe Anhang.....hier Auszug...mit cut:

Code

Tue Dec 21 15:02:37 [37871] DEBUG: AVlog(): Junk in packet
Tue Dec 21 15:02:38 [37871] ERROR: segmentation fault
Tue Dec 21 15:02:38 [37871] ERROR: [bt] Execution path:
Tue Dec 21 15:02:38 [37871] ERROR: [bt] /usr/bin/markad(+0xc6a4) [0x5590c365c6a4]
Tue Dec 21 15:02:38 [37871] ERROR: [bt] /lib/x86_64-linux-gnu/libc.so.6(+0x461e0) [0x7f17d85631e0]
Tue Dec 21 15:02:38 [37871] ERROR: [bt] /usr/local/lib/libavutil.so.57(av_buffer_unref+0x17) [0x7f17d917c377]
Tue Dec 21 15:02:38 [37871] ERROR: [bt] /usr/local/lib/libavcodec.so.59(av_packet_unref+0x16) [0x7f17d94dc1d6]
Tue Dec 21 15:02:38 [37871] ERROR: [bt] /usr/local/lib/libavcodec.so.59(avcodec_receive_packet+0x1a) [0x7f17d95de54a]
Tue Dec 21 15:02:38 [37871] ERROR: [bt] /usr/bin/markad(_ZN8cEncoder11EncodeFrameEP8cDecoderP14AVCodecContextP7AVFrameP8AVPacket+0x55) [0x5590c3678355]
Tue Dec 21 15:02:38 [37871] ERROR: [bt] /usr/bin/markad(_ZN8cEncoder9CloseFileEP8cDecoder+0xca) [0x5590c36793da]
Tue Dec 21 15:02:38 [37871] ERROR: [bt] /usr/bin/markad(_ZN17cMarkAdStandalone9MarkadCutEv+0x4e1) [0x5590c3664f81]
Tue Dec 21 15:02:38 [37871] ERROR: [bt] /usr/bin/markad(main+0x131b) [0x5590c365bdeb]
Tue Dec 21 15:02:38 [37871] ERROR: [bt] /lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0xf3) [0x7f17d8544083]
Tue Dec 21 15:02:38 [37871] ERROR: [bt] /usr/bin/markad(_start+0x2e) [0x5590c365c0ee]

Alles anzeigen

ohne cut erhalte ich kein segfault .... log im Anhang.

kann es sein, dass im git noch nicht der letzte Stand ist ?

kfb77 · 21. Dezember 2021

Doch, V03 ist aktuell, aber ich glaube, du hast den nächsten Bug gefunden. Da muss es wohl noch eine andere Stelle geben, wo avPacket nicht so initialisiert wird, wie das ffmpeg ab 4.3 haben will. Der Backtrace ist (fast) gleich, ich vermute, Auslöser sind die fehlenden Frames in deiner Aufnahme.

Ich habe eine Stelle im Verdacht, das muss ich aber testen. Kann ich mir die Datei wieder runterladen ?

Noch eine Bitte: Die Testversionen bitte direkt aus dem git Verzeichnis bauen, dann sehe ich im Log welchen Stand du tatsächlich verwendest.

kfb77 · 21. Dezember 2021

Ich habe es unter Ubuntu 22.04 (beta) getestet, das ist auch ffmpeg V4.4.1 dabei. Da gibt es keinen Segfault.

Code

ffmpeg version 4.4.1-2ubuntu1 Copyright (c) 2000-2021 the FFmpeg developers
  built with gcc 11 (Ubuntu 11.2.0-12ubuntu1)
  configuration: --prefix=/usr --extra-version=2ubuntu1 --toolchain=hardened --libdir=/usr/lib/x86_64-linux-gnu --incdir=/usr/include/x86_64-linux-gnu --arch=amd64 --enable-gpl --disable-stripping --enable-gnutls --enable-ladspa --enable-libaom --enable-libass --enable-libbluray --enable-libbs2b --enable-libcaca --enable-libcdio --enable-libcodec2 --enable-libdav1d --enable-libflite --enable-libfontconfig --enable-libfreetype --enable-libfribidi --enable-libgme --enable-libgsm --enable-libjack --enable-libmp3lame --enable-libmysofa --enable-libopenjpeg --enable-libopenmpt --enable-libopus --enable-libpulse --enable-librabbitmq --enable-librubberband --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libspeex --enable-libsrt --enable-libssh --enable-libtheora --enable-libtwolame --enable-libvidstab --enable-libvorbis --enable-libvpx --enable-libwebp --enable-libx265 --enable-libxml2 --enable-libxvid --enable-libzimg --enable-libzmq --enable-libzvbi --enable-lv2 --enable-omx --enable-openal --enable-opencl --enable-opengl --enable-sdl2 --enable-pocketsphinx --enable-librsvg --enable-libmfx --enable-libdc1394 --enable-libdrm --enable-libiec61883 --enable-chromaprint --enable-frei0r --enable-libx264 --enable-shared
  libavutil      56. 70.100 / 56. 70.100
  libavcodec     58.134.100 / 58.134.100
  libavformat    58. 76.100 / 58. 76.100
  libavdevice    58. 13.100 / 58. 13.100
  libavfilter     7.110.100 /  7.110.100
  libswscale      5.  9.100 /  5.  9.100
  libswresample   3.  9.100 /  3.  9.100
  libpostproc    55.  9.100 / 55.  9.100

Alles anzeigen

Ihr habt aber ganz andere lib's drin (copy von cinfo )

Code

ffmpeg version BM2LTS-4.4.1-dev Copyright (c) 2000-2021 the FFmpeg developers
  built with gcc 10 (Ubuntu 10.3.0-1ubuntu1~20.04)
  configuration: --prefix=HOME/ffmpeg_build --enable-static --enable-shared --enable-pic --prefix=/root/ffmpeg_build --pkg-config-flags=--static --extra-cflags=-I/root/ffmpeg_build/include --extra-ldflags=-L/root/ffmpeg_build/lib --extra-libs='-lpthread -lm' --ld=g++ --bindir=/root/bin --enable-gpl --enable-gnutls --enable-libaom --enable-libass --enable-libfdk-aac --enable-libfreetype --enable-libmp3lame --enable-libopus --enable-libsvtav1 --enable-libdav1d --enable-libbluray --enable-libbs2b --enable-libcaca --enable-libcodec2 --enable-libfontconfig --enable-libfribidi --enable-libgme --enable-libgsm --enable-libjack --enable-libxavs2 --enable-libmysofa --enable-libopenjpeg --enable-libopenh264 --enable-libopenmpt --enable-libv4l2 --enable-libpulse --enable-librsvg --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libkvazaar --enable-libspeex --enable-libssh --enable-libtheora --enable-libtwolame --enable-libvidstab --enable-libvorbis --enable-libvpx --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxml2 --enable-libxvid --enable-libzvbi --enable-omx --enable-openal --enable-opencl --enable-opengl --enable-vaapi --enable-libdrm --enable-lv2 --enable-xlib --enable-zlib --enable-vulkan --enable-version3 --enable-swresample --enable-nonfree
  libavutil      57.  7.100 / 57.  7.100
  libavcodec     59. 12.100 / 59. 12.100
  libavformat    59.  8.100 / 59.  8.100
  libavdevice    59.  0.101 / 59.  0.101
  libavfilter     8. 16.100 /  8. 16.100
  libswscale      6.  1.100 /  6.  1.100
  libswresample   4.  0.100 /  4.  0.100
  libpostproc    56.  0.100 / 56.  0.100

Alles anzeigen

Was ist denn das für ein ffmpeg, das ist nicht 4.4.1, das ist neuer, siehe hier. ? Welcher git Stand ist das ?

kfb77 · 21. Dezember 2021

Ich habe jetzt auch noch mit dem ffmpeg git Stand von heute unter Ubuntu 20.04 getestet.

Code

root@VDR-2004-ffmpeg:/usr/src/patches/vdr-plugin-markad# ffmpeg
ffmpeg version N-104945-g11aa9ca153 Copyright (c) 2000-2021 the FFmpeg developers
  built with gcc 9 (Ubuntu 9.3.0-17ubuntu1~20.04)
  configuration:
  libavutil      57. 11.100 / 57. 11.100
  libavcodec     59. 14.100 / 59. 14.100
  libavformat    59. 10.100 / 59. 10.100
  libavdevice    59.  0.101 / 59.  0.101
  libavfilter     8. 20.100 /  8. 20.100
  libswscale      6.  1.101 /  6.  1.101
  libswresample   4.  0.100 /  4.  0.100
Hyper fast Audio and Video encoder

Alles anzeigen

Auch damit funktioniert deine Aufnahme.

Bleiben damit nur noch zwei Möglichkeiten: Entweder eure ffmpeg Version hat einen Bug, der inzwischen gelöst ist, oder du hast doch nicht den letzten Stand von V03.

Lösche mal dein lokales markad git und clone / baue neu.

stschulze · 22. Dezember 2021

poste mal bitte deine ffmpeg-optionen zum bauen ....

kfb77 · 22. Dezember 2021

Zitat von kfb77

configuration: --prefix=/usr --extra-version=2ubuntu1 --toolchain=hardened --libdir=/usr/lib/x86_64-linux-gnu --incdir=/usr/include/x86_64-linux-gnu --arch=amd64 --enable-gpl --disable-stripping --enable-gnutls --enable-ladspa --enable-libaom --enable-libass --enable-libbluray --enable-libbs2b --enable-libcaca --enable-libcdio --enable-libcodec2 --enable-libdav1d --enable-libflite --enable-libfontconfig --enable-libfreetype --enable-libfribidi --enable-libgme --enable-libgsm --enable-libjack --enable-libmp3lame --enable-libmysofa --enable-libopenjpeg --enable-libopenmpt --enable-libopus --enable-libpulse --enable-librabbitmq --enable-librubberband --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libspeex --enable-libsrt --enable-libssh --enable-libtheora --enable-libtwolame --enable-libvidstab --enable-libvorbis --enable-libvpx --enable-libwebp --enable-libx265 --enable-libxml2 --enable-libxvid --enable-libzimg --enable-libzmq --enable-libzvbi --enable-lv2 --enable-omx --enable-openal --enable-opencl --enable-opengl --enable-sdl2 --enable-pocketsphinx --enable-librsvg --enable-libmfx --enable-libdc1394 --enable-libdrm --enable-libiec61883 --enable-chromaprint --enable-frei0r --enable-libx264 --enable-shared

Die stehen da drin, ist aber alles Default, ich mache nur ./configure && make all && make install

Ich habe aber eher den Verdacht, dass du nicht den aktuellen Stand von V03 hast.

SurfaceCleanerZ · 22. Dezember 2021

Hi,

Ist denn v03 zu empfehlen für Produktiv-Systeme oder der normale git Stand?

Ich baue mir ja ab und an für trusty easyvdr 3.5 noch markad.

Danke für deine unermüdlichen Verbesserungen!!

Frohe Weihnachten!

MfG Stefan

kfb77 · 22. Dezember 2021

Für produktive Systeme grundsätzlich immer das letzte Tag aus master. Was ich so beobachtet habe, machen das auch alle Distributoren so.

In V03 wird entwickelt, getestet und wenn es für gut befunden wird bekommt es einen neuen Tag und geht nach master. In V03 werden auch mal commits wieder gelöscht, verschoben oder zusammengefasst. Hier immer komplett neu clonen, nur "git pull" geht nicht immer gut ( stschulze: wenn du tatsächlich nicht den aktuellen Stand hast, könnte das die Ursache sein).

Und noch die schon mal erwähnte Bitte: Sollte jemand, z.B. um eine Fehlerbereinigung zu testen, ausnahmsweise doch V03 verwenden, immer im Git Verzeichnis bauen, damit der Hash des letzten Commits an die Versionsnummer angehängt wird. Sonst kann ich nicht erkennen, mit was getestet wurde.

kfb77 · 22. Dezember 2021

stschulze

Um das Problem weiter eingrenzen zu können, sollten wir mal einen Test machen mit exakt gleichen Versionen, gleiche Aufnahme und gleichem Aufruf. Wenn das bei dir auch funktioniert, können wir schrittweise das Problem weiter eingrenzen.

1. ffmpeg von hier, gebaut mit default Werten (./configure && make all && make install)

2. markad von hier (make all && make install, bitte aus dem git Verzeichnis bauen, oder nur make all und Aufruf aus dem build Verzeichnis)

3. Aufnahme Avengers: Age of Ultron

4. markad Aufruf: sudo markad -v --pts --loglevel=3 --log2rec --cut --threads=1 --logocachedir=/tmp - <Pfad zur Aufnahme>

Diese Variante läuft bei mir ohne Segfault, siehe mein markad.log.

Nicht wundern über die Debug Meldung: "DEBUG: cEncoder::CloseFile(): output codec context of stream 0 not valid": Das ist erwartet, einen gültigen Output Codec Context gibt es nur mit --fullencode=...

stschulze · 22. Dezember 2021

Code

root@BM2LTSN64nativeDD:~# sudo markad -v --pts --loglevel=3 --log2rec --cut --threads=1 --logocachedir=/tmp - /media/hd/plexmedia/markad_work/Avengers:_Age_of_Ultron/2021-12-19.21.55.27-0.rec
failed to get ioprio
free(): invalid pointer
Abgebrochen
root@BM2LTSN64nativeDD:~#

kfb77 · 23. Dezember 2021

Zitat von kfb77

ffmpeg von hier, gebaut mit default Werten (./configure && make all && make install)

~~Das hast du aber nicht gemacht, bitte auch mit gleicher ffmpeg Version testen.~~

Edit: Nicht mehr notwendig, ich kann den Fehler reproduzieren.

kfb77 · 23. Dezember 2021

Hier mal ein Zwischenstand zur weiteren Fehlersuche:

Bis ffmpeg 4.4.1 funktioniert die Schnittfunktion (--cut) mit dem Stand aus V03. Somit werde ich den Stand morgen in die nächste Version übernehmen. In Distributionen sollen ja eigentlich nur getaggte ffmpeg Version verwendet werden, somit reicht das mal als Fix im Moment.

Der aktuelle ffmpeg git master Stand macht noch Probleme:

- es ist per default kein libx264 mehr dabei. Lösung: ./configure --enable-libx264 --enable-gpl && make all && make install

- Mit oben genannter Änderung kann ich jetzt endlich den Crash von stschulze reproduzieren ! Somit habt ihr in BM2LTS wohl im Gegensatz zur mir schon bemerkt, dass o.g. Option notwendig ist und die ist bei euch schon drin.

Manchmal braucht es eben länger, bis man den relevanten Unterschied findet, sorry. Ich mache mich dann mal an diesen Bug ...

kfb77 · 23. Dezember 2021

Wenn man den Fehler selber reproduzieren kann, wird es doch gleich viel einfacher:

In der Struktur avPacket gibt es in der aktuellen ffmpeg Version zusätzliche Pointer, die ich (noch) in keiner ffmpeg Dokumentation gefunden habe. Diese müssen NULL initialisiert werden, sonst crashed avReceivePacket. Die Info muss man sich sich wohl im Moment noch aus dem Quellcode raussuchen.

stschulze

Fix ist in V03, ich hoffe, dass das jetzt auch dein Problem endlich löst, bitte Feedback. Du kannst deine aktuelle ffmpeg lassen, müsste auch mit der gehen.

[markad] überarbeiteter Decoder

Jetzt mitmachen!

Teilen

Benutzer online in diesem Thema