[markad] überarbeiteter Decoder

MarkusE · 19. Dezember 2021

Hi,

Beim Beenden des VDR bekomme ich manchmal im Log:

Zitat

Dec 19 19:32:36 vdr1 vdr: [105347] deleting plugin: softhddevice

Dec 19 19:32:36 vdr1 vdr: [105347] deleting plugin: markad

Dec 19 19:32:36 vdr1 vdr: [105347] markad: cStatusMarkAd::Remove(): index 0, pid 0, filename <NULL>: remove from list

Dec 19 19:32:36 vdr1 vdr: [105347] markad: cStatusMarkAd::Remove(): index 1, pid 0, filename <NULL>: remove from list

Dec 19 19:32:36 vdr1 vdr: [105347] markad: cStatusMarkAd::Remove(): index 2, pid 0, filename <NULL>: remove from list

Dec 19 19:32:36 vdr1 vdr: [105347] markad: cStatusMarkAd::Remove(): index 3, pid 0, filename <NULL>: remove from list

Dec 19 19:32:36 vdr1 vdr: [105347] markad: cStatusMarkAd::Remove(): index 4, pid 0, filename <NULL>: remove from list

Dec 19 19:32:36 vdr1 vdr: [105347] markad: cStatusMarkAd::Remove(): index 5, pid 0, filename <NULL>: remove from list

Dec 19 19:32:36 vdr1 vdr: [105347] markad: cStatusMarkAd::Remove(): index 6, pid 0, filename <NULL>: remove from list

Dec 19 19:32:36 vdr1 vdr: [105347] markad: cStatusMarkAd::Remove(): index 7, pid 0, filename <NULL>: remove from list

Dec 19 19:32:36 vdr1 vdr: [105347] markad: cStatusMarkAd::Remove(): index 8, pid 0, filename <NULL>: remove from list

....

Dec 19 19:32:36 vdr1 vdr: [105347] markad: cStatusMarkAd::Remove(): index 251, pid 0, filename <NULL>: remove from list

Dec 19 19:32:36 vdr1 vdr: [105347] markad: cStatusMarkAd::Remove(): index 252, pid 0, filename <NULL>: remove from list

Dec 19 19:32:36 vdr1 vdr: [105347] markad: cStatusMarkAd::Remove(): index 253, pid 0, filename <NULL>: remove from list

Dec 19 19:32:36 vdr1 vdr: [105347] markad: cStatusMarkAd::Remove(): index 254, pid 0, filename <NULL>: remove from list

Dec 19 19:32:36 vdr1 vdr: [105347] markad: cStatusMarkAd::Remove(): index 255, pid 0, filename <NULL>: remove from list

Dec 19 19:32:36 vdr1 vdr: [105347] deleting plugin: live

Alles anzeigen

Also 256 Zeilen im Syslog. Ist jetzt kein wirkliches Problem, aber irgendwie unschön.

~Markus

kfb77 · 19. Dezember 2021

Ist eine Debug Log Nachricht und kommt beim Beenden vom VDR und nur wenn VDR Loglevel = 3.

Du bist aber nicht der erste, der sich darüber beschwert, ich mache die Meldung raus.

kfb77 · 19. Dezember 2021

stschulze

Ich habe den Fehler gefunden, warum ich einen SegFault bekomme: Das selbst gebaute Ffmpeg ist ohne libx264 gebaut, den nutze ich aber für das Encoding. Den Fehler fange ich jetzt ab, somit ist der SegFault mit der nächsten Version weg.

Dein Problem sieht ähnlich aus, was sagt denn "ffmpeg -codecs | grep ATSC" bei dir ?

Code

ffmpeg -codecs | grep ATSC
ffmpeg version 4.2.4-1ubuntu0.1 Copyright (c) 2000-2020 the FFmpeg developers
  built with gcc 9 (Ubuntu 9.3.0-10ubuntu2)
  configuration: --prefix=/usr --extra-version=1ubuntu0.1 --toolchain=hardened --libdir=/usr/lib/x86_64-linux-gnu --incdir=/usr/include/x86_64-linux-gnu --arch=amd64 --enable-gpl --disable-stripping --enable-avresample --disable-filter=resample --enable-avisynth --enable-gnutls --enable-ladspa --enable-libaom --enable-libass --enable-libbluray --enable-libbs2b --enable-libcaca --enable-libcdio --enable-libcodec2 --enable-libflite --enable-libfontconfig --enable-libfreetype --enable-libfribidi --enable-libgme --enable-libgsm --enable-libjack --enable-libmp3lame --enable-libmysofa --enable-libopenjpeg --enable-libopenmpt --enable-libopus --enable-libpulse --enable-librsvg --enable-librubberband --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libspeex --enable-libssh --enable-libtheora --enable-libtwolame --enable-libvidstab --enable-libvorbis --enable-libvpx --enable-libwavpack --enable-libwebp --enable-libx265 --enable-libxml2 --enable-libxvid --enable-libzmq --enable-libzvbi --enable-lv2 --enable-omx --enable-openal --enable-opencl --enable-opengl --enable-sdl2 --enable-libdc1394 --enable-libdrm --enable-libiec61883 --enable-nvenc --enable-chromaprint --enable-frei0r --enable-libx264 --enable-shared
  libavutil      56. 31.100 / 56. 31.100
  libavcodec     58. 54.100 / 58. 54.100
  libavformat    58. 29.100 / 58. 29.100
  libavdevice    58.  8.100 / 58.  8.100
  libavfilter     7. 57.100 /  7. 57.100
  libavresample   4.  0.  0 /  4.  0.  0
  libswscale      5.  5.100 /  5.  5.100
  libswresample   3.  5.100 /  3.  5.100
  libpostproc    55.  5.100 / 55.  5.100
 DEA.L. ac3                  ATSC A/52A (AC-3) (decoders: ac3 ac3_fixed ) (encoders: ac3 ac3_fixed )
 DEA.L. eac3                 ATSC A/52B (AC-3, E-AC-3)

Alles anzeigen

cinfo · 19. Dezember 2021

ich antworte mal darauf für stschulze

Code

root@BM2LTSN64nativeDD:~# ffmpeg -codecs | grep ATSC
ffmpeg version BM2LTS-4.4.1-dev Copyright (c) 2000-2021 the FFmpeg developers
  built with gcc 10 (Ubuntu 10.3.0-1ubuntu1~20.04)
  configuration: --prefix=HOME/ffmpeg_build --enable-static --enable-shared --enable-pic --prefix=/root/ffmpeg_build --pkg-config-flags=--static --extra-cflags=-I/root/ffmpeg_build/include --extra-ldflags=-L/root/ffmpeg_build/lib --extra-libs='-lpthread -lm' --ld=g++ --bindir=/root/bin --enable-gpl --enable-gnutls --enable-libaom --enable-libass --enable-libfdk-aac --enable-libfreetype --enable-libmp3lame --enable-libopus --enable-libsvtav1 --enable-libdav1d --enable-libbluray --enable-libbs2b --enable-libcaca --enable-libcodec2 --enable-libfontconfig --enable-libfribidi --enable-libgme --enable-libgsm --enable-libjack --enable-libxavs2 --enable-libmysofa --enable-libopenjpeg --enable-libopenh264 --enable-libopenmpt --enable-libv4l2 --enable-libpulse --enable-librsvg --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libkvazaar --enable-libspeex --enable-libssh --enable-libtheora --enable-libtwolame --enable-libvidstab --enable-libvorbis --enable-libvpx --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxml2 --enable-libxvid --enable-libzvbi --enable-omx --enable-openal --enable-opencl --enable-opengl --enable-vaapi --enable-libdrm --enable-lv2 --enable-xlib --enable-zlib --enable-vulkan --enable-version3 --enable-swresample --enable-nonfree
  libavutil      57.  7.100 / 57.  7.100
  libavcodec     59. 12.100 / 59. 12.100
  libavformat    59.  8.100 / 59.  8.100
  libavdevice    59.  0.101 / 59.  0.101
  libavfilter     8. 16.100 /  8. 16.100
  libswscale      6.  1.100 /  6.  1.100
  libswresample   4.  0.100 /  4.  0.100
  libpostproc    56.  0.100 / 56.  0.100
 DEAIL. ac3                  ATSC A/52A (AC-3) (decoders: ac3 ac3_fixed ) (encoders: ac3 ac3_fixed )
 DEAIL. eac3                 ATSC A/52B (AC-3, E-AC-3)
root@BM2LTSN64nativeDD:~#

Alles anzeigen

kfb77 · 19. Dezember 2021

Das sieht gut aus, passt aber nicht zum markad Log File von stschulze

Code

Sat Dec 18 16:01:08 [172193] INFO:  starting markad v3.0.18-BM2LTS (6c73e7c) (64bit)
Sat Dec 18 16:01:08 [172193] INFO:  using libavcodec.so.58.91.100 with 4 threads

Er hat ein anderes Ffmpeg drauf, vermutlich hat er nicht die aktuelle BM2LTS Version.

cinfo · 20. Dezember 2021

Zitat von kfb77
Das sieht gut aus, passt aber nicht zum markad Log File von stschulze
Code
Sat Dec 18 16:01:08 [172193] INFO:  starting markad v3.0.18-BM2LTS (6c73e7c) (64bit)
Sat Dec 18 16:01:08 [172193] INFO:  using libavcodec.so.58.91.100 with 4 threads
Er hat ein anderes Ffmpeg drauf, vermutlich hat er nicht die aktuelle BM2LTS Version.

doch ist von seinem VDR-Gerät

Code

 ##############################################################################
 #                                                                            #
 #     This is BM2LTS v4.0.18 -FOCAL- NUC-SAT>IP & with DD-Net / NetCeiver    #
 #                                                                            #
 #                   V E R S I O N   2 0 2 2  /  2 0 2 3                      #
 #                                                                            #
 #                        V D R / K O D I / P L E X                           #
 #                                                                            #
 ##############################################################################
Last login: Mon Dec 20 07:40:48 2021 from 192.168.0.120
root@BM2LTSN64nativeDD:~# ffmpeg -codecs | grep ATSC
ffmpeg version BM2LTS-4.4.1-dev Copyright (c) 2000-2021 the FFmpeg developers
  built with gcc 10 (Ubuntu 10.3.0-1ubuntu1~20.04)
  configuration: --prefix=HOME/ffmpeg_build --enable-static --enable-shared --enable-pic --prefix=/root/ffmpeg_build --pkg-config-flags=--static --extra-cflags=-I/root/ffmpeg_build/include --extra-ldflags=-L/root/ffmpeg_build/lib --extra-libs='-lpthread -lm' --ld=g++ --bindir=/root/bin --enable-gpl --enable-gnutls --enable-libaom --enable-libass --enable-libfdk-aac --enable-libfreetype --enable-libmp3lame --enable-libopus --enable-libsvtav1 --enable-libdav1d --enable-libbluray --enable-libbs2b --enable-libcaca --enable-libcodec2 --enable-libfontconfig --enable-libfribidi --enable-libgme --enable-libgsm --enable-libjack --enable-libxavs2 --enable-libmysofa --enable-libopenjpeg --enable-libopenh264 --enable-libopenmpt --enable-libv4l2 --enable-libpulse --enable-librsvg --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libkvazaar --enable-libspeex --enable-libssh --enable-libtheora --enable-libtwolame --enable-libvidstab --enable-libvorbis --enable-libvpx --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxml2 --enable-libxvid --enable-libzvbi --enable-omx --enable-openal --enable-opencl --enable-opengl --enable-vaapi --enable-libdrm --enable-lv2 --enable-xlib --enable-zlib --enable-vulkan --enable-version3 --enable-swresample --enable-nonfree
  libavutil      57.  7.100 / 57.  7.100
  libavcodec     59. 12.100 / 59. 12.100
  libavformat    59.  8.100 / 59.  8.100
  libavdevice    59.  0.101 / 59.  0.101
  libavfilter     8. 16.100 /  8. 16.100
  libswscale      6.  1.100 /  6.  1.100
  libswresample   4.  0.100 /  4.  0.100
  libpostproc    56.  0.100 / 56.  0.100
 DEAIL. ac3                  ATSC A/52A (AC-3) (decoders: ac3 ac3_fixed ) (encoders: ac3 ac3_fixed )
 DEAIL. eac3                 ATSC A/52B (AC-3, E-AC-3)

Alles anzeigen

Code

using libavcodec.so.58.91.100 with 4 threads

Hm, das ist mir auch ein Rätsel

kfb77 · 20. Dezember 2021

Dann muss markad statisch an eine andere libavcodec gelinkt sein.

Könnt ihr bitte mal markad neu bauen ohne statische libs.

cinfo · 20. Dezember 2021

es wird wohl jetzt die richtig lib gefunden nur sieht es jetzt so aus

Code

root@BM2LTSN64nativeDD:~# markad_videos
DEBUG: work on directory /media/hd/plexmedia/markad_work
INFO: marks missing: /media/hd/plexmedia/markad_work/Hochzeit_auf_den_ersten_Blick/2021-11-10.20.14.25-0.rec
DEBUG: markad call: /usr/bin/markad --logocachedir=/var/lib/markad --loglevel=4 --autologo=2 --threads=4 --astopoffs=10 --priority=19 --log2rec --vps --cut --ac3reencode - /media/hd/plexmedia/markad_work/Hochzeit_auf_den_ersten_Blick/2021-11-10.20.14.25-0.rec
INFO: marks missing: /media/hd/plexmedia/markad_work/Johnny_English_-_Man_lebt_nur_dreimal/2021-05-16.20.10.25-0.rec
DEBUG: markad call: /usr/bin/markad --logocachedir=/var/lib/markad --loglevel=4 --autologo=2 --threads=4 --astopoffs=10 --priority=19 --log2rec --vps --cut --ac3reencode - /media/hd/plexmedia/markad_work/Johnny_English_-_Man_lebt_nur_dreimal/2021-05-16.20.10.25-0.rec

kfb77 · 20. Dezember 2021

Rufe mal markad direkt auf mit:

Code

sudo markad -v --loglevel=3 --log2rec --cut --threads=1 - /media/hd/plexmedia/markad_work/Johnny_English_-_Man_lebt_nur_dreimal/2021-05-16.20.10.25-0.rec

und poste das markad.log aus dem Aufnahmeverzeichnis.

Edit: bitte nutze die Aufnahme, die ich auch habe.

cinfo · 20. Dezember 2021

ich glaube hier liegt doch noch ein Fehler vor -- den ich leider nicht so richtig einordnen kann

Code

Mon Dec 20 10:02:20 [133182] INFO:  starting markad v3.0.18(6c73e7c) (64bit)
Mon Dec 20 10:02:20 [133182] INFO:  using libavcodec.so.59.12.100 with 4 threads
Mon Dec 20 10:02:20 [133182] ERROR: libavcodec header version 58.91.100
Mon Dec 20 10:02:20 [133182] ERROR: header and library mismatch, do not report decoder bugs

wo werden denn beim Erstellen von markad die Headers gelesen? --> /usr/inculde/ffmpeg/..

so Fehler "oben" gefunden !

Code

Mon Dec 20 10:27:08 [2709] INFO: starting markad v3.0.18-02-BM2LTS (6c73e7c) (64bit)Mon Dec 20 10:27:08 [2709] INFO: using libavcodec.so.59.12.100 with 4 threadsMon Dec 20 10:27:08 [2709] TRACE: libavcodec config: --prefix=HOME/ffmpeg_build --enable-static --enable-shared --enable-pic --prefix=/root/ff>Mon Dec 20 10:27:08 [2709] INFO: on /media/hd/plexmedia/markad_work/Johnny_English_-_Man_lebt_nur_dreimal/2021-05-16.20.10.25-0.rec

Code

root@BM2LTSN64nativeDD:~# markad_videos
DEBUG: work on directory /media/hd/plexmedia/markad_work
INFO: marks missing: /media/hd/plexmedia/markad_work/Johnny_English_-_Man_lebt_nur_dreimal/2021-05-16.20.10.25-0.rec
DEBUG: markad call: /usr/bin/markad --logocachedir=/var/lib/markad --loglevel=4 --autologo=2 --threads=4 --astopoffs=10 --priority=19 --log2rec --vps --cut --ac3reencode - /media/hd/plexmedia/markad_work/Johnny_English_-_Man_lebt_nur_dreimal/2021-05-16.20.10.25-0.rec
double free or corruption (fasttop)
Aborted (core dumped)

kfb77 · 20. Dezember 2021

Schaue dir mal deine Ausgabe von make all an.

Bei mir kommen die Header von

Code

-I/usr/include/x86_64-linux-gnu

Ich bin jetzt auch nicht der Makefile Experte, keine Ahnung wo er das her hat. Ist wohl default.

cinfo · 20. Dezember 2021

so Fehler gefunden - siehe oben incl. Log

kfb77 · 20. Dezember 2021

Seit gestern ist mir klar, dass der Encoder mit ffmpeg >= 4.3 nicht läuft. Den Fehler oben bekomme ich auch, habe die Lösung aber noch noch nicht gefunden.

Was funktionieren müsste, ist der Befehl (also ohne AC3 reencode)

Code

sudo markad -v --loglevel=3 --log2rec --cut --threads=1 - /media/hd/plexmedia/markad_work/Johnny_English_-_Man_lebt_nur_dreimal/2021-05-16.20.10.25-0.rec

Mit dem aktuellen Stand aus dem Branch V03.

Am Rest bin ich dran, ich melde mich, wenn ich eine Lösung habe.

kfb77 · 20. Dezember 2021

Bug gefunden und in V03 gefixed.

cinfo stschulze : Bitte nochmals testen.

cinfo · 20. Dezember 2021

hier die Ausgabe von v3

Code

DEBUG: work on directory /media/hd/plexmedia/markad_work
INFO: marks missing: /media/hd/plexmedia/markad_work/Johnny_English_-_Man_lebt_nur_dreimal/2021-05-16.20.10.25-0.rec
DEBUG: markad call: /usr/bin/markad --logocachedir=/var/lib/markad --loglevel=3 --autologo=2 --threads=4 --astopoffs=0 --priority=19 --log2rec --vps --cut - /media/hd/plexmedia/markad_work/Johnny_English_-_Man_lebt_nur_dreimal/2021-05-16.20.10.25-0.rec

kfb77 · 20. Dezember 2021

Log sieht gut aus. Passt jetzt, oder habe ich was übersehen ?

cinfo · 20. Dezember 2021

Für mich sieht es gut

INFO: marks missing: Was ist mit dieser Meldung gemeint? Hm, etwas verwirrend wenn alles OK ist

stschulze · 20. Dezember 2021

kfb77 hervorragende Arbeit - das sieht sehr gut aus ac3reencode=False ..... ist es eingeschaltet kommt der segfault,

Ich habe zwei Vorschläge für die Verbesserung des Aufnahme-"postprocessing".

Wäre es bitte möglich:

1) einen Schalter in markad_videos.conf einzubauen, welcher es gestattet markad als user=root laufen zu lassen und keinen drop der Privilegien vorzunehmen?

2) einen Schalter in markad_videos.conf einzubauen, welcher das markad_videos-Skript veranlasst die ungeschnittene vdr-Aufnahme von 0001.ts in 0001.ts.org umzubenennen und die geschnittene Aufnahme dann in 0001.ts umzubenennen? Dies würde helfen die Verarbeitung mit vdr-transcode zu automatisieren. Es fehlt in dem Aufnahmeordner dann nur noch eine leere vt.conf und vdr-transcode würde die mit markad geschnittene Aufnahme automatisch transcodieren. Durch die Umbenennung beim Schneiden meldet vdr-transcode sonst einen Fehler und transcodiert nicht. Perfekt wäre somit die Ergänzung einer weiteren Option in dem markad_videos.conf/ Skript, welches das Erzeugen einer leeren vt.conf im Aufnahmeordner veranlasst.

Wissensfrage: Was passiert mit Untertiteln von Aufnahmen bzw. wenn mehrere Audiotracks vorhanden sind, wenn markad schneidet bzw. ac3reencode eingeschalten wäre?

An dieser Stelle nochmal ein großes Dankeschön für Deine tolle Arbeit und die superschnellen Reaktionen/ Lösungen.

kfb77 · 20. Dezember 2021

Zitat von cinfo

INFO: marks missing: Was ist mit dieser Meldung gemeint? Hm, etwas verwirrend wenn alles OK ist

Die kommt aus dem markad_video Skript. Damit ist gemeint, dass die Datei marks im Aufnahmeverzeichnis fehlt und somit für dieses Verzeichnis markad aufgerufen werden muss. Ist kein Fehler, darum auch INFO davor. Dies gilt auch für die vielen markad.log Meldungen, da steht auch öfter drin, dass was fehlt oder nicht funktioniert hat, aber solange nicht ERROR davor steht ist es kein Fehler.

Zitat von stschulze

ac3reencode=False ..... ist es eingeschaltet kommt der segfault,

Verstehe ich nicht. Mit dem aktuellen Stand aus dem Branch V03 darf es keinen Segfault mehr geben. Egal mit welchen Parametern. Wenn doch, bitte Log File posten, dann habe ich beim Testen was übersehen.

Zitat von stschulze

einen Schalter in markad_videos.conf einzubauen, welcher es gestattet markad als user=root laufen zu lassen und keinen drop der Privilegien vorzunehmen?

Ja, mache ich.

Zitat von stschulze

einen Schalter in markad_videos.conf einzubauen, welcher das markad_videos-Skript veranlasst die ungeschnittene vdr-Aufnahme von 0001.ts in 0001.ts.org umzubenennen und die geschnittene Aufnahme dann in 0001.ts umzubenennen?

Nein, da bin ich raus. Ich fasse mit meinem Programmen/Skripten grundsätzlich keine Dateien an, die VDR gehören.

kfb77 · 20. Dezember 2021

Zitat von stschulze

einen Schalter in markad_videos.conf einzubauen, welcher es gestattet markad als user=root laufen zu lassen und keinen drop der Privilegien vorzunehmen?

In V03 ist jetzt drin: user und group kann konfiguriert werden, default ist vdr (ja, ich hab eben yavdr). Kannst du auf

user=root

group=root

ändern.

[markad] überarbeiteter Decoder

Jetzt mitmachen!

Teilen