[markad] überarbeiteter Decoder

vpv · December 15, 2021 at 8:57 PM

After installing from V03 current, markad seems to be segfaulting. Here's a snippet of the log:

Code

Wed Dec 15 17:00:19 [1241] DEBUG: cExtractLogo::SearchLogo(): aspect ratio set to 16:9
Wed Dec 15 17:00:19 [1241] DEBUG: cExtractLogo::SearchLogo(): recording is aktive, read frame (3030), now save dummy start mark at pre timer position 120s
Wed Dec 15 17:00:19 [1241] DEBUG: cMarks::Save(): save marks, isRunningRecording=1 force=1
Wed Dec 15 17:00:19 [1241] ERROR: segmentation fault
Wed Dec 15 17:00:19 [1241] ERROR: [bt] Execution path:
Wed Dec 15 17:00:19 [1241] ERROR: [bt] /usr/bin/markad(+0xc4d8) [0x561a47f3d4d8]
Wed Dec 15 17:00:19 [1241] ERROR: [bt] /lib/x86_64-linux-gnu/libc.so.6(+0x46210) [0x7f325f943210]
Wed Dec 15 17:00:19 [1241] ERROR: [bt] /usr/bin/markad(_ZN6cIndex16GetTimeFromFrameEib+0x6) [0x561a47f5fae6]
Wed Dec 15 17:00:19 [1241] ERROR: [bt] /usr/bin/markad(_ZN6cMarks11IndexToHMSFEib+0x3a) [0x561a47f4dcfa]
Wed Dec 15 17:00:19 [1241] ERROR: [bt] /usr/bin/markad(_ZN6cMarks4SaveEPKcPK14sMarkAdContextb+0x111) [0x561a47f4e351]
Wed Dec 15 17:00:19 [1241] ERROR: [bt] /usr/bin/markad(_ZN12cExtractLogo10SearchLogoEP14sMarkAdContexti+0x3e6) [0x561a47f5e176]
Wed Dec 15 17:00:19 [1241] ERROR: [bt] /usr/bin/markad(_ZN17cMarkAdStandalone9CheckLogoEv+0x18e) [0x561a47f4af5e]
Wed Dec 15 17:00:19 [1241] ERROR: [bt] /usr/bin/markad(_ZN17cMarkAdStandaloneC1EPKcP13sMarkAdConfigP6cIndex+0x960) [0x561a47f4c8a0]
Wed Dec 15 17:00:19 [1241] ERROR: [bt] /usr/bin/markad(main+0xde8) [0x561a47f3c6e8]
Wed Dec 15 17:00:19 [1241] ERROR: [bt] /lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0xf3) [0x7f325f9240b3]
Wed Dec 15 17:00:19 [1241] ERROR: [bt] /usr/bin/markad(_start+0x2e) [0x561a47f3cf1e]

Display More

I think it works if I run it manually, but I haven't really had the time to test yet. Edit: Yes, it works when I run it manually from the shell.

kfb77 · December 15, 2021 at 9:19 PM

Quote from vpv

Edit: Yes, it works when I run it manually from the shell.

I expected this, your log part is only used if you run markad during the recording. Hard to debug, I will try to find the bug.

kfb77 · December 15, 2021 at 11:10 PM

vpv:

Fixed in V03, please test it. Thanks for reporting.

stschulze · December 18, 2021 at 2:37 PM

hi zusammen,

ich wollte jetzt mal anfangen meine Aufnahmen mit vdr-transcode in PLEX-konforme Videos umzuwandeln. Bisher läuft das markad-Plugin und analysiert die Aufnahmen zum Zeitpunkt der Aufnahme. Die Schnittmarken werden erkannt und gespeichert, allerdings die Aufnahme noch nicht geschnitten.

Diese Aufnahmen möchte ich nun via Terminal schneiden und das Ergebnis mit vdr-transcode umwandeln.

Welche markad-Optionen sollte ich sinnvollerweise verwenden? Wäre dankbar für einen Terminal-Befehlsaufruf.

HG

stschulze

kfb77 · December 18, 2021 at 3:39 PM

Meine Vorschläge:

sudo -u vdr markad --loglevel=3 --log2rec --cut --threads=1 --logocachedir=/tmp nice <Pfad zur Aufnahme>

oder wenn du viel Zeit und eine leistungsfähige CPU hast (die Marken und der Schnitt wird etwas genauer):

sudo -u vdr markad --fulldecode --fullencode=all --loglevel=3 --log2rec --cut --threads=1 --logocachedir=/tmp nice <Pfad zur Aufnahme>

Ich nutze das markad_video Skript für den Aufruf von markad (liegt im Source Code im Unterverzeichnis contrib). Das wird bei mir einmal die Stunde aufgerufen und sucht selbst nach Aufnahmen, die noch geschnitten werden müssen. Doku steht in markad_video.conf.

stschulze · December 18, 2021 at 3:56 PM

habe folgenden Aufruf in einem Shell-Skript:

Code

/usr/bin/markad -I -v -O -R --threads=4 --background --log2rec --astopoffs=10 --vps --fulldecode --cut --ac3reencode --svdrpport=2001 --autologo=2 nice cmd $1

das Skript läuft durch, aber es gibt fehler.

Code

Sat Dec 18 15:23:55 [163162] DEBUG: cAC3VolumeFilter::Init(): Could not initialize the abuffer filter -22
Sat Dec 18 15:23:55 [163162] DEBUG: cEncoder::InitEncoderCodec(): ptr_cAC3VolumeFilter->Init() failed
Sat Dec 18 15:23:55 [163162] DEBUG: cEncoder::OpenFile(): InitEncoderCodec failed
Sat Dec 18 15:23:55 [163162] ERROR: failed to open output file

Das Output-File kann nicht erzeugt werden ...warum auch immer. Platz ist auf dem NAS-Laufwerk genug vorhanden.

Log ist im Anhang

kfb77 · December 18, 2021 at 4:03 PM

Ich glaube, dir fehlt eine lib. Was sagt denn:

apt-cache policy libavfilter7

stschulze · December 18, 2021 at 4:17 PM

Code

libavfilter7:
  Installiert:           7:4.3.2-2ubuntu0~20.04.sav0
  Installationskandidat: 7:4.3.2-2ubuntu0~20.04.sav0
  Versionstabelle:
 *** 7:4.3.2-2ubuntu0~20.04.sav0 100
        100 /var/lib/dpkg/status
     7:4.2.4-1ubuntu0.1 500
        500 http://de.archive.ubuntu.com/ubuntu focal-updates/universe amd64 Packages
        500 http://security.ubuntu.com/ubuntu focal-security/universe amd64 Packages
     7:4.2.2-1ubuntu1 500
        500 http://de.archive.ubuntu.com/ubuntu focal/universe amd64 Packages

Display More

kfb77 · December 18, 2021 at 4:40 PM

OK, die ist da.

Jetzt gehen mir aber die spontanen Ideen aus, den Fehler hatte ich noch nie.

Kann ich mir den tar wieder runter laden, ich muss mal sehen, ob die Aufnahme bei mir geht. Irgendwie habe ich immer noch den Verdacht, es könnte an deiner ffmpeg Version liegen, die ist zumindest mal nicht aus den Ubuntu Repositories.

kfb77 · December 18, 2021 at 7:40 PM

Nachtrag:

Nutze mal genau die Parameter, die ich genannt habe.

vpv · December 18, 2021 at 7:40 PM

Quote from kfb77

vpv:

Fixed in V03, please test it. Thanks for reporting.

Unfortunately it still crashes, this is a build that includes the fix.

Code

Sat Dec 18 20:00:19 [1246] DEBUG: cExtractLogo::SearchLogo(): recording is aktive, read frame (3008), now save dummy start mark at pre timer position 120s
Sat Dec 18 20:00:19 [1246] DEBUG: cMarks::Save(): save marks, isRunningRecording=1 force=1
Sat Dec 18 20:00:19 [1246] ERROR: segmentation fault
Sat Dec 18 20:00:19 [1246] ERROR: [bt] Execution path:
Sat Dec 18 20:00:19 [1246] ERROR: [bt] /usr/bin/markad(+0xc4d8) [0x5621c9f8b4d8]
Sat Dec 18 20:00:19 [1246] ERROR: [bt] /lib/x86_64-linux-gnu/libc.so.6(+0x46210) [0x7f64b064b210]
Sat Dec 18 20:00:19 [1246] ERROR: [bt] /usr/bin/markad(_ZN6cIndex16GetTimeFromFrameEib+0x6) [0x5621c9fadaf6]
Sat Dec 18 20:00:19 [1246] ERROR: [bt] /usr/bin/markad(_ZN6cMarks11IndexToHMSFEib+0x3a) [0x5621c9f9bd0a]
Sat Dec 18 20:00:19 [1246] ERROR: [bt] /usr/bin/markad(_ZN6cMarks4SaveEPKcPK14sMarkAdContextb+0x111) [0x5621c9f9c361]
Sat Dec 18 20:00:19 [1246] ERROR: [bt] /usr/bin/markad(_ZN12cExtractLogo10SearchLogoEP14sMarkAdContexti+0x3e6) [0x5621c9fac186]
Sat Dec 18 20:00:19 [1246] ERROR: [bt] /usr/bin/markad(_ZN17cMarkAdStandalone9CheckLogoEv+0x18e) [0x5621c9f98f6e]
Sat Dec 18 20:00:19 [1246] ERROR: [bt] /usr/bin/markad(_ZN17cMarkAdStandaloneC1EPKcP13sMarkAdConfigP6cIndex+0x960) [0x5621c9f9a8b0]
Sat Dec 18 20:00:19 [1246] ERROR: [bt] /usr/bin/markad(main+0xde8) [0x5621c9f8a6e8]
Sat Dec 18 20:00:19 [1246] ERROR: [bt] /lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0xf3) [0x7f64b062c0b3]
Sat Dec 18 20:00:19 [1246] ERROR: [bt] /usr/bin/markad(_start+0x2e) [0x5621c9f8af1e]

Display More

kfb77 · December 18, 2021 at 7:50 PM

Sorry, same bug in a different code part.

Fix is now in V03, I updated the old commit.

stschulze · December 19, 2021 at 10:37 AM

ich baue mal ein tar mit der Aufnahme und lege sie Dir in die Cloud ....

stschulze · December 19, 2021 at 12:48 PM

Aufnahme lieg in der Cloud. Link per PN raus.

Ich habe jetzt einen Test mit dem Skript markad_videos gemacht. Beim Skript werden die Privilegien auf user=vdr gesetzt. möglicherweise liegt es daran, dass dieser user keinen Zugriff auf das Dateisystem hat. der vdr läuft als user root und schreibt daher die Aufnahmen als eigentümer und gruppe root.

habe die funktion für das herunterstufen der privilegien mal auskommentiert und erneut gestartet. Bearbeitung läuft an und bricht dann mit folgender Meldung ab:

Code

root@BM2LTSN64nativeDD:/# markad_videos 
DEBUG: work on directory /media/hd/plexmedia/markad_work
INFO: marks missing: /media/hd/plexmedia/markad_work/Johnny_English_-_Man_lebt_nur_dreimal/2021-05-16.20.10.25-0.rec
DEBUG: markad call: /usr/bin/markad --logocachedir=/var/lib/markad --loglevel=3 --autologo=2 --threads=4 --astopoffs=0 --priority=19 --log2rec --vps --cut - /media/hd/plexmedia/markad_work/Johnny_English_-_Man_lebt_nur_dreimal/2021-05-16.20.10.25-0.rec
[src @ 0x55fb23a94e40] Sample format was not set or was invalid

markad_videos.conf (Hinweis: das Recordings-Verzeichnis wurde auf ein Test-Verzeichnis mit dieser einen Aufnahme unter /media/hd/plexmedia/markad_work gesetzt ...wenn alles funktioniert und die Aufnahmen korrekt geschnitten werden, lasse ich das Skript auf meine 4 TB recordings los )

Code

# config file for markad_videos
# copy it to /etc
# if a option is set by config file and commandline option, the commandline options has priority

[GLOBAL]
# log to stdout
verbose = True

# path to the VDR recording directory
#path=/srv/vdr/video
path=/media/hd/plexmedia/markad_work

# sets loglevel to the specified value
# 1=error 2=info 3=debug 4=trace
loglevel = 4

# set niceness of scheduling priority
nice = 19

# minimum free disk space in GBs for all disk consuming operations
minfree = 0

# make a versioned backup of the marks file
backupmarks = False

# set path to make a versioned backup of the logo file in the recording directory and a central backup to target path
# backuplogo = /media/Video/logos/all 

[MARKAD]
# use DIR as location for markad executable
bindir = /usr/bin

# sets --loglevel of markad to the specified value
# 1=error 2=info 3=debug 4=trace
# default: use the global loglevel value
loglevel = 3

# directory where logos stored
logocachedir = /var/lib/markad

# sets --threads of markad to the specified value
# number of threads used for decoding, max. 16
threads = 4

# write logfiles into recording directory
# log2rec=False
log2rec = True

# sets --astopoffs of markad to the specified value
# assumed stop offset in seconds range from 0 to 240
astopoffs = 0

# use markad.vps to optimize start and stop marks
vps = True

# cut vidio based on marks and write it in the recording directory
cut = True

# re-encode AC3 stream to fix low audio level of cutted video on same devices
ac3reencode = False

# sets --autologo of markad to the specified value
# 0 = disable, only use logos from logo cache directory (default)
# 1 = enable, find logo from recording and store it in the recording directory
#     memory usage optimized operation mode, but runs slow
# 2 = enable, find logo from recording and store it in the recording directory
#     speed optimized operation mode, but needs a lot of memonry, use it only > 1 GB memory
autologo = 2

[MIRROR]
# set path if you want to mirror yout videos to a different path
# you have to organize your recordings with series and movies in different top level directories
# take care your target file system can handle big files, there will be no video splits
# this feature can be used to give restricted users only access to their video files
# deletetion of a mirror file will result in deletion of original recording
# path =

# name of the movies folder
movies = "movies"

# name of the series folder
series = "series"

# path to the VDR .update file
update = /media/hd/recordings

Display More

kfb77 · December 19, 2021 at 3:24 PM

Zuerst einige Anmerkungen zu deiner markad_videos.conf Konfiguration:

Quote from stschulze

loglevel = 4

3 reicht hier selbst für mich, 4 braucht man nur, wenn man gezielt nach einem Fehler sucht. Meist baue ich dann extra Log Output rein.

Quote from stschulze

logocachedir = /var/lib/markad

Kann man machen, wenn man sich sicher ist, dass das, was da drin ist, für alle Aufnahmen (auch für alte) korrekt ist (oder wenn es eh leer ist). Ich setze das immer auf /tmp um ganz sicher keine alten Logos aus der Distribution anzuziehen.

Quote from stschulze

minfree = 0

Da würde ich mal was größer als die längste Aufnahme rein schreiben. Das soll verhindern, dass markad mit seinen Videoschnitt die Platte voll laufen lässt und dann den VDR abschießt.

Ich habe deine Aufnahme bei mit mit folgendem Aufruf gestestet:

Code

sudo -u vdr markad -I -v -O -R --threads=4 --log2rec --astopoffs=10 --vps --fulldecode --cut --ac3reencode --svdrpport=2001 --autologo=2 nice cmd "$VIDEO"

Mit dem original FFmpeg aus Ubuntu 20.04 funktioniert der Schnitt mit deiner Aufnahme bei mir. Mit deiner Ffmpeg Version 4.3.2 bekomme ich deinen Fehler nicht, dafür aber später einen SegFault in der Ffmpeg Lib.

Kannst du die Ffmpeg Version auf den Ubuntu default (4.2.4) zurück drehen ?

SurfaceCleanerZ · December 19, 2021 at 3:40 PM

Hi,

ich habe gerade versucht die aktuelle git Version zu bauen (nicht v03) und da läuft zwar make durch, aber make-install nicht.

Bei den früheren Versuchen ging das immer.

Gemäß:

markad-ng 3.011 für easyvdr 3.5

Was ist jetzt anders?

Es geht wieder um trusty.

Quote

make-install: Befehl nicht gefunden.

Make lief durch.

MfG,

Stefan

kfb77 · December 19, 2021 at 3:48 PM

Den Befehl hat es noch nie gegeben, mache mal "make install", nicht "make-install"

kfb77 · December 19, 2021 at 3:57 PM

stschulze

Ich habe jetzt auch mal mit dem aktuellen Git Stand von Ffmpeg getestet. Da bekomme ich auch den SegFault. Da muss ich noch was fixen, damit das in neueren Versionen auch läuft. Aber dein eigentliches Problem gibt es auch damit nicht.

Baue mal markad neu, vielleicht ist da was schief gegangen. Anleitung steht in INSTALL.

SurfaceCleanerZ · December 19, 2021 at 4:55 PM

Hi,

sorry,

klar hast ja Recht, schäm...

Danke!

Super Support!!!

MfG,

Stefan

vpv · December 19, 2021 at 6:51 PM

Quote from kfb77

Sorry, same bug in a different code part.

Fix is now in V03, I updated the old commit.

Worked for the one recording I've had today. Thanks!

[markad] überarbeiteter Decoder

Participate now!

Users Viewing This Thread