Frage zu NALU Fillerdaten und deren Behandlung mit VDR 2.4.x

villeneuve · Apr 24th 2020

Hi,

in meiner frischen MLD-5.x-Installation vermisste ich im VDR OSD unter "Einstellungen" -> "Aufnahme" die Option "Fillerdaten während der Aufnahme löschen".

Danach kamen im MLD-Forum die folgenden Fragen auf:

Kommen NALU Fillerdaten nur bei SD- oder nur bei HD-Sendern vor oder spielt das keine Rolle ob SD oder HD?
Wieviel Platz läßt sich durch Verwerfen der NALUs nochmal sparen, je Stunde oder so? Ich hatte im Kopf, daß es doch hunderte Megabyte sein können. Stimmt das?
Wie bekommt man unter VDR 2.4.x diese Funktion?

Danke schon mal für's Lesen!

wmautner · Apr 24th 2020

Wenn ich die naludump.log - Dateien durchgreppe, schwankt der Platzgewinn zwischen 0-30%, meist 8-12%.

Naludump läßt sich einfach als post-recording-hook eintragen, jedenfalls bei yavdr.

villeneuve · Apr 24th 2020

Danke! Also spart man schon gewaltig an Speicherplatz, der sonst für absolut nichts vergeudet wird.

Und bei welchen Sendern kommt das jetzt zum Tragen?

wmautner · Apr 24th 2020

Bei HD-Sendern bzw. allen Sendern, die im h264-Format senden.

Ich habe ein Script, welches mp2-(SD)-Aufnahmen in h264 konvertiert, das bringt bei SD-Aufnahmen bis zu 50% Platzersparnis, während dasselbe Script bei h264-Aufnahmen naludump durchführt.

Anschließend noch das neue markad bei beiden

Nach einer Aufnahme im Post-recording-Hook wird nur ein "h264"-File angelegt, welches bei geringer Systemlast bzw. spätnachts dann abgefragt wird und anhand dieses Flags die Konvertierung/markad gestartet wird. Es ist nur eine Erweiterung der to_h264-Scripte.

MegaV0lt · Apr 25th 2020

Funktioniert eigentlich der Patch hier http://www.udo-richter.de/vdr/naludump.html bei VDR 2.4.1?

Das wäre für VDR die eleganteste Lösung, da die Fülldaten erst gar nicht auf der Platte landen.

sg75 · Apr 25th 2020

Quote from MegaV0lt

Funktioniert eigentlich der Patch hier http://www.udo-richter.de/vdr/naludump.html bei VDR 2.4.1?

Das wäre für VDR die eleganteste Lösung, da die Fülldaten erst gar nicht auf der Platte landen.

Ja, ich habe den Patch produktiv mit VDR 2.4.1 am Laufen.

Und zwar ganz konkret diesen hier: http://www.udo-richter.de/vdr/files/vdr-2.1.5-naludump-0.1.diff

SurfaceCleanerZ · Apr 25th 2020

Hi,

Warum kann der eigentlich nicht in den VDR aufgenommen werden?

Mfg Stefan

jsffm · Apr 25th 2020

Da hatte sich Klaus schonmal negativ zu geäussert, war irgendwas mit zu tief eingreifen.

Edit:

TSDoctor für VDR? - Filler Data Entfernen

SurfaceCleanerZ · Apr 25th 2020

Hi,

Ja, erinnere mich, schade...

Mfg Stefan

Urig · Apr 30th 2020

* schleicht durch die alte Nachbarschaft

Jo, der Patch für vdr-2.1.5 funktioniert immer noch, hab ihn selbst vor 2 Monaten in einen aktuellen VDR eincompiliert, läuft seit dem unauffällig. Hab aber nicht genau geschaut, ob er auch was filtert.

Der Patch greift ziemlich tief in den Stream ein und schreibt ihn on-the-fly um, von daher verstehe ich, dass er nie fest eingebaut wurde. Trotzdem schön, dass er nach 6 Jahren noch immer nicht in Vergessenheit geraten ist.

MegaV0lt · May 7th 2020

Nach ein paar Tagen folgendes Ergebnis:

Code

28.04.2020 19:05:00 NALU fill dumper: 259816 of 19885270 packets dropped, 1% (nano/nano)
28.04.2020 21:55:00 NALU fill dumper: 1051582 of 28443098 packets dropped, 3% (Frontal_21)
29.04.2020 19:05:00 NALU fill dumper: 295928 of 20436235 packets dropped, 1% (nano/nano)
29.04.2020 21:12:01 NALU fill dumper: 487016 of 19262459 packets dropped, 2% (9-1-1#3A_Lone_Star/Haarprobleme__(S01E02))
29.04.2020 23:30:01 NALU fill dumper: 263858 of 18113131 packets dropped, 1% (Markt)
30.04.2020 04:20:00 NALU fill dumper: 1617456 of 31466922 packets dropped, 5% (Frontal_21)
30.04.2020 20:39:12 NALU fill dumper: 255329 of 9405021 packets dropped, 2% (The_Unicorn/Der_Backup-Vogel__(S01E08))
30.04.2020 20:47:00 NALU fill dumper: 62269 of 2775507 packets dropped, 2% (The_Unicorn/Der_Backup-Vogel__(S01E08))
30.04.2020 22:32:00 NALU fill dumper: 291024 of 10682169 packets dropped, 2% (Schooled/Lainey_and_Erica's_High_School_Reunion__(S01E08))
30.04.2020 22:49:30 NALU fill dumper: 298603 of 10173338 packets dropped, 2% (Schooled/There's_No_Fighting_in_Fight_Club__(S01E10))
30.04.2020 22:57:00 NALU fill dumper: 54816 of 2493418 packets dropped, 2% (Schooled/There's_No_Fighting_in_Fight_Club__(S01E10))
02.05.2020 01:47:00 NALU fill dumper: 1397396 of 38717778 packets dropped, 3% (Better_Call_Saul/Schäferbub__(S01E05))
02.05.2020 02:02:00 NALU fill dumper: 1773923 of 32051421 packets dropped, 5% (Better_Call_Saul/Schäferbub__(S01E05))
02.05.2020 02:47:00 NALU fill dumper: 3192437 of 38703066 packets dropped, 8% (Better_Call_Saul/Bullen__(S01E06))
03.05.2020 20:58:27 NALU fill dumper: 487408 of 17263953 packets dropped, 2% (Zoey's_Extraordinary_Playlist/Zoeys_Chefin__(S01E03))
03.05.2020 21:12:00 NALU fill dumper: 144838 of 3460580 packets dropped, 4% (Zoey's_Extraordinary_Playlist/Zoeys_Chefin__(S01E03))
04.05.2020 19:05:00 NALU fill dumper: 590378 of 19856646 packets dropped, 2% (nano/nano)
05.05.2020 19:05:00 NALU fill dumper: 317656 of 19612145 packets dropped, 1% (nano/nano)
06.05.2020 21:12:00 NALU fill dumper: 535500 of 19549898 packets dropped, 2% (9-1-1#3A_Lone_Star/Hochmut_kommt_vor_dem_Fall__(S01E03))
07.05.2020 00:07:00 NALU fill dumper: 555181 of 20137605 packets dropped, 2% (9-1-1#3A_Lone_Star/Hochmut_kommt_vor_dem_Fall__(S01E03))

Display More

Unter 1% ist nicht gelopggt. Beobachte das weiter...

ofenheizer · May 7th 2020

Quote from wmautner

Bei HD-Sendern bzw. allen Sendern, die im h264-Format senden.

Ich habe ein Script, welches mp2-(SD)-Aufnahmen in h264 konvertiert, das bringt bei SD-Aufnahmen bis zu 50% Platzersparnis, während dasselbe Script bei h264-Aufnahmen naludump durchführt.

Anschließend noch das neue markad bei beiden

Nach einer Aufnahme im Post-recording-Hook wird nur ein "h264"-File angelegt, welches bei geringer Systemlast bzw. spätnachts dann abgefragt wird und anhand dieses Flags die Konvertierung/markad gestartet wird. Es ist nur eine Erweiterung der to_h264-Scripte.

Kannst Du das Scipt denn man zur Verfügung stellen?

wmautner · May 7th 2020

Aber ja, hier das /usr/local/bin/conv_h264,

welches manuell oder von to_h264_server aufgerufen werden kann (modifiziert von jsffm-Scripten).

Das wiederum wird über systemd (/etc/systemd/system/h264server.service) gestartet, hier über einen systemd-timer.

Code

[Unit]
Description=performing mp2-to-h264 conversion (server)

[Service]
Type=simple
ExecStart=/usr/local/bin/to_h264_server
Nice=19
Slice=userjob.slice
TimeoutSec=18h

Obige Scripte sind als .txt angehängt.

ofenheizer · May 8th 2020

Danke.

Urig · May 8th 2020

Quote from MegaV0lt

Nach ein paar Tagen folgendes Ergebnis: [...]

Deckt sich mit meiner Erinnerung. In der Anfangszeit von HD in Deutschland war es deutlich mehr, weil ARD und ZDF jeweils einen festen Teil der Bandbreite genutzt haben. Nachdem die getrennte Wege gegangen sind, haben sie die Bandbreite dynamischer aufgeteilt, danach war spürbar weniger Füllmaterial im Stream.

jrie · May 9th 2020

Vorgestern auf Arte HD:

Input file: 00001.ts Output file: 00001.ts.neu Packets: 11156131 Dropped: 4951196 (44%)

Input file: 00002.ts Output file: 00002.ts.neu Packets: 11158686 Dropped: 6709962 (60%)

Input file: 00003.ts Output file: 00003.ts.neu Packets: 11156709 Dropped: 6940413 (62%)

Input file: 00004.ts Output file: 00004.ts.neu Packets: 11157087 Dropped: 6366683 (57%)

Input file: 00005.ts Output file: 00005.ts.neu Packets: 11155104 Dropped: 6371466 (57%)

Input file: 00006.ts Output file: 00006.ts.neu Packets: 10000501 Dropped: 6022083 (60%

villeneuve · May 14th 2020

Danke für alle weiteren Antworten!

Also das ist doch immer noch gewaltig was da an Speicherplatz verschwendet wird. Auch auf die Lebensdauer von SSDs hat das Einfluss, wenn auf eine solche aufgenommen wird. Meiner Meinung nach ist der Patch essentiell. Solange der noch funktioniert ok, aber eine Integration in VDR sollte eigentlich höchste Priorität haben.

Frage zu NALU Fillerdaten und deren Behandlung mit VDR 2.4.x

Participate now!

Share