Frage zu NALU Fillerdaten und deren Behandlung mit VDR 2.4.x

  • Hi,

    in meiner frischen MLD-5.x-Installation vermisste ich im VDR OSD unter "Einstellungen" -> "Aufnahme" die Option "Fillerdaten während der Aufnahme löschen".

    Danach kamen im MLD-Forum die folgenden Fragen auf:

    • Kommen NALU Fillerdaten nur bei SD- oder nur bei HD-Sendern vor oder spielt das keine Rolle ob SD oder HD?
    • Wieviel Platz läßt sich durch Verwerfen der NALUs nochmal sparen, je Stunde oder so? Ich hatte im Kopf, daß es doch hunderte Megabyte sein können. Stimmt das?
    • Wie bekommt man unter VDR 2.4.x diese Funktion?


    Danke schon mal für's Lesen!

    MLD 5.5 mit VDR 2.4.1.219.4-219.4 & Kodi 18.6 - Gigabyte GA-F2A88XM-HD3 - AMD A8-7600 - 4 Gb RAM - Ausgabe via MSI N220GT-MD1GZ mit softhddevice & vdpau - 19.2E & 28.2E Empfang via Linux4Media L4M-Twin S2 ver 6.5 - Terratec Aureon 5.1 Fun TTP8 - Crucial m4 CT064M4SSD2 - Seagate Exos 7E8 - Medion X10 RF Remote Control 20016398

  • Wenn ich die naludump.log - Dateien durchgreppe, schwankt der Platzgewinn zwischen 0-30%, meist 8-12%.

    Naludump läßt sich einfach als post-recording-hook eintragen, jedenfalls bei yavdr.

    --
    vdr User #2022 - hdvdr2: Lenovo SFF M83, Intel(R) Core(TM) i5-4670S, 14 GB Ram, zram-swap/tmp, ubuntu-focal, softhddevice-vdpau
    ddbridge-6.x mit 2xDVB-S2 und (Flex) 2xDVB-C/T Tunern, nvidia-GF1050Ti SFF (nvidia-dkms-495), System SSD btrfs,

    snapper, 8TB HDD XFS/cow /srv/vdr, yavdr-ansible-2.5.6-seahawk, vdr-epg-daemon mit Frodo-plugins, Kernel 5.15.6-xfsscrub

    vdradmin-am, live+webstreaming, vdrmanager (Smartphones als FB), ffmpeg-4.3.1-libfdk_aac, vdr-plugin-hbbtv.

  • Danke! Also spart man schon gewaltig an Speicherplatz, der sonst für absolut nichts vergeudet wird.

    Und bei welchen Sendern kommt das jetzt zum Tragen?

    MLD 5.5 mit VDR 2.4.1.219.4-219.4 & Kodi 18.6 - Gigabyte GA-F2A88XM-HD3 - AMD A8-7600 - 4 Gb RAM - Ausgabe via MSI N220GT-MD1GZ mit softhddevice & vdpau - 19.2E & 28.2E Empfang via Linux4Media L4M-Twin S2 ver 6.5 - Terratec Aureon 5.1 Fun TTP8 - Crucial m4 CT064M4SSD2 - Seagate Exos 7E8 - Medion X10 RF Remote Control 20016398

  • Bei HD-Sendern bzw. allen Sendern, die im h264-Format senden.

    Ich habe ein Script, welches mp2-(SD)-Aufnahmen in h264 konvertiert, das bringt bei SD-Aufnahmen bis zu 50% Platzersparnis, während dasselbe Script bei h264-Aufnahmen naludump durchführt.

    Anschließend noch das neue markad bei beiden :)

    Nach einer Aufnahme im Post-recording-Hook wird nur ein "h264"-File angelegt, welches bei geringer Systemlast bzw. spätnachts dann abgefragt wird und anhand dieses Flags die Konvertierung/markad gestartet wird. Es ist nur eine Erweiterung der to_h264-Scripte.

    --
    vdr User #2022 - hdvdr2: Lenovo SFF M83, Intel(R) Core(TM) i5-4670S, 14 GB Ram, zram-swap/tmp, ubuntu-focal, softhddevice-vdpau
    ddbridge-6.x mit 2xDVB-S2 und (Flex) 2xDVB-C/T Tunern, nvidia-GF1050Ti SFF (nvidia-dkms-495), System SSD btrfs,

    snapper, 8TB HDD XFS/cow /srv/vdr, yavdr-ansible-2.5.6-seahawk, vdr-epg-daemon mit Frodo-plugins, Kernel 5.15.6-xfsscrub

    vdradmin-am, live+webstreaming, vdrmanager (Smartphones als FB), ffmpeg-4.3.1-libfdk_aac, vdr-plugin-hbbtv.

  • Funktioniert eigentlich der Patch hier http://www.udo-richter.de/vdr/naludump.html bei VDR 2.4.1?

    Das wäre für VDR die eleganteste Lösung, da die Fülldaten erst gar nicht auf der Platte landen.

    MP-Logos (Kanallogos für VDR) - Picons2VDR (Kanallogos für VDR) - MV_Backup (Backup mit RSync) - Skin FlatPlus (Fork)

    „In zwei Jahren wird das Spam-Problem gelöst sein.“ [Bill Gates], Microsoft-Chef, 2004

  • Funktioniert eigentlich der Patch hier http://www.udo-richter.de/vdr/naludump.html bei VDR 2.4.1?

    Das wäre für VDR die eleganteste Lösung, da die Fülldaten erst gar nicht auf der Platte landen.

    Ja, ich habe den Patch produktiv mit VDR 2.4.1 am Laufen.

    Und zwar ganz konkret diesen hier: http://www.udo-richter.de/vdr/files/vdr-2.1.5-naludump-0.1.diff

  • Hi,

    Warum kann der eigentlich nicht in den VDR aufgenommen werden?

    Mfg Stefan

    Test-VDR1: HP rp5700 Fertigsystem, Core2Duo E6400, 2GB RAM, FF-SD C-2300, nvidia Slim-GT218 x1 | easyVDR 2.0 64Bit
    VDR3: in Rente

    VDR4: MSI G31M2 v2, Digitainer2-Geh., t6963c 6" gLCD, E5200, 2GB, 3TB WD Red, GT730, 2x TT S2-3200; easyVDR 3.5 64bit
    VDR5: Gigabyte
    GA-G31M-S2L, Intel E2140, Zotac GT730 passiv, Digitainer2-Geh., t6963c 6 " gLCD, 2 TB WD Red, 2x TT S2-3200 (an 1 Kabel) easyVDR 3.5 64bit
    VDR6:
    Intel E5200, GT630 passiv, F1 750 GB, t6963c gLCD, 2x TT S2-3200 | easyVDR 3.5 64bit
    VDR-User #1068
    www.easy-vdr.de

  • Da hatte sich Klaus schonmal negativ zu geäussert, war irgendwas mit zu tief eingreifen.


    Edit:


    TSDoctor für VDR? - Filler Data Entfernen


    vdr-User-# 755 to_h264 chk_r vdr-transcode github

  • Hi,

    Ja, erinnere mich, schade...

    Mfg Stefan

    Test-VDR1: HP rp5700 Fertigsystem, Core2Duo E6400, 2GB RAM, FF-SD C-2300, nvidia Slim-GT218 x1 | easyVDR 2.0 64Bit
    VDR3: in Rente

    VDR4: MSI G31M2 v2, Digitainer2-Geh., t6963c 6" gLCD, E5200, 2GB, 3TB WD Red, GT730, 2x TT S2-3200; easyVDR 3.5 64bit
    VDR5: Gigabyte
    GA-G31M-S2L, Intel E2140, Zotac GT730 passiv, Digitainer2-Geh., t6963c 6 " gLCD, 2 TB WD Red, 2x TT S2-3200 (an 1 Kabel) easyVDR 3.5 64bit
    VDR6:
    Intel E5200, GT630 passiv, F1 750 GB, t6963c gLCD, 2x TT S2-3200 | easyVDR 3.5 64bit
    VDR-User #1068
    www.easy-vdr.de

  • * schleicht durch die alte Nachbarschaft


    Jo, der Patch für vdr-2.1.5 funktioniert immer noch, hab ihn selbst vor 2 Monaten in einen aktuellen VDR eincompiliert, läuft seit dem unauffällig. Hab aber nicht genau geschaut, ob er auch was filtert.


    Der Patch greift ziemlich tief in den Stream ein und schreibt ihn on-the-fly um, von daher verstehe ich, dass er nie fest eingebaut wurde. Trotzdem schön, dass er nach 6 Jahren noch immer nicht in Vergessenheit geraten ist. ^^

  • Nach ein paar Tagen folgendes Ergebnis:

    Unter 1% ist nicht gelopggt. Beobachte das weiter...

    MP-Logos (Kanallogos für VDR) - Picons2VDR (Kanallogos für VDR) - MV_Backup (Backup mit RSync) - Skin FlatPlus (Fork)

    „In zwei Jahren wird das Spam-Problem gelöst sein.“ [Bill Gates], Microsoft-Chef, 2004

  • Bei HD-Sendern bzw. allen Sendern, die im h264-Format senden.

    Ich habe ein Script, welches mp2-(SD)-Aufnahmen in h264 konvertiert, das bringt bei SD-Aufnahmen bis zu 50% Platzersparnis, während dasselbe Script bei h264-Aufnahmen naludump durchführt.

    Anschließend noch das neue markad bei beiden :)

    Nach einer Aufnahme im Post-recording-Hook wird nur ein "h264"-File angelegt, welches bei geringer Systemlast bzw. spätnachts dann abgefragt wird und anhand dieses Flags die Konvertierung/markad gestartet wird. Es ist nur eine Erweiterung der to_h264-Scripte.

    Kannst Du das Scipt denn man zur Verfügung stellen?

  • Aber ja, hier das /usr/local/bin/conv_h264,

    welches manuell oder von to_h264_server aufgerufen werden kann (modifiziert von jsffm-Scripten).

    Das wiederum wird über systemd (/etc/systemd/system/h264server.service) gestartet, hier über einen systemd-timer.

    Code
    1. [Unit]
    2. Description=performing mp2-to-h264 conversion (server)
    3. [Service]
    4. Type=simple
    5. ExecStart=/usr/local/bin/to_h264_server
    6. Nice=19
    7. Slice=userjob.slice
    8. TimeoutSec=18h

    Obige Scripte sind als .txt angehängt.

    Files

    --
    vdr User #2022 - hdvdr2: Lenovo SFF M83, Intel(R) Core(TM) i5-4670S, 14 GB Ram, zram-swap/tmp, ubuntu-focal, softhddevice-vdpau
    ddbridge-6.x mit 2xDVB-S2 und (Flex) 2xDVB-C/T Tunern, nvidia-GF1050Ti SFF (nvidia-dkms-495), System SSD btrfs,

    snapper, 8TB HDD XFS/cow /srv/vdr, yavdr-ansible-2.5.6-seahawk, vdr-epg-daemon mit Frodo-plugins, Kernel 5.15.6-xfsscrub

    vdradmin-am, live+webstreaming, vdrmanager (Smartphones als FB), ffmpeg-4.3.1-libfdk_aac, vdr-plugin-hbbtv.

  • Nach ein paar Tagen folgendes Ergebnis: [...]


    Deckt sich mit meiner Erinnerung. In der Anfangszeit von HD in Deutschland war es deutlich mehr, weil ARD und ZDF jeweils einen festen Teil der Bandbreite genutzt haben. Nachdem die getrennte Wege gegangen sind, haben sie die Bandbreite dynamischer aufgeteilt, danach war spürbar weniger Füllmaterial im Stream.

  • Vorgestern auf Arte HD:


    Input file: 00001.ts Output file: 00001.ts.neu Packets: 11156131 Dropped: 4951196 (44%)

    Input file: 00002.ts Output file: 00002.ts.neu Packets: 11158686 Dropped: 6709962 (60%)

    Input file: 00003.ts Output file: 00003.ts.neu Packets: 11156709 Dropped: 6940413 (62%)

    Input file: 00004.ts Output file: 00004.ts.neu Packets: 11157087 Dropped: 6366683 (57%)

    Input file: 00005.ts Output file: 00005.ts.neu Packets: 11155104 Dropped: 6371466 (57%)

    Input file: 00006.ts Output file: 00006.ts.neu Packets: 10000501 Dropped: 6022083 (60%

  • Danke für alle weiteren Antworten!

    Also das ist doch immer noch gewaltig was da an Speicherplatz verschwendet wird. Auch auf die Lebensdauer von SSDs hat das Einfluss, wenn auf eine solche aufgenommen wird. Meiner Meinung nach ist der Patch essentiell. Solange der noch funktioniert ok, aber eine Integration in VDR sollte eigentlich höchste Priorität haben.

    MLD 5.5 mit VDR 2.4.1.219.4-219.4 & Kodi 18.6 - Gigabyte GA-F2A88XM-HD3 - AMD A8-7600 - 4 Gb RAM - Ausgabe via MSI N220GT-MD1GZ mit softhddevice & vdpau - 19.2E & 28.2E Empfang via Linux4Media L4M-Twin S2 ver 6.5 - Terratec Aureon 5.1 Fun TTP8 - Crucial m4 CT064M4SSD2 - Seagate Exos 7E8 - Medion X10 RF Remote Control 20016398