Ideen zum Platzsparen - komprimiertes Dateisystem oder Dateien Konvertieren?

  • Hallo zusammen,

    mein vdr (2.2) platzt aus allen Nähten, die Option Platten nachzuschieben wurde bereits ausgereizt. Da bereits recht große Platten verbaut sind, will ich sie auch (noch) nicht ersetzen.

    Setting ist eine FF S2-6400 mit tatsächlich 99% SD-Aufnahmen.

    Da ich an der VDR-Software selbst so wenig wie möglich ändern will (läuft alles gerade an sich ganz gut und habe etwas Angst mir was zu zerschießen), ist mir die Idee gekommen ein anderes Dateisystem mit Kompression zu nutzen. BTRFS mit der Option Compress (nutzt letzten Endes gzip über zlib) zu nutzen. Ich habe mal zum Test einen Film mit 4GB mit gzip gepackt, um die Kompressionsrate zu schätzen. Die Datei war dann ernüchternde ~3,6GB groß, also immernoch 90%.

    Nun meine Fragen :)

    1) Hat jemand Erfahrung mit BTRFS + Compress und weiß "Dos and Don'ts"?

    2) Ist die Rate von 90% wohl normal bzw. macht es überhaupt Sinn SD-Aufnahmen zu komprimieren oder zu konvertieren? Evtl. hat sich das Thema dann ja schon erledigt. Qualität runterdrehen oder Audiospuren löschen, kommt für mich nicht in Frage.

    3) Falls ich mich ins Thema Konvertieren einlesen sollte:

    3a) Ist dann h264 das Maß der Dinge?

    3b) Kann ich das konvertierte Material problemlos mit dem VDR über die FF-Karte abspielen? Kodi etc. nutze ich nicht wirklich.

    3c) Gibt es eine Idiotensichere Lösung bzw. externe Programme oder Plugins, die sich als problemlos erwiesen haben?


    Falls es einfacher ist das Konvertieren manuell und nicht on-the-fly direkt bei/nach der Aufnahme anzustoßen, sollte das eigentlich kein Problem für mich darstellen, da es primär um bestehende Aufnahmen geht.


    Aber naja, primär würde ich das Thema btrfs mit Kompression mal ausloten wollen...


    Vielen Dank fürs Lesen schonmal :)

  • Zu 2): MPEG2 Videodateien sind ja bereits recht effizient komprimiert - große Einsparungen durch klassische Kompression bekommst du da nicht, durch Transkodierung mit einem effizienteren Codec kann man die Größe der Videodateien besser reduzieren (was aber auch immer einen Qualitätsverlust bedingt, wenn man von einem verlustbehafteten Format in ein anderes konvertiert und eben Rechenzeit kostet).

    Zu 3a): Mit der S2-6400 FF ist h264 leider wirklich das Maß der Dinge, ansonsten könnte man ein effizienteres Videoformat wie z.B. h265 nutzen.

    Zu 3b): Wenn du die richtigen Einstellungen fürs Konvertieren nutzt, sollte das möglich sein (IIRC gab es da mal ältere Threads, die das diskutiert haben, aber auf die Schnelle finde ich die nicht)

    Meine VDRs

    VDR 1: Point of View Ion-330-1, 2x Sundtek MediaTV Pro (DVB-C), Atric IR-Einschalter Rev.5, Ubuntu 18.04 (yavdr-ansible)
    VDR 2: Acer Revo 3610, Pinnacle PCTV SAT 452e, Medion X10, yaVDR 0.6
    VDR 3: Intel DH67BL, Celeron 540, 4 GB Ram, POV Geforce GT 1030, Ubuntu 18.04 (yavdr-ansible), VDR 2.4.1, CIR-Empfänger
    Client 1: Raspberry Pi 2, Arch Linux ARM, VDR 2.3.8
    vdr-epg-daemon auf Cubietruck mit 32 GB SSD, Arch Linux ARM

    yaVDR-Dokumentation (Ceterum censeo enchiridia esse lectitanda.)

  • Ich habe alle meine SD-Aufnahmen nach H264 konvertiert, Ersparnis im Schnitt 2/3, Qulitätsverlust vernachlässigbar.

    Mein VDR

    VDR1 Mediaportal mit QVT-Board, Intel 810 Chipsatz, Pentium III 1,1 Ghz, 256 Mb Ram, WDC WD5000AAKB, DVB-S TT 1.5, Nova-S, Digidish 33, Gentoo Kernel 2.6.31, VDR 1.4.7
    VDR2 Asrock M3N78D, AMD Phenom II X6 1055T, 8 Gb Ram, Geforce GTX 950, WinTV dualHD, Gentoo Kernel 5.10, VDR 2.6.0, softhddevice
    VDR3 MC-1200, GA-B85M-HD3, Celeron G1840, Quadro P400. 4G Ram, CineS2 6, DuoFlex S2, WinTV dualHD, Gentoo Kernel 5.10, VDR 2.6.0, softhddevice
    TV TX-37LZD85F, AV VSX-520D - Consono 35


    vdr-User-# 755 to_h264 chk_r vdr-transcode github

  • Vielen Dank für die schnelle Antworten :)


    Okay, dann werde ich das Komprimierungs-Thema eher wieder verwerfen und mal bei Gelegenheit ein bisschen mit H264-Konvertierung herumspielen und schauen wie die S2-6400 das noch darstellen kann...

    :danke:

  • jsffm hat da ja praktischerweise einen Link zu dem Thema in seiner Signatur :)

    Meine VDRs

    VDR 1: Point of View Ion-330-1, 2x Sundtek MediaTV Pro (DVB-C), Atric IR-Einschalter Rev.5, Ubuntu 18.04 (yavdr-ansible)
    VDR 2: Acer Revo 3610, Pinnacle PCTV SAT 452e, Medion X10, yaVDR 0.6
    VDR 3: Intel DH67BL, Celeron 540, 4 GB Ram, POV Geforce GT 1030, Ubuntu 18.04 (yavdr-ansible), VDR 2.4.1, CIR-Empfänger
    Client 1: Raspberry Pi 2, Arch Linux ARM, VDR 2.3.8
    vdr-epg-daemon auf Cubietruck mit 32 GB SSD, Arch Linux ARM

    yaVDR-Dokumentation (Ceterum censeo enchiridia esse lectitanda.)

  • 1) Hat jemand Erfahrung mit BTRFS + Compress und weiß "Dos and Don'ts"?

    Lief hier bei mir ca. 2 Jahre auf einer 5 TB Platte unauffällig. Keine erhöhte CPU-Belastung, keine Verzögerung beim Springen o.ä.

    Der Nutzen ist aber wie schon geschrieben bei mpeg2 und h264 codierten files eher begrenzt und zumindest als ich das aufgesetzt habe gab es kein schönes Tool, das einem den durch Kompression gesparten Speicherplatz angezeigt hätte (und einen damit entsprechend vom Nutzen im vorgegebenen usecase überzeugt hätte)

    Habs deshalb beim HW-Umzug auf ein neues System auch nicht mehr aktiviert.

    Das Schöne an BTRFS compress ist allerdings, dass man es problemlos ein- und ausschalten kann, einfach fstab anpassen und neu booten. Wenn es ausgeschaltet wird, können komprimierte files nach wie vor gelesen werden.

    to_h264 vom jsffm bringt bei mpeg2 codierten Dateien ordentlich was, dauert allerdings dann je nach System auch ein paar Minuten pro Aufnahme das runterzurechnen.

    Tipp dazu: für den Parameter aaclib im Skript "aac" verwenden, das ist bei den neueren "normalen" ffmpeg-builds in den distro-repositorys schon dabei, das empfohlene "libfdk_aac" wegen copyright-Thematiken nicht.

    KODI, tvh, arch x86_64, Octopus net 2 x Duoflex C/C2/T2 , NUC7i3BNH, Crucial MX300 2TB, LG LM 669S

    Linux is the best OS I have ever seen -- Albert Einstein

  • Tipp dazu: für den Parameter aaclib im Skript "aac" verwenden, das ist bei den neueren "normalen" ffmpeg-builds in den distro-repositorys schon dabei, das empfohlene "libfdk_aac" wegen copyright-Thematiken nicht.

    Dann würde ich es eher deaktivieren und mp2 belassen, die Qualität ist deutlich schlechter.

    Mein VDR

    VDR1 Mediaportal mit QVT-Board, Intel 810 Chipsatz, Pentium III 1,1 Ghz, 256 Mb Ram, WDC WD5000AAKB, DVB-S TT 1.5, Nova-S, Digidish 33, Gentoo Kernel 2.6.31, VDR 1.4.7
    VDR2 Asrock M3N78D, AMD Phenom II X6 1055T, 8 Gb Ram, Geforce GTX 950, WinTV dualHD, Gentoo Kernel 5.10, VDR 2.6.0, softhddevice
    VDR3 MC-1200, GA-B85M-HD3, Celeron G1840, Quadro P400. 4G Ram, CineS2 6, DuoFlex S2, WinTV dualHD, Gentoo Kernel 5.10, VDR 2.6.0, softhddevice
    TV TX-37LZD85F, AV VSX-520D - Consono 35


    vdr-User-# 755 to_h264 chk_r vdr-transcode github

  • Ich konvertiere ebenfalls alles nach h264 (oder x264, oder wie das heißt), mit einer, wie schon genannte wurde, ganz ordentlichen Ersparnis von gerne mal 50% und mehr. Das mache ich so einmal die Woche manuell per Skript über alle Dateien. Nativ abspielen mit VDR geht dann zwar nicht mehr, aber man gewöhnt sich (KODI) an alles. Das GUI des VDR hab ich seit Monaten nicht mehr gesehen.

    Qualitätsverlust konnte ich bisher keine feststellen.

    Quote

    HandBrakeCLI -i ./00001.ts -o ./00001.mkv -f mkv -w 720 --crop 2:0:0:0 --loose-anamorphic --modulus 2 -e x264 -q 20 --cfr -a 1 -E ffaac -6 dpl2 -R Auto -B 160 -D 0 --gain 0 --audio-fallback ac3 --x264-preset=veryfast --h264-level="4.0" --h264-profile=main --verbose=1 && rm ./00001.ts

    RIP VDR-Portal 2017.

  • Nativ abspielen mit VDR geht dann zwar nicht mehr

    Vermutlich konvertierst Du nach Matroska, man kann aber auch nach TS konvertieren, dann bleibt es per VDR abspielbar. Matroska ist zwar etwas platzsparender, macht aber den Kohl auch nicht fett. Zudem weiß ich nicht, ob sich KODI mit der FF-Karte verträgt.

    Mein VDR

    VDR1 Mediaportal mit QVT-Board, Intel 810 Chipsatz, Pentium III 1,1 Ghz, 256 Mb Ram, WDC WD5000AAKB, DVB-S TT 1.5, Nova-S, Digidish 33, Gentoo Kernel 2.6.31, VDR 1.4.7
    VDR2 Asrock M3N78D, AMD Phenom II X6 1055T, 8 Gb Ram, Geforce GTX 950, WinTV dualHD, Gentoo Kernel 5.10, VDR 2.6.0, softhddevice
    VDR3 MC-1200, GA-B85M-HD3, Celeron G1840, Quadro P400. 4G Ram, CineS2 6, DuoFlex S2, WinTV dualHD, Gentoo Kernel 5.10, VDR 2.6.0, softhddevice
    TV TX-37LZD85F, AV VSX-520D - Consono 35


    vdr-User-# 755 to_h264 chk_r vdr-transcode github

  • Interessantes Thema.

    Bringt ein Dateisystem mit Dedublikation (ZFS) eventl. auch was bei VDR Videodateien?

    Klick für meine Hardware

    vdr1: Odroid N2+ 4GB | VDR*ELEC CE21-ng 64GB eMMC | Video über USB: 4TB SATA Rec (XFS) + 8TB SATA Archiv (exFAT) | 2x WinTV dualHD (DVB-T2/DVB-C) | IR onboard

    vdr2: Odroid N2+ 4GB | VDR*ELEC CE22-no 256GB eMMC | Video: 1TB microSD (exFAT) | 2x WinTV dualHD (DVB-T2/DVB-C) | IR onboard

    vdr3: HP ProDesk 400 G3 SFF (i3) | NVidia Quadro T400 | 2x 8GB | System: Ubuntu 24.02 LTS, yavdr ansible (vdr 2.7.3) auf 30GB mSATA SSD | Video: 3TB SATA (XFS) | 1x WinTV dualHD | IRMP RP2040 KBD

    TV: Philips 55OLED805

  • Interessantes Thema.

    Bringt ein Dateisystem mit Dedublikation (ZFS) eventl. auch was bei VDR Videodateien?

    Würde mich auch interessieren. Bin grad am Neuaufbau von einem Datei-Server.

    Mein VDR

    Hartware: Gehäuse: Ahanix MCE 302, Mobo: Kontron 986LCD-M/mITX, CPU: Intel Core2 Duo Mobile T7400 2,16GHz, 2GB RAM, SAT: Digital Devices DuoFlex S2 miniPCIe, Graka: ASUS GeForce GT 1030 Silent, 2x4TB + 2x8TB 3,5" WD Red HD, 1x DVD-Brenner Pioneer, Atric IR-Einschalter+Empfänger, FB One-For-All URC-7960, SoundGraph iMON LCD ( MFP5I, 15c2:0038 )
    Weichware: Debian Stretch (x86_64), Kernel 4.15, NVidia v396.54, ffmpeg 3.4.4, VDR 2.4.0 gepatched

  • Außer bei Überlappungen von aufgenommenen Sendungen (oder wenn man z.B. sowohl die originale Aufnahme als auch die daraus mit dem VDR geschnittene Fassung behält) dürfte es da eigentlich vergleichsweise selten eine nennenswerte Anzahl identischer Blöcke in den Aufnahmen geben. Deduplikation für Multimedia-Material lohnt sich soweit ich das gelesen habe normalerweise nicht, für viele VMs mit identischer Basis könnte das schon eher interessant sein.

    Die ganzen Datenblöcke miteinander zu vergleichen ist außerdem recht aufwendig - man benötigt vor allem eine Menge RAM, wenn die Hashtable schnell verfügbar sein soll (http://open-zfs.org/wiki/Performance_tuning#Deduplication und für die Abschätzung http://constantin.glez.de/blog/2011/07/z…e-or-not-dedupe) - wenn der RAM zu klein ist, wird jeder Cache-Miss den Schreibdurchsatz spürbar beeinflussen.

    Meine VDRs

    VDR 1: Point of View Ion-330-1, 2x Sundtek MediaTV Pro (DVB-C), Atric IR-Einschalter Rev.5, Ubuntu 18.04 (yavdr-ansible)
    VDR 2: Acer Revo 3610, Pinnacle PCTV SAT 452e, Medion X10, yaVDR 0.6
    VDR 3: Intel DH67BL, Celeron 540, 4 GB Ram, POV Geforce GT 1030, Ubuntu 18.04 (yavdr-ansible), VDR 2.4.1, CIR-Empfänger
    Client 1: Raspberry Pi 2, Arch Linux ARM, VDR 2.3.8
    vdr-epg-daemon auf Cubietruck mit 32 GB SSD, Arch Linux ARM

    yaVDR-Dokumentation (Ceterum censeo enchiridia esse lectitanda.)

  • Vermutlich konvertierst Du nach Matroska, man kann aber auch nach TS konvertieren, dann bleibt es per VDR abspielbar. Matroska ist zwar etwas platzsparender, macht aber den Kohl auch nicht fett. Zudem weiß ich nicht, ob sich KODI mit der FF-Karte verträgt.

    Lieber jsffm,

    leider sind mit dem neuen Portal Deine Links, welche Rückverweise auf das Portal enthalten, nicht mehr aufrufbar:

    https://www.vdr-portal.de/board16-video-…ln/#post1157043 liefert nur 404.

    Auch die Suchfunktion im Portal (und über Google) liefert nix brauchbares bzw. nur wieder tote Links.

    Wie komme ich an die Scripts to_h264 und to_h264_automation?

    Herzlichen Dank schon mal :)

    vdr User #2022 - hdvdr2:

    Lenovo SFF M83, Intel(R) Core(TM) i5-4670S, 32 GB Ram, zram-swap/tmp, ubuntu-focal+ESM, softhdcuvid, ffmpeg-6.1(git)

    ddbridge-6.5 mit 2xDVB-S2 und (Flex) 2xDVB-C/T Tunern, nvidia-GF1050Ti SFF (nvidia-dkms-S570.133), system SSD btrfs,

    timeshift-btrfs, Video 8TB HDD XFS/cow, yavdr-ansible-2.7.4-seahawk, epgd-git mit plugins, Kernel 6.12.19+dddvb-0.9.41-git

    vdradmin-am-3.6.13-git, vdr-live-ng, vdrmanager (Smartphones als FB)

  • Hi,

    Wie komme ich an die Scripts to_h264 und to_h264_automation?


    [to_h264] VDR Aufnahme mit ffmpeg in h264 umwandeln

    Gruss

    Wolfgang

    Hard & Software

    DVB-S: Silverstone LC17 mit 8,4" TFT Display, ASRock ALiveNF6G, AMD X2 3800+ (35W),4GB, GT 630 - nVidia-387, SSD 64GB, 2TB, TeVii S470, SkyStar S2, Cinergy T RC USB, Kodi-18.0, FB X10 Medion-Scroll, "easyVDR 3.5 (14.04 LTS) - Kernel-4.8.12 - VDR 2.3.8"
    -----------------------------

    DVB-C: ATC-620, Asrock K7S41GX, AMD Geode NX 1750, 2GB, picoPSU, Samsung 500GB 1x 1TB, LDW-851S, DVB-C Fujitsu-Siemens FF, Cinergy 1200, Nova T USB, Atric Rev.4, "easyVDR 0.8 - 2.6.35.10 VDR 1.7.16 "
    -----------------------------

    Client_1: Evo N600c, "Puppy-Slacko 6.3" VDR 2.2.0 - FB X10 Medion_OR25V
    -----------------------------

    Client_2: Himbeere-P2 - MLD-5.4 / LibreELEC-9.0-Milhouse(Kodi-18.0) (PVR-VNSI)

    TT S2-6400 - saa716x kompilieren unter 20.04(Focal)

  • Die letzte veröffentlichte Version könnte das hier sein.

    Mein VDR

    VDR1 Mediaportal mit QVT-Board, Intel 810 Chipsatz, Pentium III 1,1 Ghz, 256 Mb Ram, WDC WD5000AAKB, DVB-S TT 1.5, Nova-S, Digidish 33, Gentoo Kernel 2.6.31, VDR 1.4.7
    VDR2 Asrock M3N78D, AMD Phenom II X6 1055T, 8 Gb Ram, Geforce GTX 950, WinTV dualHD, Gentoo Kernel 5.10, VDR 2.6.0, softhddevice
    VDR3 MC-1200, GA-B85M-HD3, Celeron G1840, Quadro P400. 4G Ram, CineS2 6, DuoFlex S2, WinTV dualHD, Gentoo Kernel 5.10, VDR 2.6.0, softhddevice
    TV TX-37LZD85F, AV VSX-520D - Consono 35


    vdr-User-# 755 to_h264 chk_r vdr-transcode github

Participate now!

Don’t have an account yet? Register yourself now and be a part of our community!