Ideen zum Platzsparen - komprimiertes Dateisystem oder Dateien Konvertieren?

  • Hallo zusammen,


    mein vdr (2.2) platzt aus allen Nähten, die Option Platten nachzuschieben wurde bereits ausgereizt. Da bereits recht große Platten verbaut sind, will ich sie auch (noch) nicht ersetzen.


    Setting ist eine FF S2-6400 mit tatsächlich 99% SD-Aufnahmen.


    Da ich an der VDR-Software selbst so wenig wie möglich ändern will (läuft alles gerade an sich ganz gut und habe etwas Angst mir was zu zerschießen), ist mir die Idee gekommen ein anderes Dateisystem mit Kompression zu nutzen. BTRFS mit der Option Compress (nutzt letzten Endes gzip über zlib) zu nutzen. Ich habe mal zum Test einen Film mit 4GB mit gzip gepackt, um die Kompressionsrate zu schätzen. Die Datei war dann ernüchternde ~3,6GB groß, also immernoch 90%.


    Nun meine Fragen :)


    1) Hat jemand Erfahrung mit BTRFS + Compress und weiß "Dos and Don'ts"?

    2) Ist die Rate von 90% wohl normal bzw. macht es überhaupt Sinn SD-Aufnahmen zu komprimieren oder zu konvertieren? Evtl. hat sich das Thema dann ja schon erledigt. Qualität runterdrehen oder Audiospuren löschen, kommt für mich nicht in Frage.

    3) Falls ich mich ins Thema Konvertieren einlesen sollte:

    3a) Ist dann h264 das Maß der Dinge?

    3b) Kann ich das konvertierte Material problemlos mit dem VDR über die FF-Karte abspielen? Kodi etc. nutze ich nicht wirklich.

    3c) Gibt es eine Idiotensichere Lösung bzw. externe Programme oder Plugins, die sich als problemlos erwiesen haben?



    Falls es einfacher ist das Konvertieren manuell und nicht on-the-fly direkt bei/nach der Aufnahme anzustoßen, sollte das eigentlich kein Problem für mich darstellen, da es primär um bestehende Aufnahmen geht.



    Aber naja, primär würde ich das Thema btrfs mit Kompression mal ausloten wollen...



    Vielen Dank fürs Lesen schonmal :)

  • Zu 2): MPEG2 Videodateien sind ja bereits recht effizient komprimiert - große Einsparungen durch klassische Kompression bekommst du da nicht, durch Transkodierung mit einem effizienteren Codec kann man die Größe der Videodateien besser reduzieren (was aber auch immer einen Qualitätsverlust bedingt, wenn man von einem verlustbehafteten Format in ein anderes konvertiert und eben Rechenzeit kostet).


    Zu 3a): Mit der S2-6400 FF ist h264 leider wirklich das Maß der Dinge, ansonsten könnte man ein effizienteres Videoformat wie z.B. h265 nutzen.


    Zu 3b): Wenn du die richtigen Einstellungen fürs Konvertieren nutzt, sollte das möglich sein (IIRC gab es da mal ältere Threads, die das diskutiert haben, aber auf die Schnelle finde ich die nicht)

    yaVDR-Dokumentation (Ceterum censeo enchiridia esse lectitanda.)

  • Ich habe alle meine SD-Aufnahmen nach H264 konvertiert, Ersparnis im Schnitt 2/3, Qulitätsverlust vernachlässigbar.


    vdr-User-# 755 to_h264 chk_r

  • Vielen Dank für die schnelle Antworten :)



    Okay, dann werde ich das Komprimierungs-Thema eher wieder verwerfen und mal bei Gelegenheit ein bisschen mit H264-Konvertierung herumspielen und schauen wie die S2-6400 das noch darstellen kann...


    :danke:

  • jsffm hat da ja praktischerweise einen Link zu dem Thema in seiner Signatur :)

    yaVDR-Dokumentation (Ceterum censeo enchiridia esse lectitanda.)

  • 1) Hat jemand Erfahrung mit BTRFS + Compress und weiß "Dos and Don'ts"?

    Lief hier bei mir ca. 2 Jahre auf einer 5 TB Platte unauffällig. Keine erhöhte CPU-Belastung, keine Verzögerung beim Springen o.ä.


    Der Nutzen ist aber wie schon geschrieben bei mpeg2 und h264 codierten files eher begrenzt und zumindest als ich das aufgesetzt habe gab es kein schönes Tool, das einem den durch Kompression gesparten Speicherplatz angezeigt hätte (und einen damit entsprechend vom Nutzen im vorgegebenen usecase überzeugt hätte)


    Habs deshalb beim HW-Umzug auf ein neues System auch nicht mehr aktiviert.


    Das Schöne an BTRFS compress ist allerdings, dass man es problemlos ein- und ausschalten kann, einfach fstab anpassen und neu booten. Wenn es ausgeschaltet wird, können komprimierte files nach wie vor gelesen werden.


    to_h264 vom jsffm bringt bei mpeg2 codierten Dateien ordentlich was, dauert allerdings dann je nach System auch ein paar Minuten pro Aufnahme das runterzurechnen.

    Tipp dazu: für den Parameter aaclib im Skript "aac" verwenden, das ist bei den neueren "normalen" ffmpeg-builds in den distro-repositorys schon dabei, das empfohlene "libfdk_aac" wegen copyright-Thematiken nicht.

    VDR1: vdr-latest, arch x86_64, Octopus net 2 x Duoflex C/C2/T2 , NUC7i3BNH, Crucial MX300 2TB, LG LM 669S
    VDR2: RasPI 2, MLD
    VDR-User #81

    Linux is the best OS I have ever seen -- Albert Einstein

  • Tipp dazu: für den Parameter aaclib im Skript "aac" verwenden, das ist bei den neueren "normalen" ffmpeg-builds in den distro-repositorys schon dabei, das empfohlene "libfdk_aac" wegen copyright-Thematiken nicht.

    Dann würde ich es eher deaktivieren und mp2 belassen, die Qualität ist deutlich schlechter.


    vdr-User-# 755 to_h264 chk_r

  • Ich konvertiere ebenfalls alles nach h264 (oder x264, oder wie das heißt), mit einer, wie schon genannte wurde, ganz ordentlichen Ersparnis von gerne mal 50% und mehr. Das mache ich so einmal die Woche manuell per Skript über alle Dateien. Nativ abspielen mit VDR geht dann zwar nicht mehr, aber man gewöhnt sich (KODI) an alles. Das GUI des VDR hab ich seit Monaten nicht mehr gesehen.


    Qualitätsverlust konnte ich bisher keine feststellen.


    Zitat

    HandBrakeCLI -i ./00001.ts -o ./00001.mkv -f mkv -w 720 --crop 2:0:0:0 --loose-anamorphic --modulus 2 -e x264 -q 20 --cfr -a 1 -E ffaac -6 dpl2 -R Auto -B 160 -D 0 --gain 0 --audio-fallback ac3 --x264-preset=veryfast --h264-level="4.0" --h264-profile=main --verbose=1 && rm ./00001.ts

  • Nativ abspielen mit VDR geht dann zwar nicht mehr

    Vermutlich konvertierst Du nach Matroska, man kann aber auch nach TS konvertieren, dann bleibt es per VDR abspielbar. Matroska ist zwar etwas platzsparender, macht aber den Kohl auch nicht fett. Zudem weiß ich nicht, ob sich KODI mit der FF-Karte verträgt.


    vdr-User-# 755 to_h264 chk_r

  • Interessantes Thema.


    Bringt ein Dateisystem mit Dedublikation (ZFS) eventl. auch was bei VDR Videodateien?

    Würde mich auch interessieren. Bin grad am Neuaufbau von einem Datei-Server.

  • Außer bei Überlappungen von aufgenommenen Sendungen (oder wenn man z.B. sowohl die originale Aufnahme als auch die daraus mit dem VDR geschnittene Fassung behält) dürfte es da eigentlich vergleichsweise selten eine nennenswerte Anzahl identischer Blöcke in den Aufnahmen geben. Deduplikation für Multimedia-Material lohnt sich soweit ich das gelesen habe normalerweise nicht, für viele VMs mit identischer Basis könnte das schon eher interessant sein.


    Die ganzen Datenblöcke miteinander zu vergleichen ist außerdem recht aufwendig - man benötigt vor allem eine Menge RAM, wenn die Hashtable schnell verfügbar sein soll (http://open-zfs.org/wiki/Performance_tuning#Deduplication und für die Abschätzung http://constantin.glez.de/blog…/zfs-dedupe-or-not-dedupe) - wenn der RAM zu klein ist, wird jeder Cache-Miss den Schreibdurchsatz spürbar beeinflussen.

    yaVDR-Dokumentation (Ceterum censeo enchiridia esse lectitanda.)

  • Vermutlich konvertierst Du nach Matroska, man kann aber auch nach TS konvertieren, dann bleibt es per VDR abspielbar. Matroska ist zwar etwas platzsparender, macht aber den Kohl auch nicht fett. Zudem weiß ich nicht, ob sich KODI mit der FF-Karte verträgt.

    Lieber jsffm,


    leider sind mit dem neuen Portal Deine Links, welche Rückverweise auf das Portal enthalten, nicht mehr aufrufbar:

    https://www.vdr-portal.de/boar…64-umwandeln/#post1157043 liefert nur 404.

    Auch die Suchfunktion im Portal (und über Google) liefert nix brauchbares bzw. nur wieder tote Links.

    Wie komme ich an die Scripts to_h264 und to_h264_automation?


    Herzlichen Dank schon mal :)

    --
    hdvdr: Acer Veriton M670, 8GB Ram, Intel(R) Core(TM)2 Duo E8400, Grafik nvidia GeForce GT 610, nvidia-381
    Octopus (ddbridge-6.2) mit 2xDVB-S2 und 2xDVB-C/T Tunern, TT-3200 (SAA7146) mit 1xDVB-S2 + FB,
    neuestes (jasminj) media-build-dkms, System-SSD/btrfs, apt-btrfs-snapper,+4x1TB Raid5 XFS, yavdr0.6-frodo,

    Kernel 4.10.0-39, epgd/tvm/tvsp, vdradmin-am, vdrmanager

  • Hi,

    Wie komme ich an die Scripts to_h264 und to_h264_automation?


    [to_h264] VDR Aufnahme mit ffmpeg in h264 umwandeln


    Gruss

    Wolfgang

  • Die letzte veröffentlichte Version könnte das hier sein.


    vdr-User-# 755 to_h264 chk_r