DistributedVideoDirectory für VDR 2.2.0 und neuer

Zitat von SurfaceCleanerZ

Geht das evtl abschaltbar?

Plugin nicht installieren bzw. deaktivieren

Hi,

Genau das Aufnahmen nicht auf einer HDD liegen sondern Teil 1 auf Platte 1,Teil 2 auf Platte 2 und Teil 3 wieder auf Platte 1( bei 2 HDD s) meinte ich abschaltbar.

Weil das nervt echt nur, Heutige Platten sind schnell genug dass das unnötig ist...

MfG Stefan

Ein super interessanter Beitrag - ich antworte hier nur, damit mir dieser Beitrag nicht verloren geht..

Ich fand diese Verwaltung mehrerer Festplatten war eines *der* Features von VDR. Ein echter Verlust.

Ich bastle gerade an einem ähnlichen Plugin, aber mit total anderem Zielund damit auch völlig anderer Implementation. Mein setup besteht aus einer SSD für das root Dateisystem und mehreren langsamen Terabyte Datengräbern. Und mich stört die verschachtelte Ordner Hierarchie der Aufnahmen. Mein Plugin wird deswegen eher darauf zielen, alle Meta-Daten auf der schnellen SSD zu lassen und ausschließlich die riesigen Video-Daten (*.{ts,vdr}) auszulagern, aber ohne Ordner-Baumstruktur und die Aufnahmen je disk alphabetisch. Disk1 'a'..'h', Disk2 'i'..'z' usw.

Interessanter Ansatz, hätte den Vorteil, dass sich die Aufnahmen leicht in einen Ordner verschieben lassen.

Welche Art von Kollision meinst du? Jede Aufnahme hat immer noch einen eindeutigen Namen, auch in der flachen Struktur.

Beispiel: 'MythBusters - Die Wissensjäger' aufgenommen am 21.04.2014 um 04:05:32 würde zu

1) Anfangsbuchstabe der Aufnahme ist 'M' -> disk1 bzw. zweite Disk (´bei mir: /mnt/video0 .. /mnt/videoN).

2) im Link zur ts Datei werden einige chars ersetzt, z.B. das '/' gegen eine Tilde '~'.

3) alle Dateien wie bisher auf /video bis auf den Link zur ts Datei

/video/MythBusters_-_Die_Wissensjäger/2014-04-21.04.05.32-0.rec/00001.ts -> /mnt/video1/MythBusters_-_Die_Wissensjäger~2014-04-21.04.05.32-0~00001.ts

/video/MythBusters_-_Die_Wissensjäger/2014-04-21.04.05.32-0.rec/info

/video/MythBusters_-_Die_Wissensjäger/2014-04-21.04.05.32-0.rec/resume

Das Plugin legt den Link auf der richtigen Disk an und managed dann auch umbenennen etc; das läuft bis jetzt ohne Probleme mit einer 6TB und einer 8TB Platte, aber es fehlt noch ein automatisches Ausgleichen des Plattenplatzes im Hintergrund zwischen des Disks und die entsprechende Anpassung welche Aufnahme (welcher Anfangsbuchstabe) auf welcher disk landet.

Zitat von wirbel

Ein super interessanter Beitrag - ich antworte hier nur, damit mir dieser Beitrag nicht verloren geht..

Ich fand diese Verwaltung mehrerer Festplatten war eines *der* Features von VDR. Ein echter Verlust.

Ich bastle gerade an einem ähnlichen Plugin, aber mit total anderem Zielund damit auch völlig anderer Implementation. Mein setup besteht aus einer SSD für das root Dateisystem und mehreren langsamen Terabyte Datengräbern. Und mich stört die verschachtelte Ordner Hierarchie der Aufnahmen. Mein Plugin wird deswegen eher darauf zielen, alle Meta-Daten auf der schnellen SSD zu lassen und ausschließlich die riesigen Video-Daten (*.{ts,vdr}) auszulagern, aber ohne Ordner-Baumstruktur und die Aufnahmen je disk alphabetisch. Disk1 'a'..'h', Disk2 'i'..'z' usw.

Meta Daten auf der SSD und Video Daten auf die Festplatte. An so einem Plugin hätte ich auch Interesse.

Ggf. noch die Video Daten in einem Rutsch auf die Festplatte damit diese länger schläft und auf der SSD noch Aufnahmen die man kurzfristig schaut cachen.

Gibt es da etwas neues ? Gruß dile

Zitat von dile

Meta Daten auf der SSD und Video Daten auf die Festplatte. An so einem Plugin hätte ich auch Interesse.

Ggf. noch die Video Daten in einem Rutsch auf die Festplatte damit diese länger schläft und auf der SSD noch Aufnahmen die man kurzfristig schaut cachen.

Um die Festplatten mit den Aufzeichnungen die meiste Zeit schlafen zu legen, braucht es eigentlich kein Plugin. Da der VDR die Meta Daten komplett beim Start einliest und dann nur noch eher selten aktualisiert, kann man mit einem aktuellen Dateisystem mit SSD-Cache auch ohne Plugin ähnliche Effekte erzeugen.

Grüsse

kamel5

Ich habe mir ein Script geschrieben welches per cron einmal täglich läuft, die Aufnahmen die älter als 5 Tage sind auf die SATA HD kopiert und im SSD-Video Verzeichnis werden noch die MetaDateien gehalten und die Videos verlinkt.

Zitat von helau

Ich habe mir ein Script geschrieben welches per cron einmal täglich läuft, die Aufnahmen die älter als 5 Tage sind auf die SATA HD kopiert und im SSD-Video Verzeichnis werden noch die MetaDateien gehalten und die Videos verlinkt.

Das klingt nach einer guten Lösung die für mich auch sinnvoll sein könnte. Könntest du mir dieses Script zur Verfügung stellen ?

Vielen Dank

dile

Aber sicher doch

Zitat von dile

Meta Daten auf der SSD und Video Daten auf die Festplatte. An so einem Plugin hätte ich auch Interesse.

Ggf. noch die Video Daten in einem Rutsch auf die Festplatte damit diese länger schläft und auf der SSD noch Aufnahmen die man kurzfristig schaut cachen.

Gibt es da etwas neues ? Gruß dile

Es funzt seitdem und ich lasse es dabei so wie es ist.

Zitat von helau

Aber sicher doch

Zitat von helau

Ich habe mir ein Script geschrieben welches per cron einmal täglich läuft, die Aufnahmen die älter als 5 Tage sind auf die SATA HD kopiert und im SSD-Video Verzeichnis werden noch die MetaDateien gehalten und die Videos verlinkt.

Hallo Helmut,

danke für Dein Script. Ich würde das gerne auch so benutzen, habe aber einige Fragen.

Meine SSD ist nach "/srv/vdr/video0" gemounted und mein Raid Laufwerk nach "/mnt/md0/video1"

Auf der SSD befinden sich die Aufnahmeordner und in diesen die Metadaten und Symlinks der 0000*.ts Dateien zeigen nach "mnt/md0/video1/Aufnahmeordner/0000*.ts". Diese Ordnerstruktur habe ich Gestern händisch und per Scripte erstellt.

Im Script selbst habe ich "VIDEO=/srv/vdr/video0" und "TARGET_DIR=/mnt/md0/video1" eingestellt.

Das sollte so doch richtig sein ?

Neue Aufnahmen landen komplett auf der SSD, was ja auch gewünscht ist.

Wenn ich nun das Script starte, werden die *.ts Dateien (der Aufnahmen älter als 5 Tage) auf mein Raid Laufwerk verschoben und auf die SSD verlinkt. Richtig ?

Bei Ausführung des Scripts erhalte ich jedoch viele Fehler - siehe Anhang. Liegt das daran, dass die komplette Ordnerstruktur erst vor einem Tag erstellt wurde ?

Auch Aufnahmeordner auf dem Raid werden nicht gelöscht, obwohl sie auf der SSD durch VDR gelöscht wurden.( Diese Ordner beinhalten noch die *.ts Dateien. VDR folgt beim löschen ja nicht den Symlinks). Muß ich das von Zeit zu Zeit händisch erledigen, oder fehlt es an einer Abfrage "Wenn ordner xy nicht auf video0 vorhanden dann lösche Ordner xy inklusive ts Dateien darin" ?

Ich hatte die selben Fehler unter meinem Debian.

nice -n $NICE_VAL "$*" 2>&1 | tee -a $LOG

Ich habe dann die Zeile geändert und es lief auf den ersten Blick. Bin da aber nicht sehr erfahren in diesen Dingen und weiß nicht ob evt. ein anderes Problem damit verursacht werden könnte.

nice -n $NICE_VAL $* 2>&1 | tee -a $LOG

Außerdem ist mir noch aufgefallen:

Das TARGET_DIR wird beim ausführen des Scriptes gelöscht wenn es noch komplett leer ist. (Sobald da was drin ist passiert das nicht mehr.)

Wie sieht es denn beim Löschen von Aufnahmen aus ? Ich habe noch nicht die Zeit gehabt eine Löschung über den VDR zu testen. Aber nach einem manuellen löschen im Video Ordner und ausführen des Scriptes war die Aufnahme im sowohl im Target als auch im video Ordner noch etwas davon da.

Gruß Dirk

Zitat von dile

Ich hatte die selben Fehler unter meinem Debian.

Code

nice -n $NICE_VAL "$*" 2>&1 | tee -a $LOG

Ich habe dann die Zeile geändert und es lief auf den ersten Blick. Bin da aber nicht sehr erfahren in diesen Dingen und weiß nicht ob evt. ein anderes Problem damit verursacht werden könnte.

Code

nice -n $NICE_VAL $* 2>&1 | tee -a $LOG

Außerdem ist mir noch aufgefallen:

Das TARGET_DIR wird beim ausführen des Scriptes gelöscht wenn es noch komplett leer ist. (Sobald da was drin ist passiert das nicht mehr.)

Wie sieht es denn beim Löschen von Aufnahmen aus ? Ich habe noch nicht die Zeit gehabt eine Löschung über den VDR zu testen. Aber nach einem manuellen löschen im Video Ordner und ausführen des Scriptes war die Aufnahme im sowohl im Target als auch im video Ordner noch etwas davon da.

Gruß Dirk

Alles anzeigen

Nach der Änderung sind die Fehlermeldungen weg. Danke

Seltsamerweise wurde jetzt ein Ordner,der nur im Target war (da im video0 vom VDR gelöscht), wieder auf video0 erstellt worden und die *.ts verlinkt.

Diese Stelle im Script ist wohl dafür zuständig:

...

# find recordings on target Dir and link it on source dir if it doesnt exist

find "$TARGET_DIR" -type d -name "*.rec" 2>/dev/null | while read -r i; do

if [ ! -d "$i" ] ; then

echo "Ignoring empty <$i>"

continue

fi

LDIR="${SOURCE_DIR}${i#${TARGET_DIR}}"

if [ -d "$LDIR" ] ; then

echo "Ignoring exist <$i>"

continue

fi

echo "Linking <$i>"

execute mkdir -p "$LDIR"

for j in "${i}"/* ; do

[ ! -e "$j" ] && continue

if [ "${j##*.ts}" == "" ] ; then

execute ln -sf "$j" "${LDIR}/"

else

execute cp -auvf -t "${LDIR}" "$j"

fi

done

done

....

Das macht aus meiner Sicht keinen Sinn. Wenn ich im source_dir was lösche b.z.w. der VDR, dann können doch auch die *.ts files auf dem target_dir gelöscht werden.?!?

Gruß

Charly

Habe das jetzt mal so geändert:

...

# find recording dir on target dir and delete it if it in source doesnt exist

find "$TARGET_DIR" -type d -name "*.rec" 2>/dev/null | while read -r i; do

if [ ! -d "$i" ] ; then

echo "Ignoring empty <$i>"

continue

fi

LDIR="${SOURCE_DIR}${i#${TARGET_DIR}}"

if [ -d "$LDIR" ] ; then

echo "Ignoring exist <$i>"

continue

fi

echo "deleting <$i>"

execute rm -r "$i"

done

...

Nach einem beherzten Ausführen scheint es so zu funktionieren wie ich mir das vorstelle.

Das Löschen unter /Video hab ich für das hier bereitgestellte Script entfernt Ich hab das bei mir im record script eingebaut (bei Delete lösche ich auch sofort alles).