Plugin zum cachen der Aufzeichnungsliste ?

  • Hallo zusammen


    gibt es eigentlich ein Plugin oder einen Workaround für "große Video Directorys" ?


    Ich habe hier ein relativ großes Video0 Archiv, welches auf einem NAS liegt und via NFS eingebunden ist.
    Das sind aktuell ca. 15tb von 22TB...


    Prinzipiell funktioniert das wie gewünscht - so lang man den vdr nicht ausschaltet - nun experimentiere ich seit einiger Zeit mit Yavdr auf einer zbox die man ausschalten kann.


    Wenn die nun eingeschaltet wird und der VDR startet ist der je nach LAN anbindung (1GB Netzwerk oder WLAN) zwischen 3 und 6 Minuten kaum ansprechbar - geht zwar - aber furchbar langsam - einfach weil in der Zeit das Aufnahme Verzeichnis eingelesen wird.


    Ich wollte nun mal fragen ob es hier inzwischen eine andere Lösung gibt - z.b: mit ner lokalen Datenbank oder ähnlichem ...


    CU
    GTR

  • Ich wollte nun mal fragen ob es hier inzwischen eine andere Lösung gibt - z.b: mit ner lokalen Datenbank oder ähnlichem ...


    Nein, und es würde wohl auch wenig helfen, die Datenbank müsste ja auch gefüllt oder aktualisiert werden, dafür müssten auch die Files über das Netz gelesen werden.


    Du hast nicht das richtige Setup, das ist alles. Die NFS-Dateien gehören nicht nach /srv/vdr/video.00 sondern nach /srv/vdr/video.01. In /srv/vdr/video.00 hast du dann die identischen Ordner wie auf der video.01, aber die .ts-Dateien sind nur symlinks auf die Dateien im Ordner video.01. So brauchst du für den Ordner video.00 nur wenig Platz, die .ts-Dateien schreibt der vdr automatisch nach video.01 und legt die symlinks an. Dadurch kannst du dir die Aufnahmeliste sogar ansehen ohne das der Server überhaupt läuft.


    Gerald


    HP Proliant MicroServer Gen8, Xeon E3-1230, 12 GB RAM, 3xWD red 2TB im RAID 5, 2xSundtek MediaTV Home DVB-C/T, L4M TWIN-C/T, Ubuntu Server 14.04.1, Plex Media Server
    Samsung UE55H6470

  • danke für deine Antwort - ist das neu ? - oder yaVDR spezifisch ?


    Nein, nein

    - Legt der VDR denn die Symlink in video.00 an ?
    - gilt das auch für die "alten" .vdr dateien - also vor ".ts"


    Ja, ja, aber nur für neue Aufnahmen, für die Alten musst du das selber machen


    Gerald


    HP Proliant MicroServer Gen8, Xeon E3-1230, 12 GB RAM, 3xWD red 2TB im RAID 5, 2xSundtek MediaTV Home DVB-C/T, L4M TWIN-C/T, Ubuntu Server 14.04.1, Plex Media Server
    Samsung UE55H6470

  • Hallo,


    Du hast nicht das richtige Setup, das ist alles. Die NFS-Dateien gehören nicht nach /srv/vdr/video.00 sondern nach /srv/vdr/video.01. In /srv/vdr/video.00 hast du dann die identischen Ordner wie auf der video.01, aber die .ts-Dateien sind nur symlinks auf die Dateien im Ordner video.01. So brauchst du für den Ordner video.00 nur wenig Platz, die .ts-Dateien schreibt der vdr automatisch nach video.01 und legt die symlinks an. Dadurch kannst du dir die Aufnahmeliste sogar ansehen ohne das der Server überhaupt läuft.


    dazu hätte ich dann auch noch mal paar Fragen.


    Also du meinst, video.00 lokal und video.01 auf dem NAS?
    vdr verteilt doch dann automatisch die Aufnahmen auf die Platten. Nimmt also auch video0, bis die voll ist. Wie kann man denn verhindern, dass vdr nicht auf video0 ts-dateien ablegt sondern nur die Beschreibungen und die Links?
    Auf dem NAS fehlen dann die Beschreibungen. Die anderen VDRs im Netz haben dann keine Beschreibungen. Wie synchronisiert du die video0 Verzeichnisse mit den anderen vdrs?


    Gruß
    Steevee

    VDR1: EasyVDR 2.0.0, MB Asus M2N-VM HDMI, TT S2-6400, ...
    VDR2: EasyVDR 2.0.0, MB Asus M4N78 Pro, AMD Athlon II X2 250, DVB-S2 TeVii S464, 2*DVB-S Budget, GraphTFT an VGA, TV an HDMI
    VDR3: EasyVDR 2.0.0, MB Asus M2N-VM HDMI, DVB-S FF1.3, DVB-S Budget, Atric-IR, GraphTFT an FF, TV an DVI
    #VDR4: EasyVDR 0.8.x, DVB-S FF1.3, DVB-S Budget, TV über AV-Board
    sonstige VDR Test-Hardware: Skystar HD2, Touch-TFT, IMON-LCD, Fritz-Box, ...

    Einmal editiert, zuletzt von Steevee ()

  • Nein, und es würde wohl auch wenig helfen, die Datenbank müsste ja auch gefüllt


    Datenbanken füllt man einmal, dann arbeitet man damit und aktualisiert bei Änderungen lediglich einzelne Datensätze.



    Zitat

    oder aktualisiert werden,


    Bei Datenbanken geht man davon aus dass sie aktuell sind. Das setzt voraus, dass man Änderungen an den Datensätzen auch nur über die Datenbank handhabt und nicht mit irgendwelche Aktionen um die Datenbank herum pfuscht.

  • Bei Datenbanken geht man davon aus dass sie aktuell sind. Das setzt voraus, dass man Änderungen an den Datensätzen auch nur über die Datenbank handhabt und nicht mit irgendwelche Aktionen um die Datenbank herum pfuscht.


    Das ist doch quatsch, irgendwer oder was muss in die Datenbank mal Änderungen reinschreiben. Und das ist kein Pfuschen, sondern normale Datenbank-Benutzung.
    Aktuell akzeptiert es der VDR durchaus, wenn die Daten zweier VDRs in einem gemeinsamen Verzeichnis landen. Dafür gibt es ja z.B. die Mimik mit der .update Datei. Dass heißt dass eine per VDR-Plugin gepflegte lokale Datenbank bei Änderungen im Verzeichnis durch den 2. VDR upgedatet werden muss. Solange man die Datenbank nicht zentralisiert und beiden VDRs zur Verfügung stellt, wird man also die Daten im Verzeichnis lesen und die Datenbank aktualisieren müssen. Also ich hätte ja keine Lust auf einen zentralen Datenbank-Server.


    Gerald


    HP Proliant MicroServer Gen8, Xeon E3-1230, 12 GB RAM, 3xWD red 2TB im RAID 5, 2xSundtek MediaTV Home DVB-C/T, L4M TWIN-C/T, Ubuntu Server 14.04.1, Plex Media Server
    Samsung UE55H6470


  • Das ist doch quatsch, irgendwer oder was muss in die Datenbank mal Änderungen reinschreiben.


    Und das erfolgt einmal und nicht bei jedem Programm- oder Rechnerstart. Da kann man mal ein paar Minuten oder eine halbe Stunde drauf warten. Die Änderungen danach, wenn ein Film dazu kommt oder gelöscht wird, benötigen kaum Rechenzeit.


    Zitat

    Und das ist kein Pfuschen, sondern normale Datenbank-Benutzung.


    Ich meinte mit Pfusch nicht das einmalige Beschreiben der Datenbank, sondern wenn man das Prinzip Datenbank nicht ernst nimmt und dauernd mit anderen Mitteln an der Datenbank vorbei arbeitet und diese Änderungen dann mühsam irgendwann wieder einpflegen muss.


    P.s.
    Bei dem Prozess den du mit ".update" beschreibst würde kein Update der Datenbank ausgelöst, sondern ein Neuaufbau der Datenbank. Das würde genau so viel unnütze Zeit kosten wie derzeit der Vorgang "vergiss alles was du kennst und such dir alles neu zusammen" ohne Datenbank.

  • Die Frage ist auch warum das so lange dauert?
    Evtl. macht der VDR was unnötiges (z.B. R/W öffnen wo R/O reichen würde so das Samba unnötig looked)?


    Gesendet von meinem ALCATEL ONE TOUCH 997D mit Tapatalk 2

  • Die Frage ist auch warum das so lange dauert?


    Weil 15 TB an Aufnahmen über NFS zu durchforsten nunmal lange dauert?
    3 bis 6 Minuten erscheinen mir da plausibel.

  • Naja, er braucht aber nur das Directory Listing und die "info" für die Framerate. So schrecklich viel ist das ja nicht.


    Ich wollte gerade mal für meine 1TB lokal schauen. Aber das scheint mir nicht plausibel. Oder?

    Code
    Aug  9 12:28:43 dirk-vdr-lan vdr: [10257] video directory scanner thread started (pid=10253, tid=10257)
    Aug  9 12:28:43 dirk-vdr-lan vdr: [10256] video directory scanner thread started (pid=10253, tid=10256)
    ...
    Aug  9 12:28:44 dirk-vdr-lan vdr: [10257] video directory scanner thread ended (pid=10253, tid=10257)
    ...
    Aug  9 12:28:44 dirk-vdr-lan vdr: [10256] video directory scanner thread ended (pid=10253, tid=10256)


    cu

  • Was erscheint dir nicht plausible?


    Er startet zweimal? und braucht jeweils 1s.
    Dies klingt doch gut. Vielleicht muß er noch die Platten anwerfen.


    Habe hiermit gespielt:

    Code
    (lr /var/vdr/video.00/; find /var/vdr/video.00/ -name "info" -exec cat {} \;) | wc -c


    Das sollte eine ungefähre Abschätzung des Transfer sein. Bei mir sind es 512k.
    Bei einer Plattengeschwindigkeit von 100Mbyte/s und 1GBit Netzwerk sind es auch 100MByte/s,
    sollte dies keinerlei Rolle spielen ob Local oder auf dem Server.


    Johns

    Sag mir, wo die Developer sind. Wo sind sie geblieben? . . . . . . . . . . . . . . . . . . . . SoftHdDevice - A software and GPU emulated HD output device plugin.
    Sag mir, wo die Developer sind. Was ist geschehn?


    Client0: Crown CW02 MSI_C847MS-E33 Zotac_GT640_passiv Cine-S2 iMon-MCE / streamdev softhddevice
    Client1: Lian_Li_PC-Q09FB ASRock_H67M-ITX/HT I3-2100 ASUS_ENGT520_passiv / streamdev softhddevice
    Test: Lian_Li_PC-Q09R Asus C60M1-I / streamdev
    Server0: Dockstar TT-S2-3600-USB / streamdev
    Server2: Lian_Li_PC-Q07R Intel_DH61DL G620 WD20EARX 90W PicoPSU Cine-S2+DuoFlex-S2+DuoFlex-CT / streamdev / 22 Watt Verbrauch

  • Was erscheint dir nicht plausible?


    Das das einlesen des 1TB Videoverzeichnisses in einer Sekunde gehen soll. Klaus hat das bei der aktuellen VDR Version extra in nen eigenen Thread gepackt, aber doch nicht für 5 Sekunden Wartezeit beim starten, oder?


    sollte dies keinerlei Rolle spielen ob Local oder auf dem Server.


    Genau, deswegen die Frage ob der VDR da irgendwas nicht optimal handhabt (für den Samba/NFS Fall). Eine Möglichkeit wäre z.B. das er die "info" R/W öffnet und Samba deswegen für jede Datei nen riesen Aufriss macht. Oder halt sowas in der Art? Mich wundert es ja auch warum es bei GTRDRIVER so lange dauert. Und auch warum der VDR in dieser Zeit kaum ansprechbar sein soll.


    cu

  • Stimmt, das hatte ich verwechselt.


    Gesendet von meinem ALCATEL ONE TOUCH 997D mit Tapatalk 2

  • Hallo zusammen


    das Scannen der 15tb dauert mit ner 300mbit WLAN verbindung ca. 3 Minuten - mit GBIT LAN ca. 1,5 Minuten.
    Den Scan kann man ja in /var/log/syslog verfolgen.


    Was mich hier wundert:


    1: der Scan läuft "sehr häufig" - gefühlt alle 10 - 15 Minuten - ohne das jetzt gemessen zu haben - dies obwohl weder dieser Client - noch ein anderer VDR im Netz aufnimmt


    2: wenn der scan der Aufnahmen beendet ist - ein Live Signal dargestellt wird (oder eine Aufzeichnung angeschaut wird - das ist egal) - dann öffnet sich das Hauptmenü normalerweise innerhalb von 0,5sec. Dann plötzlich dauert das mal 5-10 Sekunden man meint schon da hat sich was aufgehängt - aber nein dann kommt es ...


    Getestet auf Yavdr 0,5 1,7.x auf ner zbox id42 - angebunden an besagtes NAS
    Am gleichen NAS hängt auch noch ein alter VDR mit FF Karte und single Core Atom Mainboard - und VDR 1.7.10 - da habe ich diese "Hauptmenü Hänger" noch nie erlebt - der läuft schon seit 2 Jahren ...


    Ich überlege schon intensiv was beim öffnen des Hauptmenüs da im hintergrund "so lange berechnet - oder an daten gesammelt wird" - evtl die Infos über "freien Speicherplatz ?"


    Cu
    GTR

  • Wenn die nun eingeschaltet wird und der VDR startet ist der je nach LAN anbindung (1GB Netzwerk oder WLAN) zwischen 3 und 6 Minuten kaum ansprechbar - geht zwar - aber furchbar langsam - einfach weil in der Zeit das Aufnahme Verzeichnis eingelesen wird.

    Vielleicht hilft es, leere Verzeichnisse zu löschen.



    Genau, deswegen die Frage ob der VDR da irgendwas nicht optimal handhabt (für den Samba/NFS Fall). Eine Möglichkeit wäre z.B. das er die "info" R/W öffnet und Samba deswegen für jede Datei nen riesen Aufriss macht. Oder halt sowas in der Art?

    Das dürfte einfach daran liefen, dass der Zugriff übers Netzwerk erfolgt. Wenn der Client eine Datei öffnet oder ein Verzeichnis durchsucht, muss er immer erst beim Server nachfragen und die Antwort abwarten. Selbst wenn eine Datei lokal im Cache liegt, muss der Client immer nochmal nachfragen, da die Datei auf dem Server inzwischen gelöscht worden sein könnte. Das mag nur wenige Millisekunden dauern, aber bei zigtausenden Zugriffen (wie beim Durchsuchen des kompletten Dateisystems) kommt da einiges zusammen. 3 Minuten sind durchaus realistisch, obwohl da sicherlich noch Raum für Verbesserung ist.

    Give root password for maintenance (or type Control-D to continue): _

  • Hallo zusammen


    ich hatte mal jemand in der Sache "kontaktiert" und wurde auf
    die "historie" verwiesen - wer lesen kann ist auch klar im Vorteil:




    Tja - die 1.7.28 hab ich auf YAVDR net und selbst compilieren - dazu weiss ich bei YAVDR net so recht wie das mit den ganzen abhängigkeiten ist ... -
    Ich hab daher mal kurzerhand 2.0.2 installiert


    Und siehe da - Problem gelöst !


    Die Menüs öffnen sich nun auf dem Client mit WLAN schnell und flüssig ....


    Evtl hilfts auch jemand anders....


    CU
    GTR

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!