Aufnahmen von 2x Twin-SAT-Karten auf 4 SSDs speichern

  • Hallo liebe VDR-Gemeinde,


    könnt Ihr mir bitte eine Grundlegende Frage beantworten:


    Wenn angenommen 2 Aufnahmen gleichzeitig laufen und die Speicherung erfolgt auf die selbe HDD, wie sieht es denn da mit der Fragmentierung aus?
    Oder reserviert VDR immer gleich einen großen Block (Bsp. 500MB) für die Speicherung der Aufnahme und wenn dieser ausgeschöpft ist wird dieser autom. vergrößert?


    Hat man die Möglichkeit in den Dafault-Einstellungen festzulegen das alle Aufnahmen von der 1.SAT-Karte auf die HDD (od.SDD) 1, Aufnahmen der 2.SAT-Karte auf die HDD 2 etc. gespeichert werden?
    video.00, video.01 etc. per mount ist mir bekannt, aber von einer direkten Zuweisung des Zielspeichers habe ich noch nichts gelesen.


    Vielen Dank schon mal für eure Bemühungen.
    MrPacman :]

  • Hat man die Möglichkeit in den Dafault-Einstellungen festzulegen das alle Aufnahmen von der 1.SAT-Karte auf die HDD (od.SDD) 1, Aufnahmen der 2.SAT-Karte auf die HDD 2 etc. gespeichert werden?


    Neue VDR Versionen unterstützen nur noch maximal ein Aufnahmeziel.
    Das Verteilen auf mehrere Datenträger muss entweder mit einem RAID oder einem FUSE-Filesystem gemacht werden.

  • Soweit ich weiß, kümmert sich der vdr nicht um Fragmentierung, es wird einfach in die Datei geschrieben und gut.
    Warum sollte es ein Problem sein? Die Datenrate ist für eine Festplatte auch bei mehreren Aufnahmen gleichzeitig kein Problem. Und auch beim Abspielen macht ein bisschen Fragmentierung auch nichts.


    Hast du ein konkretes Problem oder ist das nur ein theoretisches?


    Lars


  • Neue VDR Versionen unterstützen nur noch maximal ein Aufnahmeziel.
    Das Verteilen auf mehrere Datenträger muss entweder mit einem RAID oder einem FUSE-Filesystem gemacht werden.

    D.h. alle Aufnahmen, egal von welcher Karte, werden auf ein Zielmedium gespeichert?
    RAID wäre an dieser Stelle nicht zielführend!
    Also keine Möglichkeit Einzustallen das Aufnahmen von der 3.SAT-Karte in den Mount-Punkt z.b. /video.03 abgelegt werden sollen?

  • Man könnte den Timern Unterverzeichnisse, die auf einem anderen Dateisystem liegen zuweisen oder mehrere separate VDR-Instanzen laufen lassen und ihnen jeweils bestimmte Tuner und eigene Aufnahmeverzeichnisse zuweisen.

    yaVDR-Dokumentation (Ceterum censeo enchiridia esse lectitanda.)

  • Soweit ich weiß, kümmert sich der vdr nicht um Fragmentierung, es wird einfach in die Datei geschrieben und gut.
    Warum sollte es ein Problem sein? Die Datenrate ist für eine Festplatte auch bei mehreren Aufnahmen gleichzeitig kein Problem. Und auch beim Abspielen macht ein bisschen Fragmentierung auch nichts.


    Hast du ein konkretes Problem oder ist das nur ein theoretisches?


    Lars


    Ist erstmal nur ein Theoretisches!!!
    Also wenn das mit der Speicherplatzres. klappt so wie ich mir das vorstelle dann wäre das kein Problem (s. z.b. Befehl fallocate).
    Nur wenn das nicht so ist dann hat eine HDD bei 4 Aufnahmen schon ganz schön zu tun, oder sehe ich das falsch mit der Fragmentierung?


    1.Block = Aufnahme 1
    2. Block = Aufnahme 2
    3. Block = Aufnahme 3
    4. Block = Aufnahme 4
    5. Block = Aufnahme 1 usw.

  • Man könnte den Timern Unterverzeichnisse, die auf einem anderen Dateisystem liegen zuweisen oder mehrere separate VDR-Instanzen laufen lassen und ihnen jeweils bestimmte Tuner und eigene Aufnahmeverzeichnisse zuweisen.

    seahawk1986, gute Idee.
    Das mit den Timern guck ich mir mal an.
    Mehrere VDR-Instanzen wären perfomancetechnisch gesehen eher nicht ratsam oder?

  • Bei SSD ist die Fragmentierung irrelevant. 4 Aufnahmen gleichzeitig auf eine normale HDD ist gar kein Problem. Es gibt hier Leute die haben regelmässig mehr gleichzeig laufen.
    Wobei 4 SSD als Datengrab völlig unsinnig ist.
    K.a. was du genau vor hast aber normal wäre eine SSD als Systemplatte und ein ca. 1-3 TB Platte als Videoplatte. That's it. :D


    lg,
    Joe

  • Nur wenn das nicht so ist dann hat eine HDD bei 4 Aufnahmen schon ganz schön zu tun, oder sehe ich das falsch mit der Fragmentierung?


    Und wie würdest du es einhalten wollen wenn du 4 Aufnahmen von der selben Karte gleichzeitig machst? Das macht VDR automatisch so wenn die Aufnahmen vom selben Transponder erfolgen. Und viele SSDs sind ja auch nicht als Geschwindigkeitswunder beim schreiben von Daten bekannt, es lohnt nicht deswegen auf SSDs zu setzen.

  • Nur wenn das nicht so ist dann hat eine HDD bei 4 Aufnahmen schon ganz schön zu tun, oder sehe ich das falsch mit der Fragmentierung?

    Du kannst dir auch mal ansehen was ein DVB-S2 Transponder so an Daten liefern kann - das sind gut 40 Mbit/s (http://www.digitalfernsehen.de…chaufloesend.46860.0.html). Ein einzelner Sender hat so zwischen 3 - 20 MBit/s. Selbst wenn du alle Sender von 4 Transpondern gleichzeitig aufzeichnest, ist das immer noch in dem Bereich, was eine einzelne halbwegs moderne Platte gut wegschreiben kann.

    Mehrere VDR-Instanzen wären perfomancetechnisch gesehen eher nicht ratsam oder?

    Das kommt immer auf die Zielplattform an. So viel mehr als die gewünschten Teile aus dem Datenstrom auf die Platte(n) zu schreiben muss der VDR bei einer Aufnahme ja gar nicht tun. Die Anforderungen an den Arbeitsspeicher und die erzeugte Grundlast vervielfachen sich natürlich, aber das bringt einen halbwegs aktuellen PC normalerweise nicht wirklich zum Schwitzen.

    yaVDR-Dokumentation (Ceterum censeo enchiridia esse lectitanda.)

  • Vielen Dank für eure Antworten.


    In Sachen Performance bin ich wohl ein kleiner Nerd :rolleyes:
    Für die OS-Platte habe ich bereits eine SSD vorgesehen und für den Video-Speicher werde ich auch eine SSD verwenden da ich diese schon habe.
    Zwar nur 60GB, aber dafür 2 Stück.
    Auf einem anderen Server habe ich insg. 6TB verbaut, das dürfte ne zeitlang reichen.
    Wenn Ihr zwei SSDs verbauen würdet, würdet Ihr diese mit JBOD zusammen hängen oder lieber als
    RAID 0 (Striping) betreiben?


    Feiert schön und guten Rutsch ins neue Jahr 2015

  • Ich habe vor ganz vielen Jahren (noch mit einem Via EPIA M10000) mal getestet und damals war XFS hierfür besser geeignet als Ext4, da es die Daten a) länger cached (und deswegen mehr Daten in einem Rutsch schreibt) und b) größere Blöcke (pre-)allokiert. Ich konnte damals mit besagtem EPIA auf eine ebenfalls schnarchlangsame IDE Festplatte problemlos 4 SD Streams parallel aufnehmen und auch die Fragmentierung hielt sich in Grenzen, solange die Platte nicht >80% Füllgrad erreicht hat. Seitdem läuft mein video-Verzeichnis auf XFS ...


    Heutzutage sollte das gar kein Problem sein. Und wenn Dich Fragmentierung so dermaßen stört: XFS hat sogar ein Defrag Tool ...


    Gruß,


    Space

  • Irgendwie ist es hier alles nur halbe Theorie. Wir vergessen den Cache-Effekt (RAM und Platte)!


    Acht gleichzeitige HD Aufnahmen auf einem aktuellen 2,5" HD dürfen kein Problem sein! ;-)


    Albert

  • 8 x 20MBit/sec wären nur 20MByte/sec.


    Hdds liegen bei > 80MByte/sec, je nach Schreibkopfposition, SSDs schreibend bei 40..400 MByte/sec.
    Ein wirklich seeeehr theoretisches Problem.

  • ...
    Auf einem anderen Server habe ich insg. 6TB verbaut, das dürfte ne zeitlang reichen.
    Wenn Ihr zwei SSDs verbauen würdet, würdet Ihr diese mit JBOD zusammen hängen oder lieber als
    RAID 0 (Striping) betreiben?



    Outsch - weder noch - wenn dir deine Daten lieb sind...beim Ausfall EINER Platte sind die Daten auf der anderen auch hinüber...


    Quote

    Irgendwie ist es hier alles nur halbe Theorie. Wir vergessen den Cache-Effekt (RAM und Platte)!


    Eben -er hat kein Problem - wähnt sich mt 2 DUal-Tunern aber in Performance/Leistungsrandbereichen....

  • Außerdem dürfte er bei 4 parallelen Aufnahmen seine 120GB sowieso schnell voll haben

    VDR1 yaVDR 0.6: Gehäuse: OrigenAE X15e Board: Giada MG-C1037-SL Grafik: GT620 CPU: Celeron 1037U Ram: 2GB DVB: CineS2 Festplatte: 2x1TB
    VDR2 yaVDR 0.6: Gehäuse: Streacom F7C Board: Zotac Z68ITX-B-E Grafik: GT430 CPU: Pentium G630 Ram: 8GB DVB: CineS2 Festplatte: 30GB mSata + 500GB 2,5
    VDR3 yaVDR 0.6: Gehäuse: HP N36L Ram: 8GB DVB: 2 x CineS2 Festplatten: 2x 1,5TB und 2x2TB
    OctopusNet V1 + Rack 4xS2 + 8xS2

  • Außerdem dürfte er bei 4 parallelen Aufnahmen seine 120GB sowieso schnell voll haben


    DAS ist jetzt
    - richtig
    - ne interessante Fragestellung,


    wie schnell bekomme ich bei 4 Tunern 120Gig voll oder welchen maximalen Datenströmen schicke ich Richtung Platte.


    Wenn ein Transpnder 40MBit schafft (pro Sekunde), dann müssten 4Karten 160Mbit liefern?
    Max?
    Dann hätte(könnte) er die Platten nach rund 120000/160*8 Sekunden voll haben oder?

  • wie schnell bekomme ich bei 4 Tunern 120Gig voll oder welchen maximalen Datenströmen schicke ich Richtung Platte.


    Die Konzerte die Silvester auf 3sat-HD liefen belegen über 140 GB auf der Platte. Und das habe ich mit 1 Tuner gescafft, also 1 Tag Aufnahmen.

  • Die 2x 60GB (SSD mit XFS u.4k-Blöcke) sind für die Aufnahmen da.
    Filme die ich nun länger aufheben möchte werden dann auf einen anderen Rechner verschoben, indem 2x3TB (HDD mit XFS u.4k Blöcke) in RAID1 verbaut sind.


    Ein schöner Vorteil welcher die Fragmentierung entgegenwirkt ist am XFS das "delay write".
    Nur, werden die Daten im SDD-/HDD-Cache gecacht oder im Arbeitsspeicher?


    Beherscht VDR Preallocation?


    Denke eher nicht, denn so wie schon geschrieben wurde werden die Streams direkt in ein File geschrieben welches bei einer Aufnahme "anwächst".
    Laufen nun 4 Speicherstreams gleichzeitig dann hat XFS seine Vorteile (delay write), aber je nach Puffergröße erfolgt dann auch eine Abwechselnde Speicherung der einzelnen Blöcke.
    Das können zwar die heutigen HDDs bewältigen, aber ich finde persönlich "schön" ist das nicht.
    Die höchste Leistung erhält man halt durch sequenzielles Schreiben/Lesen.
    Schon klar das dies bei mehr als 1 Speicherstream nicht möglich ist (ausser bei mehreren HDDs), aber eine Preallocation wäre doch nicht verkehrt was eine Fragmentierung zwar nicht ganz verhindert,
    aber zumindest minimiert!

  • Ich versteh die Problemchen nicht - bzw. was dich daran so beschäftigt:
    - wenn die Daten auf den SSD's bei Bedarf eh woanders hinverschoben werden - wozu der (gedankliche) Aufwand auf den SSD's Fragmentierung zu verhindern - denn:
    - Fragmentierung spielt bei SSD's prinzipbedingt keine Rolle beim Thema performance (da bewegt sich kein Lesekopf)...
    - Und wen ineteressiert schon in welcher Reihenfolge Bytes im Speicher (der SSD) angeordnet sind?
    - Um defragmentierte Strukturen auf einem Medium sollte sich der Experte - in dem Fall das Filesystem - kümmern - und nicht eine Anwendung mit vermeintlich korrekt angeforderten Filesizes im voraus (die es dann aufzuräumen gilt bei irgendwelchen Problemchen..)


    Quote

    ...Die höchste Leistung....

    - das hatten wir schon - du schöpfst die "höchste Leistung" nicht aus -


    Hast du dich schon drum gekümmert, wie du die Files hinterher "am Stück" - sequentiell auf den anderen Rechner bekommst - für "beste Performance" ? ;-)