[gelöst: Festplatte defekt]Kopieren (Schneiden Filme kopieren) extrem langsam

  • Hallo,


    seit kurzem ist es mir fast unmöglich Filme zu schneiden. Der Schnittvorgang, der ja nix anderes ist, als ein Kopiervorgang dauert erstens ewig lange (schon mal 10-15min für einen 4 GB Film) und zweitens brauche ich während dieser Zeit nicht mal daran zu denken, am VDR was anderes zu machen. Der blockiert sofort, wenn ich Glück habe wird nur das Menü unbedienbar, wenn nicht, verschwindet das Bild und ich darf mir die ganze Zeit "NoSignal" anschauen. Ich habe 5 Platten, davon 2 IDE, der Rest SATA. Von dem Problem scheint aber nach diversen Kopierorgien nur die eine IDE-Platte betroffen zu sein.


    Allerdings gibt hdparm für diese Platte aus:




    /dev/sdb:
    Timing cached reads: 1228 MB in 2.00 seconds = 614.14 MB/sec
    Timing buffered disk reads: 230 MB in 3.02 seconds = 76.12 MB/sec


    sieht doch echt gut aus.


    Wie kriege ich raus ob mir die Platte die Hufe reisst, oder ob ich irgendwo was drehen muss?

    o ----------- my Babys ------------->
    |Haupt-VDR: yaVDR 0.4.0 Athlon64 3000+ 2GB RAM Nvidia 8500
    |Client 1: ASUS eeePC mit Kubuntu 9.10, VDR 1.6.0-9, streamdev-client und xineliboutput
    |Client 2: CT-VDR, streamdev-client und xineliboutput
    |Client 3: MediaMVP
    o------->

    Einmal editiert, zuletzt von Salvi 5 ()

  • Wie kriege ich raus ob mir die Platte die Hufe reisst, oder ob ich irgendwo was drehen muss?


    Wie wäre es mit ein paar S.M.A.R.T. Tests: http://wiki.ubuntuusers.de/Festplattenstatus ?

    yaVDR-Dokumentation (Ceterum censeo enchiridia esse lectitanda.)

  • Zuerst dmesg, schauen ob HDD bezogene Fehler kommen oder der DMA Modus abgeschaltet wird (gerne bei gammligen HDD Datenkabeln).
    Und zur Sicherheit schadet ein langer SMART Selbsttest (läuft im Hintergrund auf der HDD selber und dauert Stunden) auch nicht.


    Starke Fragmentierung kann auch ne Ursache sein.


    cu

  • Danke für die Tippse. Ich hab jetzt mal dieses smartctl gestartet. Können diese Geschwindigkeitsverluste tatsächlich eine defekte Platte bedeuten?


    Im dmesg und auch im syslog stand jedenfalls nichts auffälliges.

    o ----------- my Babys ------------->
    |Haupt-VDR: yaVDR 0.4.0 Athlon64 3000+ 2GB RAM Nvidia 8500
    |Client 1: ASUS eeePC mit Kubuntu 9.10, VDR 1.6.0-9, streamdev-client und xineliboutput
    |Client 2: CT-VDR, streamdev-client und xineliboutput
    |Client 3: MediaMVP
    o------->

  • Danke für die Tippse. Ich hab jetzt mal dieses smartctl gestartet. Können diese Geschwindigkeitsverluste tatsächlich eine defekte Platte bedeuten?


    Möglich, aber dann würde ich was im Syslog erwarten.


    Was sagt denn das Gehör? Wenn sie beim kopieren die meiste Zeit damit beschäftigt ist den Kopf durch die Gegend zu schieben wäre das auch ne Erklärung. Leider gibts für Linux keine brauchbaren Defrag Programme weil Linux aufgrund der Definition das Problem nicht kennt ;)


    cu

  • Nein, keine Geräusche, keine Fehlermeldungen, nix. Wenn ich mit dem mc ne grössere datei zum kopieren anschubse, machts erst nen Ruck von vielleicht 100Mb, mit einer ordentlichen Datenrate, dann bleibt er viele Sekunden hängen und dann geht es immer so ruckweise vorwärts. Ich verstehs irgendwie nicht, aber im Moment waren irgendwo 2.5er Platten mit 1TB zu erträglichen Preisen im Angebot. Da werde ich wohl mal zuschlagen.

    o ----------- my Babys ------------->
    |Haupt-VDR: yaVDR 0.4.0 Athlon64 3000+ 2GB RAM Nvidia 8500
    |Client 1: ASUS eeePC mit Kubuntu 9.10, VDR 1.6.0-9, streamdev-client und xineliboutput
    |Client 2: CT-VDR, streamdev-client und xineliboutput
    |Client 3: MediaMVP
    o------->

  • Hallo,


    also ich denke mal, der SMART-Test sieht positiv aus. Es sei denn, ich habe das Prinzip falshc verstanden.



    smartctl -A /dev/sdb
    smartctl 5.40 2010-07-12 r3124 [x86_64-unknown-linux-gnu] (local build)
    Copyright (C) 2002-10 by Bruce Allen, http://smartmontools.sourceforge.net


    === START OF READ SMART DATA SECTION ===
    SMART Attributes Data Structure revision number: 16
    Vendor Specific SMART Attributes with Thresholds:
    ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
    1 Raw_Read_Error_Rate 0x000f 200 200 051 Pre-fail Always - 0
    3 Spin_Up_Time 0x0003 182 178 021 Pre-fail Always - 5875
    4 Start_Stop_Count 0x0032 094 094 000 Old_age Always - 6445
    5 Reallocated_Sector_Ct 0x0033 200 200 140 Pre-fail Always - 0
    7 Seek_Error_Rate 0x000e 200 200 051 Old_age Always - 0
    9 Power_On_Hours 0x0032 070 070 000 Old_age Always - 21975
    10 Spin_Retry_Count 0x0012 100 100 051 Old_age Always - 0
    11 Calibration_Retry_Count 0x0012 100 100 051 Old_age Always - 0
    12 Power_Cycle_Count 0x0032 098 098 000 Old_age Always - 2915
    192 Power-Off_Retract_Count 0x0032 200 200 000 Old_age Always - 258
    193 Load_Cycle_Count 0x0032 198 198 000 Old_age Always - 6464
    194 Temperature_Celsius 0x0022 113 091 000 Old_age Always - 37
    196 Reallocated_Event_Count 0x0032 200 200 000 Old_age Always - 0
    197 Current_Pending_Sector 0x0012 200 200 000 Old_age Always - 0
    198 Offline_Uncorrectable 0x0010 200 200 000 Old_age Offline - 0
    199 UDMA_CRC_Error_Count 0x003e 200 200 000 Old_age Always - 28
    200 Multi_Zone_Error_Rate 0x0008 200 200 051 Old_age Offline - 0


    Da ich auch sonst keinen Fehler finden kann, baue ich heute abend mal eine andere Platte an Stelle des Problemkindes ein und schaue was passiert.

    o ----------- my Babys ------------->
    |Haupt-VDR: yaVDR 0.4.0 Athlon64 3000+ 2GB RAM Nvidia 8500
    |Client 1: ASUS eeePC mit Kubuntu 9.10, VDR 1.6.0-9, streamdev-client und xineliboutput
    |Client 2: CT-VDR, streamdev-client und xineliboutput
    |Client 3: MediaMVP
    o------->

  • prüf mal ob markad parallel läuft und den zu kopierenden film scannt. fast alle probleme sind bei mir auf dieses tool zurück zu führen, wenn es um leistungs probleme geht.

    mfg traxanos
    ____________________
    Ist das neu?, Nein Linux!


    VDR1: Zotac NM10-ITX Wifi - 2GB Ram - S2-6400 HD mit IR - yavdr 0.4 (development) - LianLi PC-Q11


    Tags: VDR-HD - AT5IONT-I - 4GB Ram - 512MB ION - TT 3600 DVB-S2 - TT6400-FF - Sundtek DVB-S2 Sundtek DVB-C - Tevii S480 (dank an L4M für kostenlose Bereitstellung) - yaVDR 0.5 (development) - SKY - HD+ - Atric - X10 FB - Zotac ID41 PLUS - SilverStone LC19B-R - Yamaha RX-V671 - Samsung 8Series 55"

  • seit kurzem ist es mir fast unmöglich Filme zu schneiden. Der Schnittvorgang, der ja nix anderes ist, als ein Kopiervorgang dauert erstens ewig lange (schon mal 10-15min für einen 4 GB Film) und zweitens brauche ich während dieser Zeit nicht mal daran zu denken, am VDR was anderes zu machen. Der blockiert sofort, wenn ich Glück habe wird nur das Menü unbedienbar, wenn nicht, verschwindet das Bild und ich darf mir die ganze Zeit "NoSignal" anschauen. Ich habe 5 Platten, davon 2 IDE, der Rest SATA. Von dem Problem scheint aber nach diversen Kopierorgien nur die eine IDE-Platte betroffen zu sein.


    Kenn ich auch von meinem AMD System (Lucid s.Sig.), bin ebenso ratlos. Platte schnell, keine Fehler, markad ist nicht die Ursache.


    Ist aber ein Thema das sich über VDR Versionen angebahnt hat und immer schlimmer wurde. Es fing damit an das laufende HD Aufnahmen durch Schnittoperationen (SD & HD) gestört wurde. Es war noch nie auf dem System möglich eine zweite Aufnahme sinnvoll für den Schnitt vorzubereiten, super zäh.


    Jetziger Stand entspricht ungefähr Deinem Verhalten, man schmeißt den Schnitt einer HD Aufnahme an, Live VDR Betrieb ist noch drin, auch OSD, aber wehe man versucht parallel eine Aufnahme anzuschauen. Es ist auch egal ob eine Aufnahme läuft oder nicht, also markad, diese wäre eben dann "nur" fehlerhaft. Die letzten Prozent der Verschlechterung kamen mit der Aktivierung von "xmltv2vdr".


    Aber auf dem Test-VDR mit dem Single Core Celeron G440 nebendran (Precise s.Sig.), funktioniert der gleiche Umfang an VDR & Plugins (auch xmltv2vdr) problemlos. Ich kann während einer laufenden HD Aufnahme, weitere Aufnahmen schneiden lassen und während dessen weitere Aufnahmen vorbereiten.


    Mein Eindruck ist, irgendwas läuft hier bei meinem AMD System mit der Verteilung auf die Threads "schief". Du bist der Erste, der das gleiche Problem berichtet, dann ist es doch eher nicht nur mein HW, mal sehen ...


    Regards
    fnu

    HowTo: APT pinning

    Einmal editiert, zuletzt von fnu ()

  • So, ich habe das Ganze noch eingegrenzt:


    Ich habe die Platte die scheinbar Schwierigkeiten macht neu partitioniert, formatiert und wieder unter video.00 eingehängt. Beim vorhergehenden Sichern der Filme ist mir aufgefallen, dass die Lesevorgänge von der Platte ausgesprochen schnell sind. In den meisten Fällen lt. mc über 60 MB/s. Nur die Schreibvorgänge auf die Platte sind extrem langsam und gehen nur schubweise voran. Dies ist auch nach der Neuformatierung so.


    Heute abend werde ich erstmal ein Knoppix booten und ein bisschen auf die Platte schreiben. Danach werde ich gegebenenfalls mal eine andere Platte einbauen.



    BTW: man konnte doch irgendwie mit dd viele Daten auf ne Platte schreiben, weiß zufällig noch jemand wie das ging?


    @ traxanos
    markad kann ich ausschließen, ich habs deinstalliert und das Problem besteht weiterhin.

    o ----------- my Babys ------------->
    |Haupt-VDR: yaVDR 0.4.0 Athlon64 3000+ 2GB RAM Nvidia 8500
    |Client 1: ASUS eeePC mit Kubuntu 9.10, VDR 1.6.0-9, streamdev-client und xineliboutput
    |Client 2: CT-VDR, streamdev-client und xineliboutput
    |Client 3: MediaMVP
    o------->

  • @ traxanos
    markad kann ich ausschließen, ich habs deinstalliert und das Problem besteht weiterhin.


    das hätte sich wenn auch mit 100% cpu last gezeigt.

    mfg traxanos
    ____________________
    Ist das neu?, Nein Linux!


    VDR1: Zotac NM10-ITX Wifi - 2GB Ram - S2-6400 HD mit IR - yavdr 0.4 (development) - LianLi PC-Q11


    Tags: VDR-HD - AT5IONT-I - 4GB Ram - 512MB ION - TT 3600 DVB-S2 - TT6400-FF - Sundtek DVB-S2 Sundtek DVB-C - Tevii S480 (dank an L4M für kostenlose Bereitstellung) - yaVDR 0.5 (development) - SKY - HD+ - Atric - X10 FB - Zotac ID41 PLUS - SilverStone LC19B-R - Yamaha RX-V671 - Samsung 8Series 55"

  • BTW: man konnte doch irgendwie mit dd viele Daten auf ne Platte schreiben, weiß zufällig noch jemand wie das ging?


    Für sowas würde ich bonnie bzw. bonnie++ nehmen, schau mal ob das im Repo ist.


    ansonsten:

    Code
    dd if=/dev/zero of=Datei_auf_Platte bs=1M count=1024

    schreibt 1GB Nullen. Alternativ direct auf das device schreiben (umgeht Dateisystem - aber das scheint ja nicht das Problem zu sein?)

    VDR2: ASRock J4105-ITX, DVBSky S952, openSUSE Tumbleweed, VDR 2.4.7

    softhddevice/vaapidevice, DFAtmo, xmltv2vdr, tvscraper, tvguideng, VDRAdmin-AM (alles git, aber alt)

  • Nur die Schreibvorgänge auf die Platte sind extrem langsam und gehen nur schubweise voran.


    Hmm, scheint dann ein anderes Problem als bei mir zu sein, ausserhalb der VDR Funktion rennt die Maschine wie sie soll:


    Code
    hdparm -tT /dev/sda/dev/sda: Timing cached reads:   3570 MB in  2.00 seconds = 1785.48 MB/sec Timing buffered disk reads:  250 MB in  3.01 seconds =  83.15 MB/sec
    Code
    dd if=/dev/zero of=./testfile bs=1M count=10241024+0 Datensätze ein1024+0 Datensätze aus1073741824 Bytes (1,1 GB) kopiert, 4,4977 s, 239 MB/s


    Aber die Größe der Datei muß so gewählt werden das die Buffer während des Schreibens überschrieben werden müssen und durch den WriteThru Effekt die Daten der HDD zum Vorschein kommen:


    Code
    dd if=/dev/zero of=./testfile bs=1M count=1024010240+0 Datensätze ein10240+0 Datensätze aus10737418240 Bytes (11 GB) kopiert, 115,027 s, 93,3 MB/s


    rsync Raten betragen 40-50MB/s, ftp Transfers peak'en auf 90MB/s+. Hier mal bonnie++, weil's angesprochen wurde:


    Code
    Version  1.96       ------Sequential Output------ --Sequential Input- --Random-Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CPvdr1             8G  1045  95 84314  12 40812  13  2085  85 98908  15 184.7   7Latency             12627us    1726ms    5726ms   95445us     113ms     756msVersion  1.96       ------Sequential Create------ --------Random Create--------vdr1                -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP                 16  1720  14 +++++ +++  1535  10  1767  15 +++++ +++  1483  10Latency               105ms     273us   68124us     114ms      90us     168ms


    "dd" ist aber ein schlechter Benchmark, weil single threaded und punktuell. Moderne Platten und Dateisysteme werden bei parallelen Zugriffen erst richtig flott.


    Die Probleme treten nur innerhalb VDR Betrieb auf, ansonsten nicht, insofern bin ich seit Wochen und Monaten ratlos.


    => [edit] Genauer gesagt tritt das Problem nur auf, wenn ich Aufnahmen schneiden lasse. Kopieren innerhalb und ausserhalb VDRs machen keinerlei Probleme ... [/edit]


    Ich kann mit dem Gerät 16 Aufnahmen von 4 Transpondern parallel machen, mehrheitlich HD, und keine dieser Aufnahmen ist dann fehlerhaft. Zu Erinnerung, da laufen dann auch 16x markad ... ?(


    Regards
    fnu

    HowTo: APT pinning

    3 Mal editiert, zuletzt von fnu ()

  • Hallo,


    vielen Dank an alle Vorschläger und Informanten ;)


    Es war die Festplatte.


    Ich habe sie durch eine Andere ersetzt: Alles gut.


    Ich habe die verdächtige Platte in einen anderen PC gesetzt und getestet: definitiv Platte im A...!


    So einen seltsamen Fehler habe ich aber auch noch nicht gesehen, keine Fehlermeldungen, Lesen superschnell, nur Schreiben fast unmöglich.


    Danke nochmal.


    Mike

    o ----------- my Babys ------------->
    |Haupt-VDR: yaVDR 0.4.0 Athlon64 3000+ 2GB RAM Nvidia 8500
    |Client 1: ASUS eeePC mit Kubuntu 9.10, VDR 1.6.0-9, streamdev-client und xineliboutput
    |Client 2: CT-VDR, streamdev-client und xineliboutput
    |Client 3: MediaMVP
    o------->

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!