Performance beim Dateikopieren mit Linux (ext3, jfs, xfs, ...)

hi,
wie gross sind denn die dateien? woher nimmst du diese? (ich meine: bist du dir sicher, das die quelle schnell genug ist?)
du solltest mal nur lesen und nur schreiben getrennt testen (z.B. mit dd, und zielen /dev/null bzw. quelle /dev/zero).

schon mal mit ext2 (also ohne journal) probiert?

Zitat

Original von insmod --RZ
Kopiere von einer 7200 upm Platte zur anderen. Geschwindigkeit Hardwaremäßig also kein Problem. Ich kopiere einfach .vdr Dateien, da das die klassische Anwendung ist.

Naja, ist nicht der ideale Test. Wie hast Du Deine Windows-Werte ermittelt?
Und wie hast Du die von Dir angegebenen Werte ermittelt?
Stoppuhr?

Solche Tests geben zwar irgendein "Gefühl" für eine Geschwindigkeit, sind ansonsten aber nichtssagend.
Du solltest (wie bereits von Slime vorgeschlagen) zuallererst Lesen und Schreiben trennen. Dann solltest Du in Deinen Messungen berücksichtigen, daß es auch noch einen Cache gibt, der die reine Plattenperformanz deutlich beeinflußt.

Du solltest Dir also ein klares, wiederverwendbares Testszenario aufbauen. Dann, und zwar _genau dann_ kannst Du die einzelnen Dateisysteme vergleichen. Insbesondere auch die Ergebnisse bei unterschiedlichen Anforderungen (viele kleine, wenig große Dateien etc.).

das ist doch ein klares testszenario, was er sich dort aufgebaut hat. Das, was er jeden tag macht und das muss das FS gut können.
Aber das Windows doppelt so schnell ist macht mich irgendwie auch skeptisch =)

gruss
jan

BTW hast du mal reiser4 versucht? das würde mich mal interessieren
EDIT falls du kein reiser4 kernel hast, nimm kanotix oder lxnays die haben das eingebaut

Zitat

Originally posted by loswillios
das ist doch ein klares testszenario, was er sich dort aufgebaut hat.

das sehe ich aber garnicht nicht.
ich gebe zu, bei solch großen unterschieden, und dateien im bereich 2GB ist mit der stoppuhr was zu machen.
das ist aber kein halbwegs seriöser test.
außerdem hilft er einen scheiss die ursache zu finden (was der erste schritt zur behebung des fehlers sein sollte - nicht die neuinstallation :D)

ich denke nicht, das der test mit dd optimal ist, aber zumindest hast du dann absolut vergelichbare werte (jedenfalls unter verschiedenen linux konfigurationen).

zumal ja die Hardware für den Test (bis auf die zwei Platten) scheinbar völlig unterschiedlich war. Es gibt mehrere Schlussfolgerungen, die man aus dem Test ziehen kann:

a) die Windows-Werte sind Schwachsinn. Hier müsste man mal wissen, wie die ermittelt wurden.

b) die Unterschiede kommen durch unterschiedliche Hardware-Konstellation -> Test mit identischer HW wiederholen.

c) Konfigurationseinstellung im Linux -> Einstellungen prüfen, hdparm, dmesg, DMA-Modus

Ich persönlich tippe mal auf eine Mischung aus allen dreien Den Werten 50 - 60MB/s traue ich nicht so ganz. Erscheint mir doch etwas zu hoch für einen Kopiervorgang.

Gruß
Mag1c

Zitat

Original von Mag1c
Den Werten 50 - 60MB/s traue ich nicht so ganz. Erscheint mir doch etwas zu hoch für einen Kopiervorgang.

Mir nicht. Ich kopiere hier unter Windows per Total Commander eine knapp 1 GB große Datei in weniger als 20 Sekunden von einer Platte (2x 160er Samsungs, 7.200rpm, 8 MB Cache) zur anderen. TC zeigt dabei eine Geschwindigkeit von 51000+ kB/s Sekunde an.

Benutzt du einen 2.4er oder einen 2.6er Kernel ? Ist es ein 2.6er könnte das mit den IO Schedulern zusammenhängen.
Du wirst übrigens einen bedeutenden Unterschied bei der Verfügbarkeit des Systems feststellen während des Kopierens wenn du da Windows mit Linux vergleichst. Das Linux wird da immer verfügbarer sein.

Moin moin,

was IMHO auch nicht ganz uninterssant wäre, ist das File-Sys auf dem Windows-PC....
Hast du FAT32, oder NTFS.
Denn der Vergleich 2er FS mit/ohne Journaling ist ja auch nicht ganz fair.
falls du als FAT32 hast, dann würde ich die ext3 Partitionen mal als ext2 mounten, und den Test dann nochmal machen. Wobei ich nicht glaube, das das soo viel ausmacht...

Oder evtl. hast du auf dem Linux Rechner auch beide Platten an einem IDE-Kanal, und auf dem Win-Rechner nicht...!? Was den doch schon recht großen Unterschied meiner Meinung nach am ehesten erklären könnte.
Oder das Board im Linux Rechner unterstützt nur nen kleineren UDMA-Modus.

Ich denke mal ohne genauere Infos zur verwendeten Hardware ist das ganze schwer zu beurteilen.

MfG Mummumm

Zitat

Originally posted by insmod --RZ
ich habe mich in den letzten Tagen gewundert, wie langsam mein VDR von Platte zu PLatte kopiert. Habe daraufhin zwei 7200 upm Platten eingebaut, die in einem WIndowsrechner zwischen 50 und 60 MB sec schaffen, wenn man zwischen ihnen Daten hin und herschiebt.

Hi, kleine Frage, wie sind denn die Platten angeschlossen? Vermutlich sind beides IDE-Laufwerke, oder? Sind die am gleichen Kabel angeschlossen, sprich Master und Slave? Wenn ja, schließe die beide als Master an und versuch es dann nochmal. Bei IDE kann immer nur ein Gerät auf den Bus zugreifen ... Wenn die unter Windows anders angeschlossen waren (sprich an getrennten Bussen), würde es den Speed-Verlust erklären.

Nur so eine Idee ...

Gruß,

Jogi

Hallo? Ich mache jetzt seit knapp vier jahren QS für ein größeres Mobilfunkunternehmen und ich habe dabei eine Sache gewiss gelernt: Vermeide es Äpfel mit Birnen zu vergleichen! Was soll dieser Blödsinn mit ein Rechner Linux und ein ANDERER Rechner Windows? Wenn du eine halbwegs haltbare Aussage machen möchstest dann MÜSSEN beide Systeme auf genau dem gleichen Rechner Laufen. Ich will mal gar nicht davon anfangen, dass auch das Betriebssystem in einem sauberen Test-Setup von genau der gleichen Festplatte und streng genommen auch von der gleichen Partition laufen sollte. Aus technischer Sicht mag das alles übertrieben klingen. Aber wenn du einem Marketing-Mitarbeiter oder womöglich deinem Chef einen Versuchsaufbau mit auch nur minimal abweichenden Rahmenbedingungen präsentierst kannste die Ergebnise auch gleich in den Reißwolf stecken. (Und im Wiederholungsfall deinen Arbeitsvertrag gleich mit...)

wenn, hätte, halte ich für...
Nix für ungut Leute. Ich bin kein Korinthenkacker. Aber wenn man schon vergleichen möchte dann richtig. Ansonsten würde ich mich auch mal eher slime anschließen: Vergiss das mit den vergleichen und such lieber den Fehler. Denn wenn Linux der Grund für 40% Performanceeinbuße wäre würde es wohl nur sehr wenige Linux-Server auf dieser Welt geben. Gott sei dank ist das nicht so.

@insmod--RZ (alias Nicki): Das dumme ist, dass du auf deinen Rechnern immer den autologin an hast, kommt mir als Lipper natürlich sehr gelegen... Hier bei mir kann mir das nicht mehr passieren

So aber zum Thema und für alle die es genau wissen wollen:

1. Beide Platten an Master (Primary-Secondary)

2. Dieselben Platten

3. Habe auch schon beides mit gleichem Board, Speicher, CPU, Netzteil, Gehäuse, Stromkabel, Monitor, Grafikkarte, DVD-Laufwerk und sogar im gleichen Raum getestet.

4. Auch die Richtung der Kopien waren immer gleich (Seagate auf Samsung und dann Samsung auf Seagate)

5. Habe alles noch zusätzlich per Stoppuhr Millisekundengenau gestoppt

6. DMA und aller Schnicki-Schnacki war sowohl einmal aktiviert als auch deaktiviert. Das gepostete Ergebnis sind die Höchstwerte unter Linux

7. Das Board unterstützt alle UDMA-Modi

8. Windows hatte NTFS

Ich habe auch mal auf einem echt grottigen Board unter Windows XP gegengetestet, selbst da ist es schneller.

BTW: Reiser4 muss doch noch üppig einkompiliert werden, oder?!

Und noch was: Hier gehts nicht um Finetuning, hier gehts um Leistungsunterschiede von 100 % (normiert auf Ext3 unter Linux). Mir wäre es egal, wenn es 3 MB/sec sind. Aber nicht 30! Bei 60 GB isos ist der Unterschied enorm.

mfg

Oliver

Zitat

Original von Full_ack

3. Habe auch schon beides mit gleichem Board, Speicher, CPU, Netzteil, Gehäuse, Stromkabel, Monitor, Grafikkarte, DVD-Laufwerk und sogar im gleichen Raum getestet.

Höhö. So ists recht. Das ist mal n ordentliches Setup.

Zitat

Und noch was: Hier gehts nicht um Finetuning, hier gehts um Leistungsunterschiede von 100 % (normiert auf Ext3 unter Linux). Mir wäre es egal, wenn es 3 MB/sec sind. Aber nicht 30! Bei 60 GB isos ist der Unterschied enorm.

Da geb ich dir absolut recht. Das kann eigentlich nicht sein. Ist aber wohl so. Kann es sein, dass auf deinem Linux irgendein Prozess permanent auf der/den Platten rumgurkt? Ich habe einen solchen performanceverlust in meinen 11 Jahren Linux noch nie erlebt. Mach doch mal n init S und führ die tests dann nochmal durch...

Moin moin,

Zitat

Original von Full_ack
Ich habe auch mal auf einem echt grottigen Board unter Windows XP gegengetestet, selbst da ist es schneller.

das war zum testen genau verkehrt herum. Wahrscheinlich wäre auf dem alten Board das von Dir verwendete Linux deutlich schneller beim IDE-Transfer als beim neuen. Bis neue Chipsätze auch unter Linux mit Standardkerneln ihre volle Geschwindigkeit entfalten vergehen sehr viele Monate ...
Woraus deutlich wird, das hier Angaben zu Deiner Linux-Testumgebung fehlen. Wie wärs mit einem aktuellem Kanotix (init 2) ?

mfG
Carsten

Wenn 50-60MB/s Schwachsinn sind , will ich meinen Schachsinn auch mal dazu geben .

Source : P4C-2.4 512 MB i875 200 GB WD200BB ( alleiniger Master an prim IDE - hda4 160 GB ext3 unter LFS-6 Kernel 2.6.11
Destination : P4C-2 256 MB SIS900 120 GB Hitachi IC35L120AVV ( alleiniger Master an prim IDE ) hda2 8GB ext3 unter Suse 9.1 Kernel 2.6.4-52

Transfer per FTP via Gbit Intel - Transfer bei 2GB Datei 54 MB/s

Genug Schwachsinn für den frühen Morgen

HJS

PS : Der Schwachsinn sogar per LAN