TIP: Datenaustausch über ssh

Zitat

Original von Morone
...
Samba war mir zu lahm.
...

Hi Morone!

Wie schnell ist denn die Verbindung mit sftp?
Ich schicke derzeit alle Aufnahmen per samba nach Windows (DVD-Brenner). Mit meinem 10MBit Netzwerk dauert das schon so seine Zeit. Da bringt ein optimiertes Protokoll natürlich wesentlich mehr Durchsatz.

VDR Dateien >1Gb über ein 10Mbit!? das sind ja bei Vollauslastung gerade mal 1,,25Mb/sec.
Ich bekomme schon eine Krise wenn mein 100Mbit unter 80% fällt.. Respekt

hi,

bei mir ist samba um einiges schneller als ssh (winscp). Ich schiebe das mal auf die langsame Celeron-CPU (350) in meinem vdr. Bei ssh muß ja viel mehr gerechnet werden als bei samba.

rc

Meine CPU (Athlon 1GHz) ist bei VDR eher gelangweilt.
SSH sollte also leistungstechnisch keine Probleme machen.

Zitat

Original von Saxman2k
Da bringt ein optimiertes Protokoll natürlich wesentlich mehr Durchsatz.

Jop, ein optimiertes PRotokoll sicher.
Aber ssh ist für den Dateitransfer sicher nicht optimiert. Es enthält eine große Menge an Overhead wegen der Verschlüsselung, dadurch ist die Datenmenge größer.
Bei mir ists langsamer (Dateien > 1GB) als Samba und Samba ist langsamer als FTP.
Ich nutze zwar dennoch SAMBA, weils einfach praktischer mit den Laufwerkszuordnungen ist.

Also doch FTP?

edit:
wollte nur noch schnell meinen 100. Beitrag verfassen
Nu hab ich auch rote Sterne

Zitat

Original von Saxman2k
Meine CPU (Athlon 1GHz) ist bei VDR eher gelangweilt.
SSH sollte also leistungstechnisch keine Probleme machen.

na, bei ner 10'er LAN-Leitung würde sich meine CPU auch nicht gerade überanstrengen...
ist das noch so eine richtige alte mit RG-58 und BNC?

An Deiner Stelle würde ich mir einfach zwei LAN-Karten und ein Crossover-Kabel kaufen. Dann brauchst Du Dir wegen irgendwelchen Protokoll-Overhead's keinen Kopf mehr zerbrechen.
LAN-Karten gibt es schon ab 3,99! In Worten: drei,neunundneunzig!
Und wenn Dein vdr schon 1GHz hat, dann hat Deine (noch schnellere) Arbeitstation sicherlich schon LAN-onboard.

rc

Zitat

Original von rockclimber
na, bei ner 10'er LAN-Leitung würde sich meine CPU auch nicht gerade überanstrengen...
ist das noch so eine richtige alte mit RG-58 und BNC?

Na klar: gutes altes BNC.
Der Haken bei der Sache ist, daß ich als Leitung ein stillgelegtes Sat-Kabel nutze. Also kommt nur Koax in Frage.

Zitat

Original von rockclimber
An Deiner Stelle würde ich mir einfach zwei LAN-Karten und ein Crossover-Kabel kaufen. Dann brauchst Du Dir wegen irgendwelchen Protokoll-Overhead's keinen Kopf mehr zerbrechen.
LAN-Karten gibt es schon ab 3,99! In Worten: drei,neunundneunzig!
Und wenn Dein vdr schon 1GHz hat, dann hat Deine (noch schnellere) Arbeitstation sicherlich schon LAN-onboard.

rc

Wenn das Problem mit der Leitung nicht wäre....
Habe echt keine Lust die Wände aufzukloppen und nacher alles wieder zu tapezieren. Bin mit der jetzigen Lösung eigentlich ganz zufrieden. Hab einen Durchsatz von ca. 9.8MBit. Das rüberschaufeln lass ich meistend über Nacht laufen. danach fährt der Rechner dann runter.
Einzige Alternative, die ich so sehe, ist Powerline. Mal abwarten, wann die nächste Generation mit 100MBit rauskommt. Dann würde ich vielleicht umsteigen. WLAN ist für mich keine Alternative.

Zitat

Original von Saxman2k
Na klar: gutes altes BNC.
Der Haken bei der Sache ist, daß ich als Leitung ein stillgelegtes Sat-Kabel nutze. Also kommt nur Koax in Frage.
...
Wenn das Problem mit der Leitung nicht wäre....
Habe echt keine Lust die Wände aufzukloppen und nacher alles wieder zu tapezieren. Bin mit der jetzigen Lösung eigentlich ganz zufrieden. Hab einen Durchsatz von ca. 9.8MBit. Das rüberschaufeln lass ich meistend über Nacht laufen. danach fährt der Rechner dann runter.

Alles anzeigen

dann ist das natürlich klar. Wenn man dann noch die Tapete, Arbeit, usw. dazurechnet, dann kommt man doch nicht so billig weg.

Zitat

Original von Saxman2k
Einzige Alternative, die ich so sehe, ist Powerline. Mal abwarten, wann die nächste Generation mit 100MBit rauskommt. Dann würde ich vielleicht umsteigen. WLAN ist für mich keine Alternative.

WLAN würde ich auch nicht nehmen. Schneller ist das auf keinen Fall. Und eine Leitung ist wesentlich zuverlässiger.

Clemens

Hab gerade mal einen Test mit einer kleinen Aufnahme (ca. 240MB) gemacht. Das Ergebnis ist aber nicht so deutlich ausgefallen, wie ich mir das gewünscht habe:
FTP: 3m35s
Samba: 3m38s
Auf die 15s pro GB kann ich dann auch noch warten. Dafür hab ich halt unter Windows ein wenig mehr Komfort. Man gönnt sich ja sonst Nichts.

Zitat

Original von Torsten/WarEagle
Aber ssh ist für den Dateitransfer sicher nicht optimiert. Es enthält eine große Menge an Overhead wegen der Verschlüsselung, dadurch ist die Datenmenge größer.

Ich hab ein Semester Kryptographie studiert, aber das ist mir neu.

Einer der wichtigsten Gründe warum Kryptographie überhaupt funktioniert ist, dass sämtliche Redundanzen aus den Daten entfernt werden, es wirkt also so als würde man die Daten vorher zippen.
Dass man dadurch bei Videos keinen Vorteil erhält ist klar, diese Daten sind schon weitgehend redundanzfrei.

Und dass in SSH-Paketen jetzt grossartig andere Frame-Infos wären als in beispielsweise FTP ist mir neu (ich lasse mich aber gerne belehren ), denn eine scp-Verbindung ist prinzipiell nur eine über SSH getunnelte FTP-Verbindung, da wurde das Rad nicht komplett neu erfunden.

In einer der letzten c'ts waren einige Tests/Benchmarks von Übertragunsprotokollen, SMB hat dabei grottenschlecht abgeschnitten, und FTP war eigentlich nur recht knapp unter dem tatsächlich möglichen Durchsatz.

Ich kann es dir nicht mit Fachbegriffen erklären, da ich dazu erst Lektüre blättern müßte, aber ssh ist nicht für Datenströhme ausgelegt, sondern quittiert nach jedem Paket (oder nach X paketen) den Empfang. Sehr deutlich merkst du das wenn du z.B. video über einen SSH-Tunnel versucht zu schauen, oder wenn du vnc einmal mit ssh-Tunnel und einmal ohne ssh-Tunnel betreibst. Nicht die Pakete bekommen mehr overhead, sondern die gesammtverbindung, weil mehr SSH-Pakete über die Leitung gehen zusätzlich zu den Datenpaketen.

Beim Vergleich von SMB und FTP oder anderen Protokollen wird meist von einer Idealen Umgebung ausgegangen, also Markenkarten etc. dieses ist aber nicht bei allen Systemen der Fall, wenn du da eine NoName-Karte zwischen hast, dann kannst du oft schon wegen dieser Karte das Maximum nicht erreichen und sofort sind die Protokolle dichter beisammen. Daher würde ich solche Tests nur als Richtlinie, jedoh nicht als bytegenaue Vorlage ansehen.

Ich lasse mich da gerne belehren, aber das obige habe ich in der Praxis einfach zuoft festgestellt als das es vollkommen daneben sein kann.

Jetzt wollte ich's genau wissen:

Den Gentoo-Sourcen Kernel zusammengepackt, nur als tar, also ohne zippen.
Hatte 189 MB, Binaries und die Sourcen.

Nun die Übertragung:

scp:

197928960 bytes sent in 18.3 secs (1.1e+04 Kbytes/sec)

ftp:

kernel.tar                                                                              100%  189MB   9.8MB/s   00:18

Kein grosser Unterschied...

nfs:

thomas@thomas tmp $ date;cp kernel.tar /mnt/turbine/;date
Fre Sep 26 08:49:23 CEST 2003
Fre Sep 26 08:50:03 CEST 2003

Das sind 40 Sekunden, also mehr als doppelt so lange

smb:

thomas@thomas thomas $ date;cp /tmp/kernel.tar turbine/;date
Fre Sep 26 08:54:31 CEST 2003
Fre Sep 26 08:55:18 CEST 2003

47 Sekunden......

Jetzt mal bzippen (was auf meinem P4 2,6GHz ca 100 Sekunden gedauert hat, also alle Redundanzen raus): 40MB Resultat, das auch übertragen:

ftp:

40511987 bytes sent in 3.46 secs (1.1e+04 Kbytes/sec)

scp:

kernel.tar.bz2                                                                          100%   39MB  10.2MB/s   00:03

nfs:

thomas@thomas tmp $ date;cp kernel.tar.bz2 /mnt/turbine/;date
Fre Sep 26 08:47:47 CEST 2003
Fre Sep 26 08:47:55 CEST 2003

Also 8 Sekunden, das sind 250% länger

smb:

thomas@thomas thomas $ date;cp /tmp/kernel.tar.bz2 turbine/;date
Fre Sep 26 08:53:39 CEST 2003
Fre Sep 26 08:53:49 CEST 2003

10 Sekunden.... also am langsamsten von allen

Vergleichen könnt Ihr jetzt selber

HI,

hat von Euch schon jemand versucht die Aufnahmen direkt auf einen Fileserver zu schaufeln?? Ich habe zuhause ein recht schnelles 100Mbit-LAN und suche immer noch nach einer Lösung den VDR leiser zu machen. Da die großen Platten bisher immer ein nicht unbedeutender Lärmfaktor waren, wäre es recht cool die Daten auf dem Fileserver abzulegen. Dort dann ein paar dicke Brummer rein (ich denke da an 3*160 GB im RAID5) und beim Fernsehen hast Du Ruhe.

Oli

wenn Du einen linux-fileserver hast, dann kannst Du über nfs z.B. Dein Raid auf dem Server am vdr mounten. Wenn Du im vdr ganz auf die HDD verzichten willst, dann kannst Du sogar über nfs Deinen vdr vom fileserver booten lassen.

Suche mal ein bischen im Forum ('remote boot'). Ich glaube, das wurde hier vor einiger Zeit mal diskutiert.

Clemens

hi thomas,
irgendwie finde ich das deine daten nicht wirklich so gut sind. die dateien sind zu klein. auch mal musst du den test machen wenn du 20dateien kopierts. dann kommt ftp ganz ins schwitzen.
ich mach mal den test mit einer 4.7GB datei, dann poste ich hier auch mal ergebnisse.

p.s. du kannst zeiten auch sehr gut mit time messen.

slime@slime:~$ time sleep 2


real    0m2.019s
user    0m0.000s
sys     0m0.000s

Mir gings eigentlich um reinen Durchsatz, deswegen eine grosse Datei, einmal mit Redundanzen, einmal ohne.

Um eine allgemeingültige Aussage treffen zu können muss man mehrere Fälle prüfen, das is mir schon klar, aber die Wahl des richtigen Werkzeuges hängt, wie immer, vom Einsatzgebiet und den Vorraussetzungen ab...