[Erledigt] Suche Funktion/Klasse, die mir Dateien/Verzeichnisse physisch verschiebt

nordlicht · 3. Oktober 2006

Hallo Leute,

will ja im ExtRecMenu-Plugin mit 'mv' Dateien zwischen verschiedenen Partitionen verschieben. Nun hat mich vejoun darauf hingewiesen, dass dies z.B. bei der Nutzung von NFS-Freigaben zu Bandbreitenproblemen führen kann, z.B. wenn parallel einen Aufzeichnung läuft.

Vejoun hatte vorgeschlagen, eine Skript zum Verschieben aufzurufen, was dann rsync benutzt, aber noch ein Skript möchte ich nicht einbinden. Die Alternative für mich wäre momentan nur, das physische Verschieben doch selbst zu implementieren, vorzugsweise mit einstellbarer Bandbreite. Ehrlich gesagt habe ich dazu aber momentan überhaupt keinen Nerv, bin schon genug mit anderen Angelegenheiten des Plugins beschäftigt.

Daher meine Frage: kennt jemand eine Library, Beispielimplementation oder ähnliches für obiges Problem, in C oder C++?

Gruß,
Nordlicht
(der sich langsam zwischen Implementationsdetails verläuft)

nordlicht · 4. Oktober 2006

*hochschubs*

nordlicht · 6. Oktober 2006

Noch ein Versuch *hochschubs*

Monroe · 6. Oktober 2006

Vielleicht kann die Boost Bibliothek das ja?
http://www.boost.org/libs/file…/operations.htm#copy_file

Hab ich aber nicht ausprobiert.

Monroe

nordlicht · 6. Oktober 2006

Hi Monroe,

danke für den Link. Sieht recht interessant aus. Was zum Einstellen der Übetragungsbandbreite scheint da aber nicht bei zu sein. Mal schauen. Werde mal weiterforschen.

Gruß,
Nordlicht

vejoun · 6. Oktober 2006

Ist zwar keine Libary, aber evtl. brauchbar. Kann Dateien kopieren und die Bandbreite begrenzen. Vielleicht kannst Du etwas aus dem Quellcode entnehmen?

http://www.cons.org/cracauer/cstream.html

nordlicht · 6. Oktober 2006

Hallo vejoun,

werde ich mir mal anschauen. Das Kopieren einer Datei selber ist noch relativ einfach zu implementieren, nur wie das mit der Bandbreitenbegrenzung geht, muss ich mir erst anschauen. Und da ich ja ganze Verzeichnisse kopieren will, muss ich jeden Schritt dafür selbst machen, d.h. neues Verzeichnis anlegen, im alten Verzeichnis feststellen, welche Dateien vorhanden sind, diese Dateien einzeln ins neue Verzeichnis kopieren, dann im alten Verzeichnis die Dateien löschen und schlussendlich das alte Verzeichnis auch noch löschen. Aber so wie es aussieht, werde ich, wegen der Bandbreitenbegrenzung, alles selbst zusammenschrauben müssen. Da könnte ich dann ja gleich eine Lib draus machen, damit sich andere nicht mehr den Streß machen brauchen

Gruß,
Nordlicht

dmh · 6. Oktober 2006

Kannst Du nicht einfach einen Thread mit niedriger Priorität laufen lassen, der rekursiv arbeitet? Also ist es eine Datei kopieren, ansonsten wieder die Methode zum Kopieren eines Verzeichnisses aufrufen. Und meinetwegen zur Begrenzung der Bandbreite ein paar sleep() einbauen. Sollte doch net so schwierig sein oder vertue ich mich da total?

nordlicht · 6. Oktober 2006

Hallo dmh,

sowas in die Richtung habe ich ja vor, mich hat nur die Menge der elementaren Operationen (Verzeichnis öffnen, auslesen, Verzeichnis anlegen, usw.) etwas erschlagen. Mittlerweile hat sich meine Motivation aber wieder etwas gehoben, so dass ich mich wohl einfach ranmachen werden.

Gruß,
Nordlicht

LordJaxom · 6. Oktober 2006

Für das Kopieren der Daten an sich wäre falls noch nicht bekannt evtl. sendfile erwähnt. Spart das hin- und herkopieren der Daten zwischen User- und Kernelspace. Für die Bandbreitenbegrenzung würde ich einfach eine handliche Blockgröße festlegen (etwa ein zehntel der Datenrate pro Sekunde) und dann sendfile und usleep entsprechend oft abwechselnd aufrufen (also alle 100 ms ein sendfile).

nordlicht · 6. Oktober 2006

Zitat

man sendfile
[...]
Presently (Linux 2.6.9): in_fd, must correspond to a file which sup-
ports mmap()-like operations (i.e., it cannot be a socket); and out_fd
must refer to a socket.

Applications may wish to fall back to read(2)/write(2) in the case
where sendfile() fails with EINVAL or ENOSYS.
[...]

Alles anzeigen

Den Hinweis habe ich vor ein paar Tagen auch im Internet gefunden und sicherheitshalber nochmal in der Man-Page nachgeschaut. Aber mit read() und write() und usleep() dazwischen, dass hört sich schon ganz gut an

Gruß,
Nordlicht

LordJaxom · 6. Oktober 2006

Das haut mich jetzt vom Hocker...
Ich war so frei nochmal in den GNU coreutils nachzuschauen, die benutzen tatsächlich auch eine read/write Schleife. Dachte tatsächlich es würde gerade für so etwas auch eine portable Systemfunktion geben, die das Schaufeln der Daten durch den Userspace vermeidet. Aber naja, man lernt nie aus

anbr · 6. Oktober 2006

Hi,

es gibt die POSIX Funktion rename() oder alternativ die Funktionen link() und unlink() (Erst Hardlink erstellen und dann alten Link löschen)
beides klappt aber nur solange die Dateien in der selben Partition bleibt.

Ansonsten bleibt wohl nur die langsamere Weg per read/write.

nordlicht · 6. Oktober 2006

Hallo Hulk,

rename() benutze ich momentan zum Verschieben. Mir geht es tatsächlich darum, Daten zwischen verschiedenen Dateisystemen/Partitionen zu verschieben.

Gruß,
Nordlicht

anbr · 6. Oktober 2006

boost wurde ja schon erwähnt

http://boost.cvs.sourceforge.n…system/src/operations.cpp

Code

BOOST_FILESYSTEM_DECL boost::filesystem::system_error_type
      copy_file_api( const std::string & from_file_ph,
        const std::string & to_file_ph )
      {
        const std::size_t buf_sz = 32768;
        boost::scoped_array<char> buf( new char [buf_sz] );
        int infile=0, outfile=0;  // init quiets compiler warning
        struct stat from_stat;


        if ( ::stat( from_file_ph.c_str(), &from_stat ) != 0
          || (infile = ::open( from_file_ph.c_str(),
                              O_RDONLY )) < 0
          || (outfile = ::open( to_file_ph.c_str(),
                                O_WRONLY | O_CREAT | O_EXCL,
                                from_stat.st_mode )) < 0 )
        {
          if ( infile >= 0 ) ::close( infile );
          return errno;
        }


        ssize_t sz, sz_read=1, sz_write;
        while ( sz_read > 0
          && (sz_read = ::read( infile, buf.get(), buf_sz )) > 0 )
        {
          // Allow for partial writes - see Advanced Unix Programming (2nd Ed.),
          // Marc Rochkind, Addison-Wesley, 2004, page 94
          sz_write = 0;
          do
          {
            if ( (sz = ::write( outfile, buf.get() + sz_write,
              sz_read - sz_write )) < 0 )
            { 
              sz_read = sz; // cause read loop termination
              break;        //  and error to be thrown after closes
            }
            sz_write += sz;
          } while ( sz_write < sz_read );
        }


        if ( ::close( infile) < 0 ) sz_read = -1;
        if ( ::close( outfile) < 0 ) sz_read = -1;


        return sz_read < 0 ? errno : 0;
      }

Alles anzeigen

Komplettes Beispiel für dein Einsatz der boostlib
http://boost.cvs.sourceforge.n…system/example/mbcopy.cpp

Vielleicht inspiriert dich ja, der Code...

nordlicht · 6. Oktober 2006

Hallo Leute,

danke für die Tipps. Werde es jetzt die Tage einfach angehen.

Gruß,
Nordlicht

[Erledigt] Suche Funktion/Klasse, die mir Dateien/Verzeichnisse physisch verschiebt

Jetzt mitmachen!

Teilen

Benutzer online in diesem Thema