drbd
=> RAID1 ueber Netzwerk. Mal danach googgeln
Das ist echtzeit
Wenn Du nur ab und an Synchronisieren willst ist bei mir rsync die erste Wahl
Ich mache so zusaetzlich einen Live Abzug auf ne USB Platte ( 1x am Tag )
Ein "echtes" verteiltes Filesystem willst Du wahrscheinlich nicht wirklich kennenlernen
Yohoo!
Vom Anwendungsprofil ist rsync bei mir auch erste Wahl.
Problem ist dabei aber, das das Source-Dateisystem massiv aus Hardlinks besteht.
So braucht rsync damit unter massivem Speicherbedarf trotz nur kleiner Aenderungen knapp 24h zum Abgleich....faellt also aus.
RAID1 in Echtzeit gefaellt mir nicht so gut, da sich dann auch Fehler replizieren...
Hintergrund:
Ich verwende hier einen Backupserver mit BackupPC. Jetzt will ich einfach noch das Dateisystem, auf dem die Daten gesichert werden, offline ziehen. Da das Archiv aber knapp500GB gross ist, ist es nicht sinnvoll, das jedes Mal komplett neu zu kopieren...rsync also eigentlich ganz gut ist.
Was ist eigentlich suche, ist "rsync blockbasiert". Habe ich aber noch nicht gesehen....wobei: es wird unter Linux ja eigentlich alles als Datei behandelt. Hat jemand schonmal probiert, /dev/hda1 via rsync zu kopieren? Hmmmm....
Christian, der das gleich mal probiert. Aber vmtl. scheitert....
[EDIT]
Jo, wie gedacht. Rsync kopiert sauber den Eintrag aus /dev, aber nicht den Inhalt. Auf der rsync Mailingliste gibt es einen entsprechenden Thread. Von 2005.....:-( Auf Sourceforge gibt es ein Projekt "rsyncfs" , bei dem die letzte Aktivitaet vor 1.128 Tagen war....
Der Bedarf scheint da zu sein, es hat wohl noch keiner realisiert. Gibt es nicht hier ein paar Entwickler? 
als rsync ersatz: find + cpio via ssh
beispiel:
cd /home; ssh user@host l "cd /; find . -depth -print | cpio -oaV" | cpio -imVd
"holt" die daten
find path -depth -print | cpio -oaV | ssh user@host 'cpio -imVd'
"schiebt" die daten
edit: ach ja und richtiges verteiles fs: gluster, gpfs, cXFS, lustre (enterprise) etc.. 
gruss,
-- randy
Original von knebb
Yohoo!Ich bin auf der Suche nach einem verteilten Dateisystem (oder aehnliches), dass mir die geschriebenen Daten repliziert.
Also quasi RAID1, aber als zweites Device etwas beliebiges, auch via Netzwerk.
Die Replikation darf auch gerne Offline passieren...
Jemand einen Tip?
OpenAFS, ist allerdings nicht ganz einfach aufzusetzen und eventuell overkill.
Bye...
Dirk
Hallo Knebb,
die vielen Hardlinks entstehen doch vermutl. bei der Sicherung. Du brauchst also nur die immer neuen Verzeichnisse mit rsync abzugleichen. Dort kannst Du dann die jeweils vorhanden als Link-Quelle angeben, so das auf der 2. Sicherungsplatte "neue" Hardlinks erstellt werden.
Das Script für die ganze Aktion dürfte nicht so schwer sein, es sollte ja auch ganz alte Sicherungen mit löschen.
Hardy
Das Script für die ganze Aktion dürfte nicht so schwer sein, es sollte ja auch ganz alte Sicherungen mit löschen.
Das gibt es fertig als "rsnapshot". Ich nutze das als Backupscript. Die Intervalle und die Anzahl der pro Intervalltyp vogehaltenen Kopien kann man einstellen.
XtreemFS vielleicht? Gibt es sogar fertig für Debian, RPM und Windows.
Originally posted by kleini
XtreemFS vielleicht? Gibt es sogar fertig für Debian, RPM und Windows.
Bin gerade mal dabei, mir das anzuschauen, leider hat CentOS 5.3 (noch) keinen FUSE Support. 
Versuche es jetzt einfach mal testhalber auf einer Fedora 10 Installation (gut, wenn man virtualisiert hat ;))
ich bin echt erstaunt wie viele FS es für solche Zwecke gibt.
Klingt alles ganz interessant.
Nun überlege ich auch ob ich einen alten Rechner per ACPI aufwachen lasse um dort ein backup zu machen.
Ist irgendwie sicherer als eine zweite Platte im selben Rechner. Und der Backup Rechner kann dann auch im Keller stehen.
Da ich dann aber von mehrere Rechner ein Backup machen will, werde ich sicher nicht genug Platz haben um 1:1 Backups zu machen.
Ausserdem ist es doof wenn man schon ein defektes FS sichert und nur eine Sicherung hat.
Ich habe bis jetzt immer backup2l benutzt.
Dabei dann zwei volle und 5 inkrementelle backups gemacht.
Das ganze arbeitet mit tar.gz(oder anderen Archiven). Ein paar Sachen hatte ich sogar verschlüsselt mal extern gesichert.
Damit habe ich aber nie ein ganzes System gesichert. Immer nur /etc/ /home/ mysql usw.
Neu aufsetzen dauert also mehr als 5 min.
Bei welchem der genannten FS gibt es denn Kompression?
Da ich im embedded Bereich arbeite finde ich als Kompression LZMA richtig super. Schaft bei uns ca 1/7 ist aber leider readonly.
Original von knebb
Bin gerade mal dabei, mir das anzuschauen, leider hat CentOS 5.3 (noch) keinen FUSE Support.
fyi: RHEL 5.4 hat fuse dabei.
und macht nicht xtreemFS zur zeit nur raid0/striping?
gruss,
-- randy
Wie ist es mit DRBD und snapshot device?
Hab allerdings keine info über geschwindigkeit und auslastung.
Gruss
Ralf
DRDB ist wohl in CentOS Extra dabei.
Allerdings muss ich zugeben, dass ich fuer die naechsten Wochen absolute keine Zeit habe, das auszutesten.
Vorerst werde ich wohl einen anderen Weg waehlen (rsync auf eine virtuelle Disk .vmdk), damit ich die Datensicherheit erst mal habe.
Auf jeden Fall werde ich das im Auge behalten und sobald ich Zeit und Ergebnisse haben, werde ich berichten.
vielleicht mag ja jemand anders auch noch damit ein wenig herumspielen und berichten
Original von decembersoulDa ich dann aber von mehrere Rechner ein Backup machen will, werde ich sicher nicht genug Platz haben um 1:1 Backups zu machen.
Ausserdem ist es doof wenn man schon ein defektes FS sichert und nur eine Sicherung hat.
Ich habe bis jetzt immer backup2l benutzt.
Dabei dann zwei volle und 5 inkrementelle backups gemacht.
Das ganze arbeitet mit tar.gz(oder anderen Archiven). Ein paar Sachen hatte ich sogar verschlüsselt mal extern gesichert.
Damit habe ich aber nie ein ganzes System gesichert. Immer nur /etc/ /home/ mysql usw.
Neu aufsetzen dauert also mehr als 5 min.
Hier würde ich ebenfalls rsnapshot empfehlen. Durch die Verwendung von Hardlinks wird für jedes inkrementelle Backup nur so viel Platz verbraucht wie für die veränderten/neuen Dateien benötigt wird und trotzdem hat man bei jedem einzelnen Backup Zugriff auf den kompletten gesicherten Verzeichnisbaum ohne spezielle Tools zu benötigen.
Bei welchem der genannten FS gibt es denn Kompression?
Bin mir nicht sicher, aber gibt es nicht inzwischen für die Komprimierung eine ähnliche Lösung wie's z.B. ecryptfs für's Verschlüsseln ist? Ansonsten bleibt wohl nur auf btrfs zu warten.
Bye...
Dirk
Original von knebbWas ich halt suche, ist wirklich rsync blockbasiert. Gibt es aber wohl nicht. Also Dateisystemreplikation. Problem dabei ist aber, dass ich das lokale Dateisystem nicht ausbremsen moechte, nur weil das remote System max. 2Mbit Anbindung hat. Sollte also offline passieren.
Noch jemand Ideen?
Nochmal: OpenAFS. Da passiert die Synchronisation der Replikas nur auf Zuruf.
Bye...
Dirk
Original von knebbProblem ist dabei aber, das das Source-Dateisystem massiv aus Hardlinks besteht.
So braucht rsync damit unter massivem Speicherbedarf trotz nur kleiner Aenderungen knapp 24h zum Abgleich....faellt also aus.
Du solltest es mal mit einer Rsync Version >= 3.0.x versuchen. Und zwar auf beiden Seiten, dann klappt das auch mit Millionen von Dateien, die ebenfalls auch im Grossteil aus Hardlinks bestehen. Der Unterschied zu den alten 2.xx Versionen ist jedenfalls gewaltig.
Siehe auch http://rsync.samba.org/ftp/rsync/src/rsync-3.0.0-NEWS unter Absatz ENHANCEMENTS:
A new incremental-recursion algorithm is now used when rsync is talking to another 3.x version. This starts the transfer going more quickly (before all the files have been found), and requires much less memory. See the --recursive option in the manpage for some restrictions.
Yohoo!
So, ich habe jetzt mal DRBD getestet. Ist im "Extras" Paket von CentOS5 schon dabei- von daher keine grossen Orgien mit make usw.
Das scheint mir ziemlich genau das zu sein, was ich suche. Werde natuerlich noch ein wenig herumexperimentieren. Aber bisher sieht's gut aus.
Das Schoene daran scheint zu sein, dass es auch eien drdb-Proxy anbietet. D.h. wenn der Zweite nicht schnell genug arbeiten kann, wird der Erste nicht geblockt, sondern kann weitermachen. Der Proxy uebernimmt dann das Puffern.
Mal sehen, ob eine 2Mbit Leitung dafuer gut genug ist
Hmm..mal rechnen: taegliche Datenmenge ca. 8-10GB. Manchmal auch mehr, manchmal weniger.
Hmmm...nach Bandbreitenrechner braucht eine 2Mbit Leitung dafuer ca. 10h.... 
Ich will aber ja nicht die ganze Bandbreite dafuer "opfern". Also gem. den DRBD Empfehlungen max 30%. 
Das wird also wohl "verdammt" eng. 
Ach egal, ich probiere das einfach mal aus.
[edit]
Hrmpf...der DRBD Proxy, der das Ganze auch mit lahmen Leitungen akzeptabel macht, ist nicht OpenSource. Dadurch ist der lokale Host auf die Geschwindigkeitsbremse des Netzwerkes "angewiesen". D.h. lokal auch nur 2Mbit/sec. Faellt in der Form also aus.
Mit ein paar Tricks (manuelles Abschalten des secondary Nodes) klappt das vielleicht doch noch.
Wird aber heute nicht mehr getestet
Don’t have an account yet? Register yourself now and be a part of our community!
