Sicherungskonzept Server / LVM mit mehreren Festplatten oder besser kein LVM ?

Hi,
habt Ihr einen Tipp, wie ich am sinnvollsten meine Festplatten nutze? Unter Windows würde ich Acronis einsetzen, unter Linux fehlt mir was passendes.

Ich denke mal mit LVM würde es am besten funktionieren?

Ziel: Backup der Laufwerke , Ausfallsicherheit des wichtigsten Bereichs Archiv

zur Verfügung stehendes Material:

• im alten Server: 6 * 1TB WD RE3 am Adaptec Raid 1280 PCI-X 8 Port als Raid 6
• Im neuen Server: 3 * 3TB Seagate SV35 am Areca 12 Port als Raid 5
• 2 * 1TB Desktop Platten z.Zt. als lokale VDR-Server Platte und Archiv Dallas (z.zt. teilweise ungesichert)
• 1 * NAS LevelOne mit 1TB

Der alte Server funktioniert noch, soll aber vom Netz gehen. Mir schwebt da vor, den per WOL und neuem BS als Backupserver zu verwenden. Ohne Raid könnte ich dann die volle Kapazität von 6TB nutzen.

Problem für mich sind Ordner für Foto / AVCHD / Musik . Diese als LVM ? mit Spiegel auf 2 * 1TB Platten. Aber kann man mit LVM das auf mehreren Platten auch nachträglich hinzufügen?

Soll heißen, muss dann die komplette Festplatte ein LVM haben, oder kann man auch mischen? LVM kann keine externen LVMs ansprechen?

mhdfs kommt für mich nicht in Frage, ich will meine Ordner zusammen lassen und nicht die index von den ts getrennt lagern, bzw alles unkontrolliert verteilt haben.

Da ich mit LVM bisher nichts gemacht habe, wäre ich über ein wenig Schützenhilfe dankbar.

Thx

Das hört sich erstmal danach an, als wenn ich von LVM keinen Nutzen hätte. Klar dass es nicht mal ebenso zu nutzen ist wie normale Dateisysteme. Wenn sich aber es loht dann lerne ich es. NFS war im nachhinein betrachtet nicht wirklich schwer, aber wenn es irgendwo hakt ist aller Anfang schwer...

Andererseits können meine Hardware Raid Controller alles was das Herz begehrt (insb. online capacity expansion) was beim Areca hervorragend über das WebIF danke eigenem Netzwerkanschluss geht. Das lässt sich einfach bedienen, ohne Klimmzüge mit LVM zu machen.
Wenn es auf 2 Separaten Raid Controllern läuft hat es auch Vorteile, wenn der mittlerweile 8 Jahre alte Adaptec den Geist aufgibt ist nur das Backup im Eimer.

Oder doch vielleicht besser alle an den Areca Controller und einfach auf XFS für die großen Laufwerke gehen. Und den alten Server als Backup-NAS aufsetzen. Da der dann nur noch selten an ist, läuft der vermutlich immer noch 5 Jahre bei 1 Backup / Monat

Bei mhdfs stört mich einfach immens, dass die vdr recording Verzeichnisse zerpflückt werden, und je nachdem wo genug frei ist mal auf der einen Platte was ist und mal auf der nächsten (sofern ich das Prinzip nicht falsch verstanden habe)

Mein größtes Problem ist aber, dass mir bisher kein vernünftiges Gui-Backup Programm unter Linux bekannt ist (ohne 500 € für Acronis auszugeben, die ich nicht habe)

Mir geht es nur um die Sicherung der Daten. Das System und die VM's sind kein Thema zu sichern. Die sind auf einer 256GB SSD und werden über die Volumesnapshots bei Bedarf auf eine Netzfreigabe kopiert.

PS: zum Probieren habe ich zur Zeit mein Archiv in ein XFS LVM kopiert. Als Gui Fetischist habe ich mich dem Tool system-config-lvm bedient. Damit ging es ganz leicht, hatte aber bereits einmal das Problem, dass die VG ständig nach einem Reeboot manuell aktiviert werden musste. Warum auch immer, ich habe es neu aufgesetzt und seitdem das Problem nicht mehr. Ich vermute mir hat das gparted eingebrockt, obwohl ich auf dem LVM nichts damit bearbeitet hatte.

Zitat von Keine_Ahnung

AUFS ist allerdings nen Kernelmodul (D.h. wenns mal abschmiert dann richtig) und braucht minimal nen Kernelpatch (auch wenn man das Modul ausserhalb baut).

Da ich keine Kernel bisher kompiliere, fällt damit dieser Ansatz raus.

Zitat von nippes

Vielleicht lohnt für dich ein Blick auf solaris und zfs. (zuzüglich aller derivate.)

Habe ich schon von gehört und mal kurz angelesen, aber da es kein Linux / Ubuntu ist war ich davon eher abgeneigt. Aber ich denke nochmal drüber nach.

Zitat von Mreimer

Wenn es sich um ein ernstzunehmendes Backup handeln soll, dann gehören die Backup-Medien vom eigentlichen Rechner separiert. Nicht umsonst wird in Unternehmen selbst dann, wenn gespiegelte Platten genutzt werden, noch eine Sicherung auf Band gemacht.

Selbst das beste RAID bringt dir nichts mehr, wenn der Server bei Gewitter anständig Überspannung abbekommt und es dabei beide Instanzen des Spiegels zerstört.

Vollkommen richtig. Ich predige das selber ja auch ständig, auch wenn ich unter uns gesagt Zuhause selber es nicht immer beherzige . Mein Archiv ist lange Zeit nicht separat gesichert gewesen. Lediglich meine privaten eigenen Videos / Fotos/ usw die unwiederbringlich sind sogar 3fach gesichert. (NAS, und auf 2. Arbeitsplatz). Aber das wollte ich eigentlich nun ändern.

Zitat von Keine_Ahnung

Warum überhaupt RAID für das riesige VDR Videoarchiv? Braucht man da denn die Ausfallsicherheit wirklich?

Eine gute Frage. Die ist mir auch schon mehrfach durch den Kopf gegangen. Sicherlich ist es schön eine flotte Read Performance zu haben, aber die Platten schaffen auch so locker den Parallelzugriff von allen max. möglichen VDR´s.
Entstanden ist das damals aus der Windows Welt, wo es ohne Raid nicht möglich war zusammenhängende große Dateisysteme zu erzeugen. Und mehrere Ordner in einer Freigabe zusammenzufassen war nicht möglich. Außerdem ist es meine technische Spielwiese um einfach mit Raids und den Controllerfunktionen umgehen zu können praktisch sowas Zuhause zu haben.

Nur stehen heute andere Aspekte im Vordergrund, u.a. weniger Stromverbrauch und Linux, und massiv weniger Geld zu Verfügung (Nachwuchs ohne Lohnzuwachs ist ). Daher auch Komponenten die die Laufwerke selber in Standby setzen können. Wobei ich mir dabei sehr wohl bewust bin, dass dies zu einer geringeren Lebenserwartung führen wird. Alle Raids die ich bisher gebaut habe und die nonstop laufen haben die Nutzungsdauer des Systems überlebt. Die Start Stop Zyklen zehren an der Lebenserwartung. Wobei das Archiv bestenfalls beim Neustart und vielleicht einmal am Tag genutzt wird.
Der Areca kann die Platten in den Standby schicken. Um den Cache von 1-2GB zu nutzen könnte ich die Platten auch als jbod laufen lassen. Damit habe ich so etwas ähnliches wie mhdfs ohne dessen Nachteile.
Ist das für ein Archiv besser?
Vorteil ist mehr Kapazität, Nachteil Read Performance, etwas geringere Datensicherheit

Aber warum habe ich dann einen so schönen Raid Kontroller. Das ist doch Verschwendung. Ich habe es gerne sch schnell wie es nur irgend möglich ist. (Wenn schon kein Ferrari in der Garage dann ein Porsche im Datennetz )
Ich will aber dann auch volle Kopiergeschwindigkeit haben und nicht wie bei Windows mein Gigabit mit max. 50% auslasten zu können.

Aber genau deshalb freue ich mich über Euer Feedback. Manchmal wird man Betriebsblind und verliert den Blick fürs Wesentliche.

Jetzt weiss ich wieder woher mir zfs bekannt vor kam, es wird auch bei FreeNAS genutzt. Das schwebte mir auch als Lösung auf dem alten Server vor.

Merkwürdigerweise ist meine vg archiv plötzlich defekt und kann nicht gemountet werden:

root@vdr-server:/home/torsten# pvscan
  /dev/dm-0: read failed after 0 of 512 at 6001180737536: Eingabe-/Ausgabefehler
  /dev/dm-0: read failed after 0 of 512 at 6001180794880: Eingabe-/Ausgabefehler
  /dev/dm-0: read failed after 0 of 512 at 0: Eingabe-/Ausgabefehler
  /dev/dm-0: read failed after 0 of 512 at 4096: Eingabe-/Ausgabefehler
  /dev/dm-0: read failed after 0 of 2048 at 0: Eingabe-/Ausgabefehler
  No matching physical volumes found
root@vdr-server:/home/torsten# vgscan
  Reading all physical volumes.  This may take a while...
  /dev/dm-0: read failed after 0 of 512 at 6001180737536: Eingabe-/Ausgabefehler
  /dev/dm-0: read failed after 0 of 512 at 6001180794880: Eingabe-/Ausgabefehler
  /dev/dm-0: read failed after 0 of 512 at 0: Eingabe-/Ausgabefehler
  /dev/dm-0: read failed after 0 of 512 at 4096: Eingabe-/Ausgabefehler
  /dev/dm-0: read failed after 0 of 2048 at 0: Eingabe-/Ausgabefehler
  No volume groups found

FreeNas scheint ja durchaus deutlich gewachsen zu sein. Die Test die ich gelesen hatte waren aus 2011 und bescheinigtem dem System damals Instabilität und mäßige Performance. Aber die Liste der Möglichkeiten ist Interessant und mittlerweile ist vermutlich einiges besser als noch vor 2 Jahren. Da es rein per Webgui administriert wird, es es für mich egal, dass ich mit freebsd nichts anfangen kann.

Es nutzt auch rsync und crontab, iscsi kann für die VM interessant werden und mit 2 FreeNas Servern wird vermutlich sogar failover möglich sein?
Zeroconf ist auch da. Möglich, dass es mit dem avahi vom yavdr nutzbar ist.

Das ganze in einer VM zu testen sollte ja hinzubekommen sein. Wenn da nicht noch 2 Baustellen mit PCI-Passtrough bei mir wären, die ich dafür gelöst bekommen muss (was aber nicht hier rein gehört).

Zitat von gda

Teste doch mal lieber OMV, dann brauche ich es nicht zu tun ;). Klingt für mich sehr interessant.

Alleine schon um beides zu testen werde ich Wochen brauchen. Wenn NAS dann wird es vermutlich zwischen den beiden zur Wahl kommen. Wobei mich FreeNas mit empfohlenen 6GB RAM bei FullZFS schon erstaunt. Was macht man beim NAS mit so viel Arbeitsspeicher. Virtueller Puffer für die Freigaben?
OMV hat einen ähnlichen Funktionsumfang auf den ersten Blick. Sind wohl beide recht mächtig. Wie immer man hat die Qual der Wahl. Wobei ZFS sich wirklich gut anhört.

Zitat von peje

Hallo ich habe mit http://zfsonlinux.org/ sehr gute Erfahrungen gemacht.

Guter Link. Es gibt sogar ein PPA! Somit könnte man den Yavdr mit dem PPA um die ZFS Fähigkeit erweitern. Fragt sich nur was ein solches PPA alles an Problemen verursacht. Es dürfte recht tief in den Kernel eingreifen?