Selbstbau NAS 70Tb

Ich empfinde es, nach dieser Anleitung ist das Ganze sehr viel eleganter gelöst wurde :

http://blog.backblaze.com/2009…uild-cheap-cloud-storage/

Bei Bedarf gibt es sogar die 3D Dateien für das 19''-Chassis.

Zitat

Originally posted by Hulk
Ich empfinde es, nach dieser Anleitung ist das Ganze sehr viel eleganter gelöst wurde :

http://blog.backblaze.com/2009…uild-cheap-cloud-storage/

Bei Bedarf gibt es sogar die 3D Dateien für das 19''-Chassis.

Ouch, da ist mir beim zaehlen der Single Points on Failure ganz schwindlig geworden

Zitat

Original von andreash

Ouch, da ist mir beim zaehlen der Single Points on Failure ganz schwindlig geworden

Wenn ich das richtig verstanden habe dann lösen die die Redundanz wohl über das darüberliegende verteilte Dateisystem.

> Wenn ich das richtig verstanden habe dann lösen die die Redundanz wohl über
> das darüberliegende verteilte Dateisystem.

dann müsste man aber mehrere boxen haben

bei solchen projekten sollte man vorher gut planen, nicht nur den stromverbrauch sondern auch bei der abwärme, wenn man die wärme von den platten weg hat muss sie immer noch irgendwo hin, im serveraum hat man vieleicht 2 x 10k klimaanlage und die firma zahlt aber zu hause ...

und man sollte evtl. auch an die signalisierung denken, wenn man so viele laufwerke hat und man nicht genau weis welches jetzt defekt ist kann schnell mal ein unfall passieren (das wird dann zwar menschliches versagen genannt aber da hat imho der designer versagt)

ab gewissen größen kommt es nicht mehr auf 5k € mehr an, da spielen noch andere faktoren mit (bei buissines systemen) und bei solchen ausmaßen gibts auch mehr optionen, auch bei der redundanz und alles in eine box zu stecken ist nicht zwangsläufig die beste lösung, meist kann man bei einem töpfchen von 8k€ auch verschiedene varianten bauen, jede hat vor und nachteile und es hängt dann von den anforderungen, den erfahrungen und der philosophie ab wie man es zusammen stellt

Zitat

Original von IG88
> Wenn ich das richtig verstanden habe dann lösen die die Redundanz wohl über
> das darüberliegende verteilte Dateisystem.

dann müsste man aber mehrere boxen haben

http://blog.backblaze.com/2010…-racks-100th-storage-pod/

Wenn dann richtig...

ich habe auch gerade ein 100TB projekt (wird bis 500TB skalieren, fuer die uni genf),
da nehme ich zwei sgi IS3500 server mt jeweils 72TB brutto kapazitaet und zfs frontend
server, dann kommt man via mehrere raidz2/stripes auf etwa 100tb netto inkl. 12 hotspare
drives. interconnect via qdr infiniband (= 40gbit/s), damits gescheit flutscht

ich weiss nur noch nicht wie ich die drives vernueftig abschalten kann (also eine art MAID
system), da muss ich mir noch was ueberlegen.

-- randy

@all

Da es sich bei dem Thema um mein berufliches Spezialgebiet handelt, muss ich doch mal mein Senf dazu geben und möchte vorraus schicken, das ich niemandem seine Passion oder Arbeit madig machen möchte.

Aber Lösungen wie diesen Selbstbau-Kisten würde ich meine Enterprise Daten nicht anvertrauen.

• $786,700,- für 6.5PB RAW Data ist nicht wirklich preiswert, würde mich mal interessieren, was davon Netto nutzbar ist, vmtl. weniger als die Hälfte
• Die verwendeten Platten, SATA 1,5TB mit 7.2k RPM, sind Geräte für den SMB Desktop/Server Betrieb, aber bestimmt nix für Array Betrieb und haben ziemlich sicher eine lausigen I/O Performance
• Im ganzen Array ist null komma null Redundanz realisiert, Software Redundanz zählt bei der Größe nicht mehr
• Was fängt denn die ganzen kleinen Caches der HDDs bei Stromausfall ab, bei der Anzahl der Platten bedeutet das einen veritablen Datenverlust. Da nutzt auch keine USV im Datacenter, so schnelle können die einzelnen Einheiten gar nicht gesichert runtergefahren werden
• Handling scheint etwas hemdsärmlig, genau das Richtige um im Krisen und Stressfall die Integrität der Daten absichern zu können, Fehlerüberwachung scheint auch State-of-the-Art zu sein ...

Die Diskussion habe ich leider so oft, warum sind Desktop-Platten so viel billiger oder das Gesülze man benötigt unbedingt 8Gbit/s FibreChannel, ich kanns kaum noch hören.

• HDDs eines Enterprise Arrays sind auf Array Dauerbetrieb optimiert und ausgelegt, mit doppelten FC oder SAS Anschlüssen entsprechend redundant ausgelegt, Desktop-Platten nicht
• Die HDDs haben mit 150-200 IOPS eine viel höhere I/O Leistung als Desktop-Platten, max. 100 IOPS => WDs VelociRaptoren sind mit den Array HDDs vergleichbar, beachtet bitte deren Preis und die max. Größen!
• Enterprise Arrays im PB Bereich sind teuerer als Eigenkonstrukte, bieten aber eine ausgeklügelte Hardware-Redundanz, auch bei Phasenausfällen, eigene Pufferbatterien gegen Speicherverlußte, ein vernünftiges krisen-/stresssicheres Management und üblicherweise 24/7 HW Support für min. 3 Jahre

Ich habe gerade mal nachgerechnet, mit unserem Top Produkt können wir mit 2048 Platten á 600GB (2,5" 10K SAS) ca. 1024PB also 1 Exabyte Netto nutzbar, hochredundant und performant zur Verfügung stellen. Am Frontend liefern wir dann wenn nötig realistisch in Summe bis zu 320.000 IOPS über bis zu 256 8Gbit/s Ports. Selbst im kleinsten Ausbau liefert das Array bis zu 80.000 IOPS am Frontend. Wir konnten leider bisher nur Spindle-Platten testen und haben noch keine verifizierten Werte für die demnächst erhältlichen SSDs, aber man munkelt von bis zu 5000 möglichen IOPS pro SSD ...

Wobei ich auch bei dem Thema wäre MB/s-Bandbreite ist nicht das Problem meiner Kunden, die haben wir seit 4Gbit/s FibreChannel ausreichend. MB/s werden nur noch für Backups diskutiert, die I/O Leistung ist und wird immer das Problem meiner Kunden sein. Und diese läßt sich nicht mit zweckentfremdeten Geräten erreichen und schon gar nicht mit adäquater Redundanz. Im übrigen gilt das schon für den Desktop Betrieb, es ist völlig egal ob eine Platte 70, 80 oder 90MB/s liefern kann. Entscheidend für die Performance ist die I/O Leistung der beteiligten Controller auf Platte und HBA. Eine Desktop SSD Platte liefert kaum mehr MB/s als eine schnelle Spindle-Platte, aber dafür statt 100 IOPS bis zu 4000 IOPS ...

Keine Ahnung was Uni's oder Cloud-Kunden so alles speichern, aber ich möchte meinen Retail- und Manufacturing Kunden nicht beichten müssen das Ihre Filialen nicht beliefert werden können oder die Produktion ein paar Tage steht weil ich meinte ich könne es billiger und besser als ein professionelles Festplatten-Array, sei es wegen eines Ausfalls oder unlösbaren Performance Issues.

Gruß
Frank