PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : HW gg. Software Raid



der_dicke_alex
10.06.10, 23:07
Hallo zusammen,

trotz des defacto vorhandenen Performance-Gewinns durch einen "richtigen" Raid-Controller, beschäftige ich mich gerade mit dem Gedanken, ein grosses SW-Raid zu erstellen.
Dabei würde ein dedizierter Quadcore mit >8GB Ram ein Raid 5 aus >8 SATA-HDDs bekommen (inkl. Hotspare).
Angebunden wäre das dann über dual- oder quad-gbit-Ethernet.

Seht ihr eine reele Chance, dass man mit einer solchen oder ähnlichen Konfiguration das Thema HW-Controller aussen vor lassen kann, da die CPU das schnell genug macht bzw. die von den 8/12/?X? Platten gebrachte Leistung sowieso über die Bandbreite der Netzwerkverbindung kommt und somit ein Plus an Performance (durch HW-Raid) verpuffen würde???

Was meinen die Raid-Spezialisten hierzu???

Thx

Alex

marce
10.06.10, 23:31
Aus meiner Sicht wäre die erste Frage: solle die Kiste mehr schreiben oder mehr lesen?

Wenn Du alles über "normale" SATA-Anschlüsse anschließt kommt evtl. auch irgendwann der interne Bus an die Leistungsgrenze - es läuft ja schließlich alles mehrfach darüber...

bla!zilla
11.06.10, 09:00
Der Vorteil von Hardwarecontrollern ist nur bedingt in der Performance zu suchen. Es geht viel mehr darum, dass Funktionen, die der Linuxkernel macht, dort teilweise in Hardware gegossen sind. Zudem setzt der RAID Controller unter dem OS an, ist damit transparent für das OS. An einem Software-RAID ist soviel Software/ Treiber Kram beteiligt, dass kann nur schief gehen... Klar, Software-RAID hat auch seine Vorteile. Kommt halt immer darauf an, was man damit machen möchte. Ich nutze lieber Hardware. Und damit meine ich jetzt nicht diesen billigen SATA-Adaptec-Intel-Konsorten-Driss.

Wenn man wirklich einen Quadcore und 8 GB RAM braucht und 8 billige SATA Platten zu befeuern, dann läuft da irgendwas falsch...

der_dicke_alex
11.06.10, 09:11
Der Vorteil von Hardwarecontrollern ist nur bedingt in der Performance zu suchen. Es geht viel mehr darum, dass Funktionen, die der Linuxkernel macht, dort teilweise in Hardware gegossen sind. Zudem setzt der RAID Controller unter dem OS an, ist damit transparent für das OS. An einem Software-RAID ist soviel Software/ Treiber Kram beteiligt, dass kann nur schief gehen... Klar, Software-RAID hat auch seine Vorteile. Kommt halt immer darauf an, was man damit machen möchte. Ich nutze lieber Hardware. Und damit meine ich jetzt nicht diesen billigen SATA-Adaptec-Intel-Konsorten-Driss.

Wenn man wirklich einen Quadcore und 8 GB RAM braucht und 8 billige SATA Platten zu befeuern, dann läuft da irgendwas falsch...

Hi, und danke für die Antwort.
Das mit dem Qcore/8gb war nur exemplarisch. Mir geht es nur um das Beispiel.
Augenmerk würde bei meiner Anwendung auf maximalem IO über das Netzwerk liegen.
Insofern würde der gesamte nutzbare Speicher per NFS freigegeben.
Demnach würde der Rechner rein das Raid verwalten.

Für mich ist insofern wichtig, ob man also ähnliche Performance mit diesen Hausmittelchen erreichen kann... Wir können für das Beispiel auch einen einfachen SAS-Controller und z.B. Seagate Constellation SAS nehmen.

ASA: Performance über LAN/NFS für grosse Dateien (~75GB) ist wichtig.
Wir können auch gerne über andere Raid-Level oder sonstige Dinge reden. :-)

Bin für jeden Vorschlag offen :-)

Thx

Alex

marce
11.06.10, 09:38
ein GB-Netz schafft heute bei seq. Read ja fast schon eine normale Festplatte - da braucht's kein Raid :-)

mamue
11.06.10, 09:47
Ich würde die kleineren RAID-Level 0 oder 1 durchaus in Software machen, die höheren nicht. Ich habe hier ein Software RAID 1 in einem Server für 200 User und mir macht derzeit, nach dem Upgrade von dualcore auf quadcore, die I/O-Last zu schaffen. Was ich sagen will ist: Wenn die Kist mit entsprechender Rechenleistung ausgestattet ist und diese auch irgendwie genutzt werden soll, etwa für parallele Backups oder für Virenscans oder für virtuelle Maschienen, dann würde ich mittlerweile größeres Augenmerk auf das Speichersystem legen.

HTH
mamue

bla!zilla
11.06.10, 12:21
ASA: Performance über LAN/NFS für grosse Dateien (~75GB) ist wichtig. Wir können auch gerne über andere Raid-Level oder sonstige Dinge reden. :-)

Was stellst du dir vor und was meinst du mit "Performance"? Willst du MB/s oder IOPS?

der_dicke_alex
12.06.10, 20:59
Was stellst du dir vor und was meinst du mit "Performance"? Willst du MB/s oder IOPS?

Ich möchte mehr in Richtung IOPS gehen. ;-)

bla!zilla
13.06.10, 11:45
Okay. In dem Fall solltest du RAID 3,4,5,6 etc. schon mal beiseite legen. Wichtig: Viele Platten und die durchschnittliche IO Größe muss kleiner als die Chunksize sein. Aber: Wenn du IOPS willst, wirst du keine MB/s bekommen. Das widerspricht auch etwas deiner Anforderung



Performance über LAN/NFS für grosse Dateien (~75GB) ist wichtig

parityman
15.06.10, 15:30
also ich hab hier selbst ein Software raid5 aus 5 hdds und bin eigentlich sehr zufrieden. Die Performance ist nicht wirklich schlechter als bei einem HW Raid. Gerade von SATA Platten sollte man einfach nicht allzuviel erwarten, Ich habe hier 750GB-Platten von Seagate, wobei die Übertragunsrate bei 60-70Mb/s pro Platte liegt, dazu noch die schlechte Zugriffszeit...daher ist die Performance nicht überragend. Knapp 190MB/s lesen und gute 120 Schreiben. Wenn du lokal etwas kopierst erheblich weniger (80-90Mb/s)

Mein System wird übrigends von einem 1,6Ghz DualCore und 2Gb RAM betrieben. Durchschnittliche Auslastung der CPU 1% (bei 40 Usern 12 Stunden täglich, Allerdings viele kleine Dateien, also nur sehr wenige 75GB Oschis)

bla!zilla
15.06.10, 21:32
Da der OP aber offenbar IOPS will sind Angaben mit MB/s wenig hilfreich. SATA Platten bringen leider nur so 70 bis 100 IOPS.

solarix
16.06.10, 09:08
Ich frag mich eher nach dem Einsatzzweck von der Büchse.

Vielleicht sollte man einfach auch mal nach dem Einsatzzweck fragen, immerhin wäre das auch ein Ansatz das Problem einzugrenzen.

der_dicke_alex
16.06.10, 20:56
Ich frag mich eher nach dem Einsatzzweck von der Büchse.

Vielleicht sollte man einfach auch mal nach dem Einsatzzweck fragen, immerhin wäre das auch ein Ansatz das Problem einzugrenzen.

mir schwebt vor, einen schnellen netzspeicher für vhd's zu bekommen - und das zum mindestmöglichen preis.

auch habe ich diverse andere diskussionen z. Thema Sata vs. SAS geführt. So ist angebl. die Seagate Constellation SAS auch oft teil der kommerziellen grossen Netzwerkspeicher.

Also kam mir die Idee, einen schicken Server mit vielen solchen Constellation-Platten zu bestücken und das ganze dann per NFS zu exportieren.

Und hier kommt eben der weitere Faktor ins Spiel (auch wegen der widersprüchlichen Aussagen bez. der Wartbarkeit/Monitoringfähigkeiten der HW-Controller), dass neben dem Einsparpotential für HW-Raid-Controller auch besseres/einfacheres Monitoring der Raids angestrebt ist.

Wenn ich z.B. an mehrere Adatec SAS-Controller mit jew 4 Platten zu einem Software-Raid zusammenfüge, könnte ich die Busbreite der einzelnen PCIE Slots gut ausnutzen.

Und hier frage ich mich, ob ich mit HW-Controllern (evtl. auch mehreren) monumentale Performanceunterschiede im Vergleich zu SW-Raids bemerken werde...

bla!zilla
16.06.10, 21:28
>80% der FC/ SAS Platten die ich in Speichersystemen in den Händen halte, sind Seagate. Damit kenne die sich aus.

SATA ist nice für eher lange, sequentielle IOs, nix für random Access. Zudem dauert der Rebuild einer 1 TB oder 2 TB HDD mit normalen Mitteln TAGE! Natürlich abhängig vom Füllstand.

Ich würde eher immer kleinere Platten und davon viele nehmen. Ich würde SAS nehmen. Wenn du von VHDs redest, dann virtualisierst du. Das ist eher random IO, da das Storage von den verschiedenen VMs "oben" nix mitbekommt und daher eher mit Cache Miss zu kämpfen hat. Da kann auch nicht viel optimiert werden.

solarix
16.06.10, 22:27
mir schwebt vor, einen schnellen netzspeicher für vhd's zu bekommen - und das zum mindestmöglichen preis.

auch habe ich diverse andere diskussionen z. Thema Sata vs. SAS geführt. So ist angebl. die Seagate Constellation SAS auch oft teil der kommerziellen grossen Netzwerkspeicher.

Also kam mir die Idee, einen schicken Server mit vielen solchen Constellation-Platten zu bestücken und das ganze dann per NFS zu exportieren.

Und hier kommt eben der weitere Faktor ins Spiel (auch wegen der widersprüchlichen Aussagen bez. der Wartbarkeit/Monitoringfähigkeiten der HW-Controller), dass neben dem Einsparpotential für HW-Raid-Controller auch besseres/einfacheres Monitoring der Raids angestrebt ist.

Wenn ich z.B. an mehrere Adatec SAS-Controller mit jew 4 Platten zu einem Software-Raid zusammenfüge, könnte ich die Busbreite der einzelnen PCIE Slots gut ausnutzen.

Und hier frage ich mich, ob ich mit HW-Controllern (evtl. auch mehreren) monumentale Performanceunterschiede im Vergleich zu SW-Raids bemerken werde...

Ich weiss ja nicht wie groß Dein Budget ist......

Aber ich würde mir bei sowas eher eine stinknormale Quadcore Kiste hinstellen mit zwei FC - HBA s doppelpfadig und hintdran ein JBOD oder wegen mir auch ein kleines LSI/Storeagetek Storedge. Z.B. 6140 wäre hier ein Mittel der Wahl.

Die könntest Du dann auch entweder mit Sata oder FC Disks bestücken.
Wenn Du es wirklich vernünftig machen willst würde ich zwei von den Dingern nehmen und dann spiegeln.

Aber ist halt eine Kostenfrage. Die Dinger würde ich als RAID5 laufen lassen und dann per Volume Manager ueber Kreuz spiegeln.