Storageserver über Fibre Channel freigeben

[Poison Nuke]

Hallo,

was muss man machen, damit man ein SAS RAID über einen FC HBA an andere Server freigeben kann, damit diese das RAID als physikalisches Volume sehen können?

bin gerade dabei in diese FC Materie einzusteigen und benötige erstmal ein grundlegendes Funktionsverständnis...so richtig finde ich auch nix was brauchbar wäre damit man ein tiefergehendes Verständnis von FC bekommt.

Bisher gehe ich davon aus, es sieht aus wie Ethernet. Man hat einen Switch und entsprechende HBAs in den Server und es gibt ein Storageserver der die Daten bereithält und über FC greifen die anderen darauf zu. Oder ist das falsch?

[bla!zilla]

Beschreib bitte mal genauer, was du da hast.

Hast du da ein dediziertes Storagesystem oder willst du ein in einem Server befindliches RAID System über Fibre-Channel "exportieren"?

[just4uk]

...........damit man ein SAS RAID über einen FC HBA an andere Server freigeben kann..................

Ich gehe mal davon aus aus das Du ein lokales SAS Raid hast. Also SAS Raidcontroller im Server mit X Disken! Wen dem so ist wüsste ich keinen Weg dies per FC anderen Rechner zur Verfügung zu stellen.

.........Bisher gehe ich davon aus, es sieht aus wie Ethernet. Man hat einen Switch und entsprechende HBAs in den Server und es gibt ein Storageserver der die Daten bereithält und über FC greifen die anderen darauf zu. Oder ist das falsch?

Naja nicht falsch aber auch nicht richtig
Switch ja
HBAs in den Servern ja
Storageserver jein
Im einer klassischen FC Umgebung ist ein (oder mehrere) Storage per FC an einem (oder mehreren) Switch(en) connectet und die Server greifen wiederum per FC auf das Storge zu.
Ein Storgeserver kann seine Volumes/Shares auf verschiedene Wege freigeben z.B. nfs smb iscsi ............ aber nicht per FC. Es sei den Du würdest IP over FC verwenden aber ich glaube das Ding war schon tot bervor es zur Welt kam! Die andere Seite wäre evtl. FCoE, da weis ich allerdings nicht wie weit das Dingens schon funktionfähig ist.
Im Prinzip ist FC "nur" ein anderes Medium für SCSI, natürlich mit den damit verbundenen Vorteilen und Nachteilen (so es welche gibt)!

Gruß aus L.E.
Uwe

[Poison Nuke]

ahsooo, es gibt also keinen Storageserver im SAN, sondern die RAID Controller selbst sind direkt an den FC Switch angeschlossen?

ich glaub so langsam blick ich es, hoffe ich


also z.B. braucht man dann zuerst sowas wie das hier:
http://www.sonnettech.com/product/fu...1600fibre.html

und dann ein oder mehr andere Server mit HBA drin und die sehen das RAID dann so als wäre es ein lokales RAID?



Ich will halt erstmal verstehen, wie ein FC SAN überhaupt funktioniert, bevor ich dann irgendwann mal soweit komme, das zu planen usw.


wie schaut es denn mit der Einbindung aus. Nehmen wir an, ich hab jetzt so ein FC-RAID Gehäuse mit ein paar Festplatten, die ich dann wahrscheinlich über eine Management Oberfläche zu einem RAID konfiguriere. Wie binde ich jetzt sowas auf den Servern ein die ein HBA und sagen wir mal Debian als OS haben?
Hat der FC Controller vllt ein eigenes BIOS und man kann schon vor dem Start vom OS die im FC verfügbaren Volumes einbinden usw und Debian z.B. erkennt dann einfach nur ein /dev/sdx ?

[just4uk]

JEDES Device (Storage HBAs Switche usw. usw.) in einer FC-Umgebung hatt eine sognannte WWN, (WorlWideNumber) entspricht im wesentlichen der MAC im Netzwerk, und diesen WWNs werden die Volumes des Storage "präsentiert" und zwar nur genau diese Device mit DER WWN darf auf dieses Volume zugreifen!!

Ja genau so. Die Management- Oberfläche/Tools können lokal auf dem Storege laufen oder eben auf einem Managementserver. Die FC-HBAs haben ein BIOS damit ist auch ein Boot von den Disken/Volumes auf dem FC-Storage möglich. Dein OS sieht ganz normale SCSI Disken, (/dev/sda ..../dev/sdxx) welche sich auch ganz normal mit fdisk mkfs und und und händeln lassen.
Je nach dem wie Dein Storage und die FC-Umgebung ausgelegt ist wäre noch Mutipath notwendig, bei Linux aber eh onboard.
JEDES Device (Storage HBAs Switche usw. usw.) in einer FC-Umgebung hatt eine sognannte WWN, (WorlWideNumber) entspricht im wesentlichen der MAC im Netzwerk, und diesen WWNs werden die Volumes des Storage "präsentiert" und zwar nur genau diese Device mit DER WWN darf auf dieses Volume zugreifen!!

[bla!zilla]

Sorry, habe gerade versehentlich deinen Beitrag editiert und meinen reingeschrieben.... blöder Mod...

Jein. Jeder Port hat einen world-wirde Portname, jedes Device an sich einen world-wide Nodename. Das ist protokollseitig notwendig, damit auch Geräte unterschieden werden können, die über mehrere Ports verfügen. Zusätzlich zum LUN Masking (Zuordnung von logischen Laufwerken zu WWPN/ WWNNs) kommt noch das Zoning. Klassischerweise hast du pro Server zwei FC-HBAs, zwei FC-Switches und ein Storagesystem mit min. zwei Controllern und zwei Hostports. In der Regel wird eine Dual-Fabric aufgebaut, damit man auch die Fabric-Services separiert hat (Nameservice etc.). Das kann entfallen, wenn man einen oder mehrere Director-Switches hat. Aber das geht doch jetzt ein wenig sehr in die Tiefe.

Zu deiner Frage: Du brauchst ein Stück Software, die dir deine lokalen Disks bereitstellt. Dazu brauchst du ein FC-Target. Schau dir das mal an.

[Poison Nuke]

Zu deiner Frage: Du brauchst ein Stück Software, die dir deine lokalen Disks bereitstellt. Dazu brauchst du ein FC-Target. Schau dir das mal an.

das bezieht sich jetzt auf meine erste Frage, wenn ich theoretisch einen normalen Server hätte und dessen SAS Devices über FC freigeben möchte?



d.h. grundlegend wäre ein FC-SAN aufzubauen also sogar sehr einfach?

FC-RAID mit mehreren Discs und zwei RAID Controllern, über die Management software die RAIDs einrichten, jeden RAID Controller für sich an einen eigenen FC Switch anschließen, in jeden Server zwei HBAs rein und die an jeden Switch anschließen und dann im Server im BIOS der HBA die Volumens lokal mounten und dann kann ich im Endeffekt schon drauf arbeiten?

wäre geil wenn das wirklich so einfach läuft.

Oder werden zwei HBAs auch wirklich als zwei SCSI Devices erkannt in Debian obwohl sie grundlegend das gleiche Volumen gemountet haben und ich muss erst Debian sagen, dass /dev/sdb und /dev/sdd ein und das selbe Volume sind (Multipath) ?

[just4uk]

Sorry, habe gerade versehentlich deinen Beitrag editiert und meinen reingeschrieben.... blöder Mod...

Danke find ich auch Klasse, da fehlen ja zwei Drittel

Jein. Jeder Port hat einen world-wirde Portname, jedes Device an sich einen world-wide Nodename. Das ist protokollseitig notwendig, damit auch Geräte unterschieden werden können, die über mehrere Ports verfügen. Zusätzlich zum LUN Masking (Zuordnung von logischen Laufwerken zu WWPN/ WWNNs) kommt noch das Zoning. Klassischerweise hast du pro Server zwei FC-HBAs, zwei FC-Switches und ein Storagesystem mit min. zwei Controllern und zwei Hostports. In der Regel wird eine Dual-Fabric aufgebaut, damit man auch die Fabric-Services separiert hat (Nameservice etc.). Das kann entfallen, wenn man einen oder mehrere Director-Switches hat. Aber das geht doch jetzt ein wenig sehr in die Tiefe...................

Ist zwar richtig aber für den Anfang zum üben erstmal vollkommen überflüssig!
Immer klein Anfangen, ein Server ein HBA, ein Storage ein Controller, ein Switch.
Zoning kann man/frau zu Anfang auch mal weg lassen. Übung macht allerdings den Meister den beim Zoning kann auch schon das eine oder andere verbogen werden!
Das ganz Geraffel wegen WWPN und WWNN kommt dann später wenn der Groschen Grundsätzlich mal gefallen ist.
Aber keine Angst der fällt früher als Du denkst, das ganze ist eigentlich garnicht kompliziert!

d.h. grundlegend wäre ein FC-SAN aufzubauen also sogar sehr einfach?

Ja, wenn Dein SAN nicht von Anfang produktiv sein muss und Du einige Tage zum "rumspielen" hast wäre dies die beste Möglichkeit in die Materie rein zu wachsen

FC-RAID mit mehreren Discs und zwei RAID Controllern, über die Management software die RAIDs einrichten, jeden RAID Controller für sich an einen eigenen FC Switch anschließen, in jeden Server zwei HBAs rein und die an jeden Switch anschließen und dann im Server im BIOS der HBA die Volumens lokal mounten und dann kann ich im Endeffekt schon drauf arbeiten? wäre geil wenn das wirklich so einfach läuft.

Es ist zwar nicht wirklich plug&play aber fast.
Du musst auch im HBA BIOS nix mounten, Du musst nur das BIOS des HBAs aktivieren wenn Du von FC Volumes booten möchtest! Ansonsten siehst Du nach dem Start des OS einfach ein oder mehrere Disken!

Oder werden zwei HBAs auch wirklich als zwei SCSI Devices erkannt in Debian obwohl sie grundlegend das gleiche Volumen gemountet haben und ich muss erst Debian sagen, dass /dev/sdb und /dev/sdd ein und das selbe Volume sind (Multipath) ?

Deine HBAs (egal ob einer oder zwei oder vier) sehen immer eine Disk! Allerdings je nach Anzahl der HBAs/Switche/Controllerports eben mehrere Pfade zu der einen Disk! Das wiederum wird allerdings vom OS selbst gehändelt. D.h. du siehst bei Linux (ich spreche jetzt von RH und SuSE, Debian hatte noch nie am SAN) eine /dev/sda und zu dieser gibt es 2 4 oder X Pfade, die Disk ist aber immer die selbe! Am Anfang gab es ein Tools namens SecurePath damit konnte man/frau unfähigen OSen beibringen was Multipathing ist, hat mehr oder weniger funktioniert
Heute ist meistens alles onboard im OS. Es gibt Tools um sich das anzuschauen SANSurfer von Qlogic, HBirgendwas von Emulex, XX von Atto, für Windows gibt es einen MPIO Manager und und und.
Beispiel:
1. 1 Server 1 HBA. 1 Switch, 1 Storage mit 1 FC-Port, ohne Zoning!
Du legst eine Disk auf Deinem Storage an, die wird präsentiert an den HBA, Fazit Du hast eine Disk mit 1 Pfad!
2. 1 Server 2 HBAs. 1 Switch, 1 Storage mit 1 FC-Port, ohne Zoning!
Du legst eine Disk auf Deinem Storage an, die wird präsentiert an die HBAs, Fazit Du hast eine Disk mit 2 Pfaden! Allerdings gehen die 2 Pfade nur bis zum Switch! Hätte Dein Storge 2 Ports würde sich die Anzahl der Pfade verdoppeln! Mit 2 Switches und 4 Ports am Storage, oder 4 Switches und 8 Ports am Storage, oder ...................
Das Spielchen kannst du jetzt treiben bis Dir oder Deinem Chef das Geld ausgeht!
Aber wie gesagt klein Anfangen wachsen tut Dein SAN von alleine

Gruß aus L.E.
Uwe

[Poison Nuke]

besten dank , endlich verstehe ich überhaupt mal wie so ein SAN aussieht, bisher war das für mich ein Buch mit 7 Siegeln weil bisher alles über Ethernet angebundene Shares gelöst wurde.


gibt es eigentlich bei FC außer den verschiedenen Geschwindigkeitsstufen noch andere "Standards" oder kann man einfach HBA von LSI nehmen, Switch von Qlogic und RAID von Sonnet beispielsweise und das zusammenstecken und es funzt, auch wenn die HBA z.B. 8GBit haben und die Switch nur 4GBit ?


und die Optiken sind das alles SFP oder muss man hier auch genau aufpassen, weil jeder Hersteller einen anderen Stecker verwendet?

[bla!zilla]

Immer klein Anfangen, ein Server ein HBA, ein Storage ein Controller, ein Switch.

btw: Wenn ich nur einem Server ein paar Platten bereitstellen will, dann brauch ich nicht mal einen Switch. Dann ist auch Zoning überflüssig. Sobald zwei Server ins Spiel kommen -> Zoning. Immer.

Zoning kann man/frau zu Anfang auch mal weg lassen. Übung macht allerdings den Meister den beim Zoning kann auch schon das eine oder andere verbogen werden!.

Falsch. Wird zwar funktionieren, aber wenn ich sowas in der Praxis sehe, waren meist Ahnungslose am Werk. Zoning ist nicht komplizierter als VLANs. Und wenn ich das nicht hinbekomme, dann hole ich mir jemanden, der sich damit auskennt. Zudem rät jeder Hersteller davon ab. Best Practise, herstellerübergreifen, "Single Initiator, Single Target" Zoning. Immer. Auch wenn nur ein Initiator mit einem Target spricht.

Das ganz Geraffel wegen WWPN und WWNN kommt dann später wenn der Groschen Grundsätzlich mal gefallen ist.
Aber keine Angst der fällt früher als Du denkst, das ganze ist eigentlich garnicht kompliziert!

Ja, wenn Dein SAN nicht von Anfang produktiv sein muss und Du einige Tage zum "rumspielen" hast wäre dies die beste Möglichkeit in die Materie rein zu wachsen

Na ja, gerade für's Troubleshooting ist es schon interessant "das ganze Geraffel" zu kenne. Etwas mehr als nur SCSI ist es nämlich schon...

Es ist zwar nicht wirklich plug&play aber fast.

Na ja, die HCLs der Hersteller sagen was anderes. Fakt ist: Supported ist, was die Hersteller geprüft haben. In der Regel funktioniert es aber. Im Fehlerfall... na ja, hoffentlich ist es supported.

Also aus vielen Jahren Praxis kann ich sagen: Es ist besser geworden als früher. Aber wer ein SAN einführt, der baut seine Infrastruktur von server- auf speicherzentriert um. Auf einmal hängt alles am Speichersystem. Steht das, hat $KUNDE ein Problem. Und wenn ich nicht weiß, was ich da eigentlich mache, dann versaue ich es mir richtig. Performanceprobleme oder sporadische Übertragungsfehler in einem SAN suchen ist nicht wirklich lustig.

[Poison Nuke]

hast du einen guten Link wo Zoning erklärt wird?

und wie findet man dann solche HCLs? Z.B. jetzt im Falle von einer QLogic SANBox Q5600, insofern da erstmal nix gegen den Switch sprich? Und die HCL sagt dann nur aus, funktioniert mit HBA xy? Sozusagen wie eine "tested memory list" bei Mainboard Herstellern?

[bla!zilla]

hast du einen guten Link wo Zoning erklärt wird?

Ich kann dieses Buch empfehlen. Quasi Standardliteratur für unsere Azubis.

und wie findet man dann solche HCLs? Z.B. jetzt im Falle von einer QLogic SANBox Q5600, insofern da erstmal nix gegen den Switch sprich? Und die HCL sagt dann nur aus, funktioniert mit HBA xy? Sozusagen wie eine "tested memory list" bei Mainboard Herstellern?

Bei den Herstellern selber. Wenn du eine Lösung hast, wo mehrere Hersteller vorhanden sind, dann fang am besten beim Storagesystem an. Schau in den Supportbereichen des Herstellers nach. Alternativ frag beim einem Händler deines Vertrauens nach. Du musst im Prinzip eine Kette bauen: Storage -> Switch -> HBA -> OS. Da du Linux hast, kannst du das OS wirklich am Ende betrachten. Switches und HBAs sind eher problemlos. Wenn du z.B. VMware ESX o.ä. einsetzen wolltest, würde ich dort mit der Auswahl anfangen, also schauen, was unterstützt VMware an HBAs und Storagesystemen.

[bla!zilla]

Übrigens noch mal ein Hinweis zum Zoning: Bei Brocade FC-Switches mit FabOS < 5.1.0 (sollte eigentlich nicht mehr in Produktion sein...) können alle Devices sich sehen, sofern kein Zoning implementiert ist, oder ein cfgdisable gesetzt wurde. Je nach Hersteller oder OEM des Switches (egal ob Cisco, Brocade, Qlogic etc.) kann das anders sein. Erfahrungsgemäß muss ich ein Zoning aufsetzen, da nicht gezonte Ports per Default Zoning nichts sehen. Kann aber, wie schon gesagt, je nach Hersteller und OEM variieren. Ich selber habe keine Installationen bei Kunden, die ohne Zoning laufen.

[Poison Nuke]

danke für den Buchtipp, ist schon bestellt

dann werde ich mich da erstmal einlesen und dann mal weiterschauen. Mir juckt es irgendwie schon in den Fingern, dann irgendwann mal so ein schönes SAN aufzubauen

[bla!zilla]

Bei konkreten Fragen kannst du mich auch gerne per ICQ anquatschen.