PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Cluster-Planung



funfactor
06.02.06, 22:25
Hallo,
ich habe bei mir in der Firma 4 Linux-PCs (mit unterschiedlichen SuSE-Versionen) als Server (Mail, Web usw) stehen, weche ich hochverfügbar machen soll.
Heartbeat möchte ich nicht machen, da ich dann jeden Server doppelt brauche; ausserdem möchte ich mal gern etwas kompexeres aufbauen.
Hab mir das ganze so vorgestellt:
5 PC und ein SAN (oder mehr, mein Chef genemigt mir das schon) nehmen, mittels Cluster zusammenschweissen (wird sich wahrscheinlich MOSIX anbieten), darauf dann über Xen 4x virtuelle SuSe-Distibutionen (da kann ich ja dann wieder Versionen nehmen welche ich will) und dann die Daten der einzelnen Server drauf.
Das ganze hätte den Vorteil, das ich den Cluster bei Bedarf noch erweitern könnte, sei es an virtuellen Systemen oder an Rechenpower.
Hat hier schon jemand Erfahrungen mit sowas?

quinte17
07.02.06, 10:06
also was du vorhast klingt interressant und sollte größtenteils klappen...
wie allerdings die vm's innerhalb des clusters migrieren kann ichmir so noch nicht vorstellen...
http://openmosix.sf.net hat auch eine live-cd zum runterladen, in der das vorgehabte zumindest andersrum läuft... (ein paar xen instanzen werden zu einem cluster zusammengekoppelt)
das ganze würde ich mal in kleinerem maßstab austesten, also für den anfang nur 2 rechner im cluster und darauf dann ein paar vm's... weitere rechner dann zum cluster hinzufügen sollte dann nicht mehr allzuschwer sein...

greetz

marce
07.02.06, 10:15
was verstehst Du denn unter "hochverfügbar"?

... Heartbeat würde schon gehen, Du musst ja nicht jeden PC doppeln...

Läuft denn auf jeder Kiste nur ein Serverdienst?

bla!zilla
07.02.06, 10:21
Hallo,
ich habe bei mir in der Firma 4 Linux-PCs (mit unterschiedlichen SuSE-Versionen) als Server (Mail, Web usw) stehen, weche ich hochverfügbar machen soll.
Heartbeat möchte ich nicht machen, da ich dann jeden Server doppelt brauche; ausserdem möchte ich mal gern etwas kompexeres aufbauen.
Hab mir das ganze so vorgestellt:
5 PC und ein SAN (oder mehr, mein Chef genemigt mir das schon) nehmen, mittels Cluster zusammenschweissen (wird sich wahrscheinlich MOSIX anbieten), darauf dann über Xen 4x virtuelle SuSe-Distibutionen (da kann ich ja dann wieder Versionen nehmen welche ich will) und dann die Daten der einzelnen Server drauf.
Das ganze hätte den Vorteil, das ich den Cluster bei Bedarf noch erweitern könnte, sei es an virtuellen Systemen oder an Rechenpower.
Hat hier schon jemand Erfahrungen mit sowas?

Bist du dir sicher das du weißt was du wirklich machen willst? MOSIX ist für den von dir geplanten Anwendungszweck überhaupt nicht gedacht.

MOSIX is particularly suitable for:
* Running parallel applications with unpredictable resource requirements or run times.
* Running long processes - which are automatically dispersed among available grid nodes but migrated back when nodes are disconnected from the grid.
* Efficient utilization of grid-wide resources- by the automatic resource discovery and load-balancing algorithms.
* Combining nodes of different speeds - by migrating processes among nodes based on their respective speeds, current load and free memory.

Few examples:

* Scientific applications - genomic, protein sequences, molecular dynamics, quantum dynamics, nano-technology and other parallel HPC applications.
* Engineering applications - CFD, weather forecasting (MM5), crash simulations, oil industry, ASIC design, pharmaceutical and other HPC applications.
* Financial modeling, rendering farms, compilation farms.

Du möchtest Clustern, aber keine redundante Hardware aufbauen. Sowas aufzubauen ist kein Selbstzweck, sowas kostet Geld. Du wirfst das Thema SAN in den Raum. Bist du dir sicher das du sowas handeln kannst - und ob es dein Chef bezahlt? Was für ein Budget hast du?

Ich kenne mich in der Thematik ganz gut aus, daher meine Fragen.

Tomek
07.02.06, 10:40
Verschoben ins Forum "Server und Clients".

funfactor
07.02.06, 10:41
Naja, MOSIX deswegen, weil man ja damit angeblich einen komplett transparenten Cluster aufbauen kann, im Gegensatz zu Beowulf.
Also soll auf dem Cluster dann auf unterster Ebene ein Linux-System laufen, welches Xen kann.
In diesem System welches dann die Verteilung auf die Clusterknoten übernimmt, dann über Xen die virtuelle Systeme mit den jeweiligen Serverdiensten.
SAN muss nicht unbedingt sein, ich wollte nur den Speicherplatz separieren, um in auch noch mal über Raid abzusichern.
Durch das ganze würde mann die Server-Ebene komplett von der Hardwareebene separieren können, sprich wenn ein PC ausfällt, dann werden nur die Server-Dienste etwas langsamer, sind aber immer noch funktionell.
Dann könnte mann einfach den PC abschalten, einen neuen in den Cluster integrieren und alles wäre wieder in Butter.
Sicher brauche ich mehr PCs als wie wenn ich die Serverdienste auf einzelnen PCs laufen lassen würde, aber ich brauche noch nicht so viele wie ich bei der Heartbeat-Lösung brauchen würde.
An Heartbeat-Konzept stört mich halt, das die Backup-Rechner nur dann zum Einsatz kommen, wenn der Master ausfällt.
Das wäre beim Cluster nicht so.
Is halt nur ne Idee, und mein Chef is offen für solche Sachen.

funfactor
07.02.06, 10:45
PS: Haben zwei Webserver mit verschiedenen Datenbankanbindungen, einen Open-Xchange, einen DNS, und es sollen noch andere dazukommen.
Die Verschiedenen zusammenfassen geht leider aus mehreren Gründen nicht.
Wir haben zwar in der Firma(IT-Dienstleister) schon Linux-KnowHow, wollen das aber noch stark ausbauen, und ob ich mir das zutraue?
Man lernt nur durch solche Experimente :-))

bla!zilla
07.02.06, 10:57
Naja, MOSIX deswegen, weil man ja damit angeblich einen komplett transparenten Cluster aufbauen kann, im Gegensatz zu Beowulf.
Also soll auf dem Cluster dann auf unterster Ebene ein Linux-System laufen, welches Xen kann.

Angeblich? Ich denke eher nicht. Zumindest ist mir so ein Anwendungszweck für MOSIX gänzlich unbekannt.



SAN muss nicht unbedingt sein, ich wollte nur den Speicherplatz separieren, um in auch noch mal über Raid abzusichern.


SAN brauchst du für sowas auf jeden Fall. Sonst kannst du die Cluster Nodes nicht zwischen den physikalischen Maschinen verschieben. Viel Spaß beim Aufbau und beim bezahlen der dafür nötigen Infrastruktur:

- Storage
- Switches
- HBAs



Durch das ganze würde mann die Server-Ebene komplett von der Hardwareebene separieren können, sprich wenn ein PC ausfällt, dann werden nur die Server-Dienste etwas langsamer, sind aber immer noch funktionell.
Dann könnte mann einfach den PC abschalten, einen neuen in den Cluster integrieren und alles wäre wieder in Butter.


Du suchst VMWare ESX Server. :)



Is halt nur ne Idee, und mein Chef is offen für solche Sachen.

Bis er den Preis sieht. :D VMWare ESX Server kann sowas. Nimm zwei dicke Server, HP ProLiant DL580 mit Quad-XEON, min. 6GB RAM und ein passendens Storage, z.B. HP StorageWorks EVA4000 in einer 2C2D Konfiguration (16 Platten). Du brauchst dazu noch etwas VMWare Software (ESX Server für 8 CPUs, VirtualCenter usw.) - Fertig.

funfactor
07.02.06, 12:56
Hab mich grad ne Stunde durchs Netz gewühlt und muss leider feststellen, das das ganze einen Hacken hat:
Xen-Maschinen sind keine einzelnen Prozesse und werden dann natürlich nicht aus die einzelnen Mosix-Knoten migriert.
Schade.
Es gibt aber noch einen Ansatz:
Nicht Xen, sondern UML zu verwenden. Ist grad in Arbeit, läuft aber noch nicht perfekt; sollte man aber im Auge behalten.

bla!zilla
07.02.06, 13:35
Noch mal ganz kurz zu deinem Ansatz mit MOSIX: Du hast verstanden was MOSIX macht und das es irgendwie überhaupt nicht zu dem passt was du planst, oder?