load balancing "vorrüsten"?

[charon_x]

Hallo,

stehe vor folgendem Problem: Ich möchte einen neuen Server einrichten, der quasi "vorgerüstet" für Load balancing ist. Als Flaschenhals sehe ich die Verarbeitung der hochgeladenen Daten auf dem Server selbst, d.h. auf dem Server werden Bilder und Videos hochgeladen und dann konvertiert(in flash) , danach zum Anschauen bereitgestellt. Damit einhergehend ist natürlich auch irgendwann die Bandbreite erschöpft.

Da ich momentan die Anzahl der Anfragen nicht absehen kann, wollte ich zunächst einen Server nehmen, der alles verwaltet (Webserver, PHP-Datenbank, kein Mailserver). Bei steigendem Upload- und Konvertierungsaufwand müssten dann weitere Server die Backend-Arbeit übernehmen.

Nun meine Frage: ist sowas mittels Apache zu realisieren?
Ich habe, ehrlich gesagt, nicht allzu viel Ahnung von Linux und versuche gerade rauszufinden, wie ein solches System am besten aufzubauen wäre, evtl. mit der Apache 2.2 mod_proxy Extension?

Ich weiß, das ist keine klassische "User helfen User" Frage, da ich selbst wohl nur ne Frage stellen kann aber wohl kaum einen helfen kann, wenn sich aber jemand angesprochen fühlt zu antworten, dann besten Dank im Voraus!

gruß

[marce]

Die Antwort folgt eigentlich aus dem 3. Abschnitt: Lass des von jemandem machen, der sich damit auskennt.

Ansonsten: Es kommt darauf an, wo der Engpass ist - Traffic, CPU, HD - je nach dem lässt sich das alles dann mehr oder weniger gut parallelisieren oder verteilen. Und dann kommt es natürlich auch noch drauf an, wie die Anforderungen sind (z.B. muss das Flash-Ergebnis sofort, zeitnah oder "irgendwann" zur Verfügung stehen? Soll pro User eine maximale Bandbreite verwendet werden? Müssen Daten über alle evtl. vorhadenen Systeme konsistent sein oder gibt es unterschiedliche Datentöpfe pro Server? ...)

Pauschale Antworten ohne diese Fakten kann man mMn. nicht geben...

[komaii]

wie marce schon geschrieben hat!
Du brauchst auf jendefall ein Loadbalancer vor deinen Apache2 Servern, und da solltest du jemanden haben der sich damit auskennt. Was deine Server dann machen solltest du schon genau wissen, sonst hast den Flaschenhals nicht bei den Loadbalanced Daten sondern bei der Hardware. Ausserdem kommt es noch auf die Anbindung darauf an, an welchem Netz hängst du und an welcher Leitung (upload,download). Ist sie geshared oder haste ne 100mbit für dich alleine mit Traffic Volumen ala 10Mbps oder wie auch immer das bestellt wird von dir....usw....Da sind noch viele Fragen ungeklärt und offen!

lg,
komaii

[marce]

Ein Hardware-LB ist nicht zwingend notwendig - das lässt sich über Applikationsdesign und andere Methoden auch erledigen...

[charon_x]

Hallo,

erstmal vielen Dank für die Antworten.

Ich würde den/die Server natürlich von jemandem der sich damit auskennt einrichten lassen. Da ich, wie Eingangs schon geschrieben, so gut wie keine Ahnung habe bin ich natürlich auch nicht so größenwahnsinnig, die Einrichtung selbst zu versuchen :-)

Die Anbindung der Server hatte ich über Hetzner gedacht, ich habe denen eine Anfrage geschickt, ob es möglich ist, mehrere Server so aufzustellen, dass der Abgleich der Server selbst über die 100Mbit Schnittstelle läuft und sie an einem Switch hängen. Colocation/Ein Rack wollte ich eigentlich nicht gleich mieten.

Die Bereitstellung der Daten sollte zeitnah erfolgen, sofort muss nicht sein, sagen wir mal 30sec. nach Abschluß der Uploads.

[marce]

In dem Fall würde ich das dann über das Applikations-Design abhandeln - dann ersparst Du Dir auch das Synchron-halten der Server (solltest aber über Backup nachdenken :-) - Du brauchst also keinen LB und auch keine Spezialsoftware oder besondere Module...

[komaii]

also wenn du eine gute anbindung benötigst ich kann dir wehn empfehlen. standort kannst dir dann ausmachen, müchen, nürnberg, amsterdam oder wennst gar willst canada...