PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Log-Verteilung


ExeCRabLE
23.10.06, 10:20
Moin !

Ich habe mal ne Frage, und zwar möchte ich von 3 Gameservern die Logdateien direkt auf einen Statistikserver übetragen. Nun stelle ich mir die Frage, wie ich das am besten hinbekomme. Alle Systeme laufen entweder unter Suse oder Debian.

Welche Vorschläge würdet ihr mir geben, um die Logdaten in Echtzeit auf den Statistikserver abzulegen ?

Für ein paar kreative Gedanken anstösse wäre ich sehr dankbar !

Ciao
ExeCRabLE
marce
23.10.06, 10:24
Mach doch einfach einen Syslogserver draus...

Alternativ auf NFS-share loggen...
ExeCRabLE
23.10.06, 10:35
Hmm, ok.

Hast du vieleicht eine gute Page die das Thema für "halb-dummies" behandelt ?

Ich google mich auf jeden Fall schon mal ... :)

Dank dir !
MiGo
23.10.06, 10:47
Welche Vorschläge würdet ihr mir geben, um die Logdaten in Echtzeit auf den Statistikserver abzulegen ?
Du kannst eigentlich jedem Syslog-Daemon sagen, dass er bitte auf eienn anderen Server loggen soll. Dann musst du auf dem Statistikserver nur noch einstellen, dass er logs von aussen empfangen soll (sind jeweils etwa 1 Zeile bei syslogd).
Bei ein wenig mehr Zeit kannst du dich auch in syslog-ng einlesen, das erlaubt wesentlich bessere Filteroptionen.

http://www.die.net/doc/linux/man/man5/syslog.conf.5.html
bla!zilla
23.10.06, 11:06
Mmhh... was für Logdaten sind das? Die des Linux-Systems, oder die der Gameserver (also der Software)? Wenn es um die Logs der Linux-Systeme geht, ist Syslog oder Syslog-NG dein Freund. Du solltest aber daran denken das die Daten standardmäßig über UDP übertragen werden, und dazu auch noch unverschlüsselt.
ExeCRabLE
23.10.06, 11:28
Die Daten kommen von den Gameservern, daher weis ich nicht genau in wie weit die Gamesserver die Log-Ausgabe auf einen anderen Server vertragen. Am liebsten würde ich (von Gedanken her) ein Share mounten und darin die Logs schreiben.

Momentan laufen lokale SQl Skripts auf den jeweiligen Gameservern, die die Logs auslesen und an den Statistikserver übertragen. Das belastet der Statistik-Server aber immens.

Ich versuche das ganze mal per NFS-Share ... ich habe dazu eine kleine Doku gefunden, hoffentlich hilfts :)

http://linuxwiki.de/NFS

Danke für eure Hilfe, ich schau mal ob ich mit euren Infos etwas bauen kann

Ciao
bla!zilla
23.10.06, 11:38
Wenn diese Gameserver nicht die Syslog-Facilities nutzen, kannst du die Idee mit dem Syslog schon mal abhaken. Dann bleibt nur noch die Idee mit dem Share. Ein NFS Share macht im LAN sicherlich Sinn, aber nicht wenn wir hier über Root-Server reden.
ExeCRabLE
23.10.06, 11:57
Welche Alternative gibt es denn zu einem NFS-Share, es sind "nunmal" Root-Server im Netz ?!
bla!zilla
23.10.06, 11:59
Nüüs. SMB oder CIFS sind auch nicht besser. Mit NFSv4 ist zwar alles besser geworden, ist aber auch nicht ohne.
marce
23.10.06, 12:01
Du könntest versuchen, eine Art VPN zwischen den Servern aufzubauen und darüber dann das NFS laufen zu lassen. Inwiefern das dann aber dier Performance evtl. runterzieht - mal sehen :-)
ExeCRabLE
23.10.06, 12:03
Mir ist es insgesamt egal, wenn jemand den Transfer abgreifen kann. Wichtiger ist, das keiner den Transfer unterbricht oder den Share manipuliert. Die Daten sind überhaupt nicht sicherheitsrelevant.
marce
23.10.06, 12:08
was spricht denn gegen das lokale speichern und dann einmal täglich wegkopieren?
bla!zilla
23.10.06, 12:16
Mir ist es insgesamt egal, wenn jemand den Transfer abgreifen kann. Wichtiger ist, das keiner den Transfer unterbricht oder den Share manipuliert. Die Daten sind überhaupt nicht sicherheitsrelevant.

Ist das nicht ein Wiederspruch? Gerade wenn der Transfer wichtig ist, solltest du auf die Sicherheit achten.
ExeCRabLE
23.10.06, 12:17
Das ich die Daten in Echtzeit benötige :)
bla!zilla
23.10.06, 12:18
Echtzeit heißt nicht "sofort" sondern "in einer definierten Zeitspanne".
ExeCRabLE
23.10.06, 12:20
In dem Falle ist für mich die stabile Datenübertragung wichtig, wenn man das hinbekommt. "Lauschangriffe" oder ähnliches sind egal, da es eh nur Gameserver-Logs sind und wenn er will das Ergebniss sekunden später aufbereitet auf der Page lesen kann.

Sicherheit im sinne von Datenschutz ist im dem Falle egal.
bert2002
20.02.07, 14:06
In dem Falle ist für mich die stabile Datenübertragung wichtig, wenn man das hinbekommt. "Lauschangriffe" oder ähnliches sind egal, da es eh nur Gameserver-Logs sind und wenn er will das Ergebniss sekunden später aufbereitet auf der Page lesen kann.

Sicherheit im sinne von Datenschutz ist im dem Falle egal.

Na dann hat der mal hoffentlich keinen Mailserver am laufen. Sicherheit und Egal... den will ich mal kennen lernen.

P.S.: Ich weiß Uralt der Thread...
Phimay
20.02.07, 14:22
Hallo,

wenn dir die Übertragungsstrecke wirklich nicht wichtig ist also ob jemand mitlauscht bzw. jemand die logs Manipuliert dann könnte NFS doch wirklich die einfachste Lösung sein.
Einfach den Zugriff auf NFS-shares per NFS Konfiguration einschränken und/oder noch per Firewall Regeln einschränken so das nur die IPs deiner Server da drauf können dann sollte es ja schon "sicher" sein.
Klar hättest du dann einen weiteren Dienst Lokal laufen der angreifbar ist. Aber du bist erstmal durch Remote angriffe auf den NFS Dienst gesichert.

Gruß
phil