Anzeige:
Ergebnis 1 bis 5 von 5

Thema: Welches Dateisystem für große Dateien die regelmäßig durchsucht werden?

  1. #1
    Registrierter Benutzer
    Registriert seit
    May 2014
    Beiträge
    11

    Welches Dateisystem für große Dateien die regelmäßig durchsucht werden?

    Hallo,

    ich werde ein System aufsetzen das logfiles gesendet bekommt und diese dann auswertet. Die Logfiles kommen in simplen txt dateien, sind aber bis zu 20 GB groß.
    Das ganze ist eine langfristige Planung, das heisst es kann sein das ich nächstes Jahr 30 solcher Dateien habe und aus allen informationen ziehen muss.

    Meine Frage ist, welches Dateisystem für die Festplatte bietet sich an. Ich kenn mich auf dieser Ebene leider überhaupt nicht aus, aber da ich unter Linux ja aus einem großen Fundus schöpfen kann, statt nur
    die wahl zwischen ntfs oder Fat zu haben, würde ich das ganze natürlich gerne so optimal wie möglich aufsetzen.

    Oder macht das vielleicht am ende keinen Unterschied ob es nun btfs oder ext2 ist?!

    Grüße, Tim

  2. #2
    Registrierter Benutzer
    Registriert seit
    Dec 2003
    Ort
    Dettenhausen
    Beiträge
    22.054
    Hast Du irgendwas zeitkritisches mit den Logs vor oder "liegen die da nur rum"?

    Vom Dateisystem her würde ich entweder XFS oder ext4 verwenden - wenn's aber wirklich "nur" bei 600GB an Daten bleibt ist's mehr oder weniger egal.

    Eine andere Frage wäre eher, wenn Du ernsthaft und aktiv auf den Logs herumarbeiten willst, ob das ein Hadoop oder ElasticSearch für die Datenhaltung und Analyse nicht sinnvoller wäre als "grep auf txt".
    Ich bin root - ich darf das.

  3. #3
    Registrierter Benutzer
    Registriert seit
    May 2014
    Beiträge
    11
    Hi danke für die Antwort.
    Es geht darum aus den logfiles immer wieder daten zu visualisieren. Wie beispielsweise "wieviele waren zur welcher zeit online und haben sich welche themenbereiche angesehen". Das ganze mache ich via eines selbstgeschriebenen Ruby programms.
    Später, sollte das ganze erfolgreich sein, wird das online gehen und als API zur Verfügung stehen. Is aber noch zukunftsmusik. Bis dahin sind erstmal nur massenhaft files die der Server auspuckt, die ich kollagieren, sortieren, "reinigen" und dann verwerten muss.
    Wie groß die files dann am ende sind lässt sich unmöglich bestimmen, da das ganze ja unweigerlich mit dem erfolg des Projekts verbunden ist. Aber in der vergangenheit war eben keine logfile (eine Woche) kleiner als 6GB und nie größer als 25 GB. Daher hab ich das als Maß genommen.

    Sobald das ganze spruchreif wird, werden wir uns dafür sowieso einen Server anmieten. Jedoch wird sich dort dann die selbe Frage stellen wie auch jetzt ;D

    Grüße Tim

  4. #4
    Registrierter Benutzer
    Registriert seit
    Dec 2003
    Ort
    Dettenhausen
    Beiträge
    22.054
    Klingt immer noch / noch viel mehr nach einem Job für Hadoop oder ElasticSearch / Logstash / Kibana ("ELK-Stack").

    Vor allem, wenn Du da mehr Daten reinbekommst bist Du bei Plain-Logs recht flott in dem Bereich, wo Du Probleme haben wirst, das alles für die Analysen verfügbar zu haben, ohne gleich einen CEPH-Cluster oder ähnliches hinzustellen (oder anderweitig große Storage-Systeme im TB-Bereich) - während dort ein HDFS oder ES problemlos über mehrere Systeme hinwegskaliert (und die Analyser-Fähigkeiten gleich out-of-the-box mitbringt)
    Geändert von marce (19.04.18 um 14:17 Uhr)
    Ich bin root - ich darf das.

  5. #5
    Registrierter Benutzer
    Registriert seit
    May 2014
    Beiträge
    11
    Danke. Ich les mich aktuell da ein und werde es mal testen. Fraglich is nacher dann nur, ob ich das auch mit Rails als API weiternutzen kann.

Ähnliche Themen

  1. Antworten: 3
    Letzter Beitrag: 25.03.11, 07:48
  2. Große Dateien in SAMBA-Share werden in Windows nicht angezeigt
    Von linuxpete im Forum Linux in heterogenen Netzen
    Antworten: 1
    Letzter Beitrag: 04.01.06, 21:59
  3. Welches Datei-Format unter KSpread für große Dateien am besten?
    Von AndreasMeier im Forum Anwendungen Allgemein, Software
    Antworten: 0
    Letzter Beitrag: 20.11.05, 17:41
  4. Welches Dateisystem für große Dateien?
    Von hiTCH-HiKER im Forum Linux Allgemein
    Antworten: 8
    Letzter Beitrag: 23.10.05, 11:28
  5. Apache2: Große HTML Dateien werden nicht angezeigt
    Von giga im Forum Linux als Server
    Antworten: 1
    Letzter Beitrag: 18.09.02, 18:00

Lesezeichen

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •