Anzeige:
Seite 1 von 3 123 LetzteLetzte
Ergebnis 1 bis 15 von 32

Thema: Bitte um Tips f. Server-Backup m. Deduplikation

  1. #1
    Registrierter Benutzer
    Registriert seit
    Sep 2002
    Ort
    Berlin
    Beiträge
    707

    Bitte um Tips f. Server-Backup m. Deduplikation

    Hallo,

    habe mir einen Server quasi als NAS eingerichtet (noch nicht fertig), auf dem ich alle Dokumente, Videos, Bilder, eben alle Daten abgelegt habe.
    Ich greife darauf per nfs4 mit Desktop-PC und Notebook zu. Per Notebook auch über vpn von außerhalb (oder ssh).

    Als Server dient ein HP ProLiant MicroServer Gen8 Celeron G1610T, 4GB RAM.
    Das System ist Ubuntu 16.04.1
    Das mag für den einen oder anderen etwas Overkill sein - soll aber für mich auch zum lernen dienen.

    Auf dem Server ist als Systemplatte eine 60 GB SSD am 5. Sata-Port
    In den 4 Platten-Einschüben sind je eine 500 GB-Platte.
    Die ersten beiden dienen als Daten-Platten im RAID1-Verbund
    Die anderen beiden sollen als Backup-Platten ebenfalls im RAID1-Verbund dienen.
    Viel Platz ist das nicht, aber späterer Plattentausch ist damit schon vorprogrammiert (gut zum Lernen).

    Auf früheren Servern (alte PCs) habe ich mit rsnapshot gute Erfahrungen - sehr solide.
    Doch einmal ein Video umbenennen verbrauchte dann gleich fast 1 GB mehr.
    Also benötige ich in irgendeiner Form Deduplikation.

    Habe schon viel recherchiert, konnte mich aber noch nicht entscheiden:

    - Anfangs war ich von storebackup ganz angetan. Aber das scheint nicht weiter enwickelt zu werden...es ist sehr ruhig auf dem Portal

    - Habe bereits Erfahrungen (auch unter Windows) mit Veeam Endpoint Backup FREE. Nicht schlecht - hat Vorteile. Das kann aber eben nur mit Veeam... gelesen werden. Da ist mir die "offene" Hardlink-Version sympathischer.

    - Auch an ZFS auf den beiden Backup-Platten (als raid1) habe ich bereits gedacht. Zwar würde ich vermutlich nur bei Bedarf ein Backup durchführen - aber ich bin mir nicht sicher, ob ein Celeron G1610T mit 4GB RAM da ausreicht.

    Was haltet Ihr davon?
    Wie würdet Ihr solch ein System einrichten?

    Vielen Dank im Voraus

    gruß
    prostetnik
    intel Ivy i5 +ASRock B75 Pro3-M + 32 GB + openSUSE Leap 15.3

  2. #2
    Registrierter Benutzer
    Registriert seit
    Dec 2003
    Ort
    Dettenhausen
    Beiträge
    22.054
    Ganz anders.

    Datensicherung erfolgt idealerweise auf ein ded. externes Medium, welches mit dem zu sichernden System möglichst wenig gemein hat - heute gern genommen sind externe USB- oder anderweitig anzuschließende Platten - und ja, wenn das Umbennen einer Datei viel Speicher benötigt dann ist das halt so (und mal ehrlich - 1 GB ist echt nicht die Welt bei TB-Platten nahezu im €-ct Bereich) - zudem ist das ja nicht zu tausenden übliches Verhalten von großen Dateien...

    Dann noch min. einer weitere ext. Platte für die Sicherung der Sicherung und Du bist für fast alle Eventualitäten gerüstet. Wenn man auf exotische Dateisysteme und Verschlüsselung in der Sicherung verzichtet gibt's noch nicht mal Ärger beim zurückspielen...
    Ich bin root - ich darf das.

  3. #3
    Universaldilletant Avatar von fork
    Registriert seit
    Dec 2001
    Ort
    Frankfurt/Main
    Beiträge
    1.175
    Zu ZFS und Deduplikation gibt's nur eines zu sagen: Nimm's nicht. Braucht extrem viel Speicher(RAM).

    Ein Backup-Programm mit Deduplikation ist z. B. BackupPC. Da ist es bzgl. Weiterentwicklung auch recht ruhig. Funktioniert aber gut.

    Die Deduplikation ist aber eigentlich meist nicht ohne irgendwelche "Kosten". Im Falle von Backuppc ist es der regelmässige BackupPC_Nightly Job. BackupPC rödelt über alle Dateien des Backups drüber und schaut, was er löschen kann. Für den Fall ist es gut, dass Du auch die Backup-Platte im Server hast, weil das viel Platten-Performance braucht. Da das bei Dir wahrscheinlich alles noch übersichtlich ist vom Backupvolumen, wirst Du davon wahrscheinlich auch gar nicht so viel merken. BackupPC hat auch noch ein Webinterface, was sehr angenehm ist. Ich bekomme die Daten mit BackupPC reduziert um den Faktor 8-12.

    Was marce sagt, ist natürlich sehr wichtig. Ein gutes Backup ist woanders als die Nutzdaten.

  4. #4
    Registrierter Benutzer
    Registriert seit
    Sep 2002
    Ort
    Berlin
    Beiträge
    707
    Hallo marce,

    danke für Deine Antwort.

    heute gern genommen sind externe USB- oder anderweitig anzuschließende Platten
    ...davon hab ich auch schon'mal gehört ;-)

    ...bedenke, mir geht's natürlich auch um's Experimentieren - in Maßen.

    Eine externe Sicherung habe ich zusätzlich als externe Festplatte über USB3 - das aber nicht extra erwähnt. Das geschieht dann aber seltener.
    Es sollten einfach zu handhabende Backups, ohne an- und abstöpseln, sein. Prinzipell wäre natürlich ein externer Backup-Server sinnvoller, aber das würde für mich dann doch Overkill bedeuten.

    Zur Deduplikation:
    Es geht ja beim Umbenennen nicht nur um einzelne Dateien - sondern im schlimmsten Fall auch um ganze Verzeichnisse und mir auch um's Prinzip.

    Aber hast Du Erfahrungen mit zfs oder storbackup?
    intel Ivy i5 +ASRock B75 Pro3-M + 32 GB + openSUSE Leap 15.3

  5. #5
    Elefantenversteher Avatar von florian0285
    Registriert seit
    Jun 2016
    Beiträge
    1.054
    Ich bin mir nicht zu 100% sicher, aber rsnapshot verlinkt beim Umbenennen dennoch auf das Original via Hardlink. Ergo kein Speicherzuwachs. Da ändert sich vermutlich am File selbst was.

    Davon abgesehen... welche Anforderungen stellst du genau an die Backup Software?
    Matthäus 7:3 Was siehst du aber den Splitter in deines Bruders Auge, und wirst nicht gewahr des Balkens in deinem Auge?

  6. #6
    Registrierter Benutzer
    Registriert seit
    Sep 2002
    Ort
    Berlin
    Beiträge
    707
    Hallo fork,

    BackupPC hatte ich auch schon im Visier. Das schien mir aber zu gewaltig, eher für größere Landschaften. Aber vielleicht täusche ich mich ja.
    Soweit ich weiß, arbeitet das auch mit hardlinks. Habe gerade heute wieder darüber gelesen.

    Wie geht BackupPC mit großen Image-Dateien um?

    StoreBackup kann die aufsplitten und nur die veränderten Teile sichern - finde ich schon genial, z. B. bei 17 GB großen VMs macht das für mich Sinn.
    Werd'mich einmal damit näher befassen.

    Aber danke für Deinen tip.

    gruß
    prostetnik
    intel Ivy i5 +ASRock B75 Pro3-M + 32 GB + openSUSE Leap 15.3

  7. #7
    Registrierter Benutzer
    Registriert seit
    Sep 2002
    Ort
    Berlin
    Beiträge
    707
    @florian0285

    Ich bin mir nicht zu 100% sicher, aber rsnapshot verlinkt beim Umbenennen dennoch auf das Original via Hardlink.
    Das ist mir nicht bekannt.

    Würde ich /srv/Videos in /srv/film (theoretisch) umbenennen, so würde der komplette Pfad mit rsnapshot neu angelegt.
    Das kann eben nur StoreBackup oder evtl. BackuPC (weiß ich noch nicht).

    gruß
    prostetnik
    intel Ivy i5 +ASRock B75 Pro3-M + 32 GB + openSUSE Leap 15.3

  8. #8
    Universaldilletant Avatar von fork
    Registriert seit
    Dec 2001
    Ort
    Frankfurt/Main
    Beiträge
    1.175
    Zitat Zitat von prostetnik Beitrag anzeigen
    Das schien mir aber zu gewaltig, eher für größere Landschaften. Aber vielleicht täusche ich mich ja.
    BackupPC ist eher übersichtlich zu konfigurieren. Es sichert per SSH/Rsync. Es kann auch noch mehr. Aber ich nutze nur rsync über ssh. Manches mag etwas gewöhnungsbedürftig sein. Im grossen und ganzen ist es ein alter Perl-Klotz, der für mich in vieler Hinsicht bzgl. der Nutzung sehr gut abschneidet.

    Zitat Zitat von prostetnik Beitrag anzeigen
    Soweit ich weiß, arbeitet das auch mit hardlinks. Habe gerade heute wieder darüber gelesen.
    Hardlinks werden verwendet um identische Dateien zu speichern.

    Zitat Zitat von prostetnik Beitrag anzeigen
    Wie geht BackupPC mit großen Image-Dateien um?
    prostetnik
    Eine Imagedatei ist auch eine Datei. Nix aussergewöhnliches.

  9. #9
    Registrierter Benutzer
    Registriert seit
    Sep 2002
    Ort
    Berlin
    Beiträge
    707
    ...habe aber gerade gelesen, dass BackupPC Dateien größer 4 GB nicht sichert, zu splitten scheint es auch nicht - oder?
    Damit würde dann jede VM nach Benutzung neu gesichert werden.
    Geändert von prostetnik (08.09.16 um 20:13 Uhr)
    intel Ivy i5 +ASRock B75 Pro3-M + 32 GB + openSUSE Leap 15.3

  10. #10
    Universaldilletant Avatar von fork
    Registriert seit
    Dec 2001
    Ort
    Frankfurt/Main
    Beiträge
    1.175
    Ich sichere keine VM-Images damit. Die Deduplikation bei BackupPC findet auf Dateiebene statt, wäre damit für VM-Images bestensfalls unwirkksam bei BackupPC.

  11. #11
    Registrierter Benutzer
    Registriert seit
    Sep 2002
    Ort
    Berlin
    Beiträge
    707
    ...wie sicherst Du Deine VMs?

    Habe halt mein VMs ebenfalls auf dem Server, damit ich sie auch auf allen PCs nutzen kann.
    intel Ivy i5 +ASRock B75 Pro3-M + 32 GB + openSUSE Leap 15.3

  12. #12
    Registrierter Benutzer
    Registriert seit
    Dec 2003
    Ort
    Dettenhausen
    Beiträge
    22.054
    Zitat Zitat von prostetnik Beitrag anzeigen
    ...habe aber gerade gelesen, dass BackupPC Dateien größer 4 GB nicht sichert, zu splitten scheint es auch nicht - oder?
    Damit würde dann jede VM nach Benutzung neu gesichert werden.
    6 Jahre alte Artikel müssen nicht zwingend aktuell sein :-)

    Immerhin verlinkt er noch auf die richtige Doku, mit der man das evtl. ein wenig besser einordnen kann, ob man von irgendwelchen Limits betroffen sein könnte... http://backuppc.sourceforge.net/faq/limitations.html
    Ich bin root - ich darf das.

  13. #13
    Universaldilletant Avatar von fork
    Registriert seit
    Dec 2001
    Ort
    Frankfurt/Main
    Beiträge
    1.175
    Hier ist was genaueres:

    http://backuppc.sourceforge.net/faq/...kup_file_sizes

    Kommentare dazu:

    * Nicht "tar" - Als Transportmethode verwenden.
    * Schauen ob perl "largefilesupport" aktiviert hat

    Trotzdem würde ich BackupPC nicht für Imagedateien verwenden. Deduplikation auf Dateiebene greift da nie, da sich Imagedateien immer ändern.

    Vielleicht wäre da etwas mit zfs/btrfs-snapshots gut. Ein Snapshot enthält nur geänderte Daten eines Dateisystems. Was es da für Lösungen gibt, kann ich Dir nicht sagen.

  14. #14
    Registrierter Benutzer
    Registriert seit
    Sep 2002
    Ort
    Berlin
    Beiträge
    707
    Deduplikation auf Dateiebene greift da nie, da sich Imagedateien immer ändern.
    ist mir schon klar - deswegen ja StoreBackup. Ob es funktioniert, weiß ich allerdings auch nicht. Ich habe es mal vor ein paar Jahren getestet, aber nicht im alltäglichen Gebrauch.

    Aber zurück zu meiner Frage:
    Wie sicherst Du Image-Dateien?
    intel Ivy i5 +ASRock B75 Pro3-M + 32 GB + openSUSE Leap 15.3

  15. #15
    Registrierter Benutzer
    Registriert seit
    Dec 2003
    Ort
    Dettenhausen
    Beiträge
    22.054
    Meine Privat-persönlichen Erfahrungen mit ZFS unter Linux sind leider so rein gar nicht in der Art, daß man das System empfehlen könnte.

    ... und die Raid-Features unter BTRFS sollte man wohl noch mal gegenchecken, ob die "minimalen" :-) Bugs darin inzwischen gefixed sind.


    Dazu die kleine Erkenntniss aus den letzten +20 Jahren IT: Meistens funktioniert eine Backuplösung nur zu max. 90% für alles nach Wunsch. Es gibt immer Exoten-Daten, für die man irgendwelche Sonderlösungen braucht. Kann also gut sein, daß Du für Images idealerweise eine eigene Backuplösung suchst, die damit gut und besser umgehen kann als Lösungen, die eher für tägliche-Arbeitsdateien gedacht sind...
    Ich bin root - ich darf das.

Ähnliche Themen

  1. Antworten: 7
    Letzter Beitrag: 03.06.15, 13:45
  2. Brauche ein paar Tips zu Wesnoth (bitte)
    Von erde im Forum Spielen Allgemein
    Antworten: 5
    Letzter Beitrag: 04.07.06, 13:57
  3. Server als Kommunikationsallrounder - Tips und Erfahrungen gefragt
    Von atomical im Forum Anbindung an die Aussenwelt
    Antworten: 1
    Letzter Beitrag: 06.02.04, 11:44
  4. Bitte um Tips mein Netzwerk zu schützen
    Von dragi im Forum Sicherheit
    Antworten: 4
    Letzter Beitrag: 29.10.02, 22:21
  5. Bitte Tips, bevor ich in´s Messer laufe
    Von im Forum Kompilieren von Kernel und Sourcen
    Antworten: 6
    Letzter Beitrag: 20.08.00, 03:39

Stichworte

Lesezeichen

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •