PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Langsames verschieben von Dateien



Kartoffelhaar
11.09.11, 00:22
Hallo,

ich habe einen Server der auf einen Zenwalk Core vom Jahr ~ 2006 basiert.
Daten verschieben mit mc oder mv funktioniert nur sehr träge von Festplatte zu Festplatte und die Durchsatzrate liegt bei 1,2 MB/s nach mc was geringer ist als mein Durchsatz von der Internetleitung.

Dadurch das unterschiedliche und vor allem viele Festplatten vertreten sind (von 300 GB - 2 TB) schließe ich einen Hardware Fehler aus.

Nach einigen googeln fand ich das Programm hdparm was aber nur für die /dev/hdx Festplatten geeignet ist (IDE?) die /dev/sdx wollte er nicht nehmen, weiß allerdings nicht ob dies geholfen hätte.
Auch läuft der Datentransfer sehr träge vom Rechner zu diesem Server über ssh mit WinSCP und liegt bei maximal 3 Mb/s



root[pserver]# fdisk -l

Platte /dev/hda: 160.0 GByte, 160041885696 Byte
255 Köpfe, 63 Sektoren/Spuren, 19457 Zylinder
Einheiten = Zylinder von 16065 × 512 = 8225280 Bytes

Gerät boot. Anfang Ende Blöcke Id System
/dev/hda1 1 608 4883728+ 83 Linux
/dev/hda2 1222 19457 146480670 83 Linux
/dev/hda3 609 1155 4393777+ 83 Linux
/dev/hda4 1156 1221 530145 5 Erweiterte
/dev/hda5 1156 1221 530113+ 82 Linux Swap

Partitionstabelleneinträge sind nicht in Platten-Reihenfolge

Platte /dev/hdf: 400.0 GByte, 400088457216 Byte
255 Köpfe, 63 Sektoren/Spuren, 48641 Zylinder
Einheiten = Zylinder von 16065 × 512 = 8225280 Bytes

Gerät boot. Anfang Ende Blöcke Id System
/dev/hdf1 1 48641 390708801 83 Linux

Platte /dev/hdg: 300.0 GByte, 300069052416 Byte
255 Köpfe, 63 Sektoren/Spuren, 36481 Zylinder
Einheiten = Zylinder von 16065 × 512 = 8225280 Bytes

Gerät boot. Anfang Ende Blöcke Id System
/dev/hdg1 1 36481 293033601 83 Linux

Platte /dev/hdh: 300.0 GByte, 300090728448 Byte
255 Köpfe, 63 Sektoren/Spuren, 36483 Zylinder
Einheiten = Zylinder von 16065 × 512 = 8225280 Bytes

Gerät boot. Anfang Ende Blöcke Id System
/dev/hdh1 1 36483 293049666 83 Linux

Platte /dev/sda: 2000.3 GByte, 2000398934016 Byte
255 Köpfe, 63 Sektoren/Spuren, 243201 Zylinder
Einheiten = Zylinder von 16065 × 512 = 8225280 Bytes

Gerät boot. Anfang Ende Blöcke Id System
/dev/sda1 1 243201 1953512001 83 Linux

Platte /dev/sdb: 1500.3 GByte, 1500301910016 Byte
255 Köpfe, 63 Sektoren/Spuren, 182401 Zylinder
Einheiten = Zylinder von 16065 × 512 = 8225280 Bytes

Gerät boot. Anfang Ende Blöcke Id System
/dev/sdb1 1 182401 1465136001 83 Linux

Platte /dev/sdc: 400.0 GByte, 400088457216 Byte
255 Köpfe, 63 Sektoren/Spuren, 48641 Zylinder
Einheiten = Zylinder von 16065 × 512 = 8225280 Bytes

Gerät boot. Anfang Ende Blöcke Id System
/dev/sdc1 1 48641 390708801 83 Linux

Platte /dev/sdd: 400.0 GByte, 400088457216 Byte
255 Köpfe, 63 Sektoren/Spuren, 48641 Zylinder
Einheiten = Zylinder von 16065 × 512 = 8225280 Bytes

Gerät boot. Anfang Ende Blöcke Id System
/dev/sdd1 1 48641 390708801 83 Linux




root[pserver]# df
Dateisystem 1K-Blöcke Benutzt Verfügbar Ben% Eingehängt auf
/dev/hda1 4873488 1697712 3175776 35% /
/dev/hda2 144181460 110487020 33694440 77% /mnt/150GBi
/dev/hda3 4256080 783292 3253100 20% /home
/dev/hdg1 288435168 145409700 128373788 54% /mnt/300GBi_I
/dev/hdh1 288451232 30296252 243502500 12% /mnt/300GBi_II
/dev/hdf1 384578164 326294636 58283528 85% /mnt/400GBi_I
/dev/sdc1 384578164 378254388 6323776 99% /mnt/400GBi_II
/dev/sdd1 378473076 358317988 619648 100% /mnt/400GBi_III
/dev/sda1 1922858352 1524070208 398788144 80% /mnt/2000GBi_I
/dev/sdb1 1464995088 945880220 519114868 65% /mnt/1500GBi_I
root[pserver]# blkid
/dev/sdb1: UUID="15ef1885-c08c-4372-a5b0-b7e20e7b6fc6" SEC_TYPE="ext2" TYPE="ext3"
/dev/sdc1: UUID="22c0a4cd-b20c-442f-bb84-4a633694ccd6" SEC_TYPE="ext2" TYPE="ext3"
/dev/hdg1: UUID="8232bf15-e31f-443c-986c-64c08099e142" SEC_TYPE="ext2" TYPE="ext3"
/dev/hdh1: UUID="db299a29-d106-47e7-bdc6-e2914e5e5d32" SEC_TYPE="ext2" TYPE="ext3"
/dev/hdf1: UUID="87de3f0d-9205-461c-bdef-7be9d2353530" SEC_TYPE="ext2" TYPE="ext3"
/dev/sda1: UUID="12fae053-0add-4009-a717-e19e9cff96d7" SEC_TYPE="ext2" TYPE="ext3"
/dev/sdd1: UUID="bd891448-6a3e-4807-9945-b1583f669a6a" SEC_TYPE="ext2" TYPE="ext3"
/dev/hda1: UUID="17dbe258-ac2a-42a2-9fb5-7317cc7a99ad" TYPE="xfs"
/dev/hda2: UUID="d02bdfd6-2c2a-4fad-a629-30ab22269347" SEC_TYPE="ext2" TYPE="ext3"
/dev/hda3: UUID="38f41dec-c1fa-4893-8b63-24c6cbfd0fcb" SEC_TYPE="ext2" TYPE="ext3"
/dev/hda5: TYPE="swap"


Noch eine andere Frage habe ich mit dem Hintergrund folgender Fehlermeldung:
EXT3-fs error (device hda3): read_block_bitmap: Cannot read block bitmap - block_group = 15, block_bitmap = 491520

Ist es möglich Linux, auch bei etwas betagteren Mainboards, in eine Art Flashspeicher zu installieren und laufen zu lassen. Ich meine selbst MicroSD haben heute 16 GB und mehr und dieses Zenwalk benötigt lediglich ~ 500 MB und wäre dort bestimmt sicherer aufgehoben.
Noch eine letzte Frage, wäre es möglich die kleineren Festplatten über eine Art JBOD ohne Spiegelung zusammen zu schließen?


Vielen Dank im voraus.

glako
11.09.11, 09:14
http://www.linux-forum.de/langsamer-datentransfer-2007547.html

quinte17
11.09.11, 09:41
Noch eine letzte Frage, wäre es möglich die kleineren Festplatten über eine Art JBOD ohne Spiegelung zusammen zu schließen?

klar, hier kann man entweder raid0 oder linear von mdadm verwenden, oder man macht das über lvm.
zu mdadm: http://raid.wiki.kernel.org/ (leider down da kernel.org tot) alternativ: http://wiki.ubuntuusers.de/software-raid
zu lvm: http://tldp.org/HOWTO/LVM-HOWTO/

bisti
11.09.11, 10:24
Erstens, du hast sehr alte Distribution: es kann sein, dass es ein Bug ist, oder ähnliches. Versuche fürs Erste deine Distribution zu aktualisieren. Zweitens, ich sehe, dass alle deine Festplatte mit dem ext3 Dateisystem formatiert sind. Hast du andere Dateisystems versuchen? Ich empfehle dich, reiserfs/xfs auch zu probieren.

Und zur Fehlermeldung: du muss unbedingt fsck für das hda3 Dateisystem auszuführen.

ThorstenHirsch
11.09.11, 13:29
Gib mal "smartctl -a /dev/hda" ein, am besten auch die anderen Platten durchgehen.

Kartoffelhaar
11.09.11, 16:42
Danke erst einmal für die vielen Kommentare,

zuerst habe ich mit fsck die Festplatte reperiert worauf sich das Betriebssystem befindet. Hab mir aber zwischenzeitlich einen Controller 4 GB CF-Card zu IDE bestellt um das neue Zenwalk 7.0 darauf zu installieren und dadurch das dort wohl weniger Datenfehler kommen als auf einer Festplatte - hoffe ich zumindestens. Da die CF Card dann durch den Controller als normale Festplatte erkannt werden soll denke ich das es kaum Probleme gibt.

Aber nun zum Raid (danke für die Wikiseite):
Ich habe das ganze erst einmal wie folgt gemacht (kaum zu fassen aber mdadm ist bereits existent gewesen):

mdadm --create --verbose /dev/md0 --auto=yes --level=0 --raid-devices=5 /dev/hdg1 /dev/hdh1 dev/hdf1 /dev/sdc1 /dev/sdd1

Danach mit


fdisk /dev/md0

eine neue erweiterte Partition erstellt über alle Zylinder.

Hab danach den Server neu gestartet auf anraten von fdisk da die Platten synchronisiert werden sollen.

Nun ist etwas geschehen was ich nicht verstehe. Die alten Festplatten sind wieder da. Die Datei
/dev/md0 existiert nicht mehr und
mdadm --detail --scan bringt keine Ergebnisse mehr. :confused:

Naja wenn die Hardware dann angekommen ist und das neue Zenwalk läuft und immer noch der langsame Datentransfer ist frag ich da wieder nach. Mich interessiert gerade mehr der Raid der nicht anspringen will und so merkwürdig sich verhält.

Ich verbleibe mit freundlich Grüßen

ndo84bw
11.09.11, 17:13
Hallo,

vielleicht weiss dein mdadm gar nicht das er die Partitionen zu einen RAID md0 zuammen fuegen soll.

Enthaellt deine mdadm.conf die Informationen was es fuer RAID's gibt? Wenn nicht, dann versuch es doch mal damit, die Ausgabe vom details-scan da anzuhaengen/einzufuegen


mdadm --detail --scan >> /etc/mdadm/mdadm.conf

Kartoffelhaar
11.09.11, 17:35
root[~]# mdadm --detail --scan >> /etc/mdadm/mdadm.conf
-bash: /etc/mdadm/mdadm.conf: Datei oder Verzeichnis nicht gefunden

md0 hats auf jeden Fall vor dem neustart gegeben ansonsten hätte fdisk gemeint das es dies nicht gibt. Auch hat fdisk richtig erkannt das /dev/md0 Zusammen 1,8 TB groß ist was 2x 300 GB + 3x 400GB entspricht.

quinte17
11.09.11, 19:28
da du einen relativ "alten" kernel hast sollten die partitionen die das raid bilden (/dev/hdg1 /dev/hdh1 dev/hdf1 /dev/sdc1 /dev/sdd1) vom typ FD sein (raid autodetect)

dann legt man aber normalerweise keine partition mehr auf md0 an, sondern erzeugt dort das filesystem direkt. alternativ, falls partitionen gewünscht sind, legt man da dann ein LVM drauf.

Kartoffelhaar
15.09.11, 18:51
also das Lag wirklich wirklich am alten Kernel.
Hab mich jetzt zwar nicht für das neue Zenwalk entschieden und bin auf Debian AMD64 umgestiegen und hab jetzt gemütliche 60 mb/s.
Hatte zwar ein Problem Debian auf eine CF Disk zu bekommen aber das konnte ich leicht beheben indem ich ein IDE Kabel genutzt habe was dann auch wirklich funktioniert hat oder Udma tatsächlich unterstützt hat.
Man muss zwar nachteilig sagen das Debian gut und gerne 3x soviel Arbeitsspeicher benötigt als das alte Zenwalk aber die insgesamt 60 MB kann ich verkraften.

Auch konnte Debian die kleinen Festplatten nicht normal mounten weil sie den Superblock hatten und die Fehlerausgabe

mount: unknown filesystem type 'linux_raid_member'
und bei dem Befehl
mdadm --misc --zero-superblock /dev/sde1 die Festplatte, obwohl ungemountet, angeblich in Beschlag war.
Aber das war recht einfach indem ich mit
mdadm --stop /dev/md0 den raid gestoppt habe den ich auf Debian gar nicht installiert hatte. So konnte ich erstmal meine Daten verschieben. Aber das ist nur für google weil ich irgendwie immer auf verkehrten Seiten gelandet bin. Aber es hilft definitiv.

Man fragt sich ob Debian schon immer so einfach zu konfigurieren war oder sich soweit entwickelt hat. Mir hat es ja richtig Spaß gemacht.
Ich bedanke mich für eure tolle Hilfe.