PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : aget statt wget -> Speeeeeeeed!



Seiten : [1] 2

SeeksTheMoon
25.06.04, 13:07
Kennt ihr aget? Wer Flashget unter Windows liebt, der wird aget unter Linux lieben. Das Prog funktioniert wie wget, saugt aber in mehreren Streams - natürlich auf der Konsole.
http://www.enderunix.org/aget/

Ich hab den Linuxkernel gesaugt und 5 Streams eingestellt:
aget
real * 0m14.198s
user * 0m0.033s
sys * 0m0.554s

wget
real * 1m35.187s
user * 0m0.204s
sys * 0m0.991s

Ich hab bei meinem gentoo auch schon in der /etc/make.conf das aget als Standard-Downloadtool eingestellt.
Das Tool rult!

HEMIcuda
25.06.04, 13:16
Aehm... mal ne bloede Frage: Wenn ein Server, sagen wir kernel.org, mit
1Gb/s am Internet haengt und ein Client, sagen wir 192.168.1.1, haengt
mit 1Mb/s am Netz und die Uebertragungsrate liegt unter wget konstant
bei 123kB/s (+ ein bisschen fuer den Overhead), wie soll da aget helfen,
den Download zu beschleunigen?

'cuda

dragon's might
25.06.04, 13:16
Yeah, und der Name ist sogar türkisch =)
Acele Getir!

Russel-Athletic
25.06.04, 13:17
Ich versteh dass nicht mit mehreren Streams.
Wenn ich mit einem schon 90 voll hab können es ja nicht mehr werden.
Also für mich völlig sinnlos bisher.

drunkenPenguin
25.06.04, 13:25
Nicht zu vergessen:

prozilla und prosilla

Daniel

SeeksTheMoon
25.06.04, 14:05
ihr seht doch an den Zahlen dass es nicht sinnlos ist; mit Flashget war ich unter Windows auch immer schneller als mit einem direkten Browserdownload.

Eine andere Erklärung als "IST SO" hab ich leider nicht; die findet sich möglicherweise in den Tiefen der http-RFC und/oder Webserver-Programmierung.
Vielleicht steht auch was im Code.

Ihr könnt es ja ausprobieren wenn ihr es nicht glaubt.

chrigu
25.06.04, 14:10
Aehm... mal ne bloede Frage: Wenn ein Server, sagen wir kernel.org, mit
1Gb/s am Internet haengt und ein Client, sagen wir 192.168.1.1, haengt
mit 1Mb/s am Netz und die Uebertragungsrate liegt unter wget konstant
bei 123kB/s (+ ein bisschen fuer den Overhead), wie soll da aget helfen,
den Download zu beschleunigen?

'cuda

Und wenn man jetzt z.b. an einer Uni ist, und mit 1Gb/s am Internet, dann sind 123kB/s wenig... Da ist es nützlich :D

Gruss
Chrigu

stefan-tiger
25.06.04, 14:10
Das einzige wie ich mir erklären könnte was das bringt:

Wenn ein Server eine Limitrate pro Connection hat.

Z.b. wenn man DSL hat aber von einem Server runterlädt der künstlich auf 10 KB/s begrenzt ist, dann könnte man mit mehreren Streames n*Bgrenzung bekommen, bis eben das Limit der eigenen oder der gesamten Serververvindung erreicht ist.

Gruß

HEMIcuda
25.06.04, 14:16
Und wenn man jetzt z.b. an einer Uni ist, und mit 1Gb/s am Internet, dann sind 123kB/s wenig... Da ist es nützlich :D
Oh ja, wieder so ne Argumentationsweise wie "Eine GBit-NIC bringt keinen
Vorteil gegenueber einer 10/100er NIC, weil der PCI-Bus da eh nicht
hinterherkommt :rolleyes:

'cuda

JDieskau
25.06.04, 14:18
Aget hat bei mir 2 Sekunden länger gebraucht als wget...
Ich denke mal das geht wirklich nur wenn der Server eine "künstliche" Begrenzung eingeschaltet hat...

Jasper
25.06.04, 14:30
Aget hat bei mir 2 Sekunden länger gebraucht als wget...
Ich denke mal das geht wirklich nur wenn der Server eine "künstliche" Begrenzung eingeschaltet hat...

seh ich auch so.
allerdings hat sich der admin bei der begrenzung ja auch irgendwie was dabei gedacht, oder? so ganz ohne grund drosselt niemand seinen server.


-j

chrigu
25.06.04, 15:05
Oh ja, wieder so ne Argumentationsweise wie "Eine GBit-NIC bringt keinen
Vorteil gegenueber einer 10/100er NIC, weil der PCI-Bus da eh nicht
hinterherkommt :rolleyes:

'cuda

Ne, meinte nur, dass wenn man mit 3MByte/s ziehen kann, anstatt 123kB/s, es doch ein Unterschied macht..
War ein bisschen ironisch gemeint ;)

Gruss
Chrigu

HEMIcuda
25.06.04, 15:14
Ne, meinte nur, dass wenn man mit 3MByte/s ziehen kann, anstatt 123kB/s, es doch ein Unterschied macht..
War ein bisschen ironisch gemeint ;)

Gruss
Chrigu
War mir da nicht so ganz sicher. Gibt naemlich echt mehr als genug Leute, die
echt der Meinung sind. :(

'cuda

ollonois
25.06.04, 15:37
Sinn macht das doch immer. Wenn ich mit Wget eine neue ISO laden will z.B. die aktuelle Slackware dann werde ich da so schnell keinen Server finden wo das mit voller Bandbreite geht. Also kann ich da von mehreren laden. Genauso verhält sich das immer wenn Server gerade stark überlastet sind bei erscheinen neuer Versionen.

HEMIcuda
25.06.04, 16:40
Sinn macht das doch immer.
Nein. Gruende stehen oben.

Wenn ich mit Wget eine neue ISO laden will z.B. die aktuelle Slackware dann werde ich da so schnell keinen Server finden wo das mit voller Bandbreite geht.
Komisch. Ich hab da weder bei ArchLinux noch bei Debian Probleme. Auch FreeBSD
ging mit voller Geschwindigkeit. Und das Skript, dass mir das OpenBSD-Image zu-
sammengestellt hat, hat meine Leitung auch komplett ausgelastet.

'cuda

nIght
25.06.04, 16:50
Yeah, und der Name ist sogar türkisch =)
Acele Getir!

jo haste recht. ;):ugly:

chu
nIght

ollonois
25.06.04, 17:33
Komisch. Ich hab da weder bei ArchLinux noch bei Debian Probleme. Auch FreeBSD
ging mit voller Geschwindigkeit. Und das Skript, dass mir das OpenBSD-Image zu-
sammengestellt hat, hat meine Leitung auch komplett ausgelastet.

'cuda

Vielleicht weil das nicht so verbreitet ist. Die SuSE Mirrors liefern auch immer nur niedrige Raten wenn gereade ne neue Version rauskam. Bei Fedora war es auch nicht anders wenn wieder ein großes Update anstand.
Nu tu mal nicht so als würde man alles und immer mit voller Bandbreite bekommen. Ich kann das jedenfalls nicht behaupten.

fs111
25.06.04, 19:45
Sinn macht das doch immer.

"Sinn machen" schon mal gar nicht, wenn überhaupt Sinn ergeben. Wir sind hier in Deutschland...

fs111

HEMIcuda
25.06.04, 19:49
Vielleicht weil das nicht so verbreitet ist.
Was? Debian? FreeBSD? Oder was?

Die SuSE Mirrors liefern auch immer nur niedrige Raten wenn gereade ne neue Version rauskam. Bei Fedora war es auch nicht anders wenn wieder ein großes Update anstand.
Nu tu mal nicht so als würde man alles und immer mit voller Bandbreite bekommen. Ich kann das jedenfalls nicht behaupten.
Hab ich auch nicht. Ich habe nur Deine Aussage

Sinn macht das doch immer.
entkraeftigt.

'cuda

ollonois
25.06.04, 20:00
Macht was ihr wollt. Ich lasse mich hier auf keine sinnlose Diskussion ein.

@fs111 Habe schon bessere Kommentare von dir gelesen. Und schließe nicht von dir auf andere.

HEMIcuda
25.06.04, 20:07
Macht was ihr wollt. Ich lasse mich hier auf keine sinnlose Diskussion ein.
Du hast sie doch angefangen?!? :confused:

'cuda

ollonois
25.06.04, 20:11
Nein du hast meinen Beitrag immer nur so zitiert das es gerade auf deine Argumente passte. Da steht ein "Wenn" Und damit unter welchen Umständen es Sinn macht ähm ergibt. Vielleicht hätte ich statt dem Punkt ein Komma verwenden sollen. Aber dennoch denke ich, dass jeder verstehen kann was gemeint ist.

peschmae
25.06.04, 21:04
Ich finde es einfach recht asozial wenn man das bei einem ausgelasteten Server macht (und dort bringts ja wohl am meisten)

MfG Peschmä

ollonois
25.06.04, 21:13
Bringen tut es nur was wenn es wie z.B. Getright arbeiten würde und von mehreren versch. Servern gleichzeitig läd.

SeeksTheMoon
26.06.04, 09:10
Ich präsentiere hier Zahlen und dann kommen sinngemäße Argumente wie "das kann nicht sein weil es für mich unlogisch ist" und "es würde erst funktionieren wenn das Programm anders arbeiten würde"
HALLO?? Könnt ihr nicht die Zahlen lesen die ich gepostet habe? Es bringt auch etwas wenn man nur einen Server ohne Mirrors hat, das habe ich schon ausprobiert.

Aber so ist es halt mit den Menschen; wenn einer ne coole Idee hat, dann lachen erstmal alle drüber und glauben nicht was sie sehen.
Es zwingt euch ja niemand ein Tool zu benutzen dass ihr nicht versteht und auf das ihr von vornherein keinen Bock habt - nur beginnt dann nicht irgendwelche inhaltlosen und unwichtigen Diskussionen.

Das sollte ein Moderator mal schließen, sonst artet das noch in einer Keilerei aus. Dabei wollte ich nur ein nettes Tool vorstellen...

Russel-Athletic
26.06.04, 09:38
Auch wenn du mir Zahlen nennst, dass du so und so weit geflogen bist glaub ich dir dass nicht, weil es einfach unmöglich ist.
Ist nunmal so, dass wenn die leitung ausgelastet ist es doich nicht schneller sein kann. Und Daten herbeizaubern können Programme nicht.

peschmae
26.06.04, 10:24
und jetzt stell dir mal vor die Leitung wäre mit wget nicht ausgelastet gewesen :rolleyes:

Dann könnten die Zahlen doch unter umständen vielleicht möglicherweise richtig sein. :)

MfG Peschmä

Russel-Athletic
26.06.04, 11:07
Ja natürlich, aber bei mir ist sie immer ausgelastet gewesen.
-> Das Tool ist für mich nutzlos, was ich auch gesagt habe. Mehr nicht.

Jasper
26.06.04, 12:13
Ich präsentiere hier Zahlen und dann kommen sinngemäße Argumente wie "das kann nicht sein weil es für mich unlogisch ist" und "es würde erst funktionieren wenn das Programm anders arbeiten würde"
HALLO?? Könnt ihr nicht die Zahlen lesen die ich gepostet habe? Es bringt auch etwas wenn man nur einen Server ohne Mirrors hat, das habe ich schon ausprobiert.


die zahlen bestreite ich nicht, natürlich bringen mehrere parallele streams ein plus an performance wenn a) die bandbreite nicht bereits erschöpft ist und b) der server auf der gegenseite keine limits hat.

hier mal ein lokaler test, test.file ist 22m gross:

zuerst mit wget:

$ wget -O /dev/null http://localhost/test.file

real 0m0.316s
user 0m0.050s
sys 0m0.250s

access.log
127.0.0.1 - - [26/Jun/2004:11:53:04 +0200] "GET /test.file HTTP/1.0" 200 22596127


nun das ganze mit aget:

$ aget -l /dev/null http://localhost/test.file

real 0m0.790s
user 0m0.010s
sys 0m0.690s

127.0.0.1 - - [26/Jun/2004:11:55:11 +0200] "HEAD /test.file HTTP/1.1" 200 -
127.0.0.1 - - [26/Jun/2004:11:55:11 +0200] "GET /test.file HTTP/1.1" 206 22596127
127.0.0.1 - - [26/Jun/2004:11:55:11 +0200] "GET /test.file HTTP/1.1" 206 18076903
127.0.0.1 - - [26/Jun/2004:11:55:11 +0200] "GET /test.file HTTP/1.1" 206 15817291
127.0.0.1 - - [26/Jun/2004:11:55:11 +0200] "GET /test.file HTTP/1.1" 206 13557679
127.0.0.1 - - [26/Jun/2004:11:55:11 +0200] "GET /test.file HTTP/1.1" 206 11298067
127.0.0.1 - - [26/Jun/2004:11:55:11 +0200] "GET /test.file HTTP/1.1" 206 2259619
127.0.0.1 - - [26/Jun/2004:11:55:11 +0200] "GET /test.file HTTP/1.1" 206 6778843
127.0.0.1 - - [26/Jun/2004:11:55:11 +0200] "GET /test.file HTTP/1.1" 206 4519231
127.0.0.1 - - [26/Jun/2004:11:55:11 +0200] "GET /test.file HTTP/1.1" 206 9038455
127.0.0.1 - - [26/Jun/2004:11:55:11 +0200] "GET /test.file HTTP/1.1" 206 20336515

damit ist klar, woher die "acceleration" kommt. der download wird auf kosten der resourcen des servers beschleunigt was ich nicht unbedingt gut finde. ich als betreiber eines public servers würde mich bedanken wenn jemand für ein grosses file mir 10 oder mehr connections belegt.

ist kein schlechtes tool, nur sollte man sich im klaren sein, woher das plus an performance kommt und was die möglichen negativen folgen sind.


-j

EDIT: tests auf anderem server wiederholt, der erstere machte gerade backup was die daten verfälscht hat.

ollonois
26.06.04, 12:26
Gibt es denn kein Tool das automatisch auf Spiegelservern nach der gleichen Datei sucht und dann von versch. Servern läd?