PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : WGet hängt fest



THEReapMan
06.07.03, 15:11
Hi!

Wenn ich mit WGet eine Site mit den Switches -r und -H herunterladen will bleibt wget irgendwann hängen.
hab auch schon im Forum gesucht allerdings nix gefunden.

hier das log:


Lade »robots.txt«; bitte Fehler ignorieren.
--14:44:25-- http://blabla.com/robots.txt
=> `blabla.com/robots.txt'
Verbindungsaufbau zu blabla.com[xxx.xxx.xxx.xxx]:80... verbunden.
HTTP Anforderung gesendet, warte auf Antwort... <--- Hier bleibt er stehen
----------------------------------------------------------------------------------------------------
Lade »robots.txt«; bitte Fehler ignorieren.
--14:44:25-- http://blabla.com/robots.txt
=> `blabla.com/robots.txt'
Verbindungsaufbau zu blabla.com[xxx.xxx.xxx.xxx]:80... <--- Hier bleibt er auch meist stehen


wenn ich die switches timeout und tries angebe macht er trodzdem nicht weiter.

Wie bekomme ich WGet dazu weiterzusaugen bzw. den Host zu überspringen?

Bye THEReapMan

SeeksTheMoon
06.07.03, 19:21
in der robots.txt steht drin, was von Suchmaschinen, etc ignoriert oder nicht ignoriert werden soll.
Viellciht hält sich da auch wget dran und kommt deshalb nicht weiter.

THEReapMan
06.07.03, 19:27
das mit dem hängenbleiben hat sich erstmal erledigt. nach 3 min gibts nen timeout und er macht weiter

kann man das nicht abstellen das wget die robots.txt zieht?
das nimmt mir zuviel zeit in anspruch und die meisten seiten haben die datei nichtmal.

THEReapMan
06.07.03, 21:00
So hab das problem selbst hinbekommen.

Für alle die das Problem auch mal haben:

eine Datei namens .wgetrc im home-dir anlegen und folgendes reinschreiben:

robots=no

und schon kümmert er sich nicht mehr um die robots.txt und ruft sie auch net mehr ab.

Bye THEReapMan

syscrash
13.12.06, 17:42
So hab das problem selbst hinbekommen.

Für alle die das Problem auch mal haben:

eine Datei namens .wgetrc im home-dir anlegen und folgendes reinschreiben:

robots=no

und schon kümmert er sich nicht mehr um die robots.txt und ruft sie auch net mehr ab.

Bye THEReapMan

1000 DANK @ THEReapMan auch wenn das Thema von 2003 ist, geholfen hat es mir auch kurz vor 2007 noch super :D