Dono
10.01.11, 12:37
Hallo!
Im web log steht: (Beispiele)
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
Mozilla/5.0 (compatible; MJ12bot/v1.3.3; http://www.majestic12.co.uk/bot.php?+)
Welches ist jetzt der Agent? Das ganze oder welcher Teil? Was davon gehört in die robots.txt?
Gruß
Dono
Im web log steht: (Beispiele)
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
Mozilla/5.0 (compatible; MJ12bot/v1.3.3; http://www.majestic12.co.uk/bot.php?+)
Welches ist jetzt der Agent? Das ganze oder welcher Teil? Was davon gehört in die robots.txt?
Gruß
Dono