einfache Frage zum User Agent

[Dono]

Hallo!

Im web log steht: (Beispiele)

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
Mozilla/5.0 (compatible; MJ12bot/v1.3.3; http://www.majestic12.co.uk/bot.php?+)

Welches ist jetzt der Agent? Das ganze oder welcher Teil? Was davon gehört in die robots.txt?

Gruß
Dono

[marce]

tja, wie üblich - kommt drauf an :-)

beim ersten würde ich sagen - das "komplette" bis zum +, beim 2. bis zu Klammer. Je nach Definition aber auch nur das bingbot - je nach dem, was Du als relevant ansiehst...

Der UA ist ja auch keine feste, definierte Größe, da kannst Du reinschreiben was Du willst (z.B. auch lustigen Code für js-Exploits auf webalizer-Seiten :-) - der Server schreibt im Log halt alles, was der UA übergibt an die entsprechende Stelle.