PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : robots.txt / Bots Domainabhängig aussperren



.matthias
30.01.08, 14:19
Hi.

habe ein kleineres, abre für mich ausreichendes Shared-Hosting-Angebot. Darunter lief bis jetzt eigentlich nur eine Seite mit einer Domain. Die entsprechende Domain (und auch die neue, komm ich gleich zu) werden aus diversen Gründen bei United-Domains geführt und zeigen per DNS auf die IP des Webservers, einen KK möchte ich in absehbarer Zeit eigentlich nicht durchführen. Läuft auch alles 1a.

Jetzt hab ich eine 2. Domain, die über den selben Webspace laufen soll. Frame-Weiterleitungen oder so einen ähnliches stehen jetzt eigentlich nicht zur Debatte. Die neue Domain zeigt jetzt also auch wieder auf die IP, und wenn ich die Einstellungen im Kontrollcenter richtig interpretiere, wird die per VHost in ein Verzeichnis auf meinem Webspace abgebildet.

Dieses ist nun "doppelt erreichbar", einmal unter
example1.com/verzeichnis
und einmal über example2.com.

Das ist nicht so ganz optimal, da die Contents auf beiden Seiten absolut unabhängig sind, und ich fürchte, dass es da wg. duplicate Content früher oder später zu Problemen kommt.

Kann ich jetzt einem Bot per robots.txt verbieten, dass beim Spidern der Domain example1.com/verzeichnis nicht indeziert wird, sondern nur wenn die Bots direkt zu example2.com kommen?

Danke!

marce
30.01.08, 14:25
http://www.bjoernsworld.de/suchmaschinen/robots-txt.html#nicht

Das gewünschte musst Du über die Serverkonfiguration machen, z.B. mit .htaccess und evtl. redirects, ...