robots.txt und vbseo

Die robots von hier ist leider keine Referenz... :(

http://www.vbseo.com/robots.txt

Gegenfrage.
Was versprichst du dir denn davon, die showthread durch die robots.txt zu verbieten?

Files wie
Disallow: /attachment.php
Disallow: /avatar.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /moderator.php
etc.
machen Sinn zu verbieten, da der Spider a) da nix zu suchen hat und b) eh nur nen fehler bekommen würde.

Aber wo ist für dich der Sinn bei showthread.php und anderen files dieser Art, wenn a) die wie du sagst eh durch vBSEO umgeschrieben wird und b) es ein potentielles Risiko ist?

ps: google achtet auf die robots.txt.
Wenn du noch alte URLs bei google gecached hast, und google diese respidern will, deine robots.txt dies aber verbietet, wird google diese urls nicht neu spidern und damit auch die redirect nicht sehen.

Richtig, und genau das ist der Sinn! Kommt Google für die Neuindizierung zurück, wird Google diese Seite verwerfen. Da Google aber sicherlich schon die HTML Seite gespidert hat ist somit dann kein doppelter Content vorhanden.

Sorry, aber das ist Blödsinn

Alle showthread pages haben durch vBSEO eine 301 redirect und vererben damit ihren Pagerank.
Wenn du die showthread verbietest, dann findet google diese 301 nicht.
Klar wird er auch die entsprechende HTML Page dazu finden und indizieren, aber du hast den PageRank verloren.
vBSEO ist ja dazu da, doppelten Content zu eliminieren. Wären die alten showthread URLs doppelter Content, wie du behauptest, wäre die robots.txt in vBSEO inbegriffen.

Also wenn jemand gerade erst auf vBSEO umgestiegen ist, ist diese robots.txt nen Killer für den PR der Seite. Trust me

StarBuG