Sinnvoll eine robots.txt zu haben?

Hallo Leute,

ist es sinnvoll eine robots.txt zu haben oder nicht?
Wenn ja, wie sollte sie den aussehen und was sollte da rein?

Gruß
Delazar

Bitte nutze die Suchfunktion

Originally Posted by Philipp Herbers

Bitte nutze die Suchfunktion

Unter robots.txt
ist im deutsche bereich nichts zu finden.
Im Englischen schon ,aber da mein englisch dafür nicht ausreicht, habe ich eben die Frage gestellt.
Aber einer aus dem Forum war so nett und hat mir schon geholfen

Gruß
Delazar

Schön, dass dir geholfen wurde. Schade, dass du denjenigen, die die Suchfunktion nutzen und auf diesen thread stoßen nicht an der Lösung teilhaben lässt.

.. stimmt
die frage bzw. antwort interessiert mich auch!
gruß jo

Es macht sinn, wenn man nicht will das die Suchmaschinen gewisse Sachen machen sollen. Wie z.B. Antworten auf neue Beiträge, oder neue Themen erstellen usw.
Ich habe das über all verboten. Aber muss es selber wissen ob er das macht oder nicht.

Gruß
Delazar

Anstelle des Verbots via robots.txt wäre doch ein nofollow im link die saubere Lösung, oder?
Und das sollte via vbSEO einstellbar sein. Meine Meinung.

Hallo,

ich habe mich versehen. Ich war mir sicher, dass wir ein Thema diesbezüglich hatten. Generell macht eine robots.txt Datei durchaus Sinn.

Vielleicht mag jemand eine Datei posten?

Fündig geworden.

Siehe robots.txt und vbseo