Gute robots.txt ???

Hallo zusammen,

Ich hab eine Frage zur robots.txt welche ist der bessere bzw. welche Vor - bzw. Nachteile hat man gegenüber den anderen.

Das ist meine was ich zurzeit benutze

User-agent: *
Disallow: /admincp/
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /customavatars/
Disallow: /customprofilepics/
Disallow: /images/
Disallow: /modcp/
Disallow: /ajax.php
Disallow: /attachment.php
Disallow: /calendar.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /global.php
Disallow: /image.php
Disallow: /inlinemod.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /poll.php
Disallow: /postings.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /subscription.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /usernote.php
Disallow: /tags.php
Disallow: /album.php

Das habe ich hier in Forum gefunden

# Allow Archiver
User-agent: ia_archiver
Allow: /


User-agent: Slurp
Crawl-delay: 60


User-agent: *

Disallow: *.php
Disallow: *.js
Disallow: *.jsp
Disallow: *.cfm
Disallow: *.asp
Disallow: *.html
Disallow: *.htm
Disallow: *.aspx
Disallow: *.cgi

Disallow: /includes/
Disallow: /install/
Disallow: /customavatars/
Disallow: /archive/
Disallow: /sitemap/

Sitemap: http://yourdomain.com/sitemap_index.xml.gz

Sollte ich meine robots.txt am besten in das ändern

# Allow Archiver
User-agent: ia_archiver
Allow: /


User-agent: Slurp
Crawl-delay: 60


User-agent: *

Disallow: *.php
Disallow: *.js
Disallow: *.jsp
Disallow: *.cfm
Disallow: *.asp
Disallow: *.html
Disallow: *.htm
Disallow: *.aspx
Disallow: *.cgi

Disallow: /includes/
Disallow: /install/
Disallow: /customavatars/
Disallow: /archive/
Disallow: /sitemap/

Sitemap: http://www.familien-palast.de/sitemap_index.xml.gz

Und was mich auch noch interessiert was bedeutet das eigentlich das hier?

# Allow Archiver
User-agent: ia_archiver
Allow: /

weil dies steht nicht mal in meine robots.txt drinnen

Hallo,

Originally Posted by pLanuX

Und was mich auch noch interessiert was bedeutet das eigentlich das hier?

# Allow Archiver
User-agent: ia_archiver
Allow: /

weil dies steht nicht mal in meine robots.txt drinnen

Damit erlaubst du dem Bot "ia_archiver" auf den Ordner / (meistens Hauptordner einer Domain) zugreifen zu dürfen

Welche der beiden robots.txt wäre besser bzw. sinnvoller zu verwenden?

Es gibt hier im deutschen Forum einen guten Thread darüber. Hast ihn dir schon einmal durchgelesen?