robots.txt und vbseo

**Metro Man** · 03-03-2006 09:19 PM

hi,

wollte nun meine robots txt etwas anpassen so das zb links wie kalender, kontrollzentrum, antworten usw das diese links nicht mehr unbedingt gespidet werden ist ja nicht unbedingt nötig. Daher wie kann ich das am günstigsten umsetzen?

**fsb-holger** · 03-03-2006 10:02 PM

zb so

Code:

User-agent: *
Disallow: /clientscript
Disallow: /cpstyles
Disallow: /customavatars
Disallow: /images
Disallow: /includes
Disallow: /modules
Disallow: /subscriptions
Disallow: /attachment
Disallow: /announcement.php
Disallow: /announcement.php?
Disallow: /cron.php
Disallow: /cron.php?
Disallow: /newthread.php
Disallow: /newthread.php?
Disallow: /database.php
Disallow: /database.php?
Disallow: /global.php
Disallow: /global.php?
Disallow: /search.php
Disallow: /search.php?
Disallow: /misc.php
Disallow: /misc.php?
Disallow: /moderator.php
Disallow: /moderator.php?
Disallow: /member.php
Disallow: /member.php?
Disallow: /showthread.php
Disallow: /showthread.php?
Disallow: /printthread.php
Disallow: /printthread.php?
Disallow: /login.php
Disallow: /login.php?
Disallow: /poll.php
Disallow: /poll.php?
Disallow: /newreply.php
Disallow: /newreply.php?
Disallow: /newattachment.php
Disallow: /newattachment.php?
Disallow: /online.php
Disallow: /online.php?
Disallow: /toplist.php
Disallow: /toplist.php?
Disallow: /postings.php
Disallow: /postings.php?
Disallow: /private.php
Disallow: /private.php?
Disallow: /profile.php
Disallow: /profile.php?
Disallow: /forumdisplay.php
Disallow: /forumdisplay.php?
Disallow: /printthread.php
Disallow: /printthread.php?
Disallow: /report.php
Disallow: /report.php?
Disallow: /register.php
Disallow: /register.php?
Disallow: /reputation.php
Disallow: /reputation.php?
Disallow: /vbseocp.php
Disallow: /vbseocp.php?
Disallow: /showpost.php
Disallow: /showpost.php?
Disallow: /showgroups.php
Disallow: /showgroups.php?
Disallow: /subscription.php
Disallow: /subscription.php?
Disallow: /sendmessage.php
Disallow: /sendmessage.php?
Disallow: /toptopics.php
Disallow: /user.php
Disallow: /user.php?
Disallow: /usercp.php
Disallow: /usercp.php?
Disallow: /calendar.php
Disallow: /calendar.php?

mfg

**Metro Man** · 03-03-2006 10:30 PM

danke, das so in der art hatte ich das auch ich dachte es macht einen unerschied wenn die links schon als html dargestellt werden, das ich dies mit einbinden muss.

**fsb-holger** · 03-03-2006 10:42 PM

ja macht es
wobei wenn sie nicht erfasst werden sollen dann braucht man sie eigentlich auch nicht wandeln

mfg

**Metro Man** · 03-03-2006 11:21 PM

stimmt kann man ja einstellen, werde mir das mal in ruhe ansehen morgen, danke erstmal für den Tip

**dongdong** · 03-04-2006 12:45 PM

alternativ kann man noch folgendes adden:

Code:

User-agent: stalker
Dissallow: /

User-agent: SpiderJack
Disallow: /

User-agent: thesubot
Disallow: /

User-agent: thumbshots-de-bot
Disallow: /

User-agent: Jetbot/1.0
Disallow: /

User-agent: grub-client
Disallow: /

User-agent: grub
Disallow: /

User-agent: looksmart
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: larbin
Disallow: /

User-agent: b2w/0.1
Disallow: /

User-agent: psbot
Disallow: /

User-agent: Python-urllib
Disallow: /

User-agent: NetMechanic
Disallow: /

User-agent: URL_Spider_Pro
Disallow: /

User-agent: CherryPicker
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: Muscat Ferret
Disallow: /

User-agent: FAST Enterprise Crawler
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: EmailWolf
Disallow: /

User-agent: ExtractorPro
Disallow: /

User-agent: CopyRightCheck
Disallow: /

User-agent: Crescent
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: ProWebWalker
Disallow: /

User-agent: CheeseBot
Disallow: /

User-agent: LNSpiderguy
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: ia_archiver/1.6
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: MIIxpc
Disallow: /

User-agent: Telesoft
Disallow: /

User-agent: Website Quester
Disallow: /

User-agent: moget/2.1
Disallow: /

User-agent: WebZip/4.0
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebSauger
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: NetAnts
Disallow: /

User-agent: Mister PiX
Disallow: /

User-agent: WebAuto
Disallow: /

User-agent: TheNomad
Disallow: /

User-agent: WWW-Collector-E
Disallow: /

User-agent: RMA
Disallow: /

User-agent: libWeb/clsHTTP
Disallow: /

User-agent: asterias
Disallow: /

User-agent: httplib
Disallow: /

User-agent: turingos
Disallow: /

User-agent: spanner
Disallow: /

User-agent: InfoNaviRobot
Disallow: /

User-agent: Harvest/1.5
Disallow: /

User-agent: Bullseye/1.0
Disallow: /

User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /

User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /

User-agent: CherryPickerSE/1.0
Disallow: /

User-agent: CherryPickerElite/1.0
Disallow: /

User-agent: WebBandit/3.50
Disallow: /

User-agent: NICErsPRO
Disallow: /

User-agent: Microsoft URL Control - 5.01.4511
Disallow: /

User-agent: DittoSpyder
Disallow: /

User-agent: Foobot
Disallow: /

User-agent: WebmasterWorldForumBot
Disallow: /

User-agent: SpankBot
Disallow: /

User-agent: BotALot
Disallow: /

User-agent: lwp-trivial/1.34
Disallow: /

User-agent: lwp-trivial
Disallow: /

User-agent: BunnySlippers
Disallow: /

User-agent: Microsoft URL Control - 6.00.8169
Disallow: /

User-agent: URLy Warning
Disallow: /

User-agent: Wget/1.6
Disallow: /

User-agent: Wget/1.5.3
Disallow: /

User-agent: Wget
Disallow: /

User-agent: LinkWalker
Disallow: /

User-agent: cosmos
Disallow: /

User-agent: moget
Disallow: /

User-agent: hloader
Disallow: /

User-agent: humanlinks
Disallow: /

User-agent: LinkextractorPro
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Mata Hari
Disallow: /

User-agent: LexiBot
Disallow: /

User-agent: Web Image Collector
Disallow: /

User-agent: The Intraformant
Disallow: /

User-agent: True_Robot/1.0
Disallow: /

User-agent: True_Robot
Disallow: /

User-agent: BlowFish/1.0
Disallow: /

User-agent: JennyBot
Disallow: /

User-agent: MIIxpc/4.2
Disallow: /

User-agent: BuiltBotTough
Disallow: /

User-agent: ProPowerBot/2.14
Disallow: /

User-agent: BackDoorBot/1.0
Disallow: /

User-agent: toCrawl/UrlDispatcher
Disallow: /

User-agent: WebEnhancer
Disallow: /

User-agent: suzuran
Disallow: /

User-agent: VCI WebViewer VCI WebViewer Win32
Disallow: /

User-agent: VCI
Disallow: /

User-agent: Szukacz/1.4 
Disallow: /

User-agent: QueryN Metasearch
Disallow: /

User-agent: Openfind data gathere
Disallow: /

User-agent: Openfind 
Disallow: /

User-agent: Xenu's Link Sleuth 1.1c
Disallow: /

User-agent: Xenu's
Disallow: /

User-agent: Zeus
Disallow: /

User-agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /

User-agent: RepoMonkey
Disallow: /

User-agent: Microsoft URL Control
Disallow: /

User-agent: Openbot
Disallow: /

User-agent: URL Control
Disallow: /

User-agent: Zeus Link Scout
Disallow: /

User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /

User-agent: Webster Pro
Disallow: /

User-agent: EroCrawler
Disallow: /

User-agent: LinkScan/8.1a Unix
Disallow: /

User-agent: Keyword Density/0.9
Disallow: /

User-agent: Kenjin Spider
Disallow: /

User-agent: Iron33/1.0.2
Disallow: /

User-agent: Bookmark search tool
Disallow: /

User-agent: GetRight/4.2
Disallow: /

User-agent: FairAd Client
Disallow: /

User-agent: Gaisbot
Disallow: /

User-agent: Aqua_Products
Disallow: /

User-agent: Radiation Retriever 1.1
Disallow: /

User-agent: Flaming AttackBot
Disallow: /

User-agent: Oracle Ultra Search
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: PerMan
Disallow: /

User-agent: searchpreview
Disallow: /

User-agent: Mozilla/4.0 (compatible; Netcraft Web Server Survey)
Disallow: /

User-agent: *
Disallow: /*.avi$
Disallow: /*.css$
Disallow: /*.db$
Disallow: /*.exe$
Disallow: /*.htc$
Disallow: /*.inc$
Disallow: /*.ini$
Disallow: /*.js$
Disallow: /*.js.php$
Disallow: /*.log$
Disallow: /*.mp3$
Disallow: /*.mpg$
Disallow: /*.mpeg$
Disallow: /*.png$
Disallow: /*.psd$
Disallow: /*.rar$
Disallow: /*.wav$
Disallow: /*.zip$

**Georg** · 08-14-2007 05:03 AM

Hi,
ich habe mal kurz eine Frage ich verwende die robots.txt wie sie von fsb-holger hier gepostet wurde.
Ich habe auf meinem Webspace diverse Ordner also cms, forum und andere, auf jeden dieser Ordner verweist eine Domain.
Jetzt meine Frage: muss ich die robots.txt in einen der Ordner packen oder in das Hauptverzeichnis in dem sich alle anderen Ordner befinden?
Vielen Dank schon mal für eure Antworten

Georg

**Philipp Herbers** · 08-14-2007 12:59 PM

Hallo Georg,

ich würde es in das Hauptverzeichnis legen und, sofern gewünscht, die Unterordner der jeweiligen "Hauptordner" mit einer weiteren robots Datei ausstatten.

**Hendricius** · 09-02-2007 11:29 AM

Vielen dank

. Eine Frage noch:

Mein forum läuft in dem subordner "/forum/

müsste ich dann unten bei den nichterlaubten datei-erweiterungen /forum/ davorschreiben? Also dann sieht es bei mir momentan so aus: Disallow: /forum/*.zip$

**Hoffi** · 09-02-2007 01:30 PM

Entweder das, oder die robots.txt in den Ordner forum speichern.

**StarBuG** · 09-02-2007 02:02 PM

Regeln wie diese: Disallow: /showthread.php

Werden deine Forum Listings killen.

Damit verbietest du Spidern, deinen gesamten Content zu spidern.
Also Vorsicht mit der Robots.txt aus dem 2ten Beitrag!

Versuchs damit:

Code:

User-agent: *
Disallow: /attachment.php
Disallow: /avatar.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /poll.php
Disallow: /postings.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /private2.php
Disallow: /report.php
Disallow: /search.php
Disallow: /sendtofriend.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /admin/
Disallow: /images/
Disallow: /mod/
Disallow: /cgi-bin/
Disallow: /clientscript/

**Hoffi** · 09-02-2007 02:39 PM

Warum sollte

Code:

Disallow: /showthread.php

schlecht sein? Wir setzen SEO ein damit die Seite eh nicht aufgerufen wird, sondern eine andere.

**StarBuG** · 09-02-2007 04:03 PM

und was ist mit deinen redirects?

**Hoffi** · 09-02-2007 05:18 PM

Das merkt Google doch gar nicht.

**Hendricius** · 09-02-2007 05:41 PM

Ok. Also ihr verwirrt mich jetzt. Hätte gerne Beweise für das, was richtig ist =p.

robots.txt und vbseo

robots.txt und vbseo

Re: robots.txt und vbseo

Re: robots.txt und vbseo

Re: robots.txt und vbseo

Re: robots.txt und vbseo

Re: robots.txt und vbseo

Similar Threads

vBSEO 2.4.0 Released - Includes Google AdSense Targeting Feature!

vBSEO 2.0 RC7 Released