vBulletin SEO Forums

SEO

vBulletin Search Engine Optimization

Buy vBSEO Now! HACKER SAFE certified sites prevent over 99.9% of hacker crime.
ne nw
vBSEO 3.2.0 Patch Release für vB 3.8 vBSEO Total Support Team nutzt neues Supportsystem vBSEO 3.2.0 GOLD wurde freigegeben Erfolg mit vBSEO = 600ehr Web-Besucher + $1400 in einem Tag! Crawlability Inc. beantragt Patent für SEO Technologie
se sw

Diese Unmengen an Crawlern auf der Site

This is a discussion on Diese Unmengen an Crawlern auf der Site within the Deutsch forums, part of the General Discussion category; Wenn man zu mir auf's Portal kommt, könnte man meinen da ist die Hölle los. 80% Prozent sind aber seit ...

Go Back   vBulletin SEO Forums > vBSEO SEO Plugin > General Discussion > Deutsch

Diese Unmengen an Crawlern auf der Site Diese Unmengen an Crawlern auf der Site

Enhancing 80 million pages.

 Register FAQ Members List Social Groups Calendar Search Today's Posts Mark Forums Read

Reply

 

LinkBack Thread Tools
  #1  
Old 06-19-2007, 01:00 PM
Junior Member
  
Real Name: Stefan Eling
Join Date: Mar 2006
Location: munster, germany
Posts: 20
Diese Unmengen an Crawlern auf der Site
Wenn man zu mir auf's Portal kommt, könnte man meinen da ist die Hölle los. 80% Prozent sind aber seit Tagen die Yahoo-Crawler.

Anfangs ist das ja noch ok, die Leute kommen halt gerne gut besuchte Portale. Aber andererseits...

Was also tun? Aussperren oder nicht anzeigen lassen? Wie macht Ihr das?
Digg this Post!Add Post to del.icio.usBookmark Post in TechnoratiFurl this Post!Share on Facebook!
Reply With Quote
  #2  
Old 06-19-2007, 04:30 PM
Senior Member
vBSEO Total Customer SupportvBSEO Pre-Release Team
  
Real Name: Mario
Join Date: Oct 2006
Posts: 228
per robots.txt aussperren

nur ein Auszug
Quote:
User-agent: grub-client
Disallow: /
User-agent: grub
Disallow: /
User-agent: looksmart
Disallow: /
User-agent: WebZip
Disallow: /
User-agent: larbin
Disallow: /
User-agent: b2w/0.1
Disallow: /
User-agent: psbot
Disallow: /
User-agent: Python-urllib
Disallow: /
User-agent: NetMechanic
Disallow: /
User-agent: URL_Spider_Pro
Disallow: /
User-agent: CherryPicker
Disallow: /
User-agent: EmailCollector
Disallow: /
User-agent: EmailSiphon
Disallow: /
User-agent: WebBandit
Disallow: /
User-agent: EmailWolf
Disallow: /
User-agent: ExtractorPro
Disallow: /
User-agent: CopyRightCheck
Disallow: /
User-agent: Crescent
Disallow: /
User-agent: SiteSnagger
Disallow: /
User-agent: ProWebWalker
Disallow: /
User-agent: CheeseBot
Disallow: /
User-agent: LNSpiderguy
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: ia_archiver/1.6
Disallow: /
User-agent: Teleport
Disallow: /
User-agent: TeleportPro
Disallow: /
User-agent: MIIxpc
Disallow: /
User-agent: Telesoft
Disallow: /
User-agent: Website Quester
Disallow: /
User-agent: moget/2.1
Disallow: /
User-agent: WebZip/4.0
Disallow: /
User-agent: WebStripper
Disallow: /
User-agent: WebSauger
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: NetAnts
Disallow: /
User-agent: Mister PiX
Disallow: /
User-agent: WebAuto
Disallow: /
User-agent: TheNomad
Disallow: /
User-agent: WWW-Collector-E
Disallow: /
User-agent: RMA
Disallow: /
User-agent: libWeb/clsHTTP
Disallow: /
User-agent: asterias
Disallow: /
User-agent: httplib
Disallow: /
User-agent: turingos
Disallow: /
User-agent: spanner
Disallow: /
User-agent: InfoNaviRobot
Disallow: /
User-agent: Harvest/1.5
Disallow: /
User-agent: Bullseye/1.0
Disallow: /
User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /
User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /
User-agent: CherryPickerSE/1.0
Disallow: /
User-agent: CherryPickerElite/1.0
Disallow: /
User-agent: WebBandit/3.50
Disallow: /
User-agent: NICErsPRO
Disallow: /
User-agent: Microsoft URL Control - 5.01.4511
Disallow: /
User-agent: DittoSpyder
Disallow: /
User-agent: Foobot
Disallow: /
User-agent: WebmasterWorldForumBot
Disallow: /
User-agent: SpankBot
Disallow: /
User-agent: BotALot
Disallow: /
User-agent: lwp-trivial/1.34
Disallow: /
User-agent: lwp-trivial
Disallow: /
User-agent: BunnySlippers
Disallow: /
User-agent: Microsoft URL Control - 6.00.8169
Disallow: /
User-agent: URLy Warning
Disallow: /
User-agent: Wget/1.6
Disallow: /
User-agent: Wget/1.5.3
Disallow: /
User-agent: Wget
Disallow: /
User-agent: LinkWalker
Disallow: /
User-agent: cosmos
Disallow: /
User-agent: moget
Disallow: /
User-agent: hloader
Disallow: /
User-agent: humanlinks
Disallow: /
User-agent: LinkextractorPro
Disallow: /
User-agent: Offline Explorer
Disallow: /
User-agent: Mata Hari
Disallow: /
User-agent: LexiBot
Disallow: /
User-agent: Web Image Collector
Disallow: /
User-agent: The Intraformant
Disallow: /
User-agent: True_Robot/1.0
Disallow: /
User-agent: True_Robot
Disallow: /
User-agent: BlowFish/1.0
Disallow: /
User-agent: JennyBot
Disallow: /
User-agent: MIIxpc/4.2
Disallow: /
User-agent: BuiltBotTough
Disallow: /
User-agent: ProPowerBot/2.14
Disallow: /
User-agent: BackDoorBot/1.0
Disallow: /
User-agent: toCrawl/UrlDispatcher
Disallow: /
User-agent: WebEnhancer
Disallow: /
User-agent: suzuran
Disallow: /
User-agent: VCI WebViewer VCI WebViewer Win32
Disallow: /
User-agent: VCI
Disallow: /
User-agent: Szukacz/1.4
Disallow: /
User-agent: QueryN Metasearch
Disallow: /
User-agent: Openfind data gathere
Disallow: /
User-agent: Openfind
Disallow: /
User-agent: Xenu's Link Sleuth 1.1c
Disallow: /
User-agent: Xenu's
Disallow: /
User-agent: Zeus
Disallow: /
User-agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /
User-agent: RepoMonkey
Disallow: /
User-agent: Microsoft URL Control
Disallow: /
User-agent: Openbot
Disallow: /
User-agent: URL Control
Disallow: /
User-agent: Zeus Link Scout
Disallow: /
User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /
User-agent: Webster Pro
Disallow: /
User-agent: EroCrawler
Disallow: /
User-agent: LinkScan/8.1a Unix
Disallow: /
User-agent: Keyword Density/0.9
Disallow: /
User-agent: Kenjin Spider
Disallow: /
User-agent: Iron33/1.0.2
Disallow: /
User-agent: Bookmark search tool
Disallow: /
User-agent: GetRight/4.2
Disallow: /
User-agent: FairAd Client
Disallow: /
User-agent: Gaisbot
Disallow: /
User-agent: Aqua_Products
Disallow: /
User-agent: Radiation Retriever 1.1
Disallow: /
User-agent: Flaming AttackBot
Disallow: /
User-agent: Oracle Ultra Search
Disallow: /
User-agent: MSIECrawler
Disallow: /
User-agent: PerMan
Disallow: /
User-agent: searchpreview
Disallow: /
Digg this Post!Add Post to del.icio.usBookmark Post in TechnoratiFurl this Post!Share on Facebook!
Reply With Quote
  #3  
Old 06-19-2007, 05:17 PM
Junior Member
  
Real Name: Stefan Eling
Join Date: Mar 2006
Location: munster, germany
Posts: 20
Beachtlichte Liste.

Dann wird aber doch die Seite nicht mehr indiziert, oder?
Digg this Post!Add Post to del.icio.usBookmark Post in TechnoratiFurl this Post!Share on Facebook!
Reply With Quote
  #4  
Old 06-20-2007, 08:33 AM
Thomas Hoehl's Avatar
vBSEO Staff
  
Real Name: Thomas
Join Date: Jul 2005
Location: Kempen, Germany
Posts: 766
Was den Yahoo! Slurp angeht habe ich seit Monaten folgendes erfolgreich im Einsatz:

Yahoo Slurp Spider Aktivität begrenzen - Skats-Community
Digg this Post!Add Post to del.icio.usBookmark Post in TechnoratiFurl this Post!Share on Facebook!
Reply With Quote
  #5  
Old 06-21-2007, 03:04 AM
°°Ben³'s Avatar
Senior Member
  
Real Name: Benjamin Klaile
Join Date: Jan 2006
Location: Remagen, Germany
Posts: 113
Send a message via ICQ to °°Ben³ Send a message via MSN to °°Ben³ Send a message via Yahoo to °°Ben³ Send a message via Skype™ to °°Ben³
Guter Link.
Werde ich auch mal drüber nachdenken. Müsste ich erstmal schauen, ob bei mir auch diese Lastspitzen auftreten und ich es nur nicht gemerkt habe.
Digg this Post!Add Post to del.icio.usBookmark Post in TechnoratiFurl this Post!Share on Facebook!
Reply With Quote
  #6  
Old 06-21-2007, 03:35 PM
Junior Member
  
Real Name: Stefan Eling
Join Date: Mar 2006
Location: munster, germany
Posts: 20
Na ja, Lastspitzen sind die eine Sache - wobei das eher zweitrangig ist wenn der Server genug Power hat.

Viele Webmaster (ich inkl.) stellen auf ihren Seiten gerne da wieviele Leute sich gerade hier befinden. Nun schaut man nur einen Blick genauer hin und sieht, das die Hälfte Crawler sind. Das ist doch irgendwie super dämlich, oder?

Ich hab jetzt:

User-agent: Slurp
Crawl-delay: 60


im Einsatz (Danke für den Tipp) und die Anzeige der Besucher ist von 450 auf 200 tagsüber runtergegangen. Find' ich aber besser so.
Digg this Post!Add Post to del.icio.usBookmark Post in TechnoratiFurl this Post!Share on Facebook!
Reply With Quote
  #7  
Old 06-21-2007, 04:05 PM
Senior Member
vBSEO Total Customer SupportvBSEO Pre-Release Team
  
Real Name: Mario
Join Date: Oct 2006
Posts: 228
Quote:
Originally Posted by Steel View Post
Beachtlichte Liste.

Dann wird aber doch die Seite nicht mehr indiziert, oder?
das sind die sog. bösen Spider die eh nur Mailaddys etc. suchen

@Thomas Danke für den Tipp bzgl
User-agent: Slurp
Crawl-delay: 60
Digg this Post!Add Post to del.icio.usBookmark Post in TechnoratiFurl this Post!Share on Facebook!
Reply With Quote
  #8  
Old 06-21-2007, 06:28 PM
Hoffi's Avatar
Senior Member
Big Board Administrator
  
Real Name: Christian
Join Date: Nov 2005
Location: Germany
Posts: 216
Blog Entries: 2
Mal sehen wie das wirkt. die robots.txt ist mittlerweile locker 5kB groß, uff.
Digg this Post!Add Post to del.icio.usBookmark Post in TechnoratiFurl this Post!Share on Facebook!
Reply With Quote
  #9  
Old 06-24-2007, 03:38 PM
Senior Member
vBSEO Total Customer SupportvBSEO Pre-Release Team
  
Real Name: Mario
Join Date: Oct 2006
Posts: 228
Gibt es schon Erfahrungsberichte?
Digg this Post!Add Post to del.icio.usBookmark Post in TechnoratiFurl this Post!Share on Facebook!
Reply With Quote
  #10  
Old 06-27-2007, 07:17 AM
Junior Member
  
Real Name: Stefan Eling
Join Date: Mar 2006
Location: munster, germany
Posts: 20
Ja, es hilft.

Habe für eine Übergangsphase dieses komische Slurb-Dingens komplett auf Disallow gesetzt. Jetzt sind tagsüber nur noch so zwei - vier auf der Startseite (tiefer dürfen sie ja nicht) unterwegs.

Ich hab zwar ca. ein Viertel bis ein Drittel weniger online ausgewiesene Besucher, aber das passt schon
Digg this Post!Add Post to del.icio.usBookmark Post in TechnoratiFurl this Post!Share on Facebook!
Reply With Quote
  #11  
Old 06-27-2007, 01:14 PM
Junior Member
  
Join Date: Sep 2005
Posts: 28
Habe den Slurp auch erstmal auf Disallow gesetzt, das ging ja gar nicht mehr.
Dadurch ist es schon merklich besser mit der Performanz geworden.
Zumindest meint das mein subjektives Empfinden.
Digg this Post!Add Post to del.icio.usBookmark Post in TechnoratiFurl this Post!Share on Facebook!
Reply With Quote
  #12  
Old 06-28-2007, 06:37 PM
Hoffi's Avatar
Senior Member
Big Board Administrator
  
Real Name: Christian
Join Date: Nov 2005
Location: Germany
Posts: 216
Blog Entries: 2
Ich hab da ehrlich gesagt bisher noch nicht drauf geachtet, aber neue Besucherrekorde bleiben bisher aus.
Digg this Post!Add Post to del.icio.usBookmark Post in TechnoratiFurl this Post!Share on Facebook!
Reply With Quote
  #13  
Old 06-28-2007, 06:39 PM
Junior Member
  
Real Name: Dominic
Join Date: Apr 2007
Location: Austria
Posts: 27
Send a message via ICQ to captainslater
Bis jetzt hält sich's bei mir auch noch in Grenzen, auch wenn das Forum bei diversen (abstrusen) Stichwörtern auf den ersten paar Seiten steht bei Google.
Digg this Post!Add Post to del.icio.usBookmark Post in TechnoratiFurl this Post!Share on Facebook!
Reply With Quote
Reply

« ZOINTS -> vbSEO | RSS Feed »
Thread Tools

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts
BB code is On
Smilies are On
[IMG] code is On
HTML code is Off
Trackbacks are On
Pingbacks are On
Refbacks are On

Similar Threads

Thread Thread Starter Forum Replies Last Post
The vBSEO LinkBacks User Guide - vBSEO 3.0 GOLD Joe Ward General Discussion 25 06-05-2008 12:04 PM
vBSEO 3.0.0 freigegeben Philipp Herbers Deutsch 12 04-20-2007 02:51 PM


All times are GMT -4. The time now is 12:48 AM.

Contact Us - vBSEO Home - Archive - Top

Powered by vBulletin® Version 3.8.0
Copyright ©2000 - 2009, Jelsoft Enterprises Ltd.
SEO by vBSEO 3.2.5 ©2008, Crawlability, Inc.