robot.txt dosyasında ne yazmalı

bütün botlar rahatca sitede dolaşması için robot.txt dosyasında ne yazmalı arkadaşlar


ben şöle yazdım

User-agent: *
allow: /

sadece bu yazılı dosyada

bütün botlar heryere girebilir demek sanırım bu doğrumu acaba?

Her dosyanın robotlar tarafından crawl edilmesini istemezsiniz. Robot'lar gereksiz sayfalara ulaşması iyi değil. Ayrıca print edilebilir formatında olanlar aynı içerikle olduğu için ceza alır ve indexten düşürülebilirsiniz. Tavsiye edeceğim robots.txt şu içerikle olsun :

Code:

#ALL BOTS
User-agent: *
Disallow: /admincp/
Disallow: /ajax.php
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /images/
Disallow: /includes/
Disallow: /install/
Disallow: /modcp/
Disallow: /subscriptions/
Disallow: /customavatars/
Disallow: /customprofilepics/
Disallow: /announcement.php
Disallow: /attachment.php
Disallow: /calendar.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /faq.php
Disallow: /frm_attach
Disallow: /image.php
Disallow: /inlinemod.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /payment_gateway.php
Disallow: /payments.php
Disallow: /poll.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /subscription.php
Disallow: /usercp.php
Disallow: /threadrate.php
Disallow: /usernote.php

cok teşekkür ederim bunu alıp aynen kopyalasam olur değilmi??

bide arşivin de cıkmasını istemiyorsam

Disallow: /"girilmesini istemediğim dosya adı"

eklemem yeterlimi??

sizce arşiv yasaklanmalımı ??

Originally Posted by bendensin890

cok teşekkür ederim bunu alıp aynen kopyalasam olur değilmi??

bide arşivin de cıkmasını istemiyorsam

Disallow: /"girilmesini istemediğim dosya adı"

eklemem yeterlimi??

sizce arşiv yasaklanmalımı ??

kesinlikle öyle birşey yapma. arşiv botlar için çok önemli.

peki son bişi

benim bunları yasaklamam ne anlma geliyo ??

yani mesela siteye gelen bot direk girebileceği yerlere mi yöneliyo

yoksa buraya girilmiyo deyip çıkıyomu siteden acaba ??

yani gelen bot sayısı düşermi bu şekilde?

biraz acıklaya bilirseniz cok iyi olur belki benim gibi bilmeyen arkadaşlarada faydalanır

şimdiden cok teşekküreler

Yasakladığın sayfalar içerisinde hiçbir içerik bulunmamakta. Botlar gördükleri her linki takip ederler. robots.txt ile yasaklanan sayfalara bakmazlar. Bu şekilde botların dikkatini indexlenmesi öncelik olan sayfalara yöneltebileceksin.

Code:

#ALL BOTSUser-agent: *Disallow: /admincp/Disallow: /ajax.phpDisallow: /clientscript/Disallow: /cpstyles/Disallow: /images/Disallow: /includes/Disallow: /install/Disallow: /modcp/Disallow: /subscriptions/Disallow: /customavatars/Disallow: /customprofilepics/Disallow: /announcement.phpDisallow: /attachment.phpDisallow: /calendar.phpDisallow: /cron.phpDisallow: /editpost.phpDisallow: /faq.phpDisallow: /frm_attachDisallow: /image.phpDisallow: /inlinemod.phpDisallow: /joinrequests.phpDisallow: /login.phpDisallow: /memberlist.phpDisallow: /misc.phpDisallow: /moderator.phpDisallow: /newattachment.phpDisallow: /newreply.phpDisallow: /newthread.phpDisallow: /online.phpDisallow: /payment_gateway.phpDisallow: /payments.phpDisallow: /poll.phpDisallow: /postings.phpDisallow: /private.phpDisallow: /profile.phpDisallow: /register.phpDisallow: /report.phpDisallow: /reputation.phpDisallow: /search.phpDisallow: /sendmessage.phpDisallow: /showgroups.phpDisallow: /showpost.phpDisallow: /subscription.phpDisallow: /usercp.phpDisallow: /threadrate.phpDisallow: /usernote.php

robot dosyamda bunlar yazlı king bukadar linke giremmesi normal mi acaba???
URLs restricted by robots.txt (11499)

ayrıca bir ara aşağıdaki kadar linkim vardı goglede

site:www.bizdensiniz.net : 1.300

allinurl:www.bizdensiniz.net : 13,900

sonra sabah kalktım baktım üstteki 500
alttaki 600 kalmış bu neden olur acaba??

cvb ların için şimdiden teşekkürler

Yukarıda verdiğim robots.txt i kullanırsan biraz modifiye edip çok daha rahat edersin.
Google indexlenmiş değerlerin değişmesi gayet normal. Sizin siteniz şu an için düşüşte.

sevgili arkadaşım bu dediğiniz robots.txt dosyası vbseo kullanıcıları içinde yukarıda lizard kink arkadaşın dediği gibi mi olacak benimkisinde şöyle bişey yazıyor sadece, lizard arkadaşın dediği gibi değiştirmemde bi sakınca var mı ?

Bendeki aynen şu şekildedir
User-agent: Mediapartners-Google*
User-agent: Googlebot
User-agent: *

lizard arkadaşın dediği gibi yaparsan hiç bir sorun olmaz.

merhaba ben burada tavsiye edilenleri yaptım ama 2 haftadır google hep uye profillerini indexliyo ben hatamı yapıyorum ftp den ana dizine attım google web aracları robots tada görüyorum ama neden indexliyo anlamadım

Originally Posted by Mert Gökçeimam

kesinlikle öyle birşey yapma. arşiv botlar için çok önemli.

Benim tanıdığım Mert her fırsatta arşivlerin ısrarla kapatılmasını tavsiye ederdi. Şimdi neden böyle bir görüş bildirdin gerçekten ilgimi çekti.

Originally Posted by ABDALWAHID

Benim tanıdığım Mert her fırsatta arşivlerin ısrarla kapatılmasını tavsiye ederdi. Şimdi neden böyle bir görüş bildirdin gerçekten ilgimi çekti.

Biliyormusun bende ilk okudugumda nasil yani dedim

herhalde bir yanlis anlama var

Originally Posted by ABDALWAHID

Benim tanıdığım Mert her fırsatta arşivlerin ısrarla kapatılmasını tavsiye ederdi. Şimdi neden böyle bir görüş bildirdin gerçekten ilgimi çekti.

O yorumun 2006 da yazılmış olduğunuda görebilirsin sanırım.

hakkatten ya bende yeni farkettim kim hortlatti bu konuyu ya