Results 1 to 7 of 7

Sitemap 2.6 - Zugriff durch robots.txt gesperrt???

This is a discussion on Sitemap 2.6 - Zugriff durch robots.txt gesperrt??? within the Deutsch forums, part of the General Discussion category; Hi, habe nach dem Update auf vB 4.05 meinen Sitemapgenerator auch mal wieder installiert. Nun erhalte ich bei Google immer ...

  1. #1
    Senior Member redlabour's Avatar
    Real Name
    André
    Join Date
    Sep 2005
    Location
    Germany, NRW
    Posts
    373
    Liked
    0 times

    Sitemap 2.6 - Zugriff durch robots.txt gesperrt???

    Hi,

    habe nach dem Update auf vB 4.05 meinen Sitemapgenerator auch mal wieder installiert.

    Nun erhalte ich bei Google immer die Fehlermeldung das der Zugriff durch meine robots.txt gesperrt sei.

    Vor dem Update auf das aktuelle vB und die neue Sitemap lief alles ohne Probleme.

    Was läuft da schief? Yahoo hat weiterhin keine Probleme.

    Habe natürlich bei Google auch sitemap_index.xml.gz und nicht (wie seit Jahren falsch im Kontrollzentrum angegeben sitemap_index.xml) verwendet.


    htaccess:

    DirectoryIndex index.php

    # Comment the following line (add '#' at the beginning)
    # to disable mod_rewrite functions.
    # Please note: you still need to disable the hack in
    # the vBSEO control panel to stop url rewrites.
    RewriteEngine On

    # Some servers require the Rewritebase directive to be
    # enabled (remove '#' at the beginning to activate)
    # Please note: when enabled, you must include the path
    # to your root vB folder (i.e. RewriteBase /forums/)
    RewriteBase /forum/

    RewriteCond %{HTTP_HOST} !^www\.politikstube\.de
    RewriteRule (.*) http://www.politikstube.de/forum/$1 [R=301,L]
    RewriteRule ^((urllist|sitemap).*¥.(xml|txt)(¥.gz)?)$ vbseo_sitemap/vbseo_getsitemap.php?sitemap=$1 [L]
    RewriteCond %{REQUEST_URI} !(admincp/|modcp/|cron|redir\.php|vbseo_sitemap)
    RewriteRule ^((archive/)?(.*\.php(/.*)?))$ vbseo.php [L,QSA]

    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteCond %{REQUEST_FILENAME} !-d
    RewriteCond %{REQUEST_FILENAME} !^(admincp|modcp|clientscript|cpstyles|images|vbse o_sitemap)/
    RewriteRule ^(.+)$ vbseo.php [L,QSA]

    ####Charset
    AddDefaultCharset Off

    ####Gzip
    <IfModule mod_rewrite.c>
    RewriteCond %{REQUEST_FILENAME} -f
    RewriteRule ^(.*)(js|css)$ redir.php?file=$1$2&type=$2 [L]
    </IfModule>

    ####ETags
    FileETag None

    ####Expires
    <IfModule mod_expires.c>
    ExpiresActive On
    ExpiresByType image/gif A2592000
    ExpiresByType image/jpeg A2592000
    ExpiresByType image/png A2592000
    ExpiresByType application/x-shockwave-flash A2592000
    ExpiresByType text/css A2592000
    ExpiresByType application/x-javascript A2592000
    </IfModule>
    robots.txt:

    # Allow Archiver
    User-agent: ia_archiver
    Allow: /

    User-agent: Slurp
    Crawl-delay: 60

    User-agent: Teoma
    Crawl-delay: 90

    User-agent: *

    Disallow: *.js
    Disallow: *.jsp
    Disallow: *.cfm
    Disallow: *.asp
    Disallow: *.aspx
    Disallow: *.cgi
    Disallow: *.jpg
    Disallow: *.png
    Disallow: *.gif
    Disallow: *.jpeg

    Disallow: /imagehosting/
    Disallow: /images/
    Disallow: /archive/
    Disallow: /includes/
    Disallow: /install/
    Disallow: /customavatars/
    Disallow: /customattachments/
    Disallow: /arcade/
    Disallow: /members/
    Disallow: /banner/
    Disallow: /ajax.php
    Disallow: /attachment.php
    Disallow: /calendar.php
    Disallow: /cron.php
    Disallow: /editpost.php
    Disallow: /global.php
    Disallow: /image.php
    Disallow: /inlinemod.php
    Disallow: /joinrequests.php
    Disallow: /login.php
    Disallow: /member.php
    Disallow: /memberlist.php
    Disallow: /misc.php
    Disallow: /moderator.php
    Disallow: /newattachment.php
    Disallow: /newreply.php
    Disallow: /newthread.php
    Disallow: /online.php
    Disallow: /poll.php
    Disallow: /postings.php
    Disallow: /printthread.php
    Disallow: /private.php
    Disallow: /profile.php
    Disallow: /register.php
    Disallow: /report.php
    Disallow: /reputation.php
    Disallow: /search.php
    Disallow: /sendmessage.php
    Disallow: /showgroups.php
    Disallow: /subscription.php
    Disallow: /threadrate.php
    Disallow: /usercp.php
    Disallow: /usernote.php
    Sitemap: http://www.politikstube.de/forum/sitemap_index.xml.gz

  2. #2
    Senior Member
    Real Name
    Fabio
    Join Date
    Jul 2008
    Location
    Germany
    Posts
    758
    Liked
    11 times
    Blog Entries
    1
    Hallo,

    welcher Zugriff ist denn genau gesperrt? Gibt es da genauere Informationen von Google?


    Gruß,
    Fabio

  3. #3
    Senior Member redlabour's Avatar
    Real Name
    André
    Join Date
    Sep 2005
    Location
    Germany, NRW
    Posts
    373
    Liked
    0 times
    Nein, selbst wenn ich die robots.txt lösche sagt Google bei erneutem übermitteln nur den einen Satz.

    Kann das evtl. mit der neuen vBSEO Version zusammenhängen? Das vBulletin eigene Sitemap-Tool bringt den gleichen Fehler in den Google Tools und funktioniert nur mit Yahoo.

  4. #4
    Senior Member redlabour's Avatar
    Real Name
    André
    Join Date
    Sep 2005
    Location
    Germany, NRW
    Posts
    373
    Liked
    0 times
    Heute hätte ich dann mal
    Code:
    XML-Sitemap ist HTML
    Bei Ihrer XML-Sitemap handelt es sich offenbar um eine HTML-Seite. Bitte verwenden Sie stattdessen ein unterstütztes Format für XML-Sitemaps.
    im Angebot. Ich bekomme langsam das ko.... !

    Schön brav: http://www.politikstube.de/forum/sitemap_index.xml.gz angegeben (wie es jetzt auch im CP steht) - das Script ist auch endlich mal durchgelaufen samt Vollzugsmeldung und Google kann nicht auf http://www.politikstube.de/forum/sitemap_index.xml.gz zugreifen. HILFE!!!!

    Manueller Zugriff auf die *.gz wirft mich auf die Forenstartseite.

    Meine aktuelle .htaccess:

    DirectoryIndex index.php

    # Comment the following line (add '#' at the beginning)
    # to disable mod_rewrite functions.
    # Please note: you still need to disable the hack in
    # the vBSEO control panel to stop url rewrites.
    RewriteEngine On

    # Some servers require the Rewritebase directive to be
    # enabled (remove '#' at the beginning to activate)
    # Please note: when enabled, you must include the path
    # to your root vB folder (i.e. RewriteBase /forums/)
    RewriteBase /forum/

    RewriteCond %{HTTP_HOST} !^www\.politikstube\.de
    RewriteRule (.*) http://www.politikstube.de/forum/$1 [R=301,L]
    RewriteCond %{REQUEST_URI} !(admincp/|modcp/|cron|redir\.php|vbseo_sitemap)
    RewriteRule ^((archive/)?(.*\.php(/.*)?))$ vbseo.php [L,QSA]

    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteCond %{REQUEST_FILENAME} !-d
    RewriteCond %{REQUEST_FILENAME} !^(admincp|modcp|clientscript|cpstyles|images|vbse o_sitemap)/
    RewriteRule ^(.+)$ vbseo.php [L,QSA]

    RewriteRule ^((urllist|sitemap).*\.(xml|txt)(\.gz)?)$ vbseo_sitemap/vbseo_getsitemap.php?sitemap=$1 [L]

    ####Charset
    AddDefaultCharset Off

    ####Gzip
    <IfModule mod_rewrite.c>
    RewriteCond %{REQUEST_FILENAME} -f
    RewriteRule ^(.*)(js|css)$ redir.php?file=$1$2&type=$2 [L]
    </IfModule>

    ####ETags
    FileETag None

    ####Expires
    <IfModule mod_expires.c>
    ExpiresActive On
    ExpiresByType image/gif A2592000
    ExpiresByType image/jpeg A2592000
    ExpiresByType image/png A2592000
    ExpiresByType application/x-shockwave-flash A2592000
    ExpiresByType text/css A2592000
    ExpiresByType application/x-javascript A2592000
    </IfModule>

  5. #5
    Senior Member redlabour's Avatar
    Real Name
    André
    Join Date
    Sep 2005
    Location
    Germany, NRW
    Posts
    373
    Liked
    0 times
    Warum versuche ich es eigentlich immer wieder mit dem deutschen Support?

    Sitemap 2.6 - sitemap_index.xml.gz redirects to Forum Home

    Problem auf englischer Seite innerhalb von 8 Minuten abschließend nach der ersten Frage gelöst.

  6. #6
    Member
    Real Name
    Michael
    Join Date
    Jan 2009
    Posts
    37
    Liked
    0 times
    Was sind das denn für Töne?

  7. #7
    Member
    Real Name
    Manuel
    Join Date
    Jul 2009
    Posts
    48
    Liked
    0 times
    Quote Originally Posted by redlabour View Post
    Warum versuche ich es eigentlich immer wieder mit dem deutschen Support?

    Sitemap 2.6 - sitemap_index.xml.gz redirects to Forum Home

    Problem auf englischer Seite innerhalb von 8 Minuten abschließend nach der ersten Frage gelöst.
    Quote Originally Posted by mediapac View Post
    Was sind das denn für Töne?
    Aber bitte es gibt leute die können kein Englisch etc. und vorallem ein bisschen warten kann man woll oder ?

    Fabio wird dir schon helfen oder andere nix über den deutschen Support

Similar Threads

  1. kein ACP Zugriff mehr
    By nanto in forum Deutsch
    Replies: 9
    Last Post: 03-18-2010, 07:40 PM
  2. Sitemap errors/robots.txt
    By Robert0712 in forum General Discussion
    Replies: 7
    Last Post: 08-21-2009, 05:30 PM
  3. robots.txt + sitemap + rss feed?
    By Julio in forum General Discussion
    Replies: 9
    Last Post: 06-02-2009, 10:00 AM
  4. Google dreht durch? (Sitemap)
    By Legende in forum Deutsch
    Replies: 1
    Last Post: 07-06-2008, 06:24 AM
  5. Showpost Links gesperrt?
    By fade in forum Deutsch
    Replies: 3
    Last Post: 12-10-2006, 09:57 AM

Posting Permissions

  • You may not post new threads
  • You may not post replies
  • You may not post attachments
  • You may not edit your posts
  •