vbSEO Sitemap: Problem mit den zeitgesteuerten Aufgaben

Servus beinand,

wir haben seit kurzem vBSEO + vbSEO Sitemap im Einsatz.

Per zeitgesteuerte Aufgaben sollte vbSEO Sitemap ja in der Nacht die Sitemaps aktualisieren.

Nun habe ich das Problem das wir ein sehr großes Forum (> 3.000.000 Posts) betreiben und der Sitemap Generator in der Nacht einfach abbricht. Wenn ich den dann am nächsten Tag von Hand ausführe, erzeugt er die restlichen Sitemap-Dateien jedoch mit Abzug von 16.000 URLs. Wenn ich das ganze Anschließend nochmal per Hand starte erzeugt er alle Dateien mit der korrekten Anzahl der Links und komplett ohne Fehler.

Gibt es hier eine Möglichkeit das ganze zu Debuggen um evt. einen Fehler herauszubekommen?

Oder: Gibt es eine Möglichkeit das Script nicht über die zeitgesteuerten Aufgaben, sondern per Cronjob auf dem Datenbankserver zu starten?

Schonmal vielen Dank für die Antworten.

Gruß
Robert

Hey Robert,

hast du die Erstellung von Text Sitemaps für Yahoo noch aktiviert?

Schaue das einmal in den Einstellungen nach.

Wenn ja, deaktivier es bitte.

Danach löscht du alle Sitemap Dateien und wartest eine Nacht ab (oder stößt die Aufgabe manuell an).

Funktioniert es?

Hallo Philipp,

danke für deinen Tipp. Die URL-Liste für yahoo hab ich deaktiviert.

Leider klappt es nicht, manuell funktioniert es immer, jedoch wenn er automatisch laufen soll, generiert er nur bis Sitemap 50 und wenn ich es anschließend manuell anstoße macht er den Rest bis 76.

Hast du noch einen Tipp?

Gruß
Robert

Hey Robert,

ich gehe davon aus, dass die maximale Laufzeit der Aufgabe erreicht wird.

Ein Vorschlag meinerseits wäre, eine 2. Aufgabe zu erstellen, die X Minuten später startet als die 1. Aufgabe.
So würde die Generierung fortgesetzt.

Hallo Philipp,

das Problem dabei ist, dass dann etwa 10-12.000 Einträge fehlen würden. So ist es wenn ich das dann manuell fortführe.

Kann man die Laufzeit der Aufgaben irgendwie verlängern?

Das Script braucht zwischen 9 und 10 Minuten.

Gruß
Robert

Hey Robert,

der Cron bzw. die Aufgabe sollte genau dort weiterarbeiten, wo der erste aufgehört hat?!

Hallo Philipp,

Leider scheint das nicht zu 100% zu funktionieren, denn wenn ich das Script danach nochmal durchlaufen lassen werden alle sitemaps erzeugt und dann sind es wieder 10-12.000 Links mehr.

So in etwa sieht das dann im Report aus:
Lauf 1 (manuell, alle Sitemaps): 3.000.000 URLs
Lauf 2 (automatisch bis Sitemap ~50, danach manuell): 2.990.000 URLs
Lauf 3 (manuell, alle Sitemaps): 3.002.000 URLs

Ich meine, dass ich einmal ein ähnliches Problem hatte...

Bei mir lag es daran, dass zwei Cron-Jobs versuchten, die Sitemaps zu erzeugen und sich dann gegenseitig die Daten überschrieben haben.

Guck mal im AdminCP unter "Zeitgesteuerte Aufgaben", ob da noch was rumfliegt mit den Titeln:
- "vBSEO - Create Google/Yahoo Sitemap"
- "vBSEO Sitemap Generator"
... oder irgendwas anderes, was "./vbseo_sitemap/vbseo_sitemap.php" aufruft.

Vielleicht isses das ja...

Gruß
Andreas

Hey Robert,

ich habe ein internes Ticket für die Entwickler erstellt und melde mich wieder.

Hey,

wie ich mir schon gedacht habe, bleibt uns nur die Deaktivierung von folgenden Optionen:

1. Include Showpost Urls
2. Include Old Urls
3. Solltest du ein Auto Tag Script nutzen, solltest du die Tags nicht miteinbeziehen
4. Deaktivierung von Text Sitemaps.

Danach lösche den Inhalt des data Verzeichnisses.

Funktioniert es danach problemlos?

Hallo Philipp,

vielen Dank für deine Unterstützung.

Originally Posted by Philipp Herbers

1. Include Showpost Urls

Diese Option muss leider aktiviert bleiben, da es ausdrücklich vom Forenbetreiber gewünscht wird.

Alle anderen Optionen sind deaktiviert oder werden nicht verwendet.

Es ist für mich keine Lösung, teile des verwendeten Scriptes deaktivieren zu müssen, damit das Script einwandfrei funktioniert. Ist es nicht sinnvoller die Ursache des Problems zu suchen und zu beheben statt teile der Funktionen einzuschränken?

Gruß
Robert

Noch ein Hinweis für die Entwickler/Betreiber:
vBSEO - vBulletin SEO verwendet ein ungültiges Sicherheitszertifikat.
Das Zertifikat ist am 22.02.2009 00:59 abgelaufen.
(Fehlercode: sec_error_expired_certificate)

Gruß
Robert

Hey,

danke für den Hinweis. Wir sind an der Problembehebung dran.

Ok, lass uns folgendes ausprobieren bzgl. der Sitemap:

Setze folgende Funktion auf den Wert 300

Delay Execution After Each Sitemap File
Use this option to let sitemap generator "sleep" for specified number of seconds after each sitemap is generated. Use it if you experience forums slowdown during sitemap generation.

Kannst du auf die MySQL Einstellungen Einfluss nehmen? Wenn ja, könntest du das MySQL Wait Timeout erhöhen.

Hallo Philipp,

wait_timeout 28,800

Ich denke das es nicht daran liegen wird, zumal es ja bei der manuellen Ausführung funktioniert und dort die selben MySQL-Regeln gelten wir für die automatisierte Ausführung.

Gruß
Robert

Hey Robert,

den Delay hast du nun gesetzt?