Installation des Sitemap Generator auf einem verteilten System

Frage:
Kennt jemand eine gute Möglichkeit, um den Sitemap Generator auf einem verteilten System zu installieren ?

Info :
Unser Web-Auftritt ist auf sechs Webservern verteilt ein load balancer steuert den Zugriff

Problem:
A:
Wenn man den Sitemap Generator auf allen Webserver Servern installiert,dann gibt es da zwei Probleme:

1.) Die Generierung der Sitemap kann von einem oder mehreren Servern angestoßen werden. Man hat keine Kontrolle welche Server die Sitemap zuerst oder zuletzt generieren.

2.) Email Notifikation von google und yahoo. Auch dieser Prozess wird dann von allen Servern angestoßen, dann hat man am Ende google X-mal benachrichtigt. (und das kann nicht wirklich gut sein)

B:
Wenn mann den Sitemap Generator nur auf einem Server installiert, wie verteilt man dann die Sitemap auf die restlichen Server?

Denn dann gibt es wieder zwei Probleme:
1.) Wie stellt man sicher das die Sitemap überhaupt generiert wird. Da es ja eher dem Zufall überlassen ist das die Sitemap überhaupt generiert wird.

2.) Wie verteilt man die Sitemap auf die anderen Server, für den Fall, dass man sie generiert bekommen hat?

Unser Web-Auftritt ist auf sechs Webservern verteilt ein load balancer steuert den Zugriff

wenn es hier keine replikation der verzeichnisse gibt, sprich jede dateiänderung per hand auf allen servern gemacht werden muss dann solltet ihr das system mal überdenken

1.) Wie stellt man sicher das die Sitemap überhaupt generiert wird

auf dem server wo sie per cron angestossen wird da läuft sie auch!

also ich würde in so einem fall einen server zum master machen und mindestens die webverzeichnisse replizieren. somit müssen dateiänderungen auch immer nur an einem server gemacht werden

mfg

Hallo Herr Wenneckers,

ich werde unser Entwickler-Team fragen und mich bei Ihnen melden.

Ich muss Ihnen auch noch etwas zuschicken (hoffe am WE fertig zu werden )

Originally Posted by fsb-holger

auf dem server wo sie per cron angestossen wird da läuft sie auch!

Der Job wird Standardmässig nicht via cron job angestoßen, sondern über den vbulletin Scheduler. Ich fände einen cronjob auch super :-)

Originally Posted by fsb-holger

wenn es hier keine replikation der verzeichnisse gibt, sprich jede dateiänderung per hand auf allen servern gemacht werden muss dann solltet ihr das system mal überdenken

also ich würde in so einem fall einen server zum master machen und mindestens die webverzeichnisse replizieren. somit müssen dateiänderungen auch immer nur an einem server gemacht werden

mfg

Natürlich haben wir eine Replikation die sehr gut funktioniert. Eine Replikation setzt aber auch voraus das es einen Zentralen Server gibt der die Daten verteilt. Wenn aber jeder Server für sich eine Sitemap erstellt ist der Datenbestand nicht mehr sauber.

Hallo,

Problemlösung wird heute Nachmittag gepostet.

Hallo,

wie versprochen hier die Problemlösung.

Laut unserem Entwickler sollte es möglich sein, dass Sie einen Cronjob auf einem einzelnen Server laufen lassen, der dann die Sitemaps generiert und entsprechend synchronisiert.

Code:

php /path/to/forum/vbseo_sitemap/vbseo_sitemap.php
scp /path/to/forum/vbseo_sitemap/data/*.gz user1@host1:directory/
scp /path/to/forum/vbseo_sitemap/data/*.gz user2@host2:directory/
..

Danke für den Lösungsvorschlag!

Das war auch unsere erste Überlegung wir haben dann aber eine andere Variante gewählt:

• den sitemap generator auf einem Server installieren
• dann sofort im vbulletin den Scheduler-Task für die Sitemap Generierung deaktivieren.
• Die Auto Notifikation von google und yahoo deaktivieren
• Dann die Installation des Sitemapp Generator über den master Server verteilen.
• Dann mussten wir 3 Dateien patchen damit das ganze geht und zwar : Überall dort wo in der Sitemap Datei ein Zeitstempel gesetzt worden ist setzt man die Sekunden und Minuten auf 0 fest ein. Damit sieht die Sitemap für google immer gleich aus.
• Die gepatchten Dateien auf den webservern verteilen.
• Dann noch einen cronjob einrichten damit die Sitemap auf den servern generiert wird.

Unsere Lösung bewirkt zwar das auf allen Webserven eine Sitemap generiert wird (also x mal) aber da die Sitemap nur einmal am Tag generiert werden muss ist das Ok.

P.S.
Uns ist aufgefallen das der Sitemapgenerator einen Bug iin Bezug auf das gz'ippen von google Sitemaps hat. Wenn der Server kein gzip ausführen darf werden die Klartext Sitemaps trotzdem mit der Endung xml.gz abgespeichert. Das bei der Implementierung anscheinend übersehen. Das Problem lässt sich aber beheben wenn man an den enstprechenden Stellen die Funktion "vbseo_ext_gz()" aufruft.
P.P.S. Cronjobs sollte man nicht um 02:00 starten (Winterzeit Umstellung :-)