Load sorunu yaşayanlar için genel tartışma konusu

vBSEO mod_rewrite kullandığı için bazı kullanıcılar özellikle load sorunundan şikayet etmekteler ancak bu load sorununun kaynaklanma sebebi büyük çoğunlukta yetersiz server kaynakları , optimize edilmemiş server , hatalı hardware kullanımı , yanlış konfigurasyon seçimi gibi noktalar yüzünden ortaya çıkmaktadır.

Bu sorunu yaşayanların ağırlıkta Türkiye'de server satın almış olması malesef ülkemizde hosting'in ne kadar bahtsız bir durumda olduğunun kanıtıdır. ülkemizde satılan hosting planları , dedicated makinelerin hiçbirisi optimize edilmiş değildir. Kullanılan hardwareler ağırlıklı olarak şirket sahibine ucuz maliyet olsun diye hatalı seçilmiş durumda oluyor. Şirketlerin hizmet sunması ghereken kişileri server yönetimi konusunda bihaber kişilerden oluşmakta ve sadece google da buldukları 2-3 makale veya ahbaplarından gelen tavsiyeler üzerine hareket etmekte olan kişiler tarafından idare edilmektedir. Elbetteki bu birçok hosting şirketi sahibini , yöneticisini kızdıracak olsada malesef ağırlıktaki gerçek budur.

Load sorunu yaşayanlar lütfen bu konu altına şunları yazsınlar ki ben ve diğer kullanıcılar yardımcı olmaya çalışabilelim.

Server Konfigurasyonunuz *Cevapları lütfen detaylı yazınız

• Işlemci
• Ram miktarı
• HDD

WebServer Konfigurasyonunuz

• Apache
• Php
• Mysql
• Php Accelerator
• Datastore Accelerator

vBulletin Konfigurasyonunuz

• 15 dakika cookie timeout ile online kişi sayınız
• Kullandığınız modifikasyonlar
• Error_logunuzda var olan ve load sorunu yaşadığınızda karşılaştığınız hatalar

Ortalama bir foruma sahip bir kişinin kullanmasını tavsiye edeceğim Webserver konfigurasyonları şu şekilde olur

• Apache 2.2.6 - mod_gzip deaktif ve yerine çok daha az load yaratan mod_deflate aktif. Tavsiye edeceğim keepalive ayarları
  
  Code:

    KeepAlive On
  MaxKeepAliveRequests 1000
  KeepAliveTimeout 2
  MinSpareServers 10
  MaxSpareServers 15
  StartServers 10
  MaxClients 180
  MaxRequestsPerChild 1000

• Php 5.2.6 php'nin son sürümü hem çok fazla optimasyon içermekte , hem eski sürümlerden çok daha hızlı çalışmaktadır.
• Mysql 5.0.46
• xCache - şu anda var olan php cache scriptleri içerisinde perfonmans açısından en başarılı olanıdır. Tavsiye edeceğim xcache ayarları
  
  Code:

  [xcache]
  xcache.size = 130M
  xcache.count = 2
  xcache.slots = 2K
   
  xcache.mmap_path = "/dev/zero"
   
  xcache.cacher = On
  xcache.optimizer = Off
  xcache.stat = On
   
  xcache.readonly_protection = Off

• Memcached - querylerinizi cache ederek daha az query çalıştıurmanızı ve bu şekilde mysql üzerine daha az yük binmesini sağlar

Şahsen ben apache yerine lighttpd kullanmaktayım ve apache ye göre perfonmans açısından çok daha iyi verim alıyorum. Ancak ben kullandığım lighttpd , php , mysql gibi sürümlerin rpm'lerini kendim oluşturuyorum yani hepsini kendi serverıma özel compile etmekteyim. Gerek live gerek test serverlarımda yaptığım testler sonucunda çok açık ifade edebilirim ki vbseo'nun server üzerine bindirdiği yük çok azdır. Çoğu zaman bu yük anımsanmayacak derecede az ölçüde kalıyor . Kaldı ki gerçekten çok büyük forumlar anlık 5-6 bin kişinin online olduğu siteler vBSEO kullanmaktadır. Bu da load sorununun tamamen server bazında yukarıda saydığım sebeplerden olduğunu ortaya koymaktadır.

Lighttpd kullanmak isteyenler aşağıdaki adresi takip ederek hazırlamış olduğum kurulum işlemlerini uygulayabilirler.
CentOS 5 Lighttpd - Php Kurulumu - Ayyas

Faydalı bir makale olmuş Mert, eline sağlık.

Konu başlığı "Load sorunu" yerine "Aşırı yüklenme sorunu" olarak değiştirilmeli bence.

Burada kısıtlı bir konfigurasyon için anlatım yapılmış. Çok faydalı olmasına rağmen, pek çok kullanıcı bu bilgilerden faydalanamayabilir. Bu nedenle kendi konfigürasyonunu bildirip yardım isteyenlere bu başlık altından hep birlikte yardım edelim derim.

Zaten ondan dolayı açtım bu konuyu. Ana fikir olarak yüklenme sorunu yaşayanların hiçbirisi malesef detaylı bilgi vermiyor. Detaylı bilgi alabilmek için gerekli olan her türlü bilgi örneğini sundum ki ona göre cevap ve tavsiye verebilelim

Bilgiler için teşekkürler. Vbseonun son versiyonunun zendlenmiş olmaması birnebzede olsa serveri rahatlattı

apacheyi dediğiniz gibi uyarladım cpanel lisansım bittiği için bakamadım ama farkı yazıcam buraya

Originally Posted by HaYLaZ

Bilgiler için teşekkürler. Vbseonun son versiyonunun zendlenmiş olmaması birnebzede olsa serveri rahatlattı

aynen bizim içinde geçerli bu zend yada ioncube lu her iki sürümde de kullanamamış 1 sene beklemiştik bu yeni sürüm çok iyi oldu

Merhabalar,

Normalde 2 adet webserver 1 adet mysql server'da yayin yapan tek bir sitem'in 2 web serverimde kullandiklari yük ortalama her birinde %1-2 arasinda değişmekteydi. Mysql serverda ise bu deger %1 ' in üzerine çikmamaktaydi. Suan Vbseo'yu aktif yaptiğimda sunucularimdaki yükler

Webserver1

quadcore q6600
4 gb ram
80 Gb 7200 rpm Disk

Apache 1.3.39
Php 4.4.7
Herhangi bir php hizlandirici yazilim bulunmamakta.

Load ortalamalari : load average: 8.01, 6.80, 4.62

httpd.conf içeriği;

Code:

Timeout 150
KeepAlive On
MaxKeepAliveRequests 100
KeepAliveTimeout 4
MinSpareServers 10
MaxSpareServers 15
StartServers 10
MaxClients 280
MaxRequestsPerChild 1000

Webserver2

Core2Duo e6600 2.4
4 gb ddr2
80 gb 7200 rpm Disk

Apache 1.3.39
Php 4.4.7
Herhangi bir php hizlandiri yazilim bulunmamakta.


Load avarage: load average: 19.55, 16.33, 13.30

httpd.conf içeriği;

Code:

Timeout 150
KeepAlive On
MaxKeepAliveRequests 100
KeepAliveTimeout 4
MinSpareServers 10
MaxSpareServers 15
StartServers 10
MaxClients 200
MaxRequestsPerChild 1000

Mysql server

Quadcore q6600 2.4
4 gb ddr2
150 gb Raptor 10bin rpm Sata2 disk

Mysql versiyon : 4.1.22

Load avarage: load average: 19.29, 9.75, 6.30

my.cnf ayarları;

Code:

[mysqld]
skip-name-resolve
safe-show-database
#old_passwords
back_log = 75
skip-innodb
max_connections = 800
key_buffer = 256M
myisam_sort_buffer_size = 64M
join_buffer_size = 2M
read_buffer_size = 2M
sort_buffer_size = 4M
table_cache = 2000
thread_cache_size = 384
wait_timeout = 50
connect_timeout = 10
tmp_table_size = 128M
max_heap_table_size = 128M
max_allowed_packet = 64M
max_connect_errors = 10
thread_concurrency = 4
read_rnd_buffer_size = 524288
bulk_insert_buffer_size = 8M
query_cache_limit = 7M
query_cache_size = 128M
query_cache_type = 1
query_prealloc_size = 131072
query_alloc_block_size = 65536
default-storage-engine = MyISAM
 
[mysqld_safe]
nice = -10
open_files_limit = 8192
 
[mysqldump]
quick
max_allowed_packet = 16M
 
[myisamchk]
key_buffer = 64M
sort_buffer = 64M
read_buffer = 16M
write_buffer = 16M
 
[mysqlhotcopy]
interactive-timeout

15 dk cockie değeri ile online kullanici sayisi 2500+
Apache loglarında aldığım error lar

Code:

[Tue Dec  4 14:44:49 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!
[Tue Dec  4 14:45:11 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!
[Tue Dec  4 14:45:11 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!
[Tue Dec  4 14:45:12 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!
[Tue Dec  4 14:46:01 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!
[Tue Dec  4 14:46:01 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!
[Tue Dec  4 14:46:01 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!
[Tue Dec  4 14:46:01 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!
[Tue Dec  4 14:46:01 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!
[Tue Dec  4 14:46:01 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!
[Tue Dec  4 14:46:01 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!
[Tue Dec  4 14:46:01 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!
[Tue Dec  4 14:46:01 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!
[Tue Dec  4 14:46:02 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!
[Tue Dec  4 14:46:02 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!
[Tue Dec  4 14:46:02 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!
[Tue Dec  4 14:46:02 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!
[Tue Dec  4 14:46:02 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!
[Tue Dec  4 14:46:02 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!
[Tue Dec  4 14:46:02 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!
[Tue Dec  4 14:46:02 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!
[Tue Dec  4 14:46:05 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!
[Tue Dec  4 14:46:42 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!
[Tue Dec  4 14:46:42 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!
[Tue Dec  4 14:46:42 2007] [notice] cannot use a full URL in a 401 ErrorDocument directive --- ignoring!

yukarıdaki error loglar bu sekılde uzayıp gıdıyor. Ikı web server ıcınde aynı error loglar mevcut.

Durum cidden içler acisi 5-6 aydir %2 load gormezken suan her bir makina nerdeyse %15 load ortalamasinda. Gerçi belirtmek isterim Vbseo da henuz herhangi bir değişiklik yapmadım. Default ayarlarda suan.

Umarım vbseo seruvenım bukadar hızlı son bulmaz hevesım kursagımda kaldı aşarız inşallah bu load sorunlarını.

Yardımınız için şimdiden teşekkürler

Saygılar.

Selam Bora ,

Php'leri 5.2.x versiyonuna , Mysql'ide 5.0.46 ya upgrade etmeni tavsiye ederim. Ayrıca Apache'yi 2.2.26 ya upgrade et. Apache ile birlikte mod_deflate kurmanı tavsiye ederim. Bunun yanısıra Php hızlandırıcı olarak xcache , mysql içinde memcached kurarsan inanılmaz hız farkedersin.

Originally Posted by Mert Gökçeimam

Selam Bora ,

Php'leri 5.2.x versiyonuna , Mysql'ide 5.0.46 ya upgrade etmeni tavsiye ederim. Ayrıca Apache'yi 2.2.26 ya upgrade et. Apache ile birlikte mod_deflate kurmanı tavsiye ederim. Bunun yanısıra Php hızlandırıcı olarak xcache , mysql içinde memcached kurarsan inanılmaz hız farkedersin.

Mert bey,

tesekkurler öneriler için, vbulletin'dan eva ve diğer teknik departmandaki arkadaşlar en stabil optimizasyon için kullanılan servis yada yazılımların suan kullanılan mevcut en son surumlere upgrade edilmesini öneriyolar genelde. Yani Apache 1.3.x kullanıyorsanız 1.3.39 php 4.4.x kullanıyorsanız 4.4.7 vs.. mysql ın suanki mevcut optımızasyon ıle performansı son derece tatmın edıcıydı benım ıcın vbseo dan once %1 load dan yukarısını gormedım hıc. mysql'ı 5 surumune upgrade ettıkten sonra tekrar 4'e donme sansım yok bıldıgım kadarı ıle mysql 5 te yapısını degıstırıyor komple.

Sızın bu onerılerınız daha once bu tarz load balancıng yapılan ve yakın konfigurasyonlarda barındırılan sıtelerde denenıp bu performans farkı onaylandımı acaba? Yapılan degısıklıklerden sonra tekrar downgrade etmem tum servıslerı baya iş cıkarıcaktır cunku. Kaldıkı mysql ım zaten local de calısmakta dc ye gıdıp onu kucagıma alıp ugrasmam gerekıcek bıraz

Bu upgrade ve extra yazılımlardan sonra vbseo + vbulletin ıkılsınde gordugum loadlardan kesın olarak yırtarmıyım paçayı öleyse başa gelen çekilir diyip giyinip dc nin yollarını aşındırıcam yok benimki bir öneri bora yani performans olarak gozle gorulur bı farkda yasabılırsın aynı durumla bu upgrade lerden sonra karsılasabılırsınde dıyorsanız hıc ugrasmıyım bos yere

İlginiz için tekrar teşekkürler mert bey

Saygılar.

Herşeyden önce yaklaşık 4 ay içerisinde Php 4.x serisinin desteği bitiyor. Yani php bişr daha 4.x serilerine yama veya yeni versiyon ayınlamayacak. Kaldı ki 5.1.6 serisi sonrasındaki versiyonlar birçok yenilik ve hız opsiyonları içermektedir. Php 4.x serisi 1970 model bir arabayken 5.2.x serileri o km arabalardır ve dediğim gibi şiddetle upgrade etmenizi tavsiye ederim.

Aynı şey mysql içinde geçerli. Hele ki 5.0.46 versiyonuyla gelen yenilik ve bug fixler inanılmayacak düzeyde ve sadece bu ikisini upgrade etmeniz bile sitenizin hızlanmasına yol açacak olgulardır.

Apache'de farklı değil. mod_deflate , mod_gzip e göre çok daha iyi perfonmans gösteriyor.

Bu dediklerimi yaparsanız load oranlarınız büyük ölçüde düşecektir.

Şöyle bir örnek vereyim. Ben kendim birçok farklı sistem testleri yaparım. Şimdi kullandığım konfigurasyon öncesinde standart php 4.x mysql 4.x ve apache 1.3.x kullandım. Load oranlarım 4 civarlarındaydı. Daha sonra bahsettiğim gibi değişiklikleri yapınca load oranların 0.03 civarlarında geziyor. Gerçi ben şahsım olarak apache'den nefret ettiğim için lighttpd kullanıyorum Ama 2.2.6 versiyonu o kadar da kötü değil Apache'nin.

Originally Posted by Mert Gökçeimam

Herşeyden önce yaklaşık 4 ay içerisinde Php 4.x serisinin desteği bitiyor. Yani php bişr daha 4.x serilerine yama veya yeni versiyon ayınlamayacak. Kaldı ki 5.1.6 serisi sonrasındaki versiyonlar birçok yenilik ve hız opsiyonları içermektedir. Php 4.x serisi 1970 model bir arabayken 5.2.x serileri o km arabalardır ve dediğim gibi şiddetle upgrade etmenizi tavsiye ederim.

Aynı şey mysql içinde geçerli. Hele ki 5.0.46 versiyonuyla gelen yenilik ve bug fixler inanılmayacak düzeyde ve sadece bu ikisini upgrade etmeniz bile sitenizin hızlanmasına yol açacak olgulardır.

Apache'de farklı değil. mod_deflate , mod_gzip e göre çok daha iyi perfonmans gösteriyor.

Bu dediklerimi yaparsanız load oranlarınız büyük ölçüde düşecektir.

Şöyle bir örnek vereyim. Ben kendim birçok farklı sistem testleri yaparım. Şimdi kullandığım konfigurasyon öncesinde standart php 4.x mysql 4.x ve apache 1.3.x kullandım. Load oranlarım 4 civarlarındaydı. Daha sonra bahsettiğim gibi değişiklikleri yapınca load oranların 0.03 civarlarında geziyor. Gerçi ben şahsım olarak apache'den nefret ettiğim için lighttpd kullanıyorum Ama 2.2.6 versiyonu o kadar da kötü değil Apache'nin.

Giyinmeye başladım bile mert bey tesekkurler yorumlarınız için ben ufak ufak dc ye doğru yol alıyım.

Saygılar.

Arkadaşlar MySQL optimizasyonu ile ilgili olarak forumumuzda da faydalı bilgiler bulabilirsiniz.

MySQL Veritabanı SQL - Webmaster Forumu
MySQL CPU Kullanımı my.cnf optimizasyonu - Webmaster Forumu
tuning-primer.sh mysql tuning scripti - Webmaster Forumu

Forumumuza üye değilseniz bana PM atabilirsiniz.

Mysql optimasyonunu herhangi bir script yaparak kullanan kişilerin hiçbirisine server administrator demem. Kusura bakma ancak ben herşeyi kendim yapmayı tercih ederim. Buna rpm'leri bile oluşturmak dahil.

Originally Posted by Mert Gökçeimam

Mysql optimasyonunu herhangi bir script yaparak kullanan kişilerin hiçbirisine server administrator demem. Kusura bakma ancak ben herşeyi kendim yapmayı tercih ederim. Buna rpm'leri bile oluşturmak dahil.

Senin için sevindim, ama herkes bu kadar bilmiyor.

ssh de işlem yapmayı bilmeyen webmasterlarımız var.

Pek çok kişi her işi için kontrol paneli kullanıyor.

Biz elimizden geldiğince herkese yardımcı olmaya çalışıyoruz.

Originally Posted by Mert Gökçeimam

Mysql optimasyonunu herhangi bir script yaparak kullanan kişilerin hiçbirisine server administrator demem. Kusura bakma ancak ben herşeyi kendim yapmayı tercih ederim. Buna rpm'leri bile oluşturmak dahil.

Mert bey,

Mevcut 2 web server'ın apache lerini 2.2.6 phpleri ise 5.2.5 versiyonuna upgrade ettim, ıkı server'a Xcache 1.2.0 kurdum ve xcache ayarlarını ilk mesajınızda belirttiğiniz değerlere getirdim. Yazınızda bahsettiğiniz Memcached olayını kurmadım bahsettiğiniz apache'nin kendi içerisindeki modul olan memcache midir? ( bknz. mod_mem_cache - Apache HTTP Server ) yoksa farklı bir yazılım olan memcached: download mamcached midir? muallakta kaldım.