Bot trafiği, ilk bakışta yalnızca ziyaretçi sayısını artıran teknik bir ayrıntı gibi görünebilir. Ancak kontrolsüz tarayıcılar, sahte istekler, agresif güvenlik taramaları ve kötü niyetli botlar CPU, RAM, I/O ve bant genişliği tüketerek sitenin yavaşlamasına, hata vermesine veya limit aşımına neden olabilir. Özellikle paylaşımlı hosting ortamlarında bu durum gerçek kullanıcı deneyimini doğrudan etkiler.
Bot trafiğini doğru teşhis edin
Engelleme işlemine başlamadan önce trafiğin gerçekten bot kaynaklı olup olmadığını görmek gerekir. Sadece “ziyaretçi arttı” yorumuyla kural yazmak, arama motoru botlarını veya yasal servisleri yanlışlıkla engellemenize yol açabilir.
Kontrol etmeniz gereken temel göstergeler şunlardır:
- Kısa sürede aynı IP’den yüzlerce istek gelmesi
- Tekrarlayan 404, wp-login.php veya xmlrpc.php istekleri
- Normal kullanıcı davranışına uymayan saniyelik sayfa taramaları
- Garip user-agent değerleri veya boş user-agent kullanımı
- Sunucu hata kayıtlarında artan 503, 508 ya da timeout hataları
cPanel, Plesk, web sunucusu erişim logları veya güvenlik eklentileri bu verileri incelemek için yeterli başlangıç noktası sağlar. Karar verirken tek bir IP’ye değil; istek sıklığına, hedeflenen URL’lere ve user-agent tutarlılığına birlikte bakılmalıdır.
Öncelik sırasına göre engelleme yöntemleri
Bot trafiğini azaltırken amaç yalnızca engellemek değil, doğru trafiği koruyarak kaynak tüketimini düşürmektir. Bu nedenle en sert yöntemden başlamak yerine kademeli ilerlemek daha güvenlidir.
1. Güvenlik duvarı ve CDN katmanını kullanın
CDN veya uygulama güvenlik duvarı kullanıyorsanız ilk filtrelemeyi burada yapmak en verimli yaklaşımdır. Çünkü istekler web sitenize ulaşmadan durdurulur. Ülke bazlı engelleme, oran sınırlama, bot skoru ve challenge ekranları bu katmanda uygulanabilir.
Burada dikkat edilmesi gereken nokta, tüm yabancı trafiği otomatik engellememektir. Hedef kitleniz, ödeme servisleri, entegrasyonlar veya arama motoru botları farklı ülkelerden gelebilir. Kural yazmadan önce en az birkaç günlük log verisi incelenmelidir.
2. Rate limiting ile aşırı istekleri sınırlandırın
Rate limiting, belirli bir IP’nin kısa sürede yapabileceği istek sayısını sınırlar. Bu yöntem özellikle login denemeleri, arama sayfası istismarı, filtreleme URL’leri ve API endpoint’leri için etkilidir.
Örneğin 10 saniyede 30’dan fazla istek atan IP’leri geçici olarak yavaşlatmak, gerçek kullanıcıları fazla etkilemeden otomatik taramaları azaltabilir. Çok düşük limitler belirlemek ise yoğun kampanya dönemlerinde gerçek ziyaretçileri de engelleyebilir.
3. Robots.txt ile iyi niyetli botlara sınır çizin
robots.txt kötü niyetli botları durdurmaz; ancak arama motorları ve kurallara uyan tarayıcılar için yol göstericidir. Gereksiz filtre, arama sonucu, etiket arşivi veya parametreli sayfaların taranmasını sınırlandırmak, tarama yükünü azaltabilir.
Bu dosyada kritik sayfaları yanlışlıkla kapatmak indeksleme sorunlarına neden olabilir. Bu yüzden ürün, hizmet, kategori ve önemli içerik sayfaları engellenmemelidir.
WordPress sitelerde özel dikkat gerektiren alanlar
WordPress altyapısında bazı dosyalar ve uç noktalar botlar tarafından sık hedeflenir. Bunları kontrol altına almak hosting kaynak kullanımını belirgin şekilde düşürebilir.
wp-login.php ve xmlrpc.php trafiğini izole edin
Yönetim girişi yoğun deneme alıyorsa giriş URL’sini değiştirmek, CAPTCHA eklemek, IP bazlı izin vermek veya başarısız denemelerde geçici kilit uygulamak etkili olur. xmlrpc.php kullanılmıyorsa devre dışı bırakılması çoğu sitede güvenli bir tercihtir.
Ancak mobil uygulama, Jetpack veya harici yayın araçları xmlrpc.php kullanıyorsa kapatma işlemi entegrasyonları bozabilir. Önce hangi servislerin bu dosyaya eriştiğini kontrol edin.
Arama, filtre ve parametreli URL’leri sınırlayın
Botlar site içi arama sonuçlarını, filtreli kategori URL’lerini ve sonsuz parametre kombinasyonlarını tarayarak ciddi yük oluşturabilir. Bu alanlarda noindex, canonical, robots.txt yönlendirmesi ve oran sınırlama birlikte düşünülmelidir.
E-ticaret sitelerinde filtreleri tamamen kapatmak satış deneyimini bozabilir. Bunun yerine yalnızca SEO değeri olmayan kombinasyonları sınırlandırmak daha doğru olur.
.htaccess ile temel engelleme yapılabilir mi?
Apache kullanan yapılarda .htaccess üzerinden belirli user-agent veya IP blokları engellenebilir. Bu yöntem hızlıdır; fakat hatalı yazılan kurallar sitenin erişilemez hale gelmesine neden olabilir. Değişiklikten önce dosyanın yedeğini almak gerekir.
# Şüpheli user-agent engelleme örneği
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (badbot|scraper|crawler-test) [NC]
RewriteRule .* - [F,L]
# Tekil IP engelleme örneği
<RequireAll>
Require all granted
Require not ip 192.0.2.10
</RequireAll>Bu örnek yalnızca temel mantığı gösterir. Geniş IP bloklarını veya genel kelimeleri engellemek, yasal botları da etkileyebilir. User-agent kolayca taklit edilebildiği için bu yöntem tek başına yeterli güvenlik katmanı olarak görülmemelidir.
Ne zaman sunucu tarafında destek alınmalı?
Bot trafiği sürekli artıyor, CPU kullanımı aniden yükseliyor veya site sık sık 503 hatası veriyorsa sağlayıcınızdan log analizi istemek gerekir. Paylaşımlı ortamda erişemediğiniz güvenlik duvarı, ModSecurity, Nginx rate limit veya IP reputation ayarları bulunabilir.
Kaynak tüketimi yalnızca botlardan değil; yavaş sorgular, eksik cache, ağır eklentiler veya optimize edilmemiş görsellerden de kaynaklanabilir. Bu nedenle “paket yükseltmek” her zaman ilk çözüm olmamalıdır. Önce zararlı trafik ayrıştırılmalı, cache katmanı kontrol edilmeli ve gereksiz istekler azaltılmalıdır.
Uygulanabilir kontrol listesi
- Son 24-72 saatlik erişim loglarını IP, URL ve user-agent bazında inceleyin.
- wp-login.php, xmlrpc.php, arama ve filtre sayfalarına gelen yoğunluğu ölçün.
- CDN veya güvenlik duvarında oran sınırlama kuralları tanımlayın.
- İyi niyetli botları koruyarak kötü niyetli user-agent ve IP’leri kademeli engelleyin.
- robots.txt ve noindex ayarlarını indeksleme kaybı yaratmayacak şekilde düzenleyin.
- Değişikliklerden sonra organik trafik, hata kayıtları ve kaynak kullanımını birlikte takip edin.
Doğru yapılandırılmış bot yönetimi, yalnızca saldırı trafiğini azaltmaz; gerçek kullanıcıların daha hızlı yanıt almasını, arama motorlarının önemli sayfaları daha verimli taramasını ve sunucu kaynaklarının öngörülebilir kalmasını sağlar.