✕
✕
✕
✕

Yapay Zeka botlarının sitenizi otomatik taramasını .htaccess ile nasıl engellersiniz?

Bazı yapay zeka botları (örneğin ChatGPT Browse, GPTBot, CCBot, ClaudeBot gibi) siteleri otomatik tarayarak içerik toplar. Eğer bu içeriklerin izinsiz kullanılmasını istemiyorsan, .htaccess dosyan üzerinden bu botları da engelleyebilirsin.

.htaccess dosyasına zararlı botlar + yapay zeka botları engelini birlikte içeren, eksiksiz ve güncellenmiş  bir örnek vermek gerekirse:

Tümleşik .htaccess (Kötü Bot + AI Bot + 404 + WordPress Uyumlu)

<IfModule mod_rewrite.c>
RewriteEngine On

# Kötü niyetli User-Agent'lar
RewriteCond %{HTTP_USER_AGENT} ^$ [OR]
RewriteCond %{HTTP_USER_AGENT} (crawler|harvest|libwww|wget|python|scan|nmap|sqlmap|curl|masscan|badbot|scrapy|httpclient|httplib|perl) [NC]
RewriteRule ^.* - [F,L]

# Yapay zeka botları (ChatGPT, GPTBot, Claude, CCBot, AmazonBot, vb.)
RewriteCond %{HTTP_USER_AGENT} (ChatGPT|GPTBot|CCBot|ClaudeBot|Anthropic|ai-crawler|Amazonbot|Bytespider|BingPreview|AI|Seekr|Sonic) [NC]
RewriteRule ^.* - [F,L]

# Bilinmeyen .php dosyalarına erişim = 404
RewriteCond %{THE_REQUEST} \.php [NC]
RewriteCond %{REQUEST_URI} !^/index\.php$ [NC]
RewriteCond %{REQUEST_URI} !^/wp-login\.php$ [NC]
RewriteCond %{REQUEST_URI} !^/wp-cron\.php$ [NC]
RewriteCond %{REQUEST_URI} !^/xmlrpc\.php$ [NC]
RewriteCond %{REQUEST_URI} !^/wp-admin [NC]
RewriteRule .* - [R=404,L]

# Yetkilendirme başlıkları için
RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization}]

# WordPress standart yönlendirme kuralları
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

Ne Engelleniyor?

Bot / Araç Engelleniyor mu?
ChatGPT Browse ✅ Evet
GPTBot ✅ Evet
Claude / Anthropic ✅ Evet
CCBot ✅ Evet
Scrapy / Curl ✅ Evet
SQLMap, Masscan ✅ Evet
Amazonbot ✅ Evet
BingPreview ✅ Evet

İpuçları

  • Gerçek arama motorlarını (Googlebot, Bingbot, YandexBot, vs.) engellemediğimizden eminiz. Bunları özellikle dışarıda bıraktım.
  • Listeyi dilediğin zaman genişletebilirsin. Sadece User-Agent başlığını bildiğin botu belirtmen yeterlidir.

    Bir yanıt yazın

    ✕