Robots.txt Oluşturucu

Genel Ayarlar

Site URL

Varsayılan Erişim

Tümüne İzin Ver

Tümünü Engelle

Arama Motorları

Googlebot

Bingbot

Yandexbot

Baiduspider

Özel Kurallar

Sitemap

Sitemap URL

Özel Ayarlar

Crawl-Delay (saniye)

Botlar arasındaki bekleme süresi

Sayfaların önbelleğe alınmasını engelle

Görsellerin indekslenmesini engelle