Robots.txt Dosyası Nasıl Hazırlanır?

Robots.txt, arama motoru botlarına sitenin hangi bölümlerinin taranıp taranmayacağını bildiren basit ama önemli bir dosyadır. Bu dosya sitenin ana dizininde bulunur ve genellikle siteadi.com/robots.txt adresinden görüntülenir.

Robots.txt kullanırken amaç, arama motorlarının gereksiz veya özel sayfaları taramasını engellemektir. Örneğin admin paneli, arama sonuçları sayfaları, filtre sayfaları veya geçici klasörler botlara kapatılabilir. Ancak önemli içerik sayfalarını yanlışlıkla engellemek SEO performansını olumsuz etkileyebilir.

Basit bir robots.txt dosyası şu şekilde olabilir:

User-agent: *
Disallow: /admin/
Disallow: /private/
Sitemap: https://siteadi.com/sitemap.xml

Burada User-agent tüm botları ifade eder. Disallow satırları taranması istenmeyen alanları belirtir. Sitemap satırı ise arama motorlarına site haritasının konumunu bildirir.

Robots.txt güvenlik sistemi değildir. Bir sayfayı robots.txt ile engellemek, o sayfanın tamamen gizli kalacağı anlamına gelmez. Hassas bilgiler için mutlaka oturum kontrolü veya sunucu taraflı erişim engeli kullanılmalıdır.

Robots.txt değişikliklerinden sonra Google Search Console üzerinden test yapmak faydalıdır. Böylece önemli sayfaların yanlışlıkla engellenmediğinden emin olunabilir.