Görsel: Pixabay · Pixabay Lisansı
İki dosya, iki farklı görev
Robots dosyası tarayıcılara nereye girmemelerini söyler. Site haritası ise nereye girmelerini istediğinizi listeler.
Bu ikisi karıştırıldığında en yaygın hata ortaya çıkar: bir sayfayı gizlemek için robots ile engellemek.
Robots engellemesi indekslemeyi durdurmaz
Robots ile engellenen bir sayfa taranmaz, ancak başka sitelerden bağlantı alıyorsa yine de dizine girebilir. Üstelik içeriği okunamadığı için arama sonucunda içerikisiz görünür.
Bir sayfanın dizine girmemesini istiyorsanız, sayfayı taranabilir bırakıp dizine eklenmemesini belirten meta etiketi kullanın. Tarayıcının bu etiketi görebilmesi için sayfaya erişebilmesi gerekir.
En tehlikeli hata
Geliştirme sırasında siteyi tamamen kapatan bir robots kuralı eklenir ve yayına geçerken kaldırılmayı unutulur.
Sonuç, sitenin aramadan tamamen kaybolmasıdır ve fark edilmesi haftalar alabilir. Yayın kontrol listesinin ilk maddesi bu dosya olmalıdır.
Site haritası ne içermeli?
Yalnız dizine girmesini istediğiniz, başarılı yanıt veren adresler. Yönlendirilen, silinmiş veya dizine eklenmemesi işaretlenmiş adresler listeye girmemelidir.
Adresler kanonik biçimleriyle yazılmalıdır. Site haritasındaki adres ile sayfadaki kanonik etiket farklıysa çelişkili sinyal verirsiniz.
Son değişiklik tarihi gerçekten doğru olmalıdır. Her gün bütün sayfaları güncel göstermek güven kaybettirir.
Büyük siteler
Elli binden fazla adres varsa harita bölünmeli ve bir dizin dosyasıyla birleştirilmelidir.
Bölümleri içerik türüne göre ayırmak faydalıdır: ürünler, yazılar, kategoriler. Böylece hangi bölümün indekslenmediğini raporlarda net görürsünüz.
Bildirim
Site haritasının adresi robots dosyasının sonunda belirtilmelidir. Ayrıca Search Console'a gönderilmesi taramayı hızlandırır.
Yapay zekâ tarayıcıları
Robots dosyası yapay zekâ tarayıcıları için de geçerlidir. İçeriğinizin dil modelleri tarafından kullanılmasını istiyor ya da istemiyorsanız, ilgili tarayıcılar için ayrı kurallar tanımlayabilirsiniz.
Bu karar bilinçli verilmelidir; engellemek içeriğinizin yapay zekâ yanıtlarında kaynak gösterilmesini de önler.
Site haritasının bakımı
Site haritası elle güncellenen bir dosya olmamalıdır. İçeriğin kendisinden otomatik üretilmelidir.
Elle yazılan haritalar kaçınılmaz olarak eskir ve silinmiş sayfaları listelemeye devam eder.
Otomatik üretim sayesinde yeni bir yazı yayınlandığında harita kendiliğinden güncellenir ve arama motoru daha hızlı fark eder.
Özel durumlar
Görseller için ayrı bir site haritası bölümü eklemek, görsel aramasından trafik alan sitelerde faydalıdır.
Çok dilli sitelerde her dilin adresleri haritada yer almalı ve dil etiketleriyle ilişkilendirilmelidir.
Haber niteliğindeki içerikler için ayrı kurallar geçerlidir; bu tür sitelerde farklı bir harita biçimi kullanılır.
Parametreli adresleri haritaya koymayın; kanonik biçim neyse yalnız o listelenmelidir.
Sık sorulanlar
Robots dosyasıyla engellenen sayfa Google'da çıkar mı?
Çıkabilir. Başka sitelerden bağlantı alıyorsa adres dizine girebilir ancak içeriği okunamadığı için açıklamasız görünür. Dizine girmesini engellemek için sayfa meta etiketi kullanılmalıdır.
Site haritası zorunlu mu?
Zorunlu değildir ama özellikle yeni ve büyük sitelerde taramayı belirgin biçimde hızlandırır. İç bağlantıları zayıf sitelerde neredeyse şarttır.
Site haritasında kaç adres olabilir?
Tek dosyada elli bin adres ve sıkıştırılmamış boyutta bir sınır vardır. Daha büyük sitelerde harita bölünür ve bir dizin dosyasıyla birleştirilir.
