Merhabalar, bu blog yazımızda robots.txt dosyası nasıl yapılandırılır ve dikkat etmemiz gereken konular hakkında bilgi paylaştık. Hemen altta ki kodları kullanarak sizde kurumsal web sitesi oluştururken bu kodları kullanarak master web tasarım kurumsal v2 scripti ile robots.txt dosyanızı yapılandırabilirsiniz.

Robots.txt Ne İşe Yarar?

Bu dosya ile sitemizi taramaya gelen arama motorlarının botlarını yönlendiririz. Link inşası yaparken özellikle SEO yapacaksanız bu çok önemlidir. Çünkü kırık linklerin engellenmesi ve botların doğru bir biçimde yönlendirilmesi SEO konusunda bir hayli önemlidir. Bu dosyalar yapılandırılırken dikkat edilmesi gereken en büyük husus kırık linklerdir. Ayrıca site haritamız ve buna benzer bir çok bilgiyi bu dosyada yönlendiririz. Bu sayede botlar sitemizi taramakla uğraşmadan direk siteye başlarken robots.txt dosyası olup olmadığını kontrol eder. Eğer bu dosyada yanlış yapılandırma yaptıysanız bile botlar yinede otomatik olarak sayfa içi link yönlendirmelerinizi de göz önünde bulundurmaktadır.

Kullanabileceğiniz tüm robots.txt kodları için ve daha çok bilgi için Google'ın yayımladığı google robots.txt ki linki ziyaret edin.

Bu makalenin uzunluğu toplam 1 kelimdir 216 kelimdir.

Anahtar Kelimeler: web tasarım, kurumsal web sitesi, robots.txt