Robots.txt dosyası, Robot Dışlama Protokolü’nün (REP) bir parçasıdır. REP ise, bir web sitesinde motorların bağlantılara ve meta robotlar gibi talimatlara karşın nasıl davranması gerektiğine dair o sayfaya, alt dizinine veya sitenin tamamına dair talimatları içerir. Peki Robots.txt Ne İşe Yarıyor?
Robot Dışlama Protokolü
Robots.txt dosyası, en sade anlatımı ile web sitelerindeki sayfalara, o sayfaların nasıl taranacağına dair talimatı, arama motorlarına açıklar. Bu amaçla oluşturulmuş olan bu metin dosyaları, belli başlı web tarama yazılımlarının, herhangi bir web sitesinin hangi kısımlarının taranabileceğini ve hangi kısımlarının taranamayacağını “allowing” veya “disallowing” talimatları ile açıklar. Örneğin bu metin dosyaları, belli bir tarayıcıya herhangi bir sayfayı engelleme talimatı verebilir. Bir başka örnekle yine Robots.txt metin dosyası, belli başlı web tarayıcılarına bazı klasörleri engelleyebilir. Veya bütün web tarayıcıları için, tarayıcıların tüm içeriklere erişiminin engellenmesini veya izin vermesini sağlayabilir.
Yönlendirme
Robots.txt dosyaları, biz herhangi bir web sitesine girdiğimiz zaman o sitedeki arama motorlarına, sayfa üzerinde nasıl tarama yapmaları gerektiğini gösterecektir. Bu yönlendirme ve talimat ile birlikte, tarayıcılar web sitesi üzerinde gereksiz tarama işlemlerinde bulunamayacaklardır. Eğer ki o site üzerinde hiçbir Robots.txt metin dosyası bulunmuyorsa; veya var olsa dahi bu metin dosyası herhangi bir kısıtlama kuralı içermiyor ise tarayıcı site üzerindeki tüm web sayfalarını tarayacaktır. Büyük ve küçük harflere duyarlı olan bu metin dosyaları, web sitenizin belli başlı bölümlerine yönelik olan tarayıcıların erişimlerini düzenlemeyi sağlar. Bu sayede web sitenizin istediğiniz herhangi bir bölümünü gizli tutabilirsiniz ve arama sonuçlarının kamuya açık olan SERP’lerde gösterilmesine engel olabilirsiniz.
Bildiğiniz gibi arama motoru botları, isimlerinden de direkt anlaşılacağı üzere asıl görev olarak web sayfalarını tarar ve onları arşivler. Ancak bizler, bazı zamanlar web sayfalarımızın önemli bilgiler içerdiğini düşündüğümüz ve erişimin engellenmesini istediğimiz kısımlarını bu arama motoru botlarına engellemek isteriz. İşte tam da bu noktada Robots.txt dosyaları, biz herhangi bir web sitesine girdiğimiz zaman o sitedeki arama motorlarına, sayfa üzerinde nasıl tarama yapmaları gerektiğini gösterecektir ve erişimin engellenmesi konusunda kullanılacak yöntemlerden birisidir.