Belki de şuan sitenizde barındırdığınız robots.txt dosyası hakkında hiçbir bilginiz yok. Veya şuanda sitenizde bile bulunmuyor. Çoğu web sitenin robots.txt dosyası elbette bulunuyor ancak bu dosyanın ne işe yaradığı hakkında hiç kimsenin bir bildiği yok. Bu dosya sadece sizin izininizle oluşmuyor. Aynı zamanda yüklediğiniz SEO araçlarından veya eklentileri tarafından da otomatik olarak oluşturuluyor.
Robots.txt Dosyası Nedir?
Eğer bir WordPress kullanıcısı iseniz öncelikle “robot” teriminin ne anlama geldiğini bilmelisiniz. Robotlar internette web siteleri ziyaret ederek botları yakalayan bir sistemdir. En yaygın arama motorlarının tarayıcılarında da robots.txt dosyasını görebilirsiniz. Web genelindeki bu tarama sayesinde Google ve diğer arama motorları sitenizin kitlesini ve sıralamanızı belirliyor. Bu dosya bir pratik dosyadır. Eğer katılımcı botlar sitenizde herhangi bir farklı etkileşim durumu fark ederse otomatik olarak kullandığı tarayıcının özel adresine sitenizle ilgili şüpheli bilgi gönderilir. Çoğu web sitesinde güvenirlik olmadığı için robotların siteye girişini tamamen yasaklanmış durumda. Yani robotlar için özel bir kısıtlama yapılmış durumda.
Neden Özgün Ve Kişisel Robots.txt Dosyasını Tercih Etmeliyiz?
Çoğu web sitesi basit bir yapılandırma yapmış olabilir. Örneğin, bir e-ticaret sitesinin robots.txt dosyasını aldınız ve kendi sitenizde uyguladınız elbette bu durumda iyi bir sonuç almayacaksınız. Çünkü, aldığınız robots.txt dosyasının içerdiği tüm sayfalar ve yazılım sizin sitenizde bulunmayabilir. Kurumsal açından bir robots.txt dosyasını bir bloğa uygulamak gibi düşünebilirsiniz. Özetlemek gerekirse, dizine eklenecek olan sayfaların israf olunmasına yol açabilir. Bu da sitenizin sıralamasının düşmesine olanak sağlar. Aynı zamanda sunucunuzun daha fazla yük almasına yol açabilir.
Robots.txt Dosyası Nasıl Oluşturulur?
Varsayılan olarak, WordPress siteniz için otomatik sanal bir robots.txt dosyası oluşturur. Dosyanızı görüntülemek için alan adınızın sonuna /robots.txt yazmanız yeterlidir. Örneğin, https://birbu.com/robots.txt bağlantısına giderek durumu test edebilirsiniz. Bu dosya sanal olsa da düzenleyemezsiniz. Eğer ücretsiz ve hızlı bir şekilde robots.txt dosyasını oluşturmak istiyorsanız o zaman Yoast SEO eklentisini kurmanız gerekiyor. Ücretsiz sürümü ile indirdiğiniz andan itibaren hızlı ve kolay bir şekilde özelleştirilebilir bir robots.txt dosyası oluşturacaktır. Öncelikle Ayarlar bölümünden Yoast SEO eklentisinin üzerine gelin. Ardından Yönetim Panelinin üzerine gelin. Aşağıda gelişmiş özellikler sayfasını göreceksiniz. Ardından onu aktif edin. Daha sonra Aynı şekilde Yoast SEO eklentisinin üzerine gelerek Araçlar bölümüne tıklayın ve File editör yani Dosya Editörü bağlantısına tıklayın. Karşınıza robots.txt bölümü çıkacaktır. “Create robotx.txt file” butonuna tıklayarak robots.txt dosyanızı oluşturun.