SEO başarısını etkileyen en önemli faktörlerden bir tanesi de “Tarama Bütçesi”dir. Tarama Bütçesi (Crawl Budget) kavramını web sitelerde verimli bir şekilde kullanılmaktadır. Bu konuda tüm yöntemler iki ortak amacı hedefliyor:
Google’da bulunmasını istemediğiniz spesifik bir sayfanı Google’dan kaldırmak isteyenleri
SEO performansını düşünerek sitenizdeki değersiz veya gereksiz sayfaları Google’da indekslenmeden kaldırarak tarama bütçesini verimli bir şekilde kullanabilirsiniz.
Google’da İndekslenen Sayfayı Kaldırma
Öncelikle yapılması gereken en önemli şey hangi sayfanızı yada hangi sayfa gruplarınızı Google indeksinden silmek istediğinizi tespit etmektir. Bu ilk aşama olarak biliniyor. İlk aşama oldukça önemlidir. Çünkü, yaptığımız en ufak bir hata istemediğimiz türden bir trafik düşüşü yaşatabilir. Örneğin, SEO açısından değerli bir sayfanızı Google indeksinden kaldırırsanız büyük bir düşüş yaşarsınız.
İlk aşamada yol gösterici yani referans noktalarımızdan birisi Google Analytics aracı olacaktır. Sitemizin son 1 senelik trafik verilerini incelediğimizde, hangi sayfaların bize trafik getirmemiş olduğunu görebiliriz. Ardından bu sayfaları indekslerden sildirip, taramaya kapatmamız SEO açısından çok daha iyi olacaktır.
Genel gereksiz sayfaları düşünürsek blog sitelerinde etiket (tag), yazar veya arşiv (author) sayfaları, e-ticaret sitelerinde ise sepet, kayıt ol ve giriş şeklindeki kullanıcı sayfaları gereksiz sayfa olarak biliniyor.
Öncelikle yapmanız gereken URL’lerde ortak bir parametre yada ortak bir klasör yapısı subfolder bulmaktır.
Örnek:
https://orneksite.com/tr/erkek-kiyafetleri?filtre=mavi
https://orneksite.com/tr/kadin-kiyafetleri?filtre=mavi
Yukarıdaki URL’lerin parametresi olan “?filtre” ortak parametredir.
https://orneksite.com/blog/tag/italyan-yemekleri
https://orneksite.com/blog/tag/italyan-gece-yemekleri
Yukarıdaki URL’lerin ortak deseni olan “/tag/” alt klasör yani subfolder’dır.
İndeksten kaldırmak için yapacağım ilk üçüncü adım indekste olup olmadığını kontrol etmektir. Spesifik bir sayfayı yada etiketi yakaladığımız bir sayfa grubunun indekste olup olmadığını kontrol etmek için yapmanız gereken aşağıdaki gibi Google’da arama sorguları gerçekleştirmektir.
Örnek site: https://orneksite.com/blog/tag/italyan-yemekleri/
Yada
https://orneksite.com/blog :inurl:/tag/
Sayfayı İndekslemeden Nasıl Kaldırabilirim?
Öncelikle, ilgili sayfa grubuna ait parametre veya alt klasörün robots.txt dosyasında taramaya açık olup olmadığını kontrol edin. Yani robots.txt dosyanızda aynı parametreye ve alt klasöre ait “Disallow:…” satırı bulunmaması gerekiyor.
Bunun asıl nedeni, sayfanızın Google indekslerinden tamamen kaldırılması için sayfanız üzerinden ileteceğiniz kaldırma talebini botların görebilmesi ve rahatlıkla tarayabilmesi içindir.
İndekse kapatmak istediğiniz her bir sayfada kaynak kodu bölümüne aşağıdaki kodu eklemeniz gerekiyor:
Bu kod sayesinde arama motoru botları bu sayfanın indekslenmemesi gerektiğini, eğer hali hazırda mevutsa da indeksten silinmesi gerektiğini anlayacaktır.
Botların sayfanızı daha hızlı gelerek bu kodu görmesini sağlamak için Google Search Console hesabınıza giriş yapın.
Sol tarafta bulunan menüden “Tarama” bölümüne ardından “Google Gibi Getir” adımını seçin.
Botların hangi sayfanıza girmek istediği URL’nin devamını yazıyorsunuz. Çünkü, alan adı orada kendisi belirecektir.
“GETİR VE OLUŞTUR” butonuna tıklayın. Bir süre bekleyin. Artık botlar gün içerisinde herhangi bir zamanda sayfanızı ziyaret edecektir. Ardından kaldırma talebini kabul edecektir.