Yandex Webmaster’ı açtığımda görmezden gelmesi zor bir sayı gördüm: 2.000 sayfa bir gecede Yandex aramasından kaybolmuştu. Projede toplam yaklaşık 8.000 sayfa vardı; yani yaklaşık %25 artık aramaya katılan sayfalar arasında görünmüyordu.
İlk tepkim basitti: SEO acımasız olabiliyor. Fakat daha faydalı ders daha kesin. “Aramadaki sayfalar” sayısındaki ani düşüş bir gözlemdir, teşhis değildir. Sayı gerçekti. Sebep ise hâlâ bilinmiyordu.
Gerçekten doğrulayabildiğim şeyler
O anda elimde üç gerçek vardı: Yandex Webmaster 2.000 sayfalık kayıp gösteriyordu, proje yaklaşık 8.000 sayfaydı ve değişiklik bir gecede ortaya çıkmıştı. Yandex’in siteyi cezalandırdığına, crawling’in bozulduğuna veya belirli bir teknik değişikliğin düşüşe neden olduğuna dair kanıtım yoktu.
Bu ayrım önemli; çünkü Yandex, kolayca tek bir “indeksleme” kavramına sıkıştırdığımız farklı durumları ayırıyor. Bir URL crawl edilmiş olsa bile aramadan hariç tutulabilir. Yandex ayrıca robot veritabanında bulunup o anda arama sonuçlarında gösterilemeyen sayfalar olabileceğini belirtiyor. Bu nedenle doğru soru yalnızca “crawler bu URL’yi gördü mü?” değil, “sayfa aramaya katılıyor mu; katılmıyorsa hangi durum bunu açıklıyor?” olmalı.
Bu farklar Yandex’in aramaya dahil edilen sayfalar ve hariç tutulan sayfalar belgelerinde açıklanıyor.
Crawling, aramaya katılım, sıralama ve trafik farklı problemlerdir
Bu olay bana dört katmanın ne kadar kolay karıştırıldığını hatırlattı: crawling, arama sistemine alınma, aramaya katılım ve gerçek sıralama ya da trafik. Birbirleriyle ilişkili olsalar da aynı şey değiller.
- Crawling: robot URL’yi aldı mı?
- Aramaya katılım: Yandex sayfayı şu anda sonuçlarda gösterebilir durumda görüyor mu?
- Sıralama: sayfa belirli sorgularda nerede görünüyor?
- Trafik: sıralamanın yanı sıra talep, snippet, CTR, mevsimsellik ve başka birçok faktöre bağlıdır.
Bu yüzden aramaya katılan sayfalarda %25 düşüş, otomatik olarak trafikte %25 düşüş anlamına gelmez. Crawling sorunu ya da algoritmik ceza da kanıtlamaz.
Düşüşün büyüklüğü neden yine de önemliydi
2.000 URL, birkaç rastgele sayfa demek için fazla büyük. Etkilenen URL’lerde ortak bir desen olup olmadığına bakardım: aynı dizin, şablon, içerik türü, canonical ayarı, HTTP kodu, iç link yapısı veya yayın dönemi.
Bu tür segmentasyon tek toplam sayıya bakmaktan daha faydalı. Çoğu hariç tutulan sayfa aynı teknik özelliği paylaşıyorsa araştırma daralır. Kayıplar ilgisiz bölümlere yayılmışsa hipotez değişir. Bu bir inceleme yöntemidir; benim olayımın gerçek sebebi hakkında iddia değildir.
Algoritmayı suçlamadan önce neyi kontrol ederdim
- Metriği doğrulamak. Değişikliğin gerçekten “aramadaki sayfalar” metriğinde olduğunu teyit edip hariç tutulan sayfaları ve tarihleri incelemek.
- Hariç tutma nedenlerine bakmak. Yandex Webmaster düşük değer/talep, non-canonical,
noindex, yönlendirme veya hata gibi nedenler gösterebilir. Bu statüler kanıttır; grafikten tahmin yürütmek değil. - Etkilenen URL’leri gruplamak. Dizinleri, şablonları, sayfa türlerini, dilleri, üretilen bölümleri ve yayın dönemlerini karşılaştırmak.
- Örneklerde teknik temeli kontrol etmek. HTTP kodları, robots direktifleri, canonical, redirect, erişilebilirlik ve robota gerçekten dönen HTML.
- İndeks değişikliğini sıralama ve trafikten ayırmak. Aramaya katılım, gösterimler, tıklamalar ve analytics oturumları farklı sorulara cevap verir.
- Ancak sonra nedensel hipotez kurmak. Bir konfigürasyon, deploy, şablon güncellemesi veya içerik deseni etkilenen sayfalarla örtüşüyorsa aday olur; yine de kanıt değildir.
Yandex, belirli hariç tutma nedenini kontrol etmeyi ve gerçek sorun düzeltildikten sonra sayfayı yeniden crawl için göndermeyi öneriyor. Büyük bir sayı görüp sonradan hikâye uydurmaktan daha sağlam bir süreç bu.
Bu olaydan neyi iddia etmezdim
“Yandex siteyi cezalandırdı” demezdim, çünkü bunu kanıtlamadım. Crawler’ların sadece “daha seçici olduğunu” da söylemezdim; bu ifade teknik olarak farklı durumları gizler. 2.000 sayfayı kalıcı olarak kayıp saymaz ve statülerini görmeden hepsinin aynı nedenle kaybolduğunu varsaymazdım.
Bende kalan ders
8.000 sayfanın 2.000’inin bir gecede aramadan çıkması hâlâ sert bir olay. Ama faydalı sonuç “SEO rastgeledir” değil. Arama sistemleri birkaç durum katmanı gösterir ve nedenini açıklamadan önce hangi katmanın değiştiğini bulmak gerekir.
Benim pratik kuralım: önce gözlemi kaydetmek, nedeni açık bırakmak ve sonra sayfa düzeyindeki kanıtlarla hipotezleri daraltmak. Sayı 2.000’di. Sebep hâlâ bir soruydu.