Kişisel bir yan projeyi SEO deneme alanı olarak kullandığım ilk ayın sonunda 632 organik ziyaretçiye ulaşmıştım. Bu cesaret vericiydi, ancak en değerli ders başka bir sayıdan geldi: 15 Ekim’de site günlük 83 ziyaretçi ile o ana kadarki zirvesini gördü ve bu artışın bir kısmı insan trafiğine benzemiyordu.
O sırada iş yerindeki daha büyük bir SEO girişimine hazırlanıyordum. Bir tur daha teori okumak yerine gerçek veriyle çalışmak istedim. Yan proje, her gözlemi üretim kararı haline getirmeden değişiklik yapabileceğim, ölçebileceğim ve yanılabileceğim bir alan sundu.
Bu ayrım kısa sürede önemli hale geldi. Bir metrik bir değişiklikle aynı zamanda hareket edebilir; bu, değişikliğin neden olduğunu kanıtlamaz. Trafik sıçraması kaynaklara bakana kadar büyüme gibi görünebilir. Bir session replay de tuhaf bir şey gösterebilir, fakat nedenini tek başına açıklamaz.
632 organik ziyaretçi bana gerçekte ne söyledi?
İlk ayın sonucu 632 organik ziyaretçiydi. Bunu doğrulayabilirim. Fakat tek başına bu sayı, tekrarlanabilir bir SEO formülü bulduğumu, yaptığım her değişikliğin sıralamayı iyileştirdiğini veya aynı eğilimin devam edeceğini göstermiyor.
Bir öğrenme projesi için asıl değer, gözlem yapabilecek kadar gerçek arama trafiği oluşmasıydı. Değişiklik yapıp neyin hareket ettiğini izleyebiliyor, ardından daha net bir soru sorabiliyordum. Bu, SEO’yu her “best practice” maddesinin otomatik sıralama artışı ürettiği bir kontrol listesi gibi görmekten daha faydalıydı.
Yazı boyutu değişikliği nedensellik konusunda beni daha temkinli yaptı
Beni şaşırtan gözlemlerden biri yazı boyutu ayarlamaları ile performans metrikleri arasındaki korelasyondu. Bunu “küçük UX ayrıntıları sıralamayı etkileyebilir” diye özetlemek kolaydı. Ancak verilerim bu kadar güçlü bir iddiayı desteklemiyor.
Gerçekte şunu gördüm: yazı boyutunu değiştirdim ve daha sonra bazı metrikler hareket etti. Yazı boyutunu diğer tüm değişikliklerden izole eden kontrollü bir deney yapmadım. Arama motorunun tam olarak bu CSS değişikliği nedeniyle sıralamayı değiştirdiğine dair kanıtım da yok. Yazı boyutu satır kırılmalarını, layout’u ve öğe konumlarını değiştirebilir; bu da bazı rendering veya UX ölçümlerini etkileyebilir. Benim durumumdaki mekanizma ise kanıtlanmış değil.
Bu tür deneyler için daha güvenli bir kural şu: önce gözlemi kaydet, açıklamayı sonra yap. “Y değişikliğinden sonra X metriği hareket etti” veridir. “Y, X’e neden oldu” ise yeterli kanıt oluşana kadar hipotezdir.
83 ziyaretçili gün, Webvisor’u açmadan önce daha iyi görünüyordu
15 Ekim’de site o güne kadarki en yüksek günlük toplamına ulaştı: 83 ziyaretçi. Bu sayı mutlaka 83 organik ziyaretçi anlamına gelmiyordu; analiz ettiğim günlük toplam zirveydi. Trafiği kaynaklara ayırınca önemli bir kısmının Çin kaynaklı olduğunu ve direct traffic olarak sınıflandırıldığını gördüm.
“Direct” ifadesini “biri URL’mi yazdı” diye okumak kolay. Yandex Metrica’da referrer’ın iletilmediği oturumlar da başka bazı durumlarla birlikte bu kategoriye girebilir. Yandex bunu trafik kaynağı dokümantasyonunda açıklar. Dolayısıyla kaynak etiketi tek başına ziyaretçinin kim olduğunu veya sayfayı gerçekte nasıl bulduğunu söylemez.
Ardından Yandex Webvisor ile şüpheli oturumları izledim. Sayfa CSS devre dışı bırakılmış gibi görünüyordu. Gördüğüm örüntüye dayanarak bu “kullanıcıların” yaklaşık 20 tanesinin muhtemelen bot olduğunu tahmin ettim.
CSS’nin kapalı görünmesi ipucuydu, kanıt değil
Bu rakam hâlâ bir tahmin. En az iki genel açıklama mümkün.
- İstekler gerçekten otomatik olabilir. Bir scraper sadece HTML’i çekip ihtiyaç duymadığı stylesheet, görsel ve diğer asset’leri atlayabilir. Bant genişliğinden tasarruf etmek makul bir neden, ancak motivasyonun bu olduğunu doğrulamadım.
- Replay, asıl oturumu kusursuz biçimde yeniden üretememiş olabilir. Session-replay sistemleri sayfayı kaydedilmiş verilerden yeniden oluşturur. Yandex, stil dosyalarındaki değişiklikler sonrasında kaydın ziyaretçinin gördüğünden farklı olabildiği CSS ile ilgili replay sorunlarını kendisi de belgeliyor.
Bu nedenle “Webvisor sayfayı CSS olmadan gösterdi” bir gözlemdir. “Ziyaretçi CSS’yi bilerek kapattı” bir yorumdur. “Öyleyse bottu” ise bir sonraki çıkarımdır. Bot hipotezi bana makul göründü, fakat tek bir replay özelliği kesin sınıflandırma için yeterli değil.
Loglarda neyi kontrol ederdim?
Böyle bir anomali için görsel replay’den çok sunucu loglarına güvenirim. User-Agent değerlerini, IP veya ağ aralıklarını, istek zamanlamasını ve tekrarını, indirilen asset’leri, path’leri, HTTP durum kodlarını ve referrer’ları karşılaştırırdım. İstemcinin yalnızca HTML mi yoksa CSS, JavaScript ve görselleri de mi istediğine; aynı örüntünün tarayıcı, JavaScript desteği, bölge, oturum süresi ve landing page gibi analitik boyutlarında görülüp görülmediğine bakardım.
Bu sinyallerin hiçbiri tek başına kusursuz değil. Fakat birlikte bot hipotezini “replay tuhaf görünüyordu” izleniminden çok daha sağlam biçimde güçlendirebilir veya zayıflatabilirler.
Asıl ders sıralamadan çok ölçümle ilgiliydi
Bu yan projeye, işteki daha büyük SEO girişiminden önce uygulamalı deneyim kazanmak için başladım. Bir ay sonra değerli sonuç yalnızca 632 organik ziyaretçi değildi. Eksik verilerin etrafında ne kadar hızlı ikna edici bir hikâye kurulabildiğini görmek de en az onun kadar önemliydi.
83 ziyaretçili zirveye “büyüme” diyebilirdim. Font değişikliğini bir “ranking factor” olarak sunabilirdim. CSS’siz görünen her oturuma bot diyebilirdim. Üçü de daha basit anlatılar olurdu. Hiçbiri yeterince savunulabilir değildi.
Gelecekteki deneylerde daha savunulabilir bir süreç şu olurdu: trafik kaynaklarını ayırmak, değişiklik günlüğü tutmak, öncesi/sonrası kıyasını otomatik nedensellik varsaymadan yapmak, anomalileri HTTP istekleri seviyesinde incelemek ve analitik araçlarını kendi sınırlamaları olan ölçüm sistemleri olarak görmek.
Benim için deneyin şimdiye kadarki en değerli kısmı bu oldu. SEO bana inceleyebileceğim trafik verdi; daha zor beceri, verinin gerçekten neyi kanıtladığına karar vermek.
Özellikle Çin’den gelen direct traffic çevresinde logları incelemeye devam ediyorum. Tekrarlanabilir bir istek örüntüsü bulabilirsem, başlangıçtaki soruya çok daha sağlam bir cevap verebilirim: o yaklaşık 20 ziyaret gerçekten bot muydu ve CSS’yi atlamak davranışlarının bir parçası mıydı?