Otworzyłem Yandex Webmaster i zobaczyłem liczbę, której trudno nie zauważyć: 2 000 stron zniknęło z wyszukiwarki Yandex w jedną noc. Projekt miał około 8 000 stron, więc mniej więcej 25% przestało być pokazywane jako uczestniczące w wyszukiwaniu.
Pierwsza reakcja była oczywista: SEO potrafi być brutalne. Ale ważniejszy wniosek jest bardziej precyzyjny. Nagły spadek liczby „stron w wyszukiwarce” jest obserwacją, nie diagnozą. Liczba była prawdziwa. Przyczyna pozostawała nieznana.
Co naprawdę mogłem potwierdzić
W tamtym momencie miałem trzy fakty: Yandex Webmaster pokazywał o 2 000 stron mniej, projekt liczył około 8 000 stron, a zmiana pojawiła się z dnia na dzień. Nie miałem natomiast dowodu na karę od Yandex, problem z crawlingiem ani na to, że konkretny deploy czy zmiana techniczna spowodowały spadek.
To rozróżnienie jest ważne, bo Yandex rozdziela kilka stanów, które łatwo wrzucić do jednego worka „indeksowanie”. URL może zostać crawlowany, a mimo to być wykluczony z wyszukiwania. Yandex wyjaśnia też, że baza robota może zawierać strony, których aktualnie nie można pokazać w wynikach. Lepsze pytanie brzmi więc nie tylko „czy robot widział ten URL?”, ale „czy ta strona uczestniczy w wyszukiwaniu, a jeśli nie, jaki status wyjaśnia wykluczenie?”
Yandex opisuje te stany w oficjalnej dokumentacji dotyczącej stron w wyszukiwaniu i stron wykluczonych.
Crawling, udział w wyszukiwaniu, ranking i ruch to różne problemy
Ten przypadek przypomniał mi, jak łatwo pomieszać cztery warstwy: crawling, obecność w systemie wyszukiwania, udział w wynikach oraz realne pozycje i ruch. Są powiązane, ale nie są tym samym.
- Crawling: czy robot pobrał URL.
- Udział w wyszukiwaniu: czy Yandex uznaje stronę za możliwą do pokazania teraz.
- Ranking: na jakiej pozycji pojawia się dla konkretnego zapytania.
- Ruch: zależy dodatkowo od popytu, snippetu, CTR, sezonowości i wielu innych czynników.
Spadek liczby stron uczestniczących w wyszukiwaniu o 25% nie oznacza automatycznie spadku ruchu o 25%. Nie dowodzi też problemu z crawlingiem ani kary algorytmicznej.
Dlaczego skala spadku nadal miała znaczenie
Dwa tysiące URL-i to wystarczająco dużo, by szukać wzorca, a nie kilku przypadkowych stron. Sprawdziłbym, czy dotknięte URL-e łączy katalog, szablon, typ treści, canonical, kod HTTP, sposób linkowania wewnętrznego albo okres publikacji.
Taka segmentacja daje więcej niż jedna suma. Jeśli wiele wykluczonych stron ma wspólną cechę techniczną, śledztwo się zawęża. Jeśli straty są rozrzucone po niezależnych częściach serwisu, hipoteza się zmienia. To metoda badania, nie twierdzenie o rzeczywistej przyczynie mojego przypadku.
Co sprawdziłbym, zanim obwiniłbym algorytm
- Zweryfikować metrykę. Upewnić się, że zmiana dotyczy „stron w wyszukiwaniu”, a potem przejrzeć strony wykluczone i daty.
- Sprawdzić powody wykluczeń. Yandex Webmaster może wskazać małą wartość lub popyt, non-canonical,
noindex, przekierowanie albo błąd. Te statusy są dowodem; zgadywanie z wykresu nie. - Pogrupować dotknięte URL-e. Porównać katalogi, szablony, typy stron, języki, generowane sekcje i okresy publikacji.
- Sprawdzić techniczne podstawy na próbce. Kody HTTP, dyrektywy robots, canonical, przekierowania, dostępność i HTML zwracany robotowi.
- Oddzielić indeksowanie od rankingu i ruchu. Udział w wyszukiwaniu, wyświetlenia, kliknięcia i sesje analityczne odpowiadają na inne pytania.
- Dopiero wtedy zbudować hipotezę przyczynową. Jeśli konfiguracja, deploy, zmiana szablonu lub wzorzec treści pokrywa się z dotkniętymi stronami, staje się kandydatem, ale nadal nie dowodem.
Yandex zaleca sprawdzenie konkretnego powodu wykluczenia i po naprawieniu rzeczywistego problemu wysłanie strony do ponownego crawlowania. To solidniejsze niż zobaczyć dużą liczbę i dopiero potem dopasowywać historię.
Czego nie twierdziłbym na podstawie tego incydentu
Nie napisałbym, że „Yandex ukarał stronę”, bo tego nie ustaliłem. Nie powiedziałbym też, że crawlery po prostu „stały się wybredne” — to ukrywa różne stany techniczne. Nie nazwałbym 2 000 stron utraconymi na zawsze i nie zakładałbym, że wszystkie zniknęły z tego samego powodu bez sprawdzenia statusów.
Lekcja, która została
Utrata 2 000 z 8 000 stron z wyszukiwania w jedną noc nadal brzmi brutalnie. Ale użyteczny wniosek nie brzmi „SEO jest losowe”. Wyszukiwarka ma kilka warstw stanu i przed wyjaśnieniem dlaczego trzeba ustalić, która warstwa się zmieniła.
Moja praktyczna zasada: najpierw zapisać obserwację, pozostawić przyczynę otwartą, a potem zawężać hipotezy dowodami na poziomie stron. Liczba wynosiła 2 000. Przyczyna nadal była pytaniem.