Ik opende Yandex Webmaster en zag een getal dat moeilijk te negeren was: 2.000 pagina’s waren in één nacht uit Yandex Search verdwenen. Het project telde ongeveer 8.000 pagina’s, dus zo’n 25% werd niet langer als deelnemend aan de zoekresultaten weergegeven.
Mijn eerste reactie lag voor de hand: SEO kan hard zijn. Maar de nuttigere les is preciezer. Een plotselinge daling in ‘pagina’s in zoekresultaten’ is een observatie, geen diagnose. Het getal was echt. De oorzaak stond nog niet vast.
Wat ik werkelijk kon bevestigen
Op dat moment had ik drie feiten: Yandex Webmaster liet 2.000 pagina’s minder zien, het project had ongeveer 8.000 pagina’s en de verandering verscheen van de ene op de andere dag. Wat ik niet had, was bewijs voor een penalty, een crawlprobleem of één specifieke technische wijziging als oorzaak.
Dat onderscheid is belangrijk, omdat Yandex verschillende statussen uit elkaar houdt die gemakkelijk onder het vage woord ‘indexering’ vallen. Een URL kan gecrawld zijn en toch van de zoekresultaten worden uitgesloten. Yandex vermeldt ook dat zijn robotdatabase pagina’s kan bevatten die op dat moment niet in de zoekresultaten getoond kunnen worden. De nuttige vraag is dus niet alleen ‘heeft de crawler deze URL gezien?’, maar ‘doet deze pagina mee in Search, en zo niet, welke status verklaart dat?’
Yandex beschrijft dit in de officiële documentatie over pagina’s in de zoekresultaten en uitgesloten pagina’s.
Crawling, deelname aan Search, ranking en verkeer zijn verschillende problemen
Dit incident liet opnieuw zien hoe makkelijk vier lagen door elkaar lopen: crawling, opname in het zoeksysteem, deelname aan zoekresultaten en daadwerkelijke posities of verkeer. Ze hangen samen, maar betekenen niet hetzelfde.
- Crawling: heeft de robot de URL opgehaald?
- Deelname aan Search: acht Yandex de pagina op dit moment geschikt om te verschijnen?
- Ranking: waar verschijnt de pagina voor specifieke zoekopdrachten?
- Verkeer: hangt daarnaast af van vraag, snippets, CTR, seizoenen en andere factoren.
Een daling van 25% in zoekendeelnemende pagina’s betekent dus niet automatisch 25% minder verkeer. Het bewijst ook geen crawlprobleem of algoritmische penalty.
Waarom de omvang toch belangrijk was
Tweeduizend URL’s is genoeg om naar een patroon te zoeken in plaats van naar een paar toevallige pagina’s. Ik zou kijken of de getroffen URL’s iets delen: directory, template, contenttype, canonical-instelling, HTTP-status, interne links of publicatieperiode.
Zo’n segmentatie is nuttiger dan één totaalgetal. Delen veel uitgesloten pagina’s één technisch kenmerk, dan wordt het onderzoek smaller. Zijn de verliezen over ongerelateerde delen verdeeld, dan verandert de hypothese. Dit is een onderzoeksstrategie, geen claim over wat in mijn geval werkelijk de oorzaak was.
Wat ik zou controleren voordat ik het algoritme de schuld geef
- De metriek verifiëren. Bevestigen dat de verandering echt ‘pagina’s in Search’ betreft en daarna de uitgesloten pagina’s en datums bekijken.
- Uitsluitingsredenen bekijken. Yandex Webmaster kan bijvoorbeeld lage waarde of vraag, non-canonical,
noindex, redirects of fouten melden. Die statussen zijn bewijs; een gok op basis van de grafiek niet. - Getroffen URL’s groeperen. Directories, templates, paginatypen, talen, gegenereerde secties en publicatieperiodes vergelijken.
- Technische basis steekproefsgewijs controleren. HTTP-codes, robots-directives, canonicals, redirects, bereikbaarheid en de HTML die de robot daadwerkelijk krijgt.
- Indexering los zien van ranking en verkeer. Deelname aan Search, vertoningen, klikken en analytics-sessies beantwoorden verschillende vragen.
- Pas daarna een causale hypothese vormen. Als een configuratie, deployment, template-update of contentpatroon samenvalt met de getroffen pagina’s, is dat een kandidaat, nog geen bewijs.
Yandex adviseert de specifieke uitsluitingsreden te controleren en na het oplossen van een echt probleem een pagina opnieuw te laten crawlen. Dat is sterker dan eerst een groot getal zien en er daarna een verhaal bij zoeken.
Wat ik uit dit incident niet zou beweren
Ik zou niet schrijven dat ‘Yandex de site heeft gestraft’, omdat ik dat niet had vastgesteld. Ik zou ook niet zeggen dat crawlers simpelweg ‘kritischer werden’; dat verbergt verschillende technische toestanden. De 2.000 pagina’s zou ik niet permanent verloren noemen en zonder statusgegevens zou ik niet aannemen dat ze allemaal om dezelfde reden verdwenen.
De les die bleef hangen
2.000 van 8.000 pagina’s in één nacht uit Search verliezen voelt nog steeds hard. Maar de nuttige conclusie is niet dat ‘SEO willekeurig is’. Een zoekmachine heeft meerdere toestandslagen, en je moet eerst vaststellen welke laag veranderde voordat je kunt verklaren waarom.
Mijn praktische regel: noteer eerst de observatie, laat de oorzaak open en vernauw daarna de hypotheses met bewijs op paginaniveau. Het getal was 2.000. De oorzaak was nog een vraag.