मैंने Yandex Webmaster खोला और एक ऐसा आंकड़ा देखा जिसे नज़रअंदाज़ करना मुश्किल था: 2,000 पेज एक रात में Yandex Search से गायब हो गए थे। प्रोजेक्ट में कुल लगभग 8,000 पेज थे, यानी करीब 25% पेज अब search में भाग लेने वाले पेजों के रूप में नहीं दिख रहे थे।
मेरी पहली प्रतिक्रिया सीधी थी: SEO काफी कठोर हो सकता है। लेकिन उपयोगी सीख इससे अधिक सटीक है। “Search में pages” की अचानक गिरावट एक observation है, diagnosis नहीं। संख्या वास्तविक थी। कारण अभी साबित नहीं हुआ था।
मैं वास्तव में क्या confirm कर सकता था
उस समय मेरे पास तीन facts थे: Yandex Webmaster 2,000 पेज कम दिखा रहा था, प्रोजेक्ट में लगभग 8,000 पेज थे, और बदलाव एक रात में दिखा। लेकिन मेरे पास यह साबित करने वाला evidence नहीं था कि Yandex ने site को penalize किया, crawling fail हुई, या किसी एक technical change ने गिरावट पैदा की।
यह फर्क महत्वपूर्ण है क्योंकि Yandex कई अलग states को अलग रखता है जिन्हें हम अक्सर एक ही शब्द “indexing” में मिला देते हैं। किसी URL को crawl किया जा सकता है और फिर भी उसे search से exclude किया जा सकता है। Yandex यह भी बताता है कि robot database में ऐसे pages हो सकते हैं जो उस समय search results में दिखने योग्य नहीं हैं। इसलिए सही सवाल सिर्फ “crawler ने URL देखा?” नहीं है, बल्कि “क्या page अभी search में participate कर रहा है, और अगर नहीं, तो कौन सा status exclusion समझाता है?”
Yandex इन states को अपनी official documentation में search में शामिल pages और excluded pages के रूप में समझाता है।
Crawling, search participation, ranking और traffic अलग समस्याएँ हैं
इस घटना ने मुझे फिर याद दिलाया कि चार layers को मिलाना कितना आसान है: crawling, search system में शामिल होना, search में भाग लेना, और वास्तविक ranking या traffic। ये जुड़े हुए हैं, पर एक ही चीज़ नहीं हैं।
- Crawling: robot ने URL fetch किया या नहीं।
- Search participation: Yandex page को अभी result में आने योग्य मानता है या नहीं।
- Ranking: किसी specific query पर page कहाँ दिखाई देता है।
- Traffic: ranking के अलावा demand, snippet, CTR, seasonality और कई अन्य factors पर निर्भर करता है।
इसलिए search में भाग लेने वाले pages में 25% गिरावट का अर्थ अपने आप traffic में 25% गिरावट नहीं है। यह crawling problem या algorithmic penalty भी साबित नहीं करती।
फिर भी 2,000 pages का scale महत्वपूर्ण था
2,000 URLs इतने अधिक हैं कि random pages मानने के बजाय pattern खोजना चाहिए। मैं देखता कि प्रभावित URLs में कोई common चीज़ है या नहीं: directory, template, content type, canonical setup, HTTP status, internal-linking pattern या publishing period।
ऐसी segmentation एक total number को घूरने से ज्यादा उपयोगी है। अगर ज्यादातर excluded pages में एक technical feature समान है, तो investigation का scope छोटा हो जाता है। अगर loss अलग-अलग unrelated sections में है, hypothesis बदलती है। यह investigation strategy है, मेरे case की वास्तविक cause का दावा नहीं।
Algorithm को दोष देने से पहले मैं क्या check करता
- Metric verify करता। Confirm करता कि change वास्तव में “pages in search” में है, फिर excluded pages और dates देखता।
- Exclusion reasons देखता। Yandex Webmaster low-value/low-demand, non-canonical,
noindex, redirect या error जैसी वजह दिखा सकता है। ये statuses evidence हैं; graph से अनुमान evidence नहीं है। - Affected URLs group करता। Directories, templates, page types, languages, generated sections और publishing periods compare करता।
- Samples पर technical basics check करता। HTTP codes, robots directives, canonical, redirects, availability और robot को मिला वास्तविक HTML।
- Index change को ranking और traffic से अलग रखता। Search participation, impressions, clicks और analytics sessions अलग सवालों के जवाब हैं।
- उसके बाद causal hypothesis बनाता। अगर configuration, deployment, template update या content pattern affected pages से match करता है, तो वह candidate cause है, proof नहीं।
Yandex specific exclusion reason देखने और वास्तविक problem ठीक होने के बाद page को recrawl के लिए submit करने की सलाह देता है। यह बड़े number को देखकर बाद में कहानी बनाने से कहीं मजबूत workflow है।
इस घटना से मैं क्या claim नहीं करूँगा
मैं यह नहीं लिखूँगा कि “Yandex ने site को punish किया”, क्योंकि मैंने इसे साबित नहीं किया। यह भी नहीं कहूँगा कि crawlers बस “ज्यादा picky हो गए”, क्योंकि यह कई अलग technical states को छिपाता है। 2,000 pages को permanently lost नहीं कहूँगा और statuses देखे बिना यह नहीं मानूँगा कि सभी एक ही कारण से गायब हुए।
जो सीख मेरे साथ रही
8,000 में से 2,000 pages का एक रात में search से गायब होना अब भी brutal लगता है। लेकिन useful conclusion “SEO random है” नहीं है। Search systems में कई state layers होती हैं, और कारण समझाने से पहले पता लगाना पड़ता है कि कौन सी layer बदली।
मेरे लिए practical rule सरल है: पहले observation record करो, cause को open रखो, फिर page-level evidence से hypotheses को narrow करो। संख्या 2,000 थी। कारण अभी भी एक सवाल था।