Я открыл Yandex Webmaster и увидел цифру, которую сложно проигнорировать: за одну ночь из поиска Yandex исчезли 2000 страниц. Всего в проекте было около 8000 страниц, то есть примерно 25% сайта перестали отображаться как участвующие в поиске.
Первая реакция была простой: SEO бывает жестким. Но полезный вывод здесь точнее. Резкое падение числа «страниц в поиске» — это наблюдение, а не диагноз. Цифра была реальной. Причина на тот момент оставалась неизвестной.
Что я действительно мог подтвердить
В тот момент у меня было три факта: Yandex Webmaster показывал минус 2000 страниц, в проекте было около 8000 страниц, а изменение произошло за ночь. Чего у меня не было — так это доказательств, что Yandex наложил на сайт санкции, что сломался обход или что падение вызвало какое-то одно конкретное техническое изменение.
Это различие важно, потому что Yandex разделяет несколько состояний, которые легко свалить в одно расплывчатое понятие «индексация». Робот может обойти URL, а страница всё равно может быть исключена из поиска. Yandex также прямо пишет, что в базе робота могут находиться страницы, которые в данный момент не могут показываться в результатах поиска. Поэтому в Webmaster полезнее спрашивать не только «увидел ли робот этот URL?», а «участвует ли эта страница в поиске и, если нет, какой статус объясняет исключение?»
Эти состояния описаны в официальной документации Yandex о страницах, участвующих в поиске и причинах исключения страниц.
Обход, участие в поиске, позиции и трафик — разные проблемы
Этот случай напомнил мне, насколько легко перескочить сразу между четырьмя уровнями: обходом, попаданием страницы в поисковую систему, участием в поиске и реальными позициями или трафиком. Они связаны, но это не одно и то же.
- Обход отвечает на вопрос, загрузил ли робот URL.
- Участие в поиске — считает ли Yandex страницу пригодной для показа в поиске сейчас.
- Ранжирование — на какой позиции такая страница показывается по конкретным запросам.
- Трафик зависит уже от позиций, спроса, сниппета, CTR, сезонности и множества других факторов.
Поэтому падение числа участвующих в поиске страниц на 25% не означает автоматически падение трафика на 25%. Оно не доказывает проблему с обходом. И само по себе тем более не доказывает алгоритмическую санкцию.
Почему масштаб падения всё равно был важен
Две тысячи URL — достаточно много, чтобы искать закономерность, а не воспринимать это как несколько случайных страниц. Следующий полезный вопрос: есть ли у выпавших URL что-то общее — каталог, шаблон, тип контента, настройка canonical, код ответа, схема внутренней перелинковки или период публикации.
Такая сегментация намного полезнее, чем смотреть на одну общую цифру. Если большинство исключенных страниц объединяет один технический признак, область поиска причины резко сужается. Если потери размазаны по независимым разделам сайта, гипотеза будет другой.
Но это именно стратегия расследования, а не утверждение о том, что произошло в моем случае. Из исходного наблюдения причину доказать было нельзя.
Что я бы проверял до того, как винить алгоритм
Если бы я снова увидел такой график, я бы шел в следующем порядке:
- Проверил сам показатель. Убедился бы, что изменение действительно относится к «страницам в поиске», затем посмотрел бы список исключенных страниц и даты изменения.
- Посмотрел причины исключения. Yandex Webmaster умеет показывать такие причины, как малоценная или маловостребованная страница, неканонический URL, директива
noindex, редирект или ошибка ответа. Эти статусы — доказательства. Догадка по одному графику — нет. - Сгруппировал затронутые URL. Сравнил бы каталоги, шаблоны, типы страниц, языковые версии, генерируемые разделы и периоды публикации. Кластер часто говорит больше, чем общий счетчик.
- Проверил техническую базу на выборке. HTTP-коды, robots-директивы, canonical, редиректы, доступность страниц и тот HTML, который фактически получает робот.
- Отделил изменение индекса от позиций и трафика. Участие в поиске, показы, клики и сессии в аналитике отвечают на разные вопросы. Я бы не использовал один показатель как замену другому.
- Только после этого сформулировал причинную гипотезу. Если изменение конфигурации, деплой, обновление шаблона или определенный тип контента совпадает с пострадавшими страницами, это уже кандидат на объяснение. Но его всё равно нужно подтверждать.
Yandex рекомендует смотреть конкретную причину исключения и после исправления реальной проблемы отправлять страницу на переобход. Это намного надежнее, чем сначала увидеть большую цифру, а потом подбирать под нее историю.
Чего я бы не утверждал по этому случаю
Я бы не писал, что «Yandex наказал сайт», потому что этого я не установил. Не говорил бы, что краулеры просто «стали капризнее»: эта фраза прячет несколько технически разных состояний. Не называл бы 2000 страниц потерянными навсегда, потому что решения об исключении и технический статус могут меняться. И не предполагал бы, что все 2000 URL выпали по одной причине, пока не увидел соответствующие статусы.
Именно здесь SEO-истории часто становятся слабее, чем могли бы быть: драматичный график слишком быстро превращается в уверенное объяснение. График доказывает, что что-то изменилось. Он не доказывает каждую причину, которую мы можем придумать.
Какой урок я оставил себе
Исходная эмоция для меня всё еще понятна: за ночь потерять из поиска 2000 из 8000 страниц ощущается жестко. Но лучший вывод — не «SEO случайно». Вывод в том, что поисковая система показывает несколько разных уровней состояния, и сначала нужно понять, какой именно уровень изменился.
Мое полезное правило здесь простое: сначала зафиксировать наблюдение, не закрывать вопрос о причине, а затем сужать гипотезы данными по конкретным страницам. Цифра была 2000. Причина всё еще оставалась вопросом. Когда эти два утверждения не смешиваются, такой инцидент становится намного полезнее.