Я купил домен, который впервые зарегистрировали в 2000 году. На бумаге такая история выглядела скорее плюсом. Но после запуска нового сайта серверные логи начали заполняться запросами к страницам, которых я вообще не создавал.
На несуществующие в новом проекте URL приходило больше 1,000 запросов в день. В аналитике это выглядело как большой всплеск прямого трафика почти без вовлечения. Одновременно Yandex Webmaster за одну ночь накопил больше 900 ошибок: краулер возвращался к старым путям и получал 404 Not Found.
Первая версия происходящего была очень простой: старые боты бьют по мёртвым URL, Yandex видит эту активность и поэтому продолжает их обходить. Именно так последовательность выглядела с моей стороны. Но это утверждение сильнее, чем позволяют доказать мои данные.
Что я действительно мог подтвердить
У меня было три отдельных наблюдения. Во-первых, сервер получал большой объём запросов к URL, оставшимся от прошлой жизни домена. Во-вторых, эти запросы почти не давали реального пользовательского вовлечения. В-третьих, краулер Yandex тоже запрашивал старые пути, а в Webmaster за одну ночь появилось больше 900 ошибок.
Операционно это было проблемой: шумные логи, лишние запросы и заваленная ошибками панель вебмастера. Но эти факты не доказывают, что сторонние боты заставили Yandex обходить URL или что сами ошибки напрямую ухудшили позиции и органический трафик. Обход не равен индексации, индексация не равна ранжированию, а список ошибок не является доказательством санкций.
Что я раньше упрощал: 404 против 410
Раньше я воспринимал разницу примерно так: 404 означает «страницы сейчас нет», а 410 — «страница исчезла навсегда». Как интуитивная модель это полезно, но технически она неточна.
404 Not Found означает, что сервер не может предоставить текущее представление запрошенного ресурса; сам код не говорит, временное это состояние или постоянное. 410 Gone конкретнее: он подходит, когда сервер знает, что ресурс больше недоступен и это состояние предполагается постоянным.
Из этого следует и важная SEO-поправка. Поисковые системы могут удалить URL из поиска и после 404, и после 410. Поэтому я больше не называю 410 каким-то «усиленным SEO-кодом» и не считаю обычный 404 неправильным для всех удалённых страниц.
Почему точечные 410 всё равно были правильными в моём случае
Старые пути в моём случае не были временной поломкой. Они относились к контенту из прошлой истории домена и не имели места в новом сайте. Я точно знал, что эти конкретные URL удалены навсегда. Поэтому 410 Gone лучше всего описывал их реальное состояние.
Я настроил точечные 410 для известных legacy-путей, а не стал превращать любой неизвестный URL в 410. После этого шум вокруг старых путей в обходе и отчётах сошёл на нет, а ситуация в инструментах для вебмастера стала заметно чище.
Но причинность здесь я формулирую осторожно. Я могу сказать, что улучшение последовало после настройки точечных 410 и что этот статус корректно описывал состояние URL. Я не могу доказать, что один только 410 заставил остановиться всех ботов. Произвольный сторонний бот вообще может игнорировать смысл HTTP-статуса и продолжать ходить по одному URL бесконечно.
Правило выбора, которым я пользуюсь теперь
Полезный вопрос не «410 лучше 404?», а «что на самом деле произошло с этим URL?»
- Есть прямой эквивалент на новом сайте: постоянный редирект, например
301, на действительно соответствующий новый URL. - Старый ресурс точно удалён навсегда и замены нет:
410 Gone— точный вариант. - URL просто неизвестен, содержит опечатку или никогда не существовал: нормальный
404 Not Found.
А вот редиректить вообще все мёртвые URL на главную только ради исчезновения ошибок я бы не стал. Такой редирект скрывает реальное состояние ресурса и может быть хуже и для пользователя, и для краулера.
Как я теперь проверял бы старый домен до запуска
Если я снова буду использовать домен с историей, я отнесусь к его старым URL как к части миграции, даже если сам старый сайт я никуда не переношу.
- Посмотреть старый URL-след. До запуска найти исторические страницы и очевидные старые разделы.
- С первого дня смотреть access logs. Повторяющиеся запросы к путям, которых вы не создавали, хорошо показывают, что у домена осталась внешняя память.
- Разделять людей, поисковых краулеров и случайных ботов. Всплеск direct traffic и ошибка краулера — разные сигналы, их не стоит склеивать в одну причинную историю.
- Классифицировать повторяющиеся мёртвые URL. Для каждого важного паттерна решить: 301, 404 или 410.
- Проверять результат раздельно. Частоту запросов, отчёты краулеров и индексацию лучше измерять отдельно, а не сводить всё к абстрактному «SEO-здоровью».
Это небольшая работа по сравнению с ситуацией, когда проблему замечаешь только после того, как логи и панели вебмастера уже завалены шумом.
Чего 410 не решает
410 — это HTTP-сообщение о состоянии ресурса. Это не firewall, не rate limiter и не механизм блокировки ботов. Если скрапер продолжает слать запросы после 410, сервер всё равно должен их принять и ответить. Если настоящая проблема — агрессивный объём запросов, это уже отдельная инфраструктурная задача.
И это не SEO-буст. Корректный статус помогает краулеру понять, что произошло с URL, но сам по себе не поднимает новый сайт в выдаче.
Главный вывод, который у меня остался
Самым неожиданным оказалось не то, что у старого домена были старые URL, а то, насколько быстро эта невидимая история проявилась после запуска: больше 1,000 запросов в день по страницам, которых у меня не было, почти нулевое вовлечение и больше 900 ошибок в Yandex Webmaster за одну ночь.
Домен с историей — не пустое пространство имён. Старые ссылки, краулеры, скрипты и боты могут помнить пути много лет после исчезновения исходного контента. Моё нынешнее правило простое: проверить эту историю, отдавать статус, который соответствует реальности, и не смешивать операционный бот-трафик с выводами о поведении поисковой системы.
История домена может быть активом. Но это ещё и состояние, которое вы наследуете.