Покупка домена обычно ощущается как чистый старт. Проверяешь написание, TLD и цену. Но очень часто забывается один важный фактор: история домена.
Я усвоил этот урок на собственном опыте. Купил домен, который впервые зарегистрировали еще в 2000 году, и сначала это казалось отличной находкой—пока серверные логи не начали быстро заполняться странными запросами.
День первый: нашествие ботов
Почти сразу после запуска мои логи трафика резко взлетели. Но это были не реальные пользователи. На URL, которых вообще не существовало на новом сайте, посыпалось больше 1000 запросов в день.
В итоге выяснилось, что это целая армия ботов агрессивно ищет страницы, которые когда-то жили на этом домене много лет назад. Они пытались нащупать его прошлую жизнь и создавали огромный всплеск прямого трафика при почти нулевом вовлечении.
Почему это бьет по SEO
Проблема была не только в нагрузке на сервер. Главная неприятность заключалась в том, как поисковики трактовали весь этот шум.
Поскольку боты без конца били по этим мертвым URL, Yandex решил, что такие страницы, возможно, все еще имеют значение. Его краулер начал агрессивно возвращаться к этим призрачным путям, снова и снова упираясь в ошибки 404 (Не найдено). Всего за одну ночь в панели Webmaster Tools у меня накопилось более 900 ошибок.
Решение: 404 против 410
Многие разработчики для отсутствующих страниц оставляют обычный 404. В этом случае его оказалось недостаточно. Для поисковой системы 404 часто означает примерно следующее: «Сейчас страницы нет, но, возможно, я проверю ее позже еще раз».
Чтобы реально остановить проблему, мне пришлось перейти на Status 410 (Gone).
Ответ 410 — это уже окончательная позиция. Он говорит краулеру: «Эта страница исчезла навсегда. Убери ее из индекса.»
Точечные 410-ответы для этих старых путей оказались единственным способом по-настоящему заткнуть ботов и привести SEO в порядок. Если вы покупаете старый домен, недостаточно просто запустить на нем новый сайт — нужно еще проверить следы прошлого проекта и с первого дня иметь готовую стратегию 410.