ドメインを買うときは、たいてい新しいスタートのように感じます。スペルを確認し、TLD を見て、価格を確認する。でも、見落としがちな大事な要素があります。その履歴です。
私はこのことを痛い形で学びました。2000年に最初に登録されたドメインを手に入れたのですが、最初はかなり良い買い物に思えました。ところが、サーバーログが妙なリクエストで埋まり始めてから空気が変わりました。
初日：ボットの襲来
公開してほぼ直後に、トラフィックログが急増しました。でも、それは本物のユーザーではありませんでした。新しいサイトには存在しない URL に対して、1日あたり1,000件を超えるリクエストが飛んできたのです。
原因は、何年も前に存在していたページを執拗に探し回る大量のボットでした。彼らはそのドメインの過去の姿を追っていて、その結果、ほぼエンゲージメントのない不自然なダイレクトトラフィックの急増が発生していました。
なぜ SEO に悪影響なのか
問題はサーバー負荷だけではありません。本当に厄介だったのは、検索エンジンがこのノイズをどう解釈するかでした。
ボットがこうした死んだ URL を何度も叩くせいで、Yandex はそれらのページがまだ重要なのかもしれないと判断しました。そしてクローラーは、その幽霊のようなパスを執拗に再訪するようになり、最終的には 404 (Not Found) エラーに何度も突き当たることになりました。わずか一晩で、Webmaster Tools のダッシュボードには 900件超のエラー が並びました。
解決策：404 と 410
存在しないページに対して、標準の 404 で済ませる開発者は多いです。でも、このケースではそれでは不十分でした。検索エンジンにとって 404 は、要するに「今は見つからない。あとでまた見に来るかもしれない」という意味になりがちです。
そこで私は、Status 410 (Gone) に切り替える必要がありました。
410 は最終的な意思表示です。クローラーに対して、「このページは完全に消えた。もうインデックスに残すな」 と伝えます。
こうした古いパスに対して狙いを定めた 410 レスポンスを返すことが、ボットの騒音を止め、SEO の状態を立て直すための唯一の有効策でした。古いドメインを買うなら、新しいサイトを立ち上げるだけでは足りません。過去の痕跡もきちんと洗い出して、最初の日から 410 戦略を用意しておくべきです。