Yandex Webmaster を開いたとき、無視できない数字が目に入りました。2,000ページが一晩でYandex検索から消えていたのです。プロジェクト全体は約8,000ページだったので、検索に参加しているページが一気に約25%減ったことになります。
最初に浮かんだ感想は単純でした。SEOは厳しい。ただ、今振り返ると、もっと重要なのは別の点です。「検索にあるページ数」が急減したという事実は、あくまで観測結果であって原因の診断ではありません。2,000という数字は確認できました。しかし、なぜそうなったのかはまだ分かっていませんでした。
その時点で本当に確認できていたこと
確実だったのは3点だけです。Yandex Webmaster上で2,000ページ減っていたこと、プロジェクト全体が約8,000ページだったこと、そして変化が一晩で現れたことです。一方で、Yandexからペナルティを受けた証拠、クロールが失敗した証拠、ある特定の技術変更が下落を引き起こした証拠はありませんでした。
ここは重要です。Yandexでは、ひとまとめに「インデックス」と呼びたくなる状態が実際には分かれています。URLがクロールされても検索から除外されることはあります。またYandexの公式ドキュメントでは、ロボットのデータベースに存在していても、現時点では検索結果に表示できないページがあると説明されています。つまりWebmasterで見るべきなのは「クローラーがこのURLを見たか」だけではなく、「このページはいま検索に参加しているか。参加していないなら、どのステータスが理由を示しているか」です。
この違いは、Yandex公式の 検索に含まれるページの説明 と 検索から除外されたページの説明 でも確認できます。
クロール、検索への参加、順位、トラフィックは別の問題
この出来事で改めて感じたのは、SEOでは異なる層を簡単に混同してしまうということでした。クロール、検索システムへの取り込み、検索への参加、実際の順位やトラフィックは関係していますが、同じ意味ではありません。
- クロールは、ロボットがURLを取得したかどうかの話です。
- 検索への参加は、そのページが現在Yandex検索に表示され得る状態かどうかの話です。
- ランキングは、特定の検索クエリでそのページがどの位置に出るかの話です。
- トラフィックは、順位だけでなく検索需要、スニペット、CTR、季節性など多くの要因に左右されます。
したがって、検索に参加するページが25%減ったからといって、トラフィックも25%減ったとは限りません。クロール障害が起きた証拠にもなりません。それだけでアルゴリズム上のペナルティを証明することもできません。
それでも2,000ページという規模は重要だった
2,000 URLという数は、数ページの偶発的な変化として片づけるには大きすぎます。次に見るべきなのは、影響を受けたURLに共通点があるかどうかです。同じディレクトリ、テンプレート、コンテンツ種別、canonical設定、HTTPステータス、内部リンク構造、公開時期などでまとまりがないかを確認します。
合計値を眺め続けるより、こうしてセグメントに分けた方が調査は進みます。除外されたページの多くに同じ技術的特徴があれば、原因候補をかなり絞れます。逆に無関係なセクション全体に広がっているなら、考えるべき仮説も変わります。
ただし、これはあくまで調査方法の話です。私のケースで実際に何が原因だったかを示すものではありません。元の観測だけでは原因までは証明できませんでした。
アルゴリズムを疑う前に確認したい順番
同じグラフをもう一度見たなら、私は次の順番で確認します。
- まず指標そのものを確認する。 本当に「検索にあるページ数」が変化したのかを確認し、除外ページ一覧と変化した日付を見る。
- 除外理由を見る。 Yandex Webmasterでは、低価値または低需要、非canonical、
noindex、リダイレクト、レスポンスエラーなどの理由が示される場合があります。ステータスは証拠ですが、グラフだけからの推測は証拠ではありません。 - 影響URLをグループ化する。 ディレクトリ、テンプレート、ページ種別、言語、生成系セクション、公開時期を比較する。まとまりが見つかれば、単純な総数より多くのことが分かります。
- サンプルで技術要素を確認する。 HTTPステータス、robots関連ディレクティブ、canonical、リダイレクト、ページの到達性、そしてロボットに返しているHTMLが想定どおりかを見る。
- インデックス側の変化と順位・トラフィックを分ける。 検索への参加、インプレッション、クリック、Analyticsのセッションは別々の問いに答える指標です。私は一つを別の指標の代用にはしません。
- 最後に因果仮説を立てる。 設定変更、デプロイ、テンプレート更新、特定のコンテンツパターンと影響URLが一致するなら、それは原因候補になります。ただし、そこから先も証拠が必要です。
Yandexも、まず具体的な除外理由を確認し、実際の問題を修正した後に再クロールを依頼する流れを案内しています。大きな数字を見てから説明を後付けするより、この順序の方がはるかに堅実です。
この出来事だけからは言わないこと
私は「Yandexにサイトを罰せられた」とは書きません。そこまで確認できていないからです。「クローラーが急に厳しくなった」とも言い切りません。その一言では、技術的に異なる複数の状態を隠してしまいます。2,000ページを永久に失ったとも呼びません。除外判断や技術状態は変わる可能性があります。そして、ステータスを確認せずに2,000 URLすべてが同じ理由で消えたとも考えません。
SEOの体験談が弱くなりやすいのは、ここだと思います。大きく落ちたグラフを見ると、すぐに確信のある原因説明に変換したくなる。けれど、グラフが証明するのは「何かが変わった」ということまでです。思いつく原因のすべてを証明してくれるわけではありません。
この下落から残った教訓
8,000ページ中2,000ページが一晩で検索から消えたら、厳しいと感じるのは今でも自然だと思います。ただ、より良い教訓は「SEOはランダムだ」ではありません。検索システムには複数の状態層があり、なぜ変わったのかを説明する前に、まずどの層が変化したのかを特定する必要があるということです。
私にとっての実用的なルールはシンプルです。まず観測事実を記録し、原因は未確定のままにして、ページ単位の証拠で仮説を絞っていく。確認できた数字は2,000。原因はまだ問いのままでした。 この二つを混ぜないことが、出来事を本当に役立つ経験に変えてくれます。