도메인을 사는 일은 보통 새로운 시작처럼 느껴집니다. 이름을 확인하고, TLD를 보고, 가격을 따져보죠. 하지만 우리가 자주 놓치는 중요한 요소가 하나 있습니다. 바로 이력입니다.
저는 이 사실을 꽤 아프게 배웠습니다. 원래 2000년에 등록된 도메인을 하나 샀는데, 처음에는 좋은 매물처럼 보였습니다. 서버 로그가 수상한 요청으로 차기 시작하기 전까지는요.
첫날: 봇 침공
사이트를 공개하자마자 트래픽 로그가 급증했습니다. 하지만 그건 실제 사용자가 아니었습니다. 제 새 사이트에는 존재하지도 않는 URL을 향해 하루 1,000건이 넘는 요청이 쏟아졌습니다.
알고 보니, 몇 년 전 이 도메인에 존재했던 페이지를 집요하게 찾는 대규모 봇 무리였습니다. 이들은 도메인의 과거 흔적을 뒤지고 있었고, 그 결과 거의 참여가 없는 이상한 직접 유입 급증이 만들어지고 있었습니다.
왜 SEO에 악영향을 주는가
문제는 단순히 서버 부하가 아니었습니다. 더 큰 문제는 검색엔진이 이 소음을 어떻게 해석하느냐였습니다.
봇이 이런 죽은 URL을 계속 두드리자 Yandex는 그 페이지들이 아직도 중요할 수 있다고 판단했습니다. 그래서 크롤러가 이 유령 같은 경로를 공격적으로 다시 방문하기 시작했고, 결국 404 (찾을 수 없음) 오류에 계속 부딪히게 됐습니다. 하룻밤 사이에 제 Webmaster Tools 대시보드에는 900개가 넘는 오류가 쌓였습니다.
해결책: 404 vs. 410
많은 개발자는 사라진 페이지에 그냥 기본 404만 씁니다. 하지만 이 경우에는 그걸로 부족했습니다. 검색엔진 입장에서 404는 대체로 “지금은 없지만 나중에 다시 와서 확인해볼 수도 있다”는 신호에 가깝습니다.
그래서 저는 Status 410 (Gone)으로 바꿔야 했습니다.
410 응답은 최종적입니다. 크롤러에게 “이 페이지는 영구적으로 사라졌다. 인덱스에 남겨두지 마라”라고 분명하게 말합니다.
이 오래된 경로들에 대해 정확히 410 응답을 돌려주는 것이야말로 봇 소음을 멈추고 SEO 상태를 정리한 유일한 방법이었습니다. 오래된 도메인을 산다면 새 사이트만 띄우지 말고, 이전 사이트의 흔적도 꼭 점검하고 첫날부터 410 전략을 준비해두세요.