Saya membeli domain yang pertama kali didaftarkan pada 2000. Di atas kertas, riwayat panjang itu tampak seperti nilai tambah. Lalu saya meluncurkan situs baru dan log server mulai dipenuhi request ke halaman yang tidak pernah saya buat.
Lebih dari 1.000 request per hari mengenai URL yang tidak ada di proyek baru. Di analytics, ini terlihat sebagai lonjakan besar direct traffic dengan engagement yang nyaris nol. Pada saat yang sama, crawler Yandex kembali mengunjungi path lama, menerima 404 Not Found, dan Yandex Webmaster mengumpulkan lebih dari 900 error dalam semalam.
Penjelasan pertama saya sederhana: bot lama memukul URL mati, Yandex melihat aktivitas itu, lalu terus melakukan crawl. Dari sisi saya, urutan kejadian memang tampak seperti itu. Namun data saya tidak cukup untuk membuktikan hubungan sebab-akibat tersebut.
Apa yang benar-benar bisa saya pastikan
Ada tiga observasi yang terpisah. Pertama, server menerima banyak request ke URL dari kehidupan lama domain. Kedua, traffic itu hampir tidak menghasilkan engagement pengguna yang bermakna. Ketiga, crawler Yandex juga meminta path lama dan dashboard Webmaster mencatat lebih dari 900 error dalam satu malam.
Secara operasional, itu jelas masalah: log menjadi bising, request tidak perlu bertambah, dan laporan error perlu dibersihkan. Tetapi fakta-fakta itu tidak membuktikan bahwa bot pihak ketiga menyebabkan Yandex melakukan crawl, atau bahwa error tersebut langsung merusak ranking maupun traffic organik. Crawling bukan indexing, indexing bukan ranking, dan laporan error bukan bukti penalti.
Bagian 404 vs 410 yang dulu saya sederhanakan
Dulu saya memikirkannya begini: 404 berarti “mungkin sedang tidak ada”, sedangkan 410 berarti “hilang permanen”. Sebagai intuisi, itu berguna, tetapi secara teknis kurang tepat.
404 Not Found berarti server tidak dapat menyediakan representasi terkini dari resource yang diminta; status itu sendiri tidak mengatakan apakah kondisinya sementara atau permanen. 410 Gone lebih spesifik: tepat digunakan ketika server tahu resource tersebut sudah tidak tersedia dan kondisi itu diharapkan permanen.
Ketepatan ini juga penting untuk klaim SEO. Mesin pencari dapat menghapus URL yang mengembalikan 404 maupun 410. Karena itu sekarang saya tidak lagi menyebut 410 sebagai status yang secara ajaib “lebih kuat untuk SEO”, dan saya tidak menganggap 404 salah untuk setiap halaman yang dihapus.
Mengapa 410 terarah tetap masuk akal dalam kasus saya
Path lama tersebut bukan gangguan sementara. Path itu berasal dari konten lama domain dan tidak memiliki tempat di proyek baru. Saya tahu URL tertentu itu hilang permanen. Karena itu 410 Gone secara semantik memang sesuai.
Saya lalu mengonfigurasi 410 hanya untuk legacy path yang diketahui, bukan mengubah semua URL yang tidak dikenal menjadi 410. Setelah perubahan tersebut, noise crawl dan reporting di sekitar path lama berkurang dan kondisi di webmaster tools menjadi jauh lebih bersih.
Namun saya tetap berhati-hati soal kausalitas. Saya bisa mengatakan bahwa perbaikan terjadi setelah perubahan itu dan 410 memang menggambarkan kondisi URL dengan benar. Saya tidak bisa membuktikan bahwa 410 saja menghentikan semua bot. Bot pihak ketiga bisa mengabaikan makna status HTTP dan terus meminta path yang sama tanpa batas.
Aturan keputusan yang saya pakai sekarang
Pertanyaan yang berguna bukan “Apakah 410 lebih baik daripada 404?”, melainkan “Apa yang sebenarnya terjadi pada URL ini?”
- Ada pengganti yang jelas: gunakan permanent redirect seperti
301ke URL baru yang benar-benar setara. - Resource lama diketahui dihapus permanen dan tidak punya pengganti:
410 Goneadalah pilihan yang presisi. - URL hanya tidak dikenal, salah ketik, atau memang tidak pernah ada:
404 Not Foundbiasa sudah tepat.
Yang saya hindari adalah me-redirect setiap URL mati ke homepage hanya agar error hilang. Itu menyembunyikan keadaan resource yang sebenarnya dan dapat memberi pengalaman lebih buruk bagi pengguna maupun crawler.
Cara saya mengaudit domain lama sebelum peluncuran sekarang
Jika saya menggunakan lagi domain yang punya riwayat, saya akan memperlakukan sejarah URL-nya sebagai bagian dari migration, bahkan jika saya tidak memigrasikan situs lamanya.
- Periksa footprint lama. Cari historical URL dan bagian legacy yang jelas sebelum launch.
- Pantau access log sejak hari pertama. Request berulang ke path yang tidak pernah Anda buat adalah bukti bahwa domain masih memiliki memori eksternal.
- Pisahkan manusia, search crawler, dan bot acak. Lonjakan direct traffic dan error crawler adalah sinyal berbeda; jangan otomatis digabung menjadi satu cerita sebab-akibat.
- Klasifikasikan URL mati yang berulang. Tentukan untuk setiap pola penting apakah perlu 301, 404, atau 410.
- Pantau hasil secara terpisah. Frekuensi request, laporan crawler, dan indexing adalah dimensi berbeda; jangan diringkas menjadi satu metrik “SEO health” yang kabur.
Pekerjaan ini kecil dibanding baru menemukan masalah setelah log dan webmaster tools sudah penuh noise.
Apa yang tidak diselesaikan oleh 410
410 adalah pernyataan HTTP tentang kondisi resource. Itu bukan firewall, rate limiter, atau mekanisme pemblokiran bot. Jika scraper tetap mengirim request setelah menerima 410, server masih harus menerima dan menjawabnya. Jika masalah sebenarnya adalah volume request yang abusif, itu adalah masalah infrastruktur yang terpisah.
410 juga bukan SEO boost. Status yang benar membantu crawler memahami apa yang terjadi pada URL; status itu sendiri tidak membuat situs baru mendapat ranking lebih tinggi.
Pelajaran yang saya pertahankan
Hal yang mengejutkan bukan bahwa domain lama punya URL lama. Yang mengejutkan adalah seberapa cepat sejarah tak terlihat itu muncul lagi setelah launch: lebih dari 1.000 request per hari ke halaman yang tidak saya miliki, engagement hampir nol, dan lebih dari 900 error Yandex Webmaster dalam satu malam.
Domain lama bukan namespace kosong. Link, crawler, script, dan bot dapat mengingat path bertahun-tahun setelah konten aslinya hilang. Aturan saya sekarang sederhana: audit riwayat itu, kembalikan status yang sesuai dengan kenyataan, dan pisahkan traffic bot operasional dari kesimpulan tentang perilaku mesin pencari.
Riwayat bisa menjadi aset. Ia juga merupakan state yang Anda warisi.