بازگشت به بلاگ
۲۵ آبان ۱۴۰۴Sergei Solod2 دقیقه مطالعه

دامنه‌های قدیمی با دردسرهای قدیمی می‌آیند

یک دامنه ۲۵ ساله با خودش ترافیک باتِ قدیمی، هدررفت خزش و یک دردسر جدی سئو آورد که فقط با پاسخ‌های هدفمند ۴۱۰ حل شد.

سئووبمسترDevOpsعیب‌یابیدامنه

خریدن یک دامنه معمولاً حس شروعی تازه را می‌دهد. املای نام را چک می‌کنید، TLD را می‌بینید و قیمت را بررسی می‌کنید. اما یک عامل مهم را خیلی وقت‌ها فراموش می‌کنیم: تاریخچه.

من این درس را به سخت‌ترین شکل ممکن یاد گرفتم. دامنه‌ای خریدم که اولین بار در سال 2000 ثبت شده بود و در نگاه اول یک خرید عالی به نظر می‌رسید—تا وقتی که لاگ‌های سرور شروع کردند به پر شدن.

روز اول: هجوم بات‌ها

تقریباً بلافاصله بعد از راه‌اندازی، لاگ‌های ترافیک من جهش کرد. اما این‌ها کاربر واقعی نبودند. بیشتر از ۱۰۰۰ درخواست در روز به URLهایی می‌رسید که اصلاً روی سایت جدید من وجود نداشتند.

بعداً مشخص شد که یک ارتش از بات‌ها به‌صورت تهاجمی دنبال صفحاتی می‌گردند که سال‌ها پیش روی این دامنه وجود داشته‌اند. آن‌ها گذشته‌ی دامنه را جست‌وجو می‌کردند و در نتیجه، جهش بزرگی در ترافیک مستقیم با تقریباً صفر تعامل ایجاد شده بود.

چرا این موضوع به سئو ضربه می‌زند

مشکل فقط فشار روی سرور نبود. آسیب اصلی از جایی می‌آمد که موتورهای جست‌وجو این نویز را چگونه تفسیر می‌کردند.

چون بات‌ها مدام این URLهای مرده را می‌زدند، Yandex فرض کرد که شاید آن صفحات هنوز مهم باشند. خزنده‌ی آن شروع کرد به بازدید تهاجمی از این مسیرهای شبح‌وار، اما فقط به دیوار خطاهای 404 (یافت نشد) می‌خورد. داشبورد Webmaster Tools من یک‌شبه با بیش از ۹۰۰ خطا روشن شد.

راه‌حل: 404 یا 410

خیلی از توسعه‌دهنده‌ها برای صفحه‌های حذف‌شده به همان 404 معمولی تکیه می‌کنند. در این مورد، کافی نبود. برای موتور جست‌وجو، 404 عملاً این معنی را می‌دهد: «الان پیدایش نمی‌کنم، شاید بعداً دوباره سر بزنم.»

برای متوقف کردن این وضعیت، مجبور شدم به Status 410 (Gone) تغییر بدهم.

پاسخ 410 قطعی است. به خزنده می‌گوید: «این صفحه برای همیشه حذف شده است. آن را در ایندکس نگه ندار.»

اجرای پاسخ‌های هدفمند 410 برای این مسیرهای قدیمی تنها کاری بود که هم صدای بات‌ها را خواباند و هم وضعیت سئوی سایت را تمیز کرد. اگر قرار است یک دامنه قدیمی بخرید، فقط سایت جدید را بالا نیاورید—ردپای سایت قبلی را هم بررسی کنید و از همان روز اول برای 410 برنامه داشته باشید.