بخش فرانتاند از قبل به HTML ایستا تبدیل شده بود. nginx صفحههای ساختهشده و فایلهای رسانهای را مستقیم ارائه میکرد، اما پردازههای worker آن برای درخواستهای معمولی بهطرز غیرمنتظرهای زمان زیادی از CPU میگرفتند. دیگر خبری از رندر کردن صفحه با Next.js بهازای هر درخواست نبود که بتوان آن را بهینه کرد. کار پرهزینه زودتر انجام میشد: زمانی که nginx بررسی میکرد آیا هر URL به یکی از مجموعه روبهرشد تغییرمسیرهای قدیمی تعلق دارد یا نه.
راهحل نهایی لینکهای قدیمی را همچنان فعال نگه داشت. تغییرمسیرهای صفحهها، نامهای جایگزین تصاویر شمارهدار و نامهای جایگزین ویدئوها حفظ شدند، اما هزاران مقایسهٔ مبتنی بر عبارت منظم جای خود را به تعداد کمی تطبیق ساختاری و جستوجو در جدولهای هش دادند. این تغییر مستقر شد و رفتارش با مسیریابی اولیه مقایسه و آزمایش شد. یک بنچمارک کنترلشده و تکرارشونده نشان داد که برای ترکیب درخواستهای آزمایششده، زمان CPU مصرفی پردازههای worker در nginx بیش از صد برابر کاهش یافته است، بدون آنکه پاسخهای HTTP تغییر کنند.
چرا خروجی ایستای Next.js همچنان CPU زیادی مصرف میکرد؟
خروجی ایستا رندر کردن صفحه را از مسیر پردازش درخواست حذف میکند، اما منطق مسیریابی nginx را از بین نمیبرد. nginx پیش از ارائهٔ یک صفحهٔ HTML یا تصویر ممکن است مسیر را یکسانسازی کند، نگاشتهای تغییرمسیر را ارزیابی کند، یک location انتخاب کند، وجود فایلها را بررسی کند و پاسخ را بسازد. حتی فایلسیستم سریع هم نمیتواند هزینهٔ بالای تطبیق URL را که در هر درخواست تکرار میشود جبران کند.
با گذشت زمان دو نوع قاعدهٔ قدیمی در پیکربندی جمع شده بود. نامهای جایگزینِ دقیقِ صفحههای قدیمی به مسیرهای مرجع جدید اشاره میکردند. نامهای جایگزین صفحهبندی نیز مسیرهای کنارگذاشتهشده را تغییرمسیر میدادند، اما الگوهای ساختاری مشترکی داشتند. جدا از اینها، مسیر فایلهای رسانهای تغییرنامیافته از عبارتهایی استفاده میکردند که شمارهٔ اختیاری تصویر را استخراج میکرد؛ نام ویدئوها هم قواعد جایگزین مخصوص خودشان را داشتند. مشکل اصلِ وجود تغییرمسیرها نبود؛ مشکل این بود که گروههای بزرگ تغییرمسیرهای دارای ساختار مشابه، هر کدام بهصورت یک عبارت منظم جداگانه پیادهسازی شده بودند.
نخست باید علتهای دیگری را که نشانههای مشابه دارند رد کرد
سایت روی Linux مجازیسازیشده اجرا میشد، بنابراین در ابتدا احتمال میدادم مشکل از زمان CPU steal در لایهٔ مجازیسازی باشد. بهجای اینکه بالا بودن میانگین بار سیستم را بهتنهایی نشانهٔ علت مشکل بدانم، میزان استفاده از CPU، زمان steal، مصرف CPU هر پردازه، فشار حافظه و زمان انتظار دیسک را با هم مقایسه کردم. ابزارهای اصلیام اینها بودند:
mpstat -P ALL 1 5
pidstat -u -C nginx 1 5
vmstat -w 1 6
MASTER=$(systemctl show nginx -p MainPID --value)
WORKERS=$(pgrep -P "$MASTER" -d,)
perf record -F 49 -g -p "$WORKERS" -- sleep 10
perf report --stdio --no-children -g none
مشاهدهٔ اصلی این بود که پردازههای worker در nginx زمان قابلتوجهی از CPU را در فضای کاربر مصرف میکردند، درحالیکه زمان steal نسبتاً کم بود. اندازهگیریها از این فرضیه پشتیبانی نمیکردند که انتظار مداوم دیسک یا استفادهٔ فعال از swap علت اصلی مشکل باشد. بررسی در سطح پردازه نشان داد کدام برنامه مشغول است؛ perf کمک کرد بفهمم آن برنامه چه کاری انجام میدهد.
در یکی از نمونهها، حدود یکسوم فعالیت CPU ثبتشده به pcre_exec نسبت داده شد و مقداری زمان اضافی هم صرف ngx_http_regex_exec و ngx_regex_exec شده بود. اینها همان تابعهایی هستند که هنگام اجرای عبارتهای منظم از طریق PCRE در nginx انتظار داریم ببینیم. پروفایل مشخص نمیکرد دقیقاً کدام نگاشت تغییرمسیر مسئول است، اما ارزیابی مکرر عبارتهای منظم را به توضیحی بسیار محتملتر از مشکل در رندر HTML ایستا تبدیل کرد.
هزینهٔ پنهان بررسی ترتیبی عبارتهای منظم در map مربوط به nginx
دستور map در nginx ذاتاً کند نیست. کلیدهای رشتهایِ صریح را میتوان بهشکل کارآمد پیدا کرد، اما ورودیهای مبتنی بر عبارت منظم، پس از دستههای دارای اولویت بالاتر، بهترتیب تعریفشده در پیکربندی بررسی میشوند. متغیرهای نگاشت زمانی ارزیابی میشوند که به آنها ارجاع داده شود؛ بنابراین یک نگاشت بزرگِ مبتنی بر عبارت منظم وقتی پرهزینه میشود که خروجیاش در مسیر پرتکرار درخواستها مصرف شود. حتی یک تصویر موجود با URL مرجع که با هیچکدام از نامهای قدیمی تطبیق ندارد، ممکن است پیش از ارائهٔ بایتهای فایل توسط nginx هزینهٔ تعداد زیادی مقایسهٔ ناموفق را تحمیل کند.
همین تفاوت نشان میدهد چرا شمردن تمام بلوکهای location ~ گمراهکننده بود. انتخاب location با عبارت منظم و ارزیابی عبارتهای منظم درون map دو سازوکار متفاوتاند. پروفایلگیری نوع عملیات پرهزینه را نشان میدهد؛ بررسی مسیر درخواست و محل استفاده از متغیرها مشخص میکند آن عملیات کجا اجرا میشود.
بررسی جداگانهٔ اجزا نشان داد که فهرستهای رسانه تنها منبع مشکل نبودند. مجموعهٔ مستقلی از تغییرمسیرهای صفحهبندی هم هنگام ارزیابی نگاشت مربوط به خودشان باعث اجرای مقدار زیادی عبارت منظم میشدند. اگر فقط تصاویر را بهینه میکردم، آن هزینهٔ مستقل همچنان باقی میماند.
تغییرمسیر صفحهها: یک الگوی صفحهبندی، اما هزاران مقصد دقیق
قواعد صفحهها تکراری بودند: مسیرها فقط از نظر یک شناسهٔ قدیمی تفاوت داشتند و انتهایشان از الگویی مثل /topics/old-a/page/99 پیروی میکرد. شاید وسوسهانگیز بود که قاعده را بازنویسی کنم، عدد 99 را بیرون بکشم و به اسلاگ جدید اضافه کنم؛ اما این کار اشتباه بود. بعضی از قواعد قدیمی صفحهبندی عمداً هر شمارهصفحهٔ درخواستی را به یک صفحهٔ نهایی ثابت، مثلاً /topics/current-a/page/7، هدایت میکردند؛ فرقی نداشت شمارهٔ صفحه در درخواست اولیه 3 باشد یا 99.
محدودیت مهم دیگری هم وجود داشت: nginx به کلیدهای دقیق map نسبت به عبارتهای منظم اولویت میدهد. بعضی ورودیهای دقیق، نتیجهٔ قاعدهٔ عمومی صفحهبندی را بازنویسی میکردند. بعضی دیگر صراحتاً به رشتهٔ خالی نگاشت میشدند تا مسیری که از قبل مرجع و معتبر بود تغییرمسیر نگیرد. اگر صرفاً بررسی میکردیم که مقصد برگرداندهشده خالی نیست، تفاوت میان نبودن تطبیق دقیق و وجود تطبیق دقیقی که مقدارش خالی است از بین میرفت.
در راهحل جایگزین، تشخیص مسیر از انتخاب مقصد جدا شد. نمونهٔ زیر تصویری سادهشده و فرضی از نگاشتهای nginx در سطح http است:
# http context: synthetic page aliases
map $uri $normalized_path {
default $uri;
~^(.+)/$ $1;
}
map $normalized_path $exact_target {
default "__NO_EXACT__";
/topics/old-a /topics/current-a;
/topics/old-a/page/2 /topics/current-a/page/2;
/topics/old-b/page/2 "";
}
map $normalized_path $pagination_key {
default "";
~^/(?<old_root>topics/[a-z0-9-]+)/page/[1-9][0-9]*$ /$old_root;
}
map $pagination_key $pagination_target {
default "";
/topics/old-a /topics/current-a/page/7;
/topics/old-b /topics/current-b/page/6;
}
map $exact_target $redirect_target {
default $exact_target;
__NO_EXACT__ $pagination_target;
}
نگاشت اول یکسانسازی مسیر از نظر اسلش انتهایی را حفظ میکند. نگاشت دوم تغییرمسیرهای دقیق و استثناهای صریح با مقدار خالی را نگه میدارد و از یک مقدار نشانگر برای مشخص کردن نبودن ورودی دقیق استفاده میکند. نگاشت سوم با یک عبارت منظم، ریشهٔ مسیر صفحهبندی را استخراج میکند. نگاشت چهارم آن ریشه را با جستوجوی کلید دقیق به مقصد ثابت قبلیاش تبدیل میکند. در پایان، انتخابگر پیش از بررسی نتیجهٔ صفحهبندی، هر تطبیق دقیق ــ حتی استثنای با مقدار خالی ــ را در اولویت قرار میدهد.
سروری که تغییرمسیر را انجام میدهد میتواند از مقدار نهایی $redirect_target فقط در صورت خالی نبودنش استفاده کند، کد وضعیت HTTP قبلی را نگه دارد و اگر سیاست موجود حفظ رشتهٔ پرسوجو را ایجاب میکند، $is_args$args را به آن بیفزاید. مقدار نشانگر باید رزرو و اعتبارسنجی شود تا هرگز با یک مقصد واقعی تداخل نداشته باشد. در این مثال از مسیرهای خنثی استفاده شده است؛ تولیدکنندهٔ پیکربندی در محیط عملیاتی باید کل فهرست نگاشتهای واقعی خودش و ترتیب اولویتهای موجود را حفظ میکرد.
تفاوت رفتار در برابر حروف بزرگ و کوچک در این طراحی بهراحتی نادیده گرفته میشود. nginx کلیدهای رشتهای صریح در map را بدون حساسیت به بزرگی یا کوچکی حروف مقایسه میکند، اما عبارتهای منظم نوشتهشده با ~ به بزرگی و کوچکی حروف حساساند. بنابراین نمیتوان در نسخهٔ جایگزین همهٔ URLها را بیدلیل به حروف کوچک تبدیل کرد یا قاعدهٔ ~ را به ~* تغییر داد و نتیجه را معادل رفتار قبلی دانست. باید دقیقاً همان قواعد تطبیق قبلی بازتولید شوند.
تغییرمسیر تصاویر و ویدئوها: یک بار تجزیهٔ مسیر، سپس جستوجو با کلید قدیمی
قواعد فایلهای رسانهای هم ساختار مفید مشابهی داشتند. در مسیر قدیمی یک تصویر، شناسهٔ گالری هم در نام پوشه و هم در نام فایل تکرار میشد و ممکن بود پسوند عددی اختیاری هم داشته باشد: /old-gallery/old-gallery-17.avif. مقصد همان پسوند عددی را نگه میداشت، اما نام پوشه و پیشوند نام فایل را عوض میکرد. ساختن یک عبارت منظم برای هر گالری قدیمی و هر شکل پسوند، CPU را صرف مقایسههایی میکرد که همگی از یک الگوی ساختاری پیروی میکردند.
نگاشت کارآمدتر، شناسه و پسوند اختیاری را با یک عبارت منظم استخراج میکند و بعد پیشوند جدید را با جستوجوی کلید صریح به دست میآورد:
# http context: synthetic AVIF rename inventory
map $uri $legacy_image_key {
default "";
~^/(?<old_id>[a-z0-9-]+)/\k<old_id>(?<image_number>-[0-9]+)?\.avif$ $old_id;
}
map $legacy_image_key $new_image_prefix {
default "";
old-gallery /new-gallery/new-gallery;
old-set /new-set/new-set;
}
# A recognized alias now has a target candidate:
# $new_image_prefix$image_number.avif
# Existing-file checks and the actual 301 remain
# in the site's media-serving configuration.
برای نام جایگزینی که شناسایی شده باشد، مسیر /old-gallery/old-gallery-17.avif به مقصد احتمالی /new-gallery/new-gallery-17.avif میرسد. این فقط سازوکار جستوجو است، نه سیاست کامل ارائهٔ فایل. در استقرار واقعی، اولویت فایلهای موجود، بررسی وجود فایل مقصد و تصمیم به ارسال تغییرمسیر 301 همچنان بخشی از پیکربندی ارائهٔ رسانه بودند. اگر فایل مقصد وجود نداشت، گذاشتن تغییرمسیر 301 بدون شرط در یک مثال سادهشده، جایگزین نادرستی بود.
برای تغییرمسیر ویدئوها نیز از جدول کلیدهای دقیق مشابهی در پشت یک عبارت منظم واحد برای شکل نام فایل استفاده شد. مسیر سازگاری با WebP که از قبل وجود داشت و جستوجوی نام جایگزین تاریخی را با نگاشت تصاویر هماهنگ میکرد نیز باید دستنخورده میماند. بهینهسازی رسانه فقط زمانی موفق است که فایلهای فعلی همچنان بایتها و هدرهای درست را برگردانند و دنبال کردن نام جایگزین قدیمی یک ویدئو هنوز پاسخ 206 Partial Content را برای درخواستهای محدودهٔ بایتی پشتیبانی کند.
این مثالها فقط به این دلیل جواب میدهند که فهرستهای تاریخی از الگوی قابلپیشبینی نام فایل پیروی میکردند. اگر فایلهای منفرد، مستقل از هم و بدون قاعدهٔ مشترک تغییرنام داده شده باشند، راهکار امن استفاده از کلیدهای دقیق برای تکتک فایلها، یک نمایهٔ تولیدشده یا سازوکار جستوجوی دیگری با هزینهٔ محدود است؛ نه اینکه وانمود کنیم یک عبارت منظم میتواند مقصدهایی را بازسازی کند که هیچ الگوی مشترکی ندارند.
تکلیف نگاشت جداگانهٔ 410 چه شد؟
بخش دیگری از پیکربندی، الگوهای صفحههای کنارگذاشتهشده را صراحتاً فهرست کرده بود، فقط برای اینکه پاسخ 410 Gone بدهد. این نگاشت ویژه پس از آن حذف شد که تأیید کردم سیاست موجودِ مسیریابی فایلهای ایستا برای صفحههایی که واقعاً وجود ندارند از قبل 410 برمیگرداند. اطلاعات تاریخی مربوط به کنارگذاری صفحهها برای اعتبارسنجی همچنان در دسترس ماند؛ فقط تطبیق تکراری هنگام پردازش درخواست حذف شد.
این تصمیم مخصوص همان پیکربندی بود، نه رفتار پیشفرض nginx. دستور try_files بهتنهایی معمولاً در نهایت به 404 میرسد، مگر اینکه طور دیگری تنظیم شده باشد. حذف یک قاعدهٔ صریح 410 فقط زمانی امن است که مسیر رسیدگی به منابع ناموجود در سرور واقعی همچنان 410 موردنیاز را تولید کند؛ از جمله برای URLهای صفحهبندی کنارگذاشتهشده و در حضور هرگونه پردازش داخلی صفحهٔ خطا. پیش از پذیرش تغییر، این شرط را با درخواستهای HTTP واقعی بررسی کردم.
چطور ثابت کنیم نگاشت تغییرمسیر سریعتر دقیقاً همان رفتار قبلی را دارد؟
یک پیکربندی nginx ممکن است از نظر نحوی معتبر باشد، اما بیسروصدا هزاران لینک قدیمی را خراب کند. به همین دلیل، در راهحل جایگزین فهرست اصلی قواعد را بهعنوان ورودی مستقلی برای بررسی درستی به کار بردم، نه فهرستی از مقصدها که از خروجی نسخهٔ بهینهشده دوباره ساخته شده باشد. جدولهای جستوجوی تولیدشده از نظر کلیدهای تکراری، عبارتهای پشتیبانینشده، پیشوندهای ناسازگار تصاویر و فایلهای تولیدشدهٔ قدیمیِ بهروزرسانینشده بررسی شدند. اگر قاعدهای را نمیشد با اطمینان نمایش داد، فرایند تولید باید خطا میداد، نه اینکه آن قاعده ناپدید شود.
ماتریس آزمایشها نامهای جایگزین دقیق صفحهها، استثناهای خالی مسیرهای مرجع، قواعد همپوشان صفحهبندی، سقفهای ثابت صفحهبندی، شمارهصفحههای معتبر و نامعتبر، اسلشهای انتهایی، تفاوت حروف بزرگ و کوچک و رشتههای پرسوجو را پوشش میداد. در بخش رسانه، تصاویر پایه و شمارهدار، پسوندهای عددی با صفرهای ابتدایی، شناسههای ختمشونده به رقم، مسیرهای مقصد تودرتو، سازگاری با WebP و نامهای جایگزین اصلی ویدئوها آزمایش شدند. هرجا نحوهٔ ارائهٔ فایل اهمیت داشت، از فایلهای آزمایشی واقعی و قابلخواندن استفاده شد و بدنهٔ پاسخها، تغییرمسیرها، هدرهای مرتبط با کش و محدودههای بایتی ویدئو مقایسه شدند.
از همه مهمتر، اینها آزمایشهای واقعی HTTP از طریق nginx بودند، نه صرفاً مقایسهٔ رشتهها در JavaScript. پیکربندی جدید روی ماتریس درخواستهای تولیدشده آزمایش شد و مجموعهٔ جداگانهای از درخواستها نیز با پیکربندی اصلی مبتنی بر PCRE سنجیده شد. نتیجهٔ گزارششده، صفر تفاوت ناخواسته در پاسخها بود. بررسیهای سریع پس از استقرار در محیط عملیاتی هم تأیید کردند که فایلهای پیکربندیِ include بهینهشده فعالاند و جدولهای طولانی قبلیِ عبارتهای منظم دیگر فعال نیستند.
یک بنچمارک کنترلشده اثر بهینهسازی را از تغییر ترافیک جدا کرد
نمودارهای CPU در محیط عملیاتی پس از استقرار بهشکل محسوسی بهتر شدند، اما هم حجم درخواستها و هم ترکیب آنها تغییر کرده بود. مقایسهٔ یک نمونه از زمان شلوغی با نمونهٔ بعدی از زمانی خلوتتر، سهمی را که میشد به تغییر پیکربندی نسبت داد بیش از حد بزرگ نشان میداد.
برای جدا کردن هزینهٔ جستوجو، در یک بنچمارک مستقل از همان فایل اجرایی nginx استفاده شد و همان دنبالهٔ ترکیبی درخواستها در هر دو پیکربندی اصلی و بهینهشده تکرار شد. این دنباله شامل صفحههای مرجع، نامهای جایگزین قدیمی صفحهها، نامهای جایگزین صفحهبندی، صفحههای ناموجود، تصاویر مرجع، نامهای جایگزین قدیمی تصاویر و ویدئوها و فایلهای رسانهای ناموجود بود. اجراها با ترتیب قدیمی، جدید، جدید، قدیمی درهمآمیخته شدند؛ کدهای وضعیت پاسخ و مقدار هدر Location با هم یکسان بود.
برای همین بار کاری کنترلشده، زمان CPU مصرفی پردازههای worker در nginx با نگاشتهای بهینهشده کمتر از یکصدمِ زمان مصرفی با نگاشتهای اصلیِ متکی بر عبارتهای منظم بود و این نتیجه در اجراهای تکراری نیز بازتولید شد. این اندازهگیری شاهد محکمی برای اثر تغییر در پردازش تغییرمسیرها، با همین ترکیب درخواستهاست. اما به این معنا نیست که تکتک درخواستها در محیط عملیاتی صد برابر سریعتر شدهاند یا مصرف کلی CPU سرور با هر نوع ترافیکی به همان نسبت کاهش پیدا میکند.
بررسیهای بعدی سیستم نشان دادند که nginx مقدار کمی CPU مصرف میکند، فشار روی دیسک پایین است و پردازنده زمان بیکاری زیادی دارد. نقطهٔ داغ قبلیِ مرتبط با PCRE دیگر در نمونههای موجودِ پس از تغییر غالب نبود؛ با این حال، در این سطح پایین از مصرف، تعداد نمونهها کم بود و نباید درصدهای مربوط به هر تابع را بیش از حد تفسیر کرد. مقایسهٔ کنترلشده، آزمایشهای برابری رفتار و استقرار موفق شواهد قویتری برای درستی راهحلاند.
روشی امنتر برای مهاجرت مجموعههای بزرگ تغییرمسیر در nginx
برای سایت دیگری که URLهای قدیمی زیادی دارد، ترجیح میدهم مهاجرت را بهشکل مکانیکی و قابلبررسی انجام دهم: فهرست اصلی قواعد را نگه دارم، تعداد کمِ الگوهای ساختاری مشترک مسیرها را پیدا کنم، هر الگو را به یک عبارت منظم با دامنهٔ محدود تبدیل کنم و مقصدها را در نگاشتهایی با کلید صریح ذخیره کنم. استثناهای دقیق مسیرهای مرجع، کدهای وضعیت HTTP، بررسی وجود فایلها، رشتههای پرسوجو، یکسانسازی نام میزبان و حساسیت به بزرگی و کوچکی حروف باید بخشی از رفتار عمومی سایت به حساب بیایند، نه جزئیات اتفاقی پیادهسازی.
بعد باید کل پیکربندی تولیدشده را با nginx -t اعتبارسنجی کرد، رفتار قبلی و جدید را با درخواستهای واقعی به nginx مقایسه کرد، درخواستهای یکسان را بنچمارک گرفت و با داشتن نسخهٔ پشتیبان قابلبازیابی و بررسیهای پس از بارگذاری مجدد پیکربندی، آن را مستقر کرد. اگر تغییرمسیری با این روش ساختاری قابلنمایش نیست، باید یک استثنای محدود برای آن نگه داشت یا ورودی دقیقی برای همان URL تعریف کرد، نه اینکه بیسروصدا حذفش کرد.
تغییر مهم در روش عیبیابی این بود که فهمیدم ارائهٔ محتوای ایستا و مسیریابی کمهزینه دو ویژگی جداگانهاند. Next.js از قبل کار رندر را تمام کرده بود و nginx هم میتوانست فایلها را کارآمد ارائه کند. چیزی که هنوز بهینه نشده بود، جستوجویی بود که پیش از ارائهٔ فایل انجام میشد. حفظ لینکهای قدیمی هیچ منافاتی با سریعتر کردن همین جستوجو نداشت.
برای جزئیات دقیق اولویتها و قواعد ارزیابی، به مستندات رسمی nginx دربارهٔ ماژول map و انتخاب location در ماژول اصلی HTTP مراجعه کنید.