Фронтенд уже был собран в статический HTML. Nginx напрямую отдавал готовые страницы и медиафайлы, но его рабочие процессы неожиданно много нагружали CPU даже при обычных запросах. Оптимизировать рендеринг Next.js на каждый запрос было незачем: его просто не было. Дорогостоящая операция выполнялась раньше — nginx проверял, не относится ли очередной URL к постоянно растущему набору старых редиректов.
В итоге удалось ускорить обработку запросов, не сломав старые ссылки. Редиректы страниц, алиасы изображений с числовыми суффиксами и алиасы видео остались на месте, но тысячи сравнений с регулярными выражениями я заменил небольшим числом проверок структуры пути и поиском по хеш-таблицам. Изменение было внедрено и проверено на соответствие прежнему поведению маршрутизации. Повторяемый контролируемый бенчмарк показал сокращение процессорного времени рабочих процессов nginx более чем в 100 раз на тестовой смеси запросов — без изменений в HTTP-ответах.
Почему статический экспорт Next.js всё равно нагружал CPU
При статическом экспорте рендеринг страниц исключается из обработки запросов, но логика маршрутизации nginx никуда не исчезает. Прежде чем отдать HTML-страницу или изображение, nginx может нормализовать путь, проверить карты редиректов, выбрать блок location, убедиться в наличии файлов и сформировать ответ. Быстрая файловая система не компенсирует затрат на сопоставление URL с правилами, повторяющееся при каждом запросе.
Со временем в конфигурации накопились исторические правила двух типов. Точные алиасы старых страниц указывали на новые канонические пути. Алиасы пагинации тоже перенаправляли запросы с устаревших путей, но строились по общим шаблонам. Отдельно обрабатывались переименованные медиафайлы: регулярные выражения для изображений захватывали необязательные числовые суффиксы, а для видео существовали свои правила алиасов. Проблема заключалась не в самих редиректах, а в том, что большие группы однотипных правил были записаны как отдельные регулярные выражения.
Сначала исключить другие причины похожих симптомов
Сайт работал на виртуализированном Linux, поэтому сначала я допускал, что причина в CPU steal — времени процессора, которое гипервизор забирает у виртуальной машины. Вместо того чтобы считать высокий load average диагнозом, я сопоставил загрузку CPU, steal time, потребление процессора отдельными процессами, нехватку памяти и ожидание дисковых операций. Основные команды были такими:
mpstat -P ALL 1 5
pidstat -u -C nginx 1 5
vmstat -w 1 6
MASTER=$(systemctl show nginx -p MainPID --value)
WORKERS=$(pgrep -P "$MASTER" -d,)
perf record -F 49 -g -p "$WORKERS" -- sleep 10
perf report --stdio --no-children -g none
Главное наблюдение: рабочие процессы nginx потребляли много процессорного времени в пространстве пользователя, а доля steal была сравнительно небольшой. По измерениям нельзя было считать главной причиной длительное ожидание диска или активное использование swap. Данные по процессам показали, какая программа нагружала CPU, а perf помог выяснить, что именно она делала.
В одной из выборок примерно треть зарегистрированной активности CPU приходилась на pcre_exec; дополнительное время занимали ngx_http_regex_exec и ngx_regex_exec. Именно эти функции вызываются при выполнении регулярных выражений через PCRE в nginx. Профиль не доказывал, какая конкретно карта редиректов виновата, но многократная проверка регулярных выражений выглядела гораздо более убедительным объяснением, чем проблемы с рендерингом статического HTML.
Скрытая цена последовательных regex-правил в nginx map
Сама по себе директива map в nginx не медленная. Поиск по строковым ключам с точным совпадением выполняется эффективно, а записи с регулярными выражениями перебираются в заданном конфигурацией порядке после категорий совпадений с более высоким приоритетом. Переменные карт вычисляются при обращении к ним. Поэтому большая карта с regex-правилами создаёт нагрузку, если её результат используется на часто вызываемом пути обработки запроса. Даже существующее изображение по каноническому адресу, не совпадающее ни с одним историческим алиасом, может потребовать множества безуспешных сравнений, прежде чем nginx отдаст его содержимое.
Это различие также объясняет, почему было бы ошибкой просто пересчитать все блоки location ~. Выбор location по регулярным выражениям и их выполнение внутри map — разные механизмы. Профилирование показывает, какие операции обходятся дорого, а анализ обработки запросов и мест использования переменных помогает определить, где именно они запускаются.
Дальнейшее исследование показало, что списки правил для медиафайлов были не единственным источником нагрузки. Отдельный набор редиректов страниц с пагинацией тоже требовал значительных затрат на регулярные выражения при вычислении своей карты. Если бы я оптимизировал только изображения, эта независимая проблема осталась бы.
Редиректы страниц: один шаблон пагинации, но тысячи точных адресов назначения
Правила для страниц повторялись: пути отличались старым идентификатором, а их окончания соответствовали шаблону пагинации, например /topics/old-a/page/99. Напрашивалось решение извлечь 99 и добавить это число к новому слагу. Но это было бы ошибкой. Некоторые старые правила пагинации намеренно перенаправляли любой запрошенный номер страницы на один фиксированный адрес, например /topics/current-a/page/7, независимо от того, запрашивалась страница 3 или 99.
Было и другое важное ограничение: в nginx точные ключи map имеют приоритет перед регулярными выражениями. Некоторые точные записи переопределяли результат общего правила пагинации. Другие явно возвращали пустую строку, чтобы не перенаправлять уже канонический путь. Если проверять только то, что полученный адрес назначения не пуст, теряется разница между ситуациями «точного совпадения нет» и «точное совпадение есть, но его значение — пустая строка».
В новой схеме распознавание пути было отделено от выбора адреса назначения. Ниже — сокращённый условный пример карт nginx, объявленных на уровне http:
# http context: synthetic page aliases
map $uri $normalized_path {
default $uri;
~^(.+)/$ $1;
}
map $normalized_path $exact_target {
default "__NO_EXACT__";
/topics/old-a /topics/current-a;
/topics/old-a/page/2 /topics/current-a/page/2;
/topics/old-b/page/2 "";
}
map $normalized_path $pagination_key {
default "";
~^/(?<old_root>topics/[a-z0-9-]+)/page/[1-9][0-9]*$ /$old_root;
}
map $pagination_key $pagination_target {
default "";
/topics/old-a /topics/current-a/page/7;
/topics/old-b /topics/current-b/page/6;
}
map $exact_target $redirect_target {
default $exact_target;
__NO_EXACT__ $pagination_target;
}
Первая карта сохраняет нормализацию завершающего слеша. Вторая содержит точные редиректы и явные переопределения пустой строкой; специальный маркер обозначает отсутствие точной записи. Третья одним регулярным выражением извлекает базовый путь пагинации. Четвёртая по точному ключу находит для этого пути исходный фиксированный адрес назначения. Наконец, итоговый выбор учитывает любое точное совпадение, в том числе с пустым значением, и только после этого рассматривает результат для пагинации.
Затем сервер может использовать полученное значение $redirect_target, только если оно не пустое, сохраняя прежний HTTP-статус и добавляя $is_args$args, если действующие правила предусматривают сохранение параметров запроса. Специальный маркер нужно зарезервировать и проверять, чтобы он никогда не совпал с реальным адресом назначения. В примере используются условные пути; генератор для продакшена должен был сохранить полный собственный набор соответствий и существующие приоритеты.
Здесь легко упустить особенности регистра. Nginx сравнивает обычные строковые ключи map без учёта регистра, тогда как регулярные выражения с ~ регистр учитывают. Поэтому нельзя просто привести все URL к нижнему регистру или заменить правило ~ на ~* и считать поведение эквивалентным. Необходимо воспроизвести исходную семантику сопоставления.
Редиректы изображений и видео: один раз разобрать путь, затем найти старый ключ
У правил для медиафайлов обнаружилась похожая полезная структура. В старом пути изображения идентификатор галереи повторялся в названии каталога и в имени файла, а в конце мог стоять числовой суффикс: /old-gallery/old-gallery-17.avif. В новом адресе этот суффикс сохранялся, но каталог и префикс имени файла менялись. Создавать отдельное регулярное выражение для каждой старой галереи и каждого варианта суффикса означало тратить процессорное время на проверки по одной и той же схеме.
Более эффективная карта извлекает идентификатор и необязательный суффикс одним регулярным выражением, а затем находит новый префикс по точному строковому ключу:
# http context: synthetic AVIF rename inventory
map $uri $legacy_image_key {
default "";
~^/(?<old_id>[a-z0-9-]+)/\k<old_id>(?<image_number>-[0-9]+)?\.avif$ $old_id;
}
map $legacy_image_key $new_image_prefix {
default "";
old-gallery /new-gallery/new-gallery;
old-set /new-set/new-set;
}
# A recognized alias now has a target candidate:
# $new_image_prefix$image_number.avif
# Existing-file checks and the actual 301 remain
# in the site's media-serving configuration.
Для распознанного алиаса /old-gallery/old-gallery-17.avif получается потенциальный адрес назначения /new-gallery/new-gallery-17.avif. Это лишь механизм поиска, а не полная логика отдачи файлов. В реальной конфигурации сохранились приоритет существующих файлов, проверка наличия файла назначения и условия для ответа 301. Если бы упрощённый пример всегда возвращал 301, это было бы неверным решением при отсутствии файла назначения.
Редиректы видео использовали аналогичную таблицу точных ключей после одного регулярного выражения, определяющего структуру имени файла. Нужно было также сохранить существовавшую совместимость с WebP: соответствующий путь нормализовал поиск исторического алиаса к карте изображений. Оптимизация медиафайлов успешна только в том случае, если актуальные файлы по-прежнему отдают правильные байты и заголовки, а переход по старому алиасу видео всё ещё позволяет получать 206 Partial Content в ответ на запросы диапазонов байтов.
Эти примеры работают лишь потому, что исторические наборы правил следовали предсказуемой схеме имён файлов. Если бы произвольные отдельные файлы переименовывались независимо друг от друга, безопасным вариантом были бы точные ключи для каждого файла, сгенерированный индекс или другой способ поиска с ограниченной стоимостью — но не попытка одним регулярным выражением восстановить адреса, у которых нет общего шаблона.
Что стало с отдельной картой ответов 410
Другая часть конфигурации явно перечисляла шаблоны удалённых из обращения страниц только ради возврата 410 Gone. Эту специальную карту я убрал после проверки, что существующие правила маршрутизации статических файлов и так возвращают 410 для действительно отсутствующих страниц. Исторические данные о выведенных из обращения URL остались доступны для проверок; исчезла только лишняя проверка соответствий при каждом запросе.
Это решение зависело от конкретной конфигурации, а не от стандартного поведения nginx. Обычный try_files часто заканчивается статусом 404, если не настроено иное. Удалять явное правило 410 безопасно только при условии, что реальный путь обработки отсутствующих ресурсов продолжает возвращать требуемый статус 410, включая устаревшие URL пагинации и возможную внутреннюю обработку страниц ошибок. Перед принятием изменения я проверил это настоящими HTTP-запросами.
Как доказать, что ускоренная карта редиректов работает точно так же
Даже синтаксически корректная конфигурация nginx может незаметно сломать тысячи старых ссылок. Поэтому исходные наборы правил служили независимыми данными для проверки корректности, а не списком адресов назначения, восстановленным из результата оптимизации. В сгенерированных таблицах поиска проверялись дубли ключей, неподдерживаемые выражения, несогласованные префиксы изображений и устаревшие сгенерированные файлы. Любое правило, которое нельзя было безопасно представить в новой схеме, должно было приводить к ошибке генерации, а не бесследно исчезать.
В тестовую матрицу вошли точные алиасы страниц, канонические исключения с пустым значением, пересекающиеся правила пагинации, фиксированные ограничения пагинации, допустимые и недопустимые номера страниц, завершающие слеши, варианты регистра и параметры запросов. Для медиафайлов проверялись изображения без суффикса и с номером, суффиксы с ведущими нулями, идентификаторы, оканчивающиеся цифрами, вложенные пути назначения, совместимость с WebP и исходные алиасы видео. Когда имела значение реальная отдача файлов, тесты использовали существующие читаемые тестовые файлы и сравнивали тела ответов, редиректы, заголовки, связанные с кешированием, и диапазоны байтов видео.
Особенно важно, что это были настоящие HTTP-проверки через nginx, а не просто сравнение строк в JavaScript. Новую конфигурацию проверили на всей сгенерированной матрице запросов, а отдельный набор запросов сравнили с исходной конфигурацией на PCRE. По результатам не обнаружено ни одного непреднамеренного различия в ответах. Последующие проверки на продакшене подтвердили, что новые оптимизированные подключаемые файлы конфигурации действительно используются, а прежние длинные таблицы регулярных выражений — нет.
Контролируемый бенчмарк отделил эффект оптимизации от изменений трафика
После внедрения графики загрузки CPU в продакшене заметно улучшились, но одновременно изменились объём трафика и состав запросов. Сравнение одного замера при высокой нагрузке с более поздним замером в спокойный период преувеличило бы эффект, который можно отнести именно к изменению конфигурации.
Чтобы отдельно измерить стоимость поиска, я провёл независимый бенчмарк: использовал один и тот же бинарный файл nginx и многократно запускал одинаковую смешанную последовательность запросов на старой и оптимизированной конфигурациях. В последовательность входили канонические страницы, старые алиасы страниц, алиасы пагинации, отсутствующие страницы, канонические изображения, исторические алиасы изображений и видео, а также отсутствующие медиафайлы. Прогоны чередовались в порядке «старая, новая, новая, стара»; HTTP-статусы и значения заголовка Location совпадали.
На этой контролируемой нагрузке оптимизированные карты потребляли меньше одной сотой процессорного времени рабочих процессов nginx по сравнению с исходными картами, содержащими множество регулярных выражений. Результат воспроизвёлся при повторных прогонах. Это убедительное измерение эффекта новой обработки редиректов именно на такой смеси запросов. Оно не означает, что каждый запрос в продакшене стал обрабатываться в 100 раз быстрее или что общая загрузка CPU сервера снизится в той же пропорции при любом характере трафика.
Позднейшие проверки системы показали небольшую загрузку CPU процессами nginx, низкую нагрузку на диск и большой запас свободного процессорного времени. Прежнее узкое место в PCRE больше не доминировало в доступных выборках после изменений. Но при столь низкой загрузке выборки получились небольшими, поэтому не стоит переоценивать доли отдельных функций в процентах. Более надёжные подтверждения результата — контролируемое сравнение, тесты идентичности поведения и успешное внедрение.
Более безопасный подход к переносу больших наборов редиректов nginx
На другом сайте с множеством старых URL я бы выполнял перенос механически: сохранил исходный набор правил, выделил небольшое число общих шаблонов путей, описал каждый из них регулярным выражением с ограниченной областью применения, а адреса назначения хранил бы в картах с точными строковыми ключами. Точные исключения для канонических адресов, HTTP-статусы, проверку существования файлов, параметры запросов, приведение имени хоста к каноническому виду и чувствительность к регистру нужно считать частью внешнего поведения сайта, а не случайными деталями реализации.
Затем — проверить всю сгенерированную конфигурацию командой nginx -t, сравнить старое и новое поведение на реальном nginx, провести бенчмарк на одинаковых запросах и внедрить изменения с возможностью восстановить конфигурацию из резервной копии и с проверками после перезагрузки. Если редирект нельзя безопасно представить структурной схемой, лучше оставить узкое исключение или точную запись для конкретного URL, чем незаметно отбросить правило.
Главный сдвиг в диагностике состоял в понимании, что статическая отдача файлов и дешёвая маршрутизация — разные свойства системы. Next.js уже выполнил рендеринг, а nginx умел эффективно отдавать файлы. Не хватало оптимизации поиска, который выполнялся перед их отправкой. Сохранить старые ссылки и при этом сделать этот поиск быстрым оказалось вполне возможно.
Точные правила приоритета и вычисления значений приведены в официальной документации nginx: модуль map и выбор location в основном HTTP-модуле.