Le frontend était déjà compilé en HTML statique. Nginx servait directement les pages générées et les fichiers multimédias, mais ses processus workers consacraient une part étonnamment importante de leur temps CPU à des requêtes ordinaires. Il n'y avait aucun rendu Next.js à optimiser à chaque requête. Le travail coûteux intervenait en amont : nginx devait déterminer si chaque URL figurait parmi un ensemble toujours plus vaste d'anciennes règles de redirection.
La solution finalement retenue a permis de conserver les anciens liens fonctionnels. Les redirections de pages, les alias d'images numérotées et les alias vidéo ont été maintenus, mais des milliers de comparaisons d'expressions régulières ont été remplacées par quelques correspondances structurelles et recherches dans des tables de hachage. Cette modification a été déployée puis testée par rapport au comportement de routage initial. Sur le mélange de requêtes testé, un benchmark contrôlé et répété a montré une réduction de plus de cent fois du temps CPU consommé par les workers nginx, sans modifier les réponses HTTP.
Pourquoi un export statique de Next.js restait limité par le CPU
L'export statique retire le rendu des pages du chemin de traitement des requêtes, mais pas la logique de routage de nginx. Avant de servir une page HTML ou une image, nginx peut devoir normaliser un chemin, évaluer des tables de redirection, choisir un bloc location, vérifier l'existence des fichiers et construire une réponse. Même un système de fichiers rapide ne compense pas le coût d'une recherche de correspondance d'URL répétée à chaque requête.
La configuration avait accumulé deux types de règles historiques. Des alias de pages anciennes, définis par correspondance exacte, pointaient vers de nouveaux chemins canoniques. Des alias de pagination redirigeaient eux aussi des chemins abandonnés, mais suivaient des motifs structurels communs. Par ailleurs, les chemins de médias renommés utilisaient des expressions capturant un numéro d'image facultatif, tandis que les noms de vidéos possédaient leurs propres règles d'alias. Le problème n'était pas l'existence de redirections : c'était l'encodage, sous forme de regex individuelles, de grands ensembles de redirections obéissant aux mêmes structures.
Écarter d'abord les causes qui produisent des symptômes CPU similaires
Le site tournait sur un Linux virtualisé, ce qui rendait plausible, au départ, une perte de temps CPU au profit de l'hyperviseur (« CPU steal »). Plutôt que de prendre une charge système élevée pour un diagnostic, j'ai comparé l'utilisation du CPU, le temps de steal, la consommation par processus, la pression mémoire et l'attente des opérations disque. Voici les principaux outils utilisés :
mpstat -P ALL 1 5
pidstat -u -C nginx 1 5
vmstat -w 1 6
MASTER=$(systemctl show nginx -p MainPID --value)
WORKERS=$(pgrep -P "$MASTER" -d,)
perf record -F 49 -g -p "$WORKERS" -- sleep 10
perf report --stdio --no-children -g none
Le constat décisif était que les workers nginx consommaient beaucoup de CPU en espace utilisateur, alors que le temps de steal restait relativement faible. Les mesures ne permettaient pas de retenir une attente disque prolongée ou une activité de swap comme explication principale. Les statistiques par processus m'indiquaient quel programme travaillait ; perf aidait à déterminer ce qu'il faisait.
Dans un échantillon, environ un tiers de l'activité CPU échantillonnée était attribué à pcre_exec, avec du temps supplémentaire passé dans ngx_http_regex_exec et ngx_regex_exec. Ce sont les fonctions auxquelles on s'attend lorsque nginx exécute des expressions régulières via PCRE. Le profil ne prouvait pas quelle table de redirection précise était en cause, mais il rendait l'hypothèse d'évaluations répétées de regex bien plus convaincante qu'un problème lié au rendu du HTML statique.
Le coût caché des entrées regex évaluées séquentiellement dans les directives map de nginx
Une directive map de nginx n'est pas lente par nature. Les clés littérales peuvent être recherchées efficacement, tandis que les entrées regex sont examinées dans l'ordre de configuration, après les catégories de correspondances plus prioritaires. Les variables issues de ces directives sont évaluées lorsqu'on les utilise : une grande table de regex devient donc coûteuse si son résultat est consommé sur un chemin de traitement très fréquent. Une image canonique existante, qui ne correspond à aucun alias historique, peut ainsi déclencher de nombreuses comparaisons infructueuses avant que nginx n'en serve les octets.
Cela explique également pourquoi compter tous les blocs location ~ aurait été trompeur. La sélection d'un bloc location par regex et l'évaluation des regex dans une directive map sont deux mécanismes distincts. Le profilage permet de repérer la catégorie d'opérations coûteuses ; l'examen du traitement des requêtes et des endroits où les variables sont utilisées permet de localiser le déclenchement de ces opérations.
Une analyse plus ciblée a montré que les listes de médias n'étaient pas seules responsables. Un ensemble distinct de redirections de pages paginées provoquait lui aussi un travail important sur les regex chaque fois que sa table était évaluée. Optimiser uniquement les images aurait laissé subsister ce coût indépendant.
Redirections de pages : un seul motif de pagination, mais des milliers de destinations exactes
Les règles de pages se répétaient : les chemins différaient par un ancien identifiant et se terminaient par un motif de pagination tel que /topics/old-a/page/99. On aurait pu être tenté d'extraire 99 et de l'ajouter au nouveau slug. Cela aurait été une erreur. Certaines anciennes règles de pagination faisaient volontairement correspondre tous les numéros de page demandés à une page de destination fixe, par exemple /topics/current-a/page/7, que la requête initiale vise la page 3 ou la page 99.
Il existait une autre contrainte importante : nginx donne la priorité aux clés exactes d'une directive map sur ses regex. Certaines entrées exactes dérogeaient donc au comportement de la règle générale de pagination. D'autres renvoyaient explicitement une chaîne vide pour empêcher la redirection d'un chemin déjà canonique. Vérifier seulement si la destination obtenue était non vide aurait fait disparaître la distinction entre l'absence de correspondance exacte et une correspondance exacte dont la valeur est vide.
La nouvelle approche séparait la reconnaissance du chemin du choix de la destination. Voici un exemple synthétique et simplifié de directives map au niveau du contexte http de nginx :
# http context: synthetic page aliases
map $uri $normalized_path {
default $uri;
~^(.+)/$ $1;
}
map $normalized_path $exact_target {
default "__NO_EXACT__";
/topics/old-a /topics/current-a;
/topics/old-a/page/2 /topics/current-a/page/2;
/topics/old-b/page/2 "";
}
map $normalized_path $pagination_key {
default "";
~^/(?<old_root>topics/[a-z0-9-]+)/page/[1-9][0-9]*$ /$old_root;
}
map $pagination_key $pagination_target {
default "";
/topics/old-a /topics/current-a/page/7;
/topics/old-b /topics/current-b/page/6;
}
map $exact_target $redirect_target {
default $exact_target;
__NO_EXACT__ $pagination_target;
}
La première directive conserve la normalisation de la barre oblique finale. La deuxième stocke les redirections exactes et les exceptions explicites à valeur vide ; une valeur sentinelle signale qu'aucune entrée exacte n'existe. La troisième utilise une seule regex pour extraire la racine d'un chemin paginé. La quatrième résout cette racine par une recherche de clé exacte pour retrouver sa destination fixe d'origine. Enfin, le sélecteur respecte toute correspondance exacte, y compris une exception à valeur vide, avant d'envisager le résultat de la pagination.
Le serveur chargé des redirections peut ensuite utiliser la valeur $redirect_target obtenue uniquement si elle n'est pas vide, en conservant le code de statut HTTP d'origine et en ajoutant $is_args$args lorsque la politique existante prévoit de conserver les paramètres de requête. La valeur sentinelle doit être réservée et vérifiée pour ne jamais entrer en collision avec une destination réelle. L'exemple utilise des chemins neutres ; en production, le générateur devait préserver l'inventaire complet de ses correspondances ainsi que les règles de priorité existantes.
Le traitement de la casse est un détail facile à manquer dans cette conception. Nginx compare les clés textuelles littérales de map sans tenir compte de la casse, alors que les regex introduites par ~ y sont sensibles. Une nouvelle implémentation ne peut donc pas se contenter de convertir toutes les URL en minuscules, ni de transformer une règle ~ en ~*, puis prétendre que le comportement est équivalent. Elle doit reproduire la sémantique de correspondance initiale.
Redirections d'images et de vidéos : analyser le chemin une seule fois, puis rechercher l'ancienne clé
Les règles relatives aux médias présentaient une structure comparable. Un ancien chemin d'image contenait l'identifiant de la galerie à la fois dans le répertoire et dans le nom du fichier, avec un suffixe numérique facultatif : /old-gallery/old-gallery-17.avif. La destination conservait ce suffixe, mais remplaçait le répertoire et le préfixe du nom de fichier. Générer une regex pour chaque ancienne galerie et chaque forme de suffixe gaspillait du temps CPU dans des comparaisons fondées sur la même grammaire.
Une table de correspondance plus efficace extrait l'identifiant et le suffixe facultatif à l'aide d'une seule regex, puis recherche le nouveau préfixe par clé littérale :
# http context: synthetic AVIF rename inventory
map $uri $legacy_image_key {
default "";
~^/(?<old_id>[a-z0-9-]+)/\k<old_id>(?<image_number>-[0-9]+)?\.avif$ $old_id;
}
map $legacy_image_key $new_image_prefix {
default "";
old-gallery /new-gallery/new-gallery;
old-set /new-set/new-set;
}
# A recognized alias now has a target candidate:
# $new_image_prefix$image_number.avif
# Existing-file checks and the actual 301 remain
# in the site's media-serving configuration.
Pour un alias reconnu, /old-gallery/old-gallery-17.avif produit la destination candidate /new-gallery/new-gallery-17.avif. Il s'agit du mécanisme de recherche, et non d'une politique complète de service des fichiers. Dans le déploiement réel, la priorité accordée aux fichiers existants, les vérifications de l'existence des fichiers de destination et la décision de renvoyer un code 301 restaient gérées par la configuration de service des médias. Une redirection 301 inconditionnelle dans cet exemple simplifié aurait été incorrecte si le fichier de destination n'existait pas.
Les redirections de vidéos utilisaient une table analogue de clés exactes, précédée d'une seule regex reconnaissant la forme du nom de fichier. Le mécanisme de compatibilité WebP existant, qui normalisait la recherche des anciens alias en la faisant passer par la correspondance des images, devait lui aussi rester intact. Une optimisation des médias n'est réussie que si les fichiers actuels renvoient toujours les bons octets et les bons en-têtes, et si le suivi d'un ancien alias vidéo prend encore en charge le code 206 Partial Content pour les requêtes portant sur des plages d'octets.
Ces exemples fonctionnent uniquement parce que les anciens inventaires suivaient une grammaire prévisible pour les noms de fichiers. Si des fichiers individuels avaient été renommés indépendamment, la solution sûre aurait consisté à utiliser des clés exactes par fichier, un index généré ou un autre mécanisme de recherche borné, sans prétendre qu'une seule regex pourrait reconstituer des destinations dépourvues de motif commun.
Qu'est devenue la table distincte de réponses 410 ?
Une autre partie de la configuration énumérait explicitement des motifs de pages retirées, dans le seul but de renvoyer 410 Gone. Cette table spécifique a été supprimée après vérification que la politique de routage des fichiers statiques en place renvoyait déjà un statut 410 pour les pages réellement manquantes. Les métadonnées historiques de retrait sont restées disponibles pour les vérifications ; seule la recherche redondante effectuée à chaque requête a disparu.
Cette décision dépend de la configuration concernée : ce n'est pas le comportement par défaut de nginx. Une directive try_files simple aboutit souvent à une réponse 404, sauf configuration contraire. Supprimer une règle 410 explicite n'est sûr que si, sur le serveur réel, le traitement des ressources manquantes produit toujours le statut 410 attendu, y compris pour les URL de pagination retirées et avec les éventuels mécanismes internes de pages d'erreur. Cette condition a été vérifiée au moyen de véritables requêtes HTTP avant de valider la modification.
Comment prouver qu'une table de redirection plus rapide conserve le même comportement
Une configuration nginx syntaxiquement valide peut néanmoins casser silencieusement des milliers d'anciens liens. C'est pourquoi la nouvelle implémentation utilisait les inventaires de règles d'origine comme références indépendantes pour vérifier l'exactitude, et non un ensemble de destinations reconstitué à partir du résultat optimisé. Les tables de recherche générées ont été contrôlées pour détecter les clés en double, les expressions non prises en charge, les préfixes d'images incohérents et les fichiers générés obsolètes. Toute règle impossible à représenter sans risque devait provoquer un échec de génération, plutôt que disparaître.
La matrice de tests couvrait les alias exacts de pages, les exceptions canoniques à valeur vide, les chevauchements de règles de pagination, les limites fixes de pagination, les numéros de page valides ou invalides, les barres obliques finales, les variantes de casse et les paramètres de requête. Pour les médias, elle vérifiait les images de base et numérotées, les suffixes avec des zéros initiaux, les identifiants se terminant par des chiffres, les chemins de destination imbriqués, la compatibilité WebP et les anciens alias vidéo. Lorsque le service réel des fichiers entrait en jeu, les tests s'appuyaient sur des fichiers de référence lisibles et comparaient les corps des réponses, les redirections, les en-têtes liés au cache et les plages d'octets des vidéos.
Surtout, il s'agissait de véritables vérifications HTTP effectuées avec nginx, et non de simples comparaisons de chaînes en JavaScript. La nouvelle configuration a été testée sur la matrice de requêtes générée ; un autre ensemble de requêtes a été comparé à la configuration d'origine fondée sur PCRE. Les résultats ne faisaient état d’aucune différence de réponse non souhaitée. Des vérifications rapides en production ont ensuite confirmé que les fichiers inclus optimisés étaient actifs et que les anciennes longues tables de regex ne l'étaient plus.
Un benchmark contrôlé a permis de distinguer le gain de l'évolution du trafic
Les graphiques CPU en production se sont nettement améliorés après le déploiement, mais le volume et la composition des requêtes avaient eux aussi changé. Comparer une mesure prise pendant une période chargée à une autre prise plus tard, au calme, aurait exagéré le gain attribuable à la modification de configuration.
Pour isoler le coût des recherches, un benchmark indépendant utilisait le même binaire nginx et soumettait à plusieurs reprises la même séquence de requêtes variées aux configurations d'origine et optimisée. Cette séquence comprenait des pages canoniques, d'anciens alias de pages, des alias de pagination, des pages absentes, des images canoniques, d'anciens alias d'images et de vidéos, ainsi que des médias absents. Les exécutions étaient entrelacées dans l'ordre ancienne, nouvelle, nouvelle, ancienne ; les codes de réponse et les valeurs de l'en-tête Location concordaient.
Pour cette charge de travail contrôlée, les tables optimisées consommaient moins d'un centième du temps CPU des workers nginx par rapport aux anciennes tables riches en regex ; le résultat a été reproduit lors de plusieurs exécutions. Il s'agit d'une mesure solide de l'amélioration du traitement des redirections pour ce mélange précis de requêtes. Ce n'est pas une affirmation selon laquelle chaque requête en production serait devenue 100 fois plus rapide, ni selon laquelle la consommation CPU globale du serveur diminuerait dans la même proportion quel que soit le trafic.
Des vérifications système ultérieures ont montré que nginx utilisait peu de CPU, avec une faible pression sur le disque et une large capacité de calcul inutilisée. Le point chaud PCRE observé auparavant ne dominait plus les échantillons disponibles après la modification ; à un niveau d'utilisation aussi bas, ces échantillons étaient peu nombreux, et il ne faut donc pas surinterpréter les pourcentages attribués à chaque fonction. La comparaison contrôlée, les tests d'équivalence et le déploiement réussi constituent les preuves les plus solides de l'efficacité de cette correction.
Une méthode plus sûre pour migrer de grands ensembles de redirections nginx
Pour un autre site disposant de nombreuses anciennes URL, je procéderais de manière mécanique : conserver l'inventaire initial des règles, identifier les quelques grammaires communes de chemins, traduire chaque grammaire en une regex à portée limitée et stocker les destinations dans des tables de clés littérales. Les exceptions exactes pour les chemins canoniques, les codes de statut HTTP, les vérifications d'existence des fichiers, les paramètres de requête, la canonicalisation des noms d'hôte et la sensibilité à la casse font partie du comportement public, pas de simples détails d'implémentation.
Il faut ensuite valider l'ensemble de la configuration générée avec nginx -t, comparer le comportement ancien et nouveau à l'aide de véritables requêtes nginx, mesurer les performances avec des requêtes identiques, puis déployer avec une sauvegarde restaurable et des vérifications après rechargement. Si une redirection ne peut pas être représentée par ce schéma structurel, mieux vaut conserver une exception strictement ciblée ou une entrée exacte par URL que la supprimer silencieusement.
Le changement de perspective décisif a été de comprendre que servir des fichiers statiques et assurer un routage peu coûteux sont deux propriétés distinctes. Next.js avait déjà terminé son travail de rendu, et nginx pouvait servir les fichiers efficacement. L'optimisation manquante concernait la recherche effectuée avant leur livraison. Il était possible de conserver les anciens liens tout en accélérant cette recherche.
Pour connaître les règles exactes de priorité et d'évaluation, consultez la documentation officielle de nginx sur le module map et sur la sélection des blocs location dans le module HTTP core.