O frontend já tinha sido compilado para HTML estático. O nginx servia diretamente as páginas geradas e os arquivos multimédia, mas os seus processos de trabalho consumiam uma quantidade inesperadamente elevada de CPU ao tratar pedidos comuns. Não havia renderização do Next.js por pedido a otimizar. A operação dispendiosa acontecia antes: o nginx precisava de determinar se cada URL pertencia a um conjunto crescente de redirecionamentos antigos.
A solução final manteve os links antigos a funcionar. Foram preservados os redirecionamentos de páginas, os aliases de imagens numeradas e os aliases de vídeos, mas milhares de comparações de expressões regulares foram substituídas por um pequeno número de correspondências estruturais e consultas a tabelas hash. A alteração foi implementada e testada em comparação com o comportamento original do encaminhamento de pedidos. Um teste de desempenho controlado e repetido mostrou uma redução superior a cem vezes no tempo de CPU dos processos de trabalho do nginx para a combinação de pedidos testada, sem alterar as respostas HTTP.
Porque é que uma exportação estática do Next.js continuava limitada pela CPU
A exportação estática retira a renderização das páginas do processamento de cada pedido, mas não elimina a lógica de encaminhamento do nginx. Antes de servir uma página HTML ou uma imagem, o nginx pode normalizar um caminho, avaliar mapas de redirecionamento, selecionar um bloco location, verificar se os arquivos existem e construir uma resposta. Um sistema de arquivos rápido não compensa o custo de comparar URLs repetidamente através de operações dispendiosas em cada pedido.
A configuração tinha acumulado dois tipos diferentes de regras antigas. Os aliases exatos de páginas antigas apontavam para novos caminhos canónicos. Os aliases de paginação também redirecionavam caminhos descontinuados, mas seguiam padrões estruturais comuns. Em separado, os caminhos de arquivos multimédia renomeados utilizavam expressões que capturavam números opcionais de imagens, e os nomes dos vídeos tinham as suas próprias regras de alias. O problema não era a existência de redirecionamentos; era o facto de grandes grupos de redirecionamentos estruturalmente semelhantes terem sido codificados como expressões regulares individuais.
Primeiro, excluir sintomas de CPU que parecem semelhantes
O site funcionava em Linux virtualizado, pelo que o tempo de CPU retirado pelo hipervisor (CPU steal) era uma possibilidade inicial. Comparei a utilização de CPU, o tempo de steal, o consumo por processo, a pressão sobre a memória e o tempo de espera pelo disco, em vez de interpretar uma média de carga elevada como um diagnóstico. As ferramentas básicas foram:
mpstat -P ALL 1 5
pidstat -u -C nginx 1 5
vmstat -w 1 6
MASTER=$(systemctl show nginx -p MainPID --value)
WORKERS=$(pgrep -P "$MASTER" -d,)
perf record -F 49 -g -p "$WORKERS" -- sleep 10
perf report --stdio --no-children -g none
A observação essencial foi que os processos de trabalho do nginx consumiam uma quantidade significativa de CPU em espaço de utilizador, enquanto o tempo de CPU steal era relativamente baixo. As medições não sustentavam a hipótese de uma espera prolongada pelo disco ou da utilização ativa de memória swap como explicação principal. A análise por processo mostrou-me qual era o programa ocupado; o perf ajudou a determinar o que estava a fazer.
Numa das amostras, cerca de um terço da atividade de CPU registada foi atribuído a pcre_exec, com tempo adicional em ngx_http_regex_exec e ngx_regex_exec. Estas são as funções esperadas quando o nginx executa expressões regulares através de PCRE. O perfil não demonstrou qual dos mapas de redirecionamento era responsável, mas tornou a avaliação repetida de expressões regulares uma explicação muito mais forte do que um problema com a renderização de HTML estático.
O custo oculto das entradas de expressões regulares avaliadas sequencialmente em map do nginx
Um map do nginx não é inerentemente lento. As chaves de texto literal podem ser encontradas de forma eficiente, enquanto as entradas com expressões regulares são consideradas pela ordem configurada, depois das categorias de correspondência de maior prioridade. As variáveis de map são avaliadas quando são referenciadas; por isso, um mapa extenso de expressões regulares tem impacto quando o seu resultado é utilizado no processamento frequente de pedidos. Uma imagem canónica existente que não corresponda a nenhum dos aliases antigos pode provocar muitas comparações sem sucesso antes de o nginx servir os seus bytes.
Esta distinção também explica por que motivo teria sido enganador contar todos os blocos location ~. A seleção de blocos location por expressões regulares e a avaliação de expressões regulares dentro de map são mecanismos diferentes. A análise de desempenho identifica a classe de operações dispendiosas; examinar o percurso do pedido e os pontos onde as variáveis são utilizadas permite identificar onde essas operações são desencadeadas.
Ao isolar melhor o problema, descobri que as listas de arquivos multimédia não eram a única origem. Um conjunto separado de redirecionamentos de páginas com paginação também era responsável por uma quantidade substancial de trabalho com expressões regulares quando o respetivo mapa era avaliado. Otimizar apenas as imagens teria deixado esse custo independente por resolver.
Redirecionamentos de páginas: um padrão de paginação, mas milhares de destinos exatos
As regras das páginas eram repetitivas: os caminhos diferiam num identificador antigo e terminavam num padrão de paginação como /topics/old-a/page/99. Uma reformulação tentadora seria extrair 99 e acrescentá-lo ao novo slug. Isso estaria errado. Algumas regras antigas de paginação encaminhavam deliberadamente todos os números de página pedidos para uma página final fixa, por exemplo /topics/current-a/page/7, independentemente de o pedido original indicar a página 3 ou a página 99.
Havia outra restrição importante: o nginx dá prioridade às chaves exatas de map relativamente às expressões regulares. Algumas entradas exatas prevaleciam sobre o resultado da regra geral de paginação. Outras tinham explicitamente como valor uma string vazia, para impedir o redirecionamento de um caminho que já era canónico. Verificar apenas se o destino devolvido não estava vazio faria perder a distinção entre não existir uma correspondência exata e existir uma correspondência exata cujo valor é vazio.
A substituição separou o reconhecimento dos caminhos da seleção dos destinos. O exemplo seguinte é uma ilustração simplificada e fictícia dos mapas do nginx definidos no contexto http:
# http context: synthetic page aliases
map $uri $normalized_path {
default $uri;
~^(.+)/$ $1;
}
map $normalized_path $exact_target {
default "__NO_EXACT__";
/topics/old-a /topics/current-a;
/topics/old-a/page/2 /topics/current-a/page/2;
/topics/old-b/page/2 "";
}
map $normalized_path $pagination_key {
default "";
~^/(?<old_root>topics/[a-z0-9-]+)/page/[1-9][0-9]*$ /$old_root;
}
map $pagination_key $pagination_target {
default "";
/topics/old-a /topics/current-a/page/7;
/topics/old-b /topics/current-b/page/6;
}
map $exact_target $redirect_target {
default $exact_target;
__NO_EXACT__ $pagination_target;
}
O primeiro mapa mantém a normalização da barra final. O segundo guarda os redirecionamentos exatos e as exceções explícitas com valor vazio, usando um valor sentinela para indicar que não existe nenhuma entrada exata. O terceiro utiliza uma única expressão regular para extrair a raiz de paginação. O quarto resolve essa raiz através de uma consulta por chave exata, obtendo o seu destino original fixo. Por fim, o seletor respeita qualquer correspondência exata, incluindo a exceção de valor vazio, antes de considerar o resultado da paginação.
O servidor que efetua o redirecionamento pode então utilizar o valor resultante de $redirect_target apenas quando não está vazio, preservando o código de estado HTTP original e acrescentando $is_args$args quando a política existente preserva as strings de consulta. O valor sentinela tem de ser reservado e validado para nunca coincidir com um destino real. O exemplo utiliza caminhos genéricos; o gerador de produção tinha de preservar o seu inventário completo de correspondências e a precedência existente.
É fácil ignorar o comportamento relativo a maiúsculas e minúsculas neste desenho. O nginx compara as chaves de texto literal de map sem distinguir maiúsculas de minúsculas, enquanto as expressões regulares escritas com ~ fazem essa distinção. Por isso, uma substituição não pode simplesmente converter todos os URLs em minúsculas, nem transformar uma regra ~ em ~*, e considerar que o resultado é equivalente. É necessário reproduzir a semântica original das correspondências.
Redirecionamentos de imagens e vídeos: analisar o caminho uma vez e depois consultar a chave antiga
As regras dos arquivos multimédia apresentavam uma estrutura igualmente útil. Um caminho antigo de imagem continha um identificador de galeria tanto na pasta como no nome do arquivo, com um sufixo numérico opcional: /old-gallery/old-gallery-17.avif. O destino reutilizava esse sufixo, mas substituía a pasta e o prefixo do nome do arquivo. Gerar uma expressão regular para cada galeria antiga e para cada formato de sufixo desperdiçava CPU em comparações que partilhavam a mesma estrutura.
Um mapa mais eficiente extrai o identificador e o sufixo opcional com uma única expressão regular e depois consulta a nova parte inicial do caminho através de uma chave literal:
# http context: synthetic AVIF rename inventory
map $uri $legacy_image_key {
default "";
~^/(?<old_id>[a-z0-9-]+)/\k<old_id>(?<image_number>-[0-9]+)?\.avif$ $old_id;
}
map $legacy_image_key $new_image_prefix {
default "";
old-gallery /new-gallery/new-gallery;
old-set /new-set/new-set;
}
# A recognized alias now has a target candidate:
# $new_image_prefix$image_number.avif
# Existing-file checks and the actual 301 remain
# in the site's media-serving configuration.
Para um alias reconhecido, /old-gallery/old-gallery-17.avif produz o destino candidato /new-gallery/new-gallery-17.avif. Este é o mecanismo de consulta, não uma política completa de disponibilização dos arquivos. Na implementação real, a prioridade dos arquivos existentes, as verificações de existência do arquivo de destino e a decisão de devolver 301 continuaram a fazer parte da configuração que servia os arquivos multimédia. Um redirecionamento 301 incondicional num exemplo simplificado teria sido uma substituição incorreta caso o arquivo de destino não existisse.
Os redirecionamentos de vídeo utilizavam uma tabela correspondente de chaves exatas, precedida por uma única expressão regular que reconhecia a estrutura do nome do arquivo. O mecanismo de compatibilidade WebP existente, que normalizava a consulta dos aliases antigos para utilizar o mapa de imagens, também tinha de continuar intacto. Uma otimização dos arquivos multimédia só é bem-sucedida se os arquivos atuais continuarem a devolver os bytes e os cabeçalhos corretos e se, ao seguir um alias antigo de vídeo, continuar a ser possível obter 206 Partial Content em pedidos de intervalos de bytes.
Estes exemplos só funcionam porque os inventários antigos seguiam uma estrutura previsível de nomes de arquivos. Se arquivos individuais arbitrários tivessem sido renomeados de forma independente, a solução segura seria utilizar chaves exatas por arquivo, um índice gerado ou outro mecanismo de consulta com custo limitado — e não fingir que uma única expressão regular consegue reconstruir destinos sem um padrão comum.
O que aconteceu ao mapa separado de respostas 410
Outra parte da configuração enumerava explicitamente padrões de páginas descontinuadas apenas para devolver 410 Gone. Esse mapa especial foi removido depois de se verificar que a política existente de encaminhamento de arquivos estáticos já devolvia 410 para páginas efetivamente inexistentes. Os metadados históricos das páginas descontinuadas continuaram disponíveis para validação; apenas foi removida a comparação redundante efetuada durante o processamento dos pedidos.
Esta foi uma decisão específica daquela configuração, não um comportamento predefinido do nginx. Um try_files sem configuração adicional termina frequentemente em 404. Remover uma regra explícita de 410 só é seguro se o tratamento de recursos inexistentes pelo servidor real continuar a produzir o 410 exigido, incluindo para URLs de paginação descontinuadas e perante qualquer processamento interno das páginas de erro. Esta condição foi verificada com pedidos HTTP reais antes de a alteração ser aceite.
Como demonstrar que um mapa de redirecionamentos mais rápido mantém o mesmo comportamento
Uma configuração do nginx sintaticamente válida pode continuar a quebrar silenciosamente milhares de links antigos. Por isso, a substituição utilizou os inventários originais de regras como referências independentes para verificar a correção, e não como um conjunto de destinos reconstruído a partir do resultado otimizado. As tabelas de consulta geradas foram verificadas quanto a chaves duplicadas, expressões não suportadas, prefixos de imagens inconsistentes e arquivos gerados desatualizados. Qualquer regra que não pudesse ser representada de forma segura tinha de provocar uma falha na geração, em vez de desaparecer.
A matriz de testes abrangia aliases exatos de páginas, exceções canónicas com valor vazio, regras de paginação sobrepostas, limites fixos de paginação, números de página válidos e inválidos, barras finais, variantes de maiúsculas e minúsculas e strings de consulta. Para os arquivos multimédia, incluía imagens sem sufixo e numeradas, sufixos com zeros à esquerda, identificadores terminados em algarismos, caminhos de destino com vários níveis, compatibilidade WebP e aliases originais de vídeo. Nos casos em que a disponibilização de arquivos era relevante, os testes utilizavam arquivos de teste reais e legíveis e comparavam os corpos das respostas, os redirecionamentos, os cabeçalhos relacionados com cache e os intervalos de bytes dos vídeos.
Acima de tudo, estes foram testes HTTP reais com nginx, e não apenas comparações de strings em JavaScript. A nova configuração foi testada com toda a matriz de pedidos gerada, e um conjunto separado de pedidos foi comparado com a configuração original baseada em PCRE. O resultado registado foi de zero diferenças não intencionais nas respostas. Verificações básicas posteriores em produção confirmaram que os arquivos de configuração incluídos e otimizados estavam ativos e que as antigas tabelas extensas de expressões regulares já não estavam.
Um teste de desempenho controlado separou a melhoria das alterações no tráfego
Os gráficos de CPU em produção melhoraram substancialmente depois da implementação, mas o volume e a combinação de pedidos também mudaram. Comparar uma amostra de atividade elevada com outra posterior de atividade reduzida exageraria a melhoria que poderia ser atribuída à alteração da configuração.
Para isolar o custo das consultas, um teste de desempenho independente utilizou o mesmo binário do nginx e repetiu a mesma sequência mista com as configurações original e otimizada. A sequência incluía páginas canónicas, aliases antigos de páginas, aliases de paginação, páginas inexistentes, imagens canónicas, aliases antigos de imagens e vídeos e arquivos multimédia inexistentes. As execuções foram intercaladas na ordem antiga, nova, nova, antiga; os códigos de estado das respostas e os valores de Location coincidiram.
Para essa carga de trabalho controlada, os mapas otimizados consumiram menos de um centésimo do tempo de CPU dos processos de trabalho do nginx consumido pelos mapas originais com muitas expressões regulares, resultado que se repetiu em várias execuções. Trata-se de uma medição sólida da alteração no processamento dos redirecionamentos para aquela combinação de pedidos. Não significa que todos os pedidos em produção tenham ficado 100 vezes mais rápidos, nem que o consumo global de CPU do servidor diminuísse na mesma proporção perante qualquer padrão de tráfego.
As verificações posteriores do sistema mostraram que o nginx utilizava pouca CPU, com baixa pressão de E/S do disco e bastante tempo de processador inativo. O anterior ponto crítico associado a PCRE deixou de dominar as amostras disponíveis após a alteração; com uma utilização tão baixa, essas amostras eram escassas, pelo que as percentagens por função não devem ser sobreinterpretadas. A comparação controlada, os testes de equivalência e a implementação bem-sucedida constituem provas mais fortes da eficácia da correção.
Um procedimento mais seguro para migrar grandes conjuntos de redirecionamentos no nginx
Para outro site com muitas URLs antigas, manteria a migração como um processo mecânico: preservaria o inventário original de regras, identificaria o pequeno conjunto de estruturas de caminhos comuns, converteria cada estrutura numa expressão regular de alcance limitado e armazenaria os destinos em mapas de chaves literais. Trataria as exceções exatas de caminhos canónicos, os códigos de estado HTTP, as verificações de arquivos existentes, as strings de consulta, a normalização do nome do host e a distinção entre maiúsculas e minúsculas como comportamento público, e não como pormenores incidentais da implementação.
Em seguida, validaria toda a configuração gerada com nginx -t, compararia o comportamento antigo e o novo com pedidos HTTP reais ao nginx, mediria o desempenho com pedidos idênticos e implementaria a alteração com uma cópia de segurança recuperável e verificações após o recarregamento. Se um redirecionamento não pudesse ser representado pelo esquema estrutural, manteria uma exceção de alcance restrito ou utilizaria uma entrada exata por URL, em vez de a eliminar silenciosamente.
A mudança de perspetiva decisiva para o diagnóstico foi reconhecer que servir conteúdo estático e ter um encaminhamento de baixo custo são propriedades distintas. O Next.js já tinha concluído o trabalho de renderização, e o nginx conseguia servir arquivos de forma eficiente. Faltava otimizar a consulta efetuada antes de servir esses arquivos. Manter os links antigos era compatível com tornar essa consulta rápida.
Para conhecer as regras exatas de precedência e avaliação, consulte a documentação oficial do nginx sobre o módulo map e a seleção de blocos location no módulo HTTP principal.