Phần giao diện của trang web đã được biên dịch sẵn thành HTML tĩnh. Nginx phục vụ trực tiếp các trang và tệp đa phương tiện đã tạo, nhưng các tiến trình worker của nó lại tiêu tốn lượng CPU cao bất thường ngay cả với những yêu cầu thông thường. Không có công đoạn kết xuất Next.js theo từng yêu cầu nào cần tối ưu. Phần xử lý tốn kém diễn ra sớm hơn: nginx phải xác định xem mỗi URL có nằm trong tập hợp quy tắc chuyển hướng cũ ngày càng lớn hay không.
Cách khắc phục cuối cùng vẫn giữ cho các liên kết cũ hoạt động. Các chuyển hướng trang, bí danh ảnh có số thứ tự và bí danh video đều được giữ lại, nhưng hàng nghìn phép so khớp biểu thức chính quy đã được thay bằng một số ít phép nhận diện cấu trúc và tra cứu trong bảng băm. Thay đổi này đã được triển khai và kiểm thử đối chiếu với hành vi định tuyến ban đầu. Một phép đo hiệu năng có kiểm soát, được lặp lại nhiều lần, cho thấy thời gian CPU của các worker nginx giảm hơn 100 lần với tập yêu cầu được thử nghiệm, trong khi phản hồi HTTP không thay đổi.
Vì sao trang Next.js xuất tĩnh vẫn bị nghẽn CPU
Xuất tĩnh đưa việc kết xuất trang ra khỏi đường xử lý yêu cầu, chứ không loại bỏ logic định tuyến của nginx. Trước khi có thể phục vụ một trang HTML hoặc hình ảnh, nginx có thể phải chuẩn hóa đường dẫn, đánh giá các map chuyển hướng, chọn location, kiểm tra tệp có tồn tại hay không và tạo phản hồi. Hệ thống tệp nhanh đến đâu cũng không bù được chi phí so khớp URL lớn bị lặp lại ở mỗi yêu cầu.
Theo thời gian, cấu hình tích lũy hai loại quy tắc cũ khác nhau. Các bí danh trang cũ khớp chính xác trỏ đến đường dẫn chuẩn mới. Các bí danh phân trang cũng chuyển hướng những đường dẫn đã ngừng dùng, nhưng tuân theo các mẫu cấu trúc chung. Riêng những đường dẫn đa phương tiện đã đổi tên sử dụng biểu thức để lấy số thứ tự ảnh không bắt buộc, còn tên video có các quy tắc bí danh riêng. Vấn đề không nằm ở việc có chuyển hướng, mà ở chỗ nhiều nhóm chuyển hướng có cấu trúc tương tự lại được biểu diễn bằng những regex riêng lẻ.
Trước tiên, loại trừ những nguyên nhân có biểu hiện CPU tương tự
Trang web chạy trên Linux ảo hóa, nên thời gian CPU bị hypervisor lấy đi (CPU steal) là một khả năng ban đầu. Tôi so sánh mức sử dụng CPU, thời gian steal, mức sử dụng theo từng tiến trình, áp lực bộ nhớ và thời gian chờ đĩa thay vì coi chỉ số tải trung bình cao là một chẩn đoán. Những công cụ cơ bản tôi dùng là:
mpstat -P ALL 1 5
pidstat -u -C nginx 1 5
vmstat -w 1 6
MASTER=$(systemctl show nginx -p MainPID --value)
WORKERS=$(pgrep -P "$MASTER" -d,)
perf record -F 49 -g -p "$WORKERS" -- sleep 10
perf report --stdio --no-children -g none
Quan sát quan trọng nhất là các worker nginx tiêu thụ nhiều CPU trong không gian người dùng, trong khi CPU steal tương đối thấp. Các số đo không cho thấy hiện tượng chờ đĩa kéo dài hay hoạt động hoán đổi bộ nhớ đang diễn ra là lời giải thích chính. Số liệu theo tiến trình cho tôi biết chương trình nào đang bận; perf giúp xác định nó đang làm gì.
Trong một lần lấy mẫu, khoảng một phần ba hoạt động CPU được ghi nhận thuộc về pcre_exec, ngoài ra còn có thời gian dành cho ngx_http_regex_exec và ngx_regex_exec. Đây là những hàm thường xuất hiện khi nginx thực thi biểu thức chính quy thông qua PCRE. Kết quả phân tích không chứng minh được map chuyển hướng riêng lẻ nào gây ra vấn đề, nhưng khiến việc đánh giá regex lặp đi lặp lại trở thành lời giải thích thuyết phục hơn nhiều so với lỗi ở khâu kết xuất HTML tĩnh.
Chi phí ẩn của các mục regex được duyệt tuần tự trong map nginx
Bản thân map của nginx không mặc nhiên chậm. Có thể tra cứu hiệu quả các khóa chuỗi cố định, trong khi các mục regex được xét theo thứ tự cấu hình sau những nhóm so khớp có độ ưu tiên cao hơn. Biến map được đánh giá khi có chỗ tham chiếu đến nó, vì vậy một map regex lớn sẽ gây tốn kém nếu kết quả của nó được dùng trên đường xử lý yêu cầu thường xuyên. Một hình ảnh chuẩn đã tồn tại nhưng không khớp với bất kỳ bí danh cũ nào vẫn có thể phải chịu nhiều lần so khớp thất bại trước khi nginx gửi dữ liệu của ảnh.
Sự khác biệt này cũng giải thích vì sao việc đếm tất cả các khối location ~ sẽ dẫn đến nhận định sai. Cơ chế chọn location bằng regex khác với cơ chế đánh giá regex bên trong map. Phân tích hiệu năng xác định loại công việc gây tốn tài nguyên; kiểm tra đường xử lý yêu cầu và những nơi sử dụng biến sẽ chỉ ra công việc đó được kích hoạt ở đâu.
Khi tách biệt các phần để kiểm tra kỹ hơn, tôi nhận thấy danh sách media không phải nguồn chi phí duy nhất. Một nhóm quy tắc chuyển hướng trang phân trang riêng biệt cũng tạo ra lượng công việc regex đáng kể khi map tương ứng được đánh giá. Chỉ tối ưu hình ảnh thì phần chi phí độc lập này vẫn còn.
Chuyển hướng trang: một mẫu phân trang, nhưng hàng nghìn đích đến xác định
Các quy tắc trang có tính lặp lại: đường dẫn khác nhau ở mã định danh cũ, còn phần cuối khớp với mẫu phân trang như /topics/old-a/page/99. Một cách viết lại có vẻ hấp dẫn là tách 99 rồi nối nó vào slug mới. Nhưng làm như vậy sẽ sai. Một số quy tắc phân trang cũ cố ý ánh xạ mọi số trang được yêu cầu sang một trang đích cố định, chẳng hạn /topics/current-a/page/7, bất kể đường dẫn nguồn yêu cầu trang 3 hay trang 99.
Còn một ràng buộc quan trọng khác: nginx ưu tiên các khóa map khớp chính xác hơn regex. Một số mục khớp chính xác ghi đè kết quả mà quy tắc phân trang chung lẽ ra sẽ tạo ra. Những mục khác được ánh xạ rõ ràng thành chuỗi rỗng để tránh chuyển hướng đường dẫn đã là đường dẫn chuẩn. Nếu chỉ kiểm tra đích trả về có khác rỗng hay không, ta sẽ đánh mất sự phân biệt giữa không có mục khớp chính xác và có mục khớp chính xác nhưng giá trị rỗng.
Cách thay thế tách việc nhận diện đường dẫn khỏi việc chọn đích đến. Dưới đây là ví dụ rút gọn, mang tính minh họa, về các map của nginx ở cấp http:
# http context: synthetic page aliases
map $uri $normalized_path {
default $uri;
~^(.+)/$ $1;
}
map $normalized_path $exact_target {
default "__NO_EXACT__";
/topics/old-a /topics/current-a;
/topics/old-a/page/2 /topics/current-a/page/2;
/topics/old-b/page/2 "";
}
map $normalized_path $pagination_key {
default "";
~^/(?<old_root>topics/[a-z0-9-]+)/page/[1-9][0-9]*$ /$old_root;
}
map $pagination_key $pagination_target {
default "";
/topics/old-a /topics/current-a/page/7;
/topics/old-b /topics/current-b/page/6;
}
map $exact_target $redirect_target {
default $exact_target;
__NO_EXACT__ $pagination_target;
}
Map thứ nhất giữ nguyên thao tác chuẩn hóa dấu gạch chéo cuối đường dẫn. Map thứ hai lưu các chuyển hướng khớp chính xác và những trường hợp ghi đè rõ ràng bằng chuỗi rỗng; một giá trị đánh dấu cho biết không có mục khớp chính xác. Map thứ ba dùng một regex duy nhất để lấy phần gốc của đường dẫn phân trang. Map thứ tư tra cứu phần gốc đó bằng khóa chính xác để tìm lại đích cố định ban đầu. Cuối cùng, bộ chọn ưu tiên mọi mục khớp chính xác, kể cả trường hợp giá trị rỗng, trước khi xét kết quả phân trang.
Sau đó, máy chủ có thể dùng giá trị $redirect_target tạo ra chỉ khi nó không rỗng, đồng thời giữ nguyên mã trạng thái HTTP ban đầu và nối thêm $is_args$args nếu chính sách hiện có yêu cầu giữ chuỗi truy vấn. Giá trị đánh dấu phải được dành riêng và kiểm tra để không bao giờ trùng với đích đến hợp lệ. Ví dụ sử dụng các đường dẫn trung tính; bộ sinh cấu hình dùng trong môi trường thực tế vẫn phải giữ toàn bộ danh sách ánh xạ và thứ tự ưu tiên vốn có.
Rất dễ bỏ sót cách xử lý chữ hoa và chữ thường trong thiết kế này. Nginx so sánh các khóa chuỗi cố định trong map mà không phân biệt chữ hoa, chữ thường; ngược lại, regex viết bằng ~ có phân biệt. Vì thế, không thể tùy tiện chuyển mọi URL thành chữ thường hoặc đổi quy tắc ~ thành ~* rồi coi kết quả là tương đương. Cách so khớp phải giữ đúng ngữ nghĩa ban đầu.
Chuyển hướng ảnh và video: phân tích một lần, rồi tra cứu khóa cũ
Quy tắc dành cho media cũng có một cấu trúc tương tự có thể tận dụng. Đường dẫn ảnh cũ chứa mã định danh bộ sưu tập cả trong thư mục lẫn tên tệp, kèm hậu tố số không bắt buộc: /old-gallery/old-gallery-17.avif. Đường dẫn đích giữ lại hậu tố ấy nhưng thay thư mục và tiền tố tên tệp. Tạo một regex cho từng bộ sưu tập cũ và từng dạng hậu tố khiến CPU phải thực hiện những phép so khớp vốn có cùng quy tắc đặt tên.
Một map hiệu quả hơn dùng một regex để lấy mã định danh và hậu tố tùy chọn, sau đó tra cứu tiền tố mới bằng khóa chuỗi cố định:
# http context: synthetic AVIF rename inventory
map $uri $legacy_image_key {
default "";
~^/(?<old_id>[a-z0-9-]+)/\k<old_id>(?<image_number>-[0-9]+)?\.avif$ $old_id;
}
map $legacy_image_key $new_image_prefix {
default "";
old-gallery /new-gallery/new-gallery;
old-set /new-set/new-set;
}
# A recognized alias now has a target candidate:
# $new_image_prefix$image_number.avif
# Existing-file checks and the actual 301 remain
# in the site's media-serving configuration.
Với một bí danh được nhận diện, /old-gallery/old-gallery-17.avif tạo ra đích ứng viên /new-gallery/new-gallery-17.avif. Đây chỉ là cơ chế tra cứu, không phải chính sách phục vụ tệp đầy đủ. Trong lần triển khai thực tế, thứ tự ưu tiên cho tệp đã tồn tại, bước kiểm tra tệp đích có tồn tại hay không và quyết định trả về 301 vẫn nằm trong cấu hình phục vụ media. Một quy tắc 301 vô điều kiện trong ví dụ đơn giản hóa sẽ là cách thay thế sai nếu tệp đích không tồn tại.
Chuyển hướng video sử dụng bảng khóa khớp chính xác tương ứng, phía trước là một regex duy nhất nhận diện dạng tên tệp. Đường xử lý tương thích WebP vốn có, nơi việc tra cứu bí danh cũ được chuẩn hóa để dùng chung ánh xạ hình ảnh, cũng phải được giữ nguyên. Tối ưu media chỉ thành công nếu các tệp hiện tại vẫn trả về đúng byte và header, đồng thời truy cập qua bí danh video cũ vẫn hỗ trợ 206 Partial Content đối với yêu cầu lấy một khoảng byte.
Những ví dụ này chỉ áp dụng được vì danh sách quy tắc cũ tuân theo quy tắc đặt tên tệp có thể dự đoán. Nếu các tệp riêng lẻ được đổi tên độc lập và tùy ý, thiết kế an toàn phải dùng khóa khớp chính xác cho từng tệp, một chỉ mục được tạo tự động hoặc cách tra cứu khác có chi phí giới hạn—chứ không thể giả vờ rằng một regex sẽ dựng lại được các đích đến vốn chẳng có mẫu chung nào.
Điều gì đã xảy ra với map 410 riêng biệt?
Một phần khác của cấu hình liệt kê tường minh các mẫu trang đã ngừng sử dụng chỉ để trả về 410 Gone. Map đặc biệt đó được gỡ bỏ sau khi xác minh rằng cơ chế định tuyến tệp tĩnh hiện có đã trả về 410 cho những trang thực sự không còn tồn tại. Siêu dữ liệu về các trang đã ngừng dùng vẫn được giữ để kiểm tra; chỉ phần so khớp thừa khi xử lý yêu cầu là bị loại bỏ.
Đây là quyết định riêng cho cấu hình đó, không phải hành vi mặc định của nginx. Nếu không được cấu hình thêm, try_files thường kết thúc bằng mã 404. Chỉ an toàn khi bỏ quy tắc 410 tường minh nếu đường xử lý tài nguyên không tồn tại trên máy chủ thực tế vẫn trả về đúng 410 theo yêu cầu, kể cả đối với URL phân trang đã ngừng dùng và mọi bước xử lý trang lỗi nội bộ. Điều kiện này đã được kiểm tra bằng các yêu cầu HTTP thực trước khi chấp nhận thay đổi.
Làm sao chứng minh map chuyển hướng nhanh hơn vẫn giữ nguyên hành vi
Cấu hình nginx hợp lệ về cú pháp vẫn có thể âm thầm làm hỏng hàng nghìn liên kết cũ. Vì vậy, cách thay thế sử dụng danh sách quy tắc gốc làm dữ liệu đầu vào độc lập để kiểm chứng tính đúng đắn, chứ không dựng lại danh sách đích đến từ đầu ra đã tối ưu. Các bảng tra cứu được tạo ra được kiểm tra để phát hiện khóa trùng lặp, biểu thức không được hỗ trợ, tiền tố ảnh không nhất quán và các tệp sinh ra đã lỗi thời. Bất kỳ quy tắc nào không thể biểu diễn an toàn phải khiến bước tạo cấu hình thất bại, thay vì bị bỏ qua một cách âm thầm.
Ma trận kiểm thử bao phủ bí danh trang khớp chính xác, các trường hợp ghi đè giá trị rỗng cho đường dẫn chuẩn, quy tắc phân trang chồng lấn, giới hạn phân trang ánh xạ tới đích cố định, số trang hợp lệ và không hợp lệ, dấu gạch chéo cuối đường dẫn, biến thể chữ hoa và chữ thường, cùng chuỗi truy vấn. Với media, bộ kiểm thử bao gồm ảnh gốc không đánh số và ảnh có số, hậu tố bắt đầu bằng số không, mã định danh kết thúc bằng chữ số, đường dẫn đích lồng nhiều cấp, tương thích WebP và các bí danh video ban đầu. Khi việc phục vụ tệp có ý nghĩa, các bài kiểm thử sử dụng tệp mẫu thực sự đọc được, rồi so sánh nội dung phản hồi, chuyển hướng, header liên quan đến bộ nhớ đệm và các khoảng byte của video.
Quan trọng nhất, đây là các phép kiểm tra HTTP thực qua nginx, chứ không chỉ so sánh chuỗi trong JavaScript. Cấu hình mới được chạy qua toàn bộ ma trận yêu cầu đã tạo, còn một tập yêu cầu riêng được đối chiếu với cấu hình gốc dựa trên PCRE. Kết quả được báo cáo là không có khác biệt phản hồi ngoài ý muốn nào. Các phép kiểm tra nhanh trên môi trường thực tế sau đó xác nhận rằng các tệp cấu hình include đã được tối ưu thực sự đang có hiệu lực và những bảng regex dài trước đây không còn được sử dụng.
Phép đo hiệu năng có kiểm soát tách tác động tối ưu khỏi biến động lưu lượng
Biểu đồ CPU trên môi trường thực tế cải thiện rõ rệt sau khi triển khai, nhưng cả lượng yêu cầu lẫn thành phần yêu cầu cũng thay đổi. Nếu đem một mẫu lúc máy chủ bận so với một mẫu sau đó khi tải thấp, ta sẽ phóng đại phần cải thiện có thể quy cho thay đổi cấu hình.
Để tách riêng chi phí tra cứu, một phép đo hiệu năng độc lập sử dụng cùng tệp nhị phân nginx và lặp lại chính xác cùng chuỗi yêu cầu hỗn hợp trên cấu hình gốc và cấu hình đã tối ưu. Chuỗi đó gồm các trang chuẩn, bí danh trang cũ, bí danh phân trang, trang không tồn tại, ảnh chuẩn, bí danh ảnh và video cũ, cùng media không tồn tại. Các lượt thử được xen kẽ theo thứ tự cũ, mới, mới, cũ; mã trạng thái phản hồi và giá trị Location đều trùng khớp.
Với khối lượng công việc có kiểm soát đó, các map đã tối ưu tiêu tốn chưa đến một phần trăm thời gian CPU của worker nginx so với các map cũ chứa nhiều regex, và kết quả này được tái lập qua các lượt thử. Đây là bằng chứng đo lường vững chắc cho thay đổi trong xử lý chuyển hướng với tập yêu cầu ấy. Điều đó không có nghĩa là mọi yêu cầu trên môi trường thực tế đều nhanh hơn 100 lần, hay tổng mức sử dụng CPU của máy chủ sẽ giảm theo cùng tỷ lệ với mọi kiểu lưu lượng.
Những lần kiểm tra hệ thống sau đó cho thấy nginx sử dụng ít CPU, áp lực đĩa thấp và bộ xử lý có nhiều thời gian nhàn rỗi. Điểm nóng PCRE trước kia không còn chiếm ưu thế trong các mẫu có được sau thay đổi; tuy nhiên, khi mức sử dụng thấp như vậy, số mẫu rất ít nên không được diễn giải quá mức tỷ lệ phần trăm của từng hàm. Kết quả đối chiếu có kiểm soát, kiểm thử tính tương đương và lần triển khai thành công mới là bằng chứng thuyết phục hơn cho cách khắc phục.
Quy trình an toàn hơn khi chuyển đổi số lượng lớn quy tắc chuyển hướng nginx
Nếu phải xử lý một trang web khác có nhiều URL cũ, tôi sẽ giữ quá trình chuyển đổi mang tính cơ học: bảo toàn danh sách quy tắc gốc, xác định một số ít cấu trúc đường dẫn dùng chung, biên dịch mỗi cấu trúc thành regex có phạm vi giới hạn và lưu đích đến trong các map dùng khóa chuỗi cố định. Phải xem các trường hợp ghi đè chính xác cho đường dẫn chuẩn, mã trạng thái HTTP, bước kiểm tra tệp tồn tại, chuỗi truy vấn, chuẩn hóa tên máy chủ và tính phân biệt chữ hoa-chữ thường là hành vi công khai của hệ thống, chứ không phải chi tiết triển khai thứ yếu.
Sau đó, kiểm tra toàn bộ cấu hình được tạo bằng nginx -t, đối chiếu hành vi cũ và mới qua nginx thực, đo hiệu năng trên các yêu cầu giống hệt nhau, rồi triển khai với bản sao lưu có thể khôi phục và kiểm tra sau khi nạp lại cấu hình. Nếu một chuyển hướng không thể biểu diễn bằng cách tiếp cận dựa trên cấu trúc, hãy giữ lại ngoại lệ được giới hạn rõ ràng hoặc dùng một mục khớp chính xác cho từng URL, thay vì lặng lẽ loại bỏ nó.
Thay đổi quan trọng nhất trong cách chẩn đoán là nhận ra rằng phục vụ nội dung tĩnh và định tuyến ít tốn tài nguyên là hai đặc tính khác nhau. Next.js đã hoàn tất phần kết xuất, và nginx có thể phục vụ tệp hiệu quả. Phần chưa được tối ưu nằm ở bước tra cứu diễn ra trước khi phục vụ các tệp ấy. Việc giữ liên kết cũ hoạt động hoàn toàn tương thích với việc làm cho bước tra cứu nhanh hơn.
Để biết chính xác các quy tắc về thứ tự ưu tiên và cách đánh giá, hãy xem tài liệu nginx chính thức về mô-đun map và cách chọn location trong HTTP core.