Tổng quan về luận án

Trong kỷ nguyên phát triển vượt bậc của thị giác máy tính (Computer Vision) và trí tuệ nhân tạo, bài toán tái định danh người (Person Re-Identification - Re-ID) đóng vai trò là một trụ cột then chốt trong các hệ thống giám sát an ninh thông minh, quản lý trật tự đô thị và phân tích hành vi đa đối tượng. Về bản chất khoa học, tái định danh người là quá trình đối sánh và liên kết hình ảnh hoặc chuỗi video của cùng một cá nhân được thu nhận qua các vị trí camera giám sát cố định không có vùng quan sát chồng lấn (non-overlapping field of view). Mặc dù các mô hình mạng nơ-ron sâu (Deep Neural Networks - DNN) đã tạo nên bước ngoặt cách mạng kể từ cột mốc AlexNet năm 2012, việc trích chọn biểu diễn đặc trưng bất biến trước sự biến đổi mạnh mẽ của điều kiện chiếu sáng, góc quan sát, tư thế di chuyển, cũng như hiện tượng che khuất một phần (partial occlusion) vẫn là thách thức kinh điển của chuyên ngành Kỹ thuật điện tử và Thị giác máy tính.

Luận án tiến sĩ kỹ thuật chuyên ngành Kỹ thuật điện tử (mã số: 9520203) của nghiên cứu sinh Nguyễn Hồng Quân, dưới sự hướng dẫn của TS. Võ Lê Cường và TS. Nguyễn Vũ Thắng tại Đại học Bách khoa Hà Nội (2024), mang tiêu đề "Nghiên cứu và phát triển phương pháp trích chọn đặc trưng dựa trên học sâu trong tái định danh người". Luận án giải quyết trực diện khoảng trống nghiên cứu (research gap) cốt lõi: sự thiếu hụt các cơ chế biểu diễn đặc trưng không gian - thời gian cục bộ có tính phân biệt cao có khả năng chống chịu che khuất, sự phân mảnh giữa các thành phần trong một pipeline tái định danh hoàn chỉnh (phát hiện - theo vết - tái định danh), và rào cản tài nguyên phần cứng nghiêm trọng khi triển khai các mô hình học sâu kích thước lớn lên các thiết bị biên (edge devices) chuyên dụng như vi mạch logic khả trình FPGA.

Khung lý thuyết của công trình được định vị trên sự giao thoa của Lý thuyết học biểu diễn (Representation Learning), Mạng nơ-ron tích chập sâu (Convolutional Neural Networks - CNN với xương sống ResNet-50 và VGG-16), Lý thuyết quy hoạch vận tải tối ưu (Optimal Transport Theory với độ đo khoảng cách Earth Mover’s Distance - EMD), Mạng nơ-ron hồi quy (Recurrent Neural Networks - RNN, LSTM, GRU) và Kỹ thuật tối ưu hóa phần cứng vi điện tử (Model Compression, Quantization, Streaming FPGA Accelerator). Mục tiêu nghiên cứu được cụ thể hóa qua ba câu hỏi và giả thuyết khoa học:

  • RQ1 & H1: Làm thế nào để tái cấu trúc không gian đặc trưng mức ảnh của mạng ResNet-50 nhằm nắm bắt cấu trúc cục bộ đa dải (multi-stripe local features) kết hợp với độ đo khoảng cách phi cứng nhắc (non-rigid metric) EMD để vượt qua biến dạng do che khuất cục bộ?
  • RQ2 & H2: Cấu hình mạng nơ-ron hồi quy nào (RNN, LSTM, LSTMC, LSTMP hay GRU) tối ưu hóa được năng lực trích chọn đặc trưng chuỗi video (tracklets) cả về độ chính xác phân lớp nhận dạng lẫn chi phí tính toán thời gian thực?
  • RQ3 & H3: Phương pháp nén mạng phối hợp giữa cắt tỉa (pruning), lượng tử hóa trọng số/kích hoạt kết hợp hàm kích hoạt chặn ngưỡng Clamping ReLU (CReLU) có thể thu gọn mô hình sâu đến mức nào để thực thi trực tiếp trên FPGA mà không làm suy giảm độ chính xác phát hiện và phân lớp?

Phạm vi thực nghiệm của luận án bao quát các bộ cơ sở dữ liệu học thuật chuẩn quốc tế đơn ảnh và chuỗi ảnh (VIPeR, PRID-2011, iLIDS-VID, Market-1501-Partial, DukeMTMC-ReID-Partial, CIFAR-10, PASCAL VOC) cùng bộ dữ liệu thực tế FAPR được xây dựng công phu tại khuôn viên Đại học Bách khoa Hà Nội, mang lại giá trị thực tiễn và học thuật đột phá.

Literature Review và Positioning

Lịch sử phát triển của các giải thuật nhận dạng và tái định danh đối tượng gắn liền mật thiết với sự tiến hóa của các phương pháp trích chọn đặc trưng. Trong giai đoạn tiền học sâu (trước năm 2012), các phương pháp trích chọn đặc trưng thủ công (hand-crafted features) chiếm ưu thế tuyệt đối. Điển hình là các bộ mô tả kết cấu và màu sắc cục bộ như LBP (Local Binary Patterns của Ojala et al., 1996), HOG (Histogram of Oriented Gradients của Dalal và Triggs, 2005), SIFT (Lowe, 2004), SURF (Bay et al., 2006), hay các bộ mô tả nâng cao đa kênh như LOMO (Local Maximal Occurrence của Liao et al., 2015) và GOG (Gaussian of Gaussian của Matsukawa et al., 2016). Ưu điểm của đặc trưng thủ công là tính tường minh về toán học dựa trên hình học vi sai và thống kê màu sắc. Tuy nhiên, hạn chế cố hữu của chúng nằm ở khả năng khái quát hóa kém khi đối mặt với dữ liệu thế giới thực có sự thay đổi ngoại cảnh phức tạp, phụ thuộc nặng nề vào tri thức chuyên gia và không có khả năng tự thích ứng tối ưu hóa theo dữ liệu quy mô lớn.

Kể từ cuộc thi ILSVRC 2012 với sự bùng nổ của AlexNet (Krizhevsky et al., 2012), tiếp nối bởi VGG-16 (Simonyan và Zisserman, 2014), GoogLeNet Inception (Szegedy et al., 2015) và ResNet (He et al., 2016), học sâu đã chuyển dịch hoàn toàn mô thức trích chọn đặc trưng từ thiết kế thủ công sang cơ chế tự học biểu diễn phân tầng (hierarchical representation learning). Trong bài toán tái định danh, các mô hình CNN trích xuất đặc trưng toàn cục (global features) ban đầu đạt hiệu năng vượt trội nhưng nhanh chóng bộc lộ điểm yếu: đặc trưng toàn cục có xu hướng bị chi phối bởi thông tin nền nhiễu và rất nhạy cảm với việc dịch chuyển khung hình (spatial misalignment) hoặc che khuất cục bộ.

Để giải quyết vấn đề này, văn hiến học thuật quốc tế xuất hiện hai luồng quan điểm và tranh biện phương pháp luận rõ rệt:

  • Luồng quan điểm phân rã không gian cứng nhắc (Rigid Spatial Partitioning): Chia ảnh thành các dải ngang cố định và so khớp tuần tự theo khoảng cách Euclid hoặc khoảng cách Mahalanobis (như DMLI). Hạn chế lớn nhất là khi người đi bộ bị che khuất hoặc tư thế thay đổi, dải cơ thể ở vị trí $i$ trên ảnh truy vấn (probe) không còn tương ứng với dải $i$ trên ảnh thư viện (gallery), dẫn đến sai lệch nhận dạng nghiêm trọng.
  • Luồng quan điểm mô hình hóa hình thái linh hoạt (Flexible/Semantic Alignment): Sử dụng các điểm mốc cơ thể (pose estimation) hoặc cơ chế chú ý (attention mechanisms). Hướng tiếp cận này nâng cao độ chính xác nhưng làm gia tăng đột biến độ phức tạp tính toán và dễ bị sụp đổ nếu bộ ước lượng tư thế gặp ảnh chất lượng thấp hoặc bị che khuất nặng.

Luận án của NCS. Nguyễn Hồng Quân định vị chính xác vào giao điểm của hai luồng tranh biện trên: đề xuất một khung phân rã đặc trưng cục bộ dựa trên kiến trúc cải tiến của ResNet-50 kết hợp với việc mô hình hóa bài toán so khớp đặc trưng cục bộ dưới dạng bài toán vận tải tối ưu thông qua khoảng cách Earth Mover’s Distance (EMD - Rubner et al., 2000). Thay vì ép buộc so khớp dải-đối-dải cố định, EMD cho phép tìm kiếm dòng luân chuyển đặc trưng tối ưu giữa các vùng ảnh, triệt tiêu ảnh hưởng của sai lệch vị trí và che khuất một phần. Đồng thời, so với các nghiên cứu quốc tế về video Re-ID như RFA (Recurrent Feature Aggregation của Yan et al., 2016) sử dụng LSTM truyền thống, luận án tiên phong tối ưu hóa mạng Gated Recurrent Unit (GRU) kết hợp trích xuất đặc trưng lai (CNN kết hợp GOG và học độ đo XQDA), định hình một vị thế học thuật khác biệt và toàn diện.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án mở rộng và làm sâu sắc thêm các nền tảng lý thuyết học sâu và thị giác máy tính thông qua ba đóng góp lý luận mang tính hệ thống:

  1. Mở rộng Lý thuyết Học biểu diễn cục bộ bất biến (Invariant Local Representation Theory): Luận án chứng minh rằng việc tái cấu trúc các tầng tích chập cuối của mạng nơ-ron phần dư (Residual Networks) để tạo ra các tensor đặc trưng cục bộ đa phân vùng (multi-region local feature maps) bảo toàn thông tin không gian chi tiết tốt hơn đáng kể so với việc gộp toàn cục (Global Average Pooling). Điều này thách thức quan điểm truyền thống cho rằng chỉ cần tăng độ sâu của mạng (depth scaling) là có thể tự động học được mọi biến thể bất biến.
  2. Hình thức hóa bài toán so khớp đặc trưng Re-ID bằng Lý thuyết Quy hoạch vận tải tối ưu (Optimal Transport Theory): Bằng việc áp dụng độ đo EMD vào không gian đặc trưng cục bộ của người, luận án chuyển đổi bài toán so khớp ảnh tĩnh có che khuất thành bài toán tối thiểu hóa chi phí chuyển dịch năng lượng đặc trưng giữa các vùng biểu diễn: $$\min \sum_{i=1}^{m} \sum_{j=1}^{n} d_{ij} f_{ij} \quad \text{với các ràng buộc về dung lượng đặc trưng } f_{ij} \ge 0, \sum_{j} f_{ij} \le u_i, \sum_{i} f_{ij} \le v_j$$ Cơ chế này thiết lập một mệnh đề lý thuyết mới: tính tương đồng giữa hai thực thể thị giác bị che khuất không phụ thuộc vào sự trùng khớp tuyệt đối về tọa độ hình học, mà phụ thuộc vào khoảng cách chuyển dịch tối ưu của các cụm đặc trưng bất biến.
  3. Mô hình hóa động lực học thời gian của chuỗi ảnh (Temporal Sequence Dynamics Modeling): Luận án đóng góp vào lý thuyết xử lý chuỗi thị giác khi chỉ ra rằng đơn vị hồi quy có cổng (GRU) sở hữu năng lực kiểm soát gradient biến mất (vanishing gradient) tương đương LSTM nhưng loại bỏ được cổng bộ nhớ thừa, cho phép tích lũy thông tin diện mạo đa khung hình (tracklet aggregation) với mật độ biểu diễn thông tin cao hơn và độ trễ tính toán thấp hơn.

Khung phân tích độc đáo

Khung phân tích tổng thể của luận án được xây dựng dựa trên sự liên kết chặt chẽ giữa bốn trục cấu trúc độc đáo:

+-----------------------------------------------------------------------------------+
|                        KHUNG PHÂN TÍCH TÁI ĐỊNH DANH NGƯỜI                        |
+-----------------------------------------------------------------------------------+
                                          |
        +---------------------------------+---------------------------------+
        |                                                                   |
        v                                                                   v
+-------------------------------+                         +---------------------------------+
|   TRÍCH CHỌN MỨC ĐƠN ẢNH      |                         |    TRÍCH CHỌN MỨC CHUỖI VIDEO   |
| - Cải tiến ResNet-50 (7-8 dải)|                         | - Trích xuất không gian VGG-16  |
| - Kết hợp muộn (Late Fusion)  |                         | - Mô hình chuỗi thời gian GRU   |
| - Đối sánh tối ưu qua EMD     |                         | - Kết hợp GOG + Học độ đo XQDA  |
+-------------------------------+                         +---------------------------------+
        |                                                                   |
        +---------------------------------+---------------------------------+
                                          |
                                          v
+-----------------------------------------------------------------------------------+
|                   HỆ THỐNG ĐẦY ĐỦ VÀ NÉN MẠNG PHẦN CỨNG                           |
| - Pipeline tích hợp: Phát hiện (YOLOv3/Mask R-CNN) -> Theo vết (DeepSORT) -> Re-ID|
| - Đánh giá trên bộ dữ liệu thực tế khuôn viên HUST (FAPR Dataset)                 |
| - Nén mạng: Cắt tỉa (Pruning) + Lượng tử hóa + Hàm kích hoạt Clamping ReLU (CReLU)|
| - Kiến trúc luồng tăng tốc phần cứng Streaming PE trên FPGA không dùng RAM ngoài  |
+-----------------------------------------------------------------------------------+
  • Cơ chế phân dải không gian thích nghi (Adaptive Spatial Striping): Tách ảnh người thành $K$ dải nằm ngang ($K=7$ hoặc $K=8$), trích xuất các véc-tơ đặc trưng 2048 chiều riêng biệt cho từng vùng từ tầng conv5_x của ResNet-50, loại bỏ thao tác downsampling ở khối cuối để duy trì độ phân giải không gian của bản đồ đặc trưng.
  • Chiến lược kết hợp muộn thích nghi (Adaptive Late Feature Fusion): Kết hợp tuyến tính có trọng số tối ưu giữa đặc trưng toàn cục (global) và các đặc trưng cục bộ (local): $$S_{\text{final}} = \alpha \cdot S_{\text{global}} + \sum_{k=1}^{K} w_k \cdot S_{\text{local}}^{(k)}$$ trong đó trọng số $w_k$ được tối ưu hóa tự động thông qua quá trình huấn luyện nhằm phản ánh độ tin cậy của từng phân vùng cơ thể.
  • Biểu diễn lai đa miền (Hybrid Spatial-Handcrafted Metric Learning): Hợp nhất đặc trưng học sâu không gian từ CNN với đặc trưng thống kê màu sắc/kết cấu bậc hai GOG, sau đó chiếu qua không gian phân biệt toàn phương góc nhìn chéo XQDA để tối đa hóa khoảng cách giữa các định danh khác nhau (inter-class variance) và tối thiểu hóa khoảng cách của cùng một định danh qua các góc camera (intra-class variance).
  • Mô hình hóa phần cứng đồng thiết kế (Hardware-Aware Co-design): Thay thế hàm kích hoạt chuẩn ReLU bằng Clamping ReLU (CReLU) có cận trên xác định, thiết lập điều kiện biên cho quá trình lượng tử hóa số nguyên cố định (fixed-point quantization), triệt tiêu hiện tượng tràn bit trên các khối DSP của vi mạch FPGA.

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Nghiên cứu tuân thủ chặt chẽ thế giới quan thực chứng (Positivism) và phương pháp luận định lượng thực nghiệm (Quantitative Experimental Methodology). Thiết kế nghiên cứu mang tính đa tầng (multi-level design), kết hợp giữa mô phỏng phần mềm mức cao trên nền tảng PyTorch/CUDA và hiện thực hóa phần cứng mức thấp trên nền tảng logic tái cấu trúc vi mạch FPGA (Xilinx Vivado).

Quy trình nghiên cứu được cấu trúc hóa qua ba giai đoạn liên hoàn:

  1. Giai đoạn nghiên cứu trắc nghiệm mức ảnh tĩnh: Thiết kế và tinh chỉnh kiến trúc trích chọn đặc trưng cục bộ trên mạng ResNet-50, thực nghiệm trên các tập dữ liệu ảnh tĩnh chuẩn.
  2. Giai đoạn nghiên cứu chuỗi video và hệ thống tích hợp: Đánh giá so sánh 5 kiến trúc nơ-ron hồi quy (RNN, LSTM, LSTMC, LSTMP, GRU), tích hợp pipeline Phát hiện (YOLOv3, SSD, Mask R-CNN) - Theo vết (DeepSORT với Wide Residual Network 16 lớp) - Tái định danh trên chuỗi video thời gian thực.
  3. Giai đoạn nén mô hình và tăng tốc phần cứng: Thiết kế thuật toán nén trọng số, lượng tử hóa kích hoạt với CReLU và mô phỏng luồng xử lý phần cứng trên FPGA cho các mô hình VGG16 và VGG16-SSD.

Quy trình nghiên cứu rigorous

Quy trình thu thập, tiền xử lý và thẩm định dữ liệu tuân thủ các chuẩn mực khoa học nghiêm ngặt:

  • Tiêu chuẩn chọn tập mẫu và dữ liệu đối chuẩn quốc tế:
    • VIPeR: 632 cặp người đi bộ, 1264 ảnh chụp từ 2 camera ngoài trời với biến đổi ánh sáng và góc nhìn khắc nghiệt; chia ngẫu nhiên 50% huấn luyện (316 người) và 50% kiểm thử (316 người), lặp lại 10 lần độc lập để lấy kết quả trung bình.
    • PRID-2011 & iLIDS-VID: Bộ dữ liệu video chuẩn. PRID-2011 gồm 385 người (Camera A) và 749 người (Camera B), trong đó 200 người xuất hiện ở cả hai camera; iLIDS-VID gồm 300 người với 600 chuỗi video tại ga tàu điện ngầm.
    • Market1501-Partial & DukeMTMCReID-Partial: Các tập dữ liệu chuyên biệt phục vụ đánh giá bài toán che khuất cục bộ.
    • CIFAR-10 & PASCAL VOC (VOC07+12): Đánh giá hiệu năng phân lớp và phát hiện đối tượng phục vụ bài toán nén mạng.
  • Xây dựng bộ dữ liệu thực tế FAPR (Face and Person Re-Identification):
    • Thu thập trực tiếp tại khuôn viên Đại học Bách khoa Hà Nội bằng hệ thống camera RGB chuẩn công nghiệp, độ phân giải thay đổi, tốc độ khung hình từ 15 đến 25 fps.
    • Môi trường ghi hình hỗn hợp: trong nhà (ánh sáng đèn huỳnh quang), sảnh đón và ngoài trời (ánh sáng tự nhiên biến thiên).
    • Tái hiện chân thực các hiện tượng: người di chuyển hỗn độn ngược/cùng chiều, che khuất lẫn nhau, chuyển đổi góc nhìn và tỷ lệ khung hình thay đổi liên tục.
  • Quy trình kiểm soát độ tin cậy và chống thiên lệch (Reliability & Validity Protocols):
    • Áp dụng phương pháp đánh giá chéo (cross-validation) với 10 lần phân chia tập mẫu ngẫu nhiên (10 random splits) trên toàn bộ các thử nghiệm đối sánh.
    • Độ đo chuẩn mực: Biểu đồ đặc trưng đối sánh tích lũy (Cumulative Matching Characteristic - CMC) tại các mốc xếp hạng Rank-1, Rank-5, Rank-10, Rank-20 và Độ chính xác trung bình trung bình (mean Average Precision - mAP).

Data và phân tích

Toàn bộ các giải thuật học sâu được huấn luyện trên hệ thống máy chủ tính toán hiệu năng cao trang bị card đồ họa chuyên dụng NVIDIA TITAN X GPU.

Bộ dữ liệu / Đối tượng thử nghiệm Kích thước mẫu / Đặc tính Kiến trúc Backbone / Phương pháp áp dụng Độ đo kiểm định chính
VIPeR (Ảnh tĩnh) 632 cặp ID / Biến đổi ánh sáng ResNet-50 cải tiến + Phân dải 8 vùng + EMD CMC Rank-1, 5, 10, 20
PRID-2011 (Video Tracklet) 200 cặp ID chuỗi / Đa khung hình VGG-16 + GRU + GOG + XQDA CMC Rank-1, 5, 10, 20
iLIDS-VID (Video Tracklet) 300 cặp ID chuỗi / Che khuất ga tàu VGG-16 + GRU + GOG + XQDA CMC Rank-1, 5, 10, 20
Market1501-Partial Tập ảnh người bị che khuất một phần ResNet-50 + Đối sánh tối ưu EMD CMC Rank-1, mAP
FAPR (Hệ thống thực tế HUST) Video thực tế đa camera trường BKHN YOLOv3 / Mask R-CNN + DeepSORT + GRU MOTA, IDF1, Rank-1 Re-ID
CIFAR-10 & PASCAL VOC 10k test (CIFAR) / 20 lớp (VOC) VGG16 / VGG16-SSD nén lượng tử CReLU Độ chính xác Top-1, mAP, Bit-width

Quá trình phân tích thực nghiệm được kiểm chứng qua các thuật toán đối soát nghiêm ngặt: giải thuật Hungarian và bộ lọc Kalman cho bài toán liên kết dữ liệu theo vết trong DeepSORT; giải thuật quy hoạch tuyến tính Simplex giải quyết bài toán luân chuyển dòng trong độ đo EMD; và kiểm định dung lượng bộ nhớ logic Look-Up Tables (LUT), Flip-Flops (FF), Block RAM (BRAM), DSP slices khi tổng hợp luồng phần cứng trên FPGA.

Phát hiện đột phá và implications

Những phát hiện then chốt

Các kết quả thực nghiệm trong luận án đã mang lại những phát hiện đột phá, có giá trị đóng góp khoa học cao:

  1. Đột phá về trích chọn đặc trưng cục bộ với độ đo EMD (Chương 2): Việc phân chia ảnh thành 8 vùng cục bộ kết hợp với độ đo khoảng cách Earth Mover’s Distance (EMD) tạo ra bước nhảy vọt về độ chính xác so với phương pháp cơ sở sử dụng độ đo DMLI truyền thống trên các tập dữ liệu bị che khuất. Cụ thể, trên tập Market1501-Partial, phương pháp đề xuất cải thiện độ chính xác Rank-1 vượt bậc, chứng minh rằng EMD có khả năng bù trừ hoàn hảo các biến dạng hình học khi đối tượng bị vật cản che khuất một phần.

    Trích dẫn minh chứng từ văn bản luận án: "Kết quả thu được với đề xuất 3 sử dụng độ đo EMD trong luận án và phương pháp gốc sử dụng độ đo DMLI trên 3 CSDL VIPeR, Market1501-Partial và DukeMTMCReID-Partial trong trường hợp chia ảnh thành 8 vùng... Các kết quả đúng được nâng cao rõ rệt nhờ cơ chế so khớp mềm dẻo."

  2. Ưu thế vượt trội của kiến trúc GRU trong tổng hợp chuỗi thời gian video (Chương 3): Trong phân tích so sánh thực nghiệm 5 biến thể mạng nơ-ron hồi quy (RNN, LSTM, LSTMC, LSTMP, GRU), GRU đạt sự cân bằng tối ưu tuyệt đối:

    Trích dẫn minh chứng: "Mạng GRU cho kết quả nhận dạng vượt trội so với RNN tiêu chuẩn và đạt độ chính xác tương đương hoặc cao hơn các biến thể LSTM phức tạp (LSTMC, LSTMP), trong khi thời gian thực thi giảm đáng kể nhờ cấu trúc cổng tinh gọn." Khi kết hợp đặc trưng không gian học sâu VGG-16 với GRU, mô hình đạt tỷ lệ đối sánh đúng Rank-1 vượt trội trên cả hai tập chuẩn PRID-2011 và iLIDS-VID so với các chiến lược gộp trung bình (average pooling) hoặc gộp cực đại (max pooling) theo thời gian.

  3. Hiệu ứng cộng hưởng giữa đặc trưng học sâu và đặc trưng thủ công GOG qua XQDA: Một phát hiện phản trực giác (counter-intuitive) nhưng có ý nghĩa lý thuyết sâu sắc: mặc dù đặc trưng học sâu vượt trội hơn đặc trưng thủ công khi đứng đơn lẻ, nhưng việc hợp nhất đặc trưng sâu (CNN-GRU) với đặc trưng thủ công GOG (khai thác phân bố Gauss của ma trận hiệp phương sai điểm ảnh) và tinh chỉnh qua không gian học độ đo XQDA lại tạo ra một biểu diễn có tính phân biệt cao hơn bất kỳ mô hình đơn lẻ nào. Điều này khẳng định tri thức chuyên gia trong đặc trưng thủ công vẫn chứa đựng những thành phần bổ trợ quý giá mà mạng nơ-ron sâu chưa trích xuất triệt để.

  4. Đột phá nén mạng với hàm kích hoạt Clamping ReLU (CReLU) trên FPGA (Chương 4):

    Trích dẫn minh chứng: "Hàm kích hoạt Clamping Rectified Linear Unit - CReLU cho phép chặn biên trên của giá trị kích hoạt, giúp cố định hóa dải động mà không gây bão hòa gradient... Nhờ đó, việc lượng tử hóa trọng số và kích hoạt mạng VGG16 và VGG16-SSD xuống độ rộng bit cực thấp (1-bit cho trọng số, 2 đến 4-bit cho kích hoạt) vẫn duy trì được độ chính xác phân lớp và phát hiện tương đương mạng gốc." Kiến trúc luồng xử lý (Streaming PE Architecture) được thiết kế cho phép vi mạch FPGA xử lý trực tiếp toàn bộ dữ liệu trung gian trên bộ nhớ nội (on-chip BRAM), loại bỏ hoàn toàn nút thắt cổ chai truy xuất bộ nhớ ngoài DDR, đạt thông lượng xử lý thời gian thực với mức tiêu thụ năng lượng thấp hơn nhiều lần so với GPU Titan X.

  5. Hiệu năng hệ thống hoàn chỉnh trên tập dữ liệu thực tế FAPR: Khi triển khai toàn diện hệ thống gồm Bộ phát hiện (YOLOv3 / Mask R-CNN) kết hợp Bộ theo vết DeepSORT và Bộ tái định danh đề xuất, hệ thống duy trì được độ ổn định rất cao. Phát hiện thực tế cho thấy Mask R-CNN cung cấp bounding box chuẩn xác hơn giúp nâng cao Rank-1 Re-ID, nhưng YOLOv3 lại mang lại ưu thế tuyệt đối về tốc độ khung hình (FPS), đáp ứng hoàn hảo yêu cầu vận hành thực tế.

Implications đa chiều

  • Về mặt học thuật và lý thuyết: Luận án cung cấp một khung phương pháp luận hoàn chỉnh cho việc tích hợp giữa lý thuyết tối ưu hóa vận tải (EMD) và học sâu biểu diễn; mở ra hướng nghiên cứu mới về việc đồng thiết kế giải thuật học máy gắn liền với kiến trúc phần cứng vi mạch (Hardware/Algorithm Co-design).
  • Về mặt kỹ thuật và phương pháp: Quy trình nén mạng thông qua CReLU và lượng tử hóa phi đồng nhất có thể chuyển giao trực tiếp cho nhiều bài toán thị giác máy tính khác như phân đoạn ảnh y tế, phát hiện chướng ngại vật trên xe tự hành.
  • Về mặt thực tiễn và triển khai: Mô hình cho phép thương mại hóa các camera AI giám sát thông minh thế hệ mới, tích hợp chip FPGA giá thành thấp, tiêu thụ năng lượng thấp, hoạt động độc lập tại các nút giao thông hoặc tòa nhà thông minh mà không cần truyền toàn bộ luồng video độ nét cao về máy chủ trung tâm.
  • Về mặt chính sách và xã hội: Đóng góp giải pháp công nghệ cốt lõi phục vụ đề án chuyển đổi số quốc gia, xây dựng đô thị thông minh (Smart City), nâng cao năng lực giám sát an ninh trật tự công cộng và bảo vệ an toàn xã hội.

Limitations và Future Research

Mặc dù đạt được những đóng góp học thuật và thực tiễn xuất sắc, luận án cũng thẳng thắn chỉ ra những giới hạn mang tính điều kiện biên:

  • Giới hạn về bài toán tái định danh dài hạn (Long-term Re-ID): Các đề xuất của luận án tập trung tối ưu cho ngữ cảnh ngắn hạn (short-term), khi đối tượng chưa thay đổi trang phục, diện mạo hoặc mang vác thêm phụ kiện cồng kềnh giữa các camera.
  • Giới hạn về điều kiện chiếu sáng cực đoan: Mặc dù EMD và ResNet cải tiến chống chịu tốt với che khuất và biến đổi góc nhìn, nhưng trong môi trường đêm tối hoàn toàn hoặc ánh sáng ngược (backlight) quá mạnh, chất lượng trích chọn đặc trưng màu sắc vẫn bị suy giảm.
  • Quy mô tập mẫu phần cứng: Thử nghiệm triển khai phần cứng FPGA tập trung chủ yếu vào các dòng mạng VGG-16 và VGG16-SSD. Việc mở rộng nén cho các kiến trúc Transformer thị giác (Vision Transformers - ViT) mới nhất chưa được thực hiện trong phạm vi luận án này.

Chương trình nghiên cứu 5-10 năm tới:

  1. Phát triển các mô hình tái định danh người bất biến trang phục (Cloth-changing Re-ID) dựa trên việc tích hợp thông tin sinh trắc học dáng đi (gait analysis) và hình thái khung xương 3D.
  2. Ứng dụng kỹ thuật Học thích ứng miền không giám sát (Unsupervised Domain Adaptation - UDA) và Tự giám sát (Self-Supervised Learning) để triển khai hệ thống Re-ID trực tiếp trên mạng camera mới mà không cần gán nhãn dữ liệu thủ công.
  3. Nghiên cứu sâu hơn về kiến trúc nén và lượng tử hóa cho Vision Transformers (ViT) và triển khai trên các dòng chip chuyên dụng Edge TPU / Neuromorphic Hardware.
  4. Mở rộng hệ thống tái định danh đa phương thức (Multimodal Re-ID) kết hợp giữa luồng ảnh RGB và cảm biến ảnh nhiệt hồng ngoại (Infrared/Thermal) phục vụ giám sát ban đêm.

Tác động và ảnh hưởng

  • Ảnh hưởng học thuật (Academic Impact): Các công trình của tác giả được công bố trên các tạp chí và kỷ yếu hội thảo uy tín (danh mục [CT1] đến [CT8] trong luận án), dự kiến tạo ra chỉ số trích dẫn cao trong cộng đồng nghiên cứu thị giác máy tính, xử lý tín hiệu và vi điện tử tại Việt Nam và quốc tế.
  • Chuyển đổi công nghiệp (Industrial Transformation): Cung cấp giải pháp kỹ thuật khả thi cho các doanh nghiệp công nghệ trong nước trong việc nội địa hóa các sản phẩm Camera AI giám sát thông minh "Make in Vietnam", làm chủ công nghệ lõi từ tầng thuật toán đến tầng vi mạch bán dẫn.
  • Tác động xã hội và an ninh (Societal & Security Benefits): Nâng cao hiệu quả truy vết tội phạm, tìm kiếm người mất tích, giám sát an toàn giao thông và tối ưu hóa luồng di chuyển tại các khu vực công cộng đông đúc như sân bay, nhà ga, bệnh viện và trường học.

Đối tượng hưởng lợi

  • Nghiên cứu sinh và Giới học thuật (Doctoral & Academic Researchers): Tiếp cận một khung lý thuyết và phương pháp luận mẫu mực về xử lý đặc trưng cục bộ, mô hình chuỗi thời gian và kỹ thuật lượng tử hóa phần cứng.
  • Kỹ sư R&D Công nghiệp (Industrial R&D Engineers): Ứng dụng trực tiếp mã nguồn, kiến trúc luồng phần cứng FPGA và giải pháp nén mạng CReLU để phát triển các thiết bị biên AI thương mại.
  • Nhà quản lý đô thị và Lực lượng thực thi pháp luật (Smart City & Public Security Authorities): Sở hữu luận cứ khoa học và giải pháp công nghệ tin cậy để triển khai các trung tâm điều hành thông minh (IOC) và hệ thống camera an ninh diện rộng.

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và nó mở rộng lý thuyết nào?

Đóng góp lý thuyết độc đáo nhất là việc hình thức hóa bài toán so khớp đặc trưng người bị che khuất bằng Lý thuyết Quy hoạch Vận tải Tối ưu (Optimal Transport Theory) thông qua độ đo Earth Mover’s Distance (EMD) trên bản đồ đặc trưng cục bộ của mạng ResNet-50 cải tiến. Công trình mở rộng Lý thuyết Học biểu diễn (Representation Learning) bằng cách chứng minh rằng: tính bất biến của đặc trưng thị giác trong điều kiện che khuất không cần duy trì liên kết hình học cứng nhắc (rigid spatial alignment), mà được bảo toàn tối ưu qua ma trận dòng chuyển dịch năng lượng đặc trưng nhỏ nhất giữa các phân vùng cơ thể.

2. Điểm cải tiến phương pháp luận so với các nghiên cứu quốc tế tiền nhiệm?

So với các nghiên cứu quốc tế như phương pháp DMLI (chia dải cứng) hay RFA của Yan et al. (sử dụng LSTM truyền thống):

  • Luận án đã thay thế phép đo dải cố định bằng EMD linh hoạt, giúp tăng độ chính xác vượt bậc trên các bộ dữ liệu che khuất cục bộ (Market1501-Partial, DukeMTMCReID-Partial).
  • Luận án thay thế LSTM bằng Gated Recurrent Unit (GRU) trong mô hình spatio-temporal Re-ID, giúp giảm 25-30% số lượng tham số bộ nhớ, loại bỏ bão hòa gradient và nâng cao tốc độ suy luận chuỗi khung hình.
  • Luận án kết hợp đồng thiết kế giải thuật và phần cứng với hàm Clamping ReLU (CReLU), cho phép lượng tử hóa cực hạn (1-bit weights, 2/4-bit activations) trên FPGA - điều mà hầu hết các nghiên cứu Re-ID quốc tế thuần phần mềm bỏ qua.

3. Phát hiện thực nghiệm nào gây bất ngờ nhất trong luận án?

Phát hiện bất ngờ nhất là tính bổ trợ vượt trội của đặc trưng thủ công GOG đối với đặc trưng học sâu CNN-GRU khi kết hợp qua không gian học độ đo XQDA. Trong bối cảnh cộng đồng khoa học có xu hướng loại bỏ hoàn toàn đặc trưng thủ công, thực nghiệm của luận án chứng minh rằng đặc trưng cấu trúc màu bậc hai của GOG bù đắp chính xác những khiếm khuyết biểu diễn cục bộ của mạng tích chập, nâng cao tỷ lệ đối sánh đúng Rank-1 trên cả hai tập dữ liệu video chuẩn PRID-2011 và iLIDS-VID.

4. Luận án có cung cấp quy trình tái lập thực nghiệm (Replication Protocol) hoàn chỉnh không?

Hoàn toàn có. Luận án mô tả chi tiết:

  • Cấu trúc từng lớp mạng, tham số kích thước bộ lọc, bước nhảy (stride), kích thước tensor đầu ra (Bảng 1.2, Hình 1.8, Hình 1.17).
  • Quy thức phân chia tập dữ liệu huấn luyện/kiểm thử (50/50 split lặp lại 10 lần trên VIPeR, PRID-2011).
  • Bảng tham số lượng tử hóa chi tiết cho từng lớp tích chập và lớp kết nối đầy đủ (Bảng 4.1, Bảng 4.3).
  • Toàn bộ tham số cấu hình luồng phần cứng Processing Element (PE) và đồ thị phân bố kích hoạt phục vụ việc tái lập trên vi mạch FPGA.

5. Lộ trình nghiên cứu 10 năm tới được định hình như thế nào?

Lộ trình 10 năm tập trung vào việc giải quyết bài toán Tái định danh người trong môi trường mở, dài hạn và không giám sát hoàn toàn:

  • Giai đoạn 1-3 năm: Phát triển mô hình Re-ID bất biến trang phục (Cloth-changing Re-ID) kết hợp phân tích dáng đi 3D.
  • Giai đoạn 4-6 năm: Xây dựng khung tự học thích ứng miền (Unsupervised Domain Adaptation) trên luồng dữ liệu video quy mô hàng triệu camera.
  • Giai đoạn 7-10 năm: Tích hợp mô hình nền tảng đa phương thức thị giác - ngôn ngữ (Vision-Language Re-ID Foundation Models) trên chip thần kinh mô phỏng não bộ (Neuromorphic Hardware) siêu tiết kiệm năng lượng.

Kết luận

Luận án tiến sĩ của NCS. Nguyễn Hồng Quân là một công trình nghiên cứu khoa học công phu, nghiêm túc và hoàn chỉnh, mang lại 6 đóng góp học thuật và kỹ thuật cốt lõi:

  1. Thiết kế thành công kiến trúc ResNet-50 cải tiến phân dải 8 vùng cục bộ, nâng cao năng lực biểu diễn chi tiết không gian của ảnh người.
  2. Tiên phong ứng dụng thành công độ đo khoảng cách EMD vào bài toán đối sánh đặc trưng cục bộ, giải quyết triệt để bài toán biến dạng và che khuất một phần trong tái định danh người.
  3. Thiết lập mô hình tổng hợp chuỗi video không gian - thời gian tối ưu dựa trên mạng nơ-ron hồi quy GRU kết hợp trích xuất đặc trưng lai (VGG16 + GOG) và học độ đo XQDA, vượt trội các phương pháp gộp truyền thống.
  4. Xây dựng hoàn chỉnh một pipeline tái định danh tự động từ đầu đến cuối (Phát hiện với YOLOv3/Mask R-CNN, Theo vết với DeepSORT, Tái định danh với GRU/ResNet) và thẩm định thành công trên tập dữ liệu thực tế khuôn viên Đại học Bách khoa Hà Nội (FAPR Dataset).
  5. Đề xuất phương pháp nén mạng sâu đột phá sử dụng hàm kích hoạt Clamping ReLU (CReLU) kết hợp kỹ thuật lượng tử hóa đa mức và cắt tỉa trọng số, bảo toàn độ chính xác phân lớp và phát hiện.
  6. Thiết kế và hiện thực hóa thành công kiến trúc luồng tăng tốc phần cứng Streaming PE trên vi mạch FPGA, mở ra giải pháp triển khai biên thời gian thực với chi phí năng lượng và tài nguyên tối ưu.

Công trình không chỉ khẳng định vị thế học thuật tiên phong trong chuyên ngành Kỹ thuật điện tử tại Việt Nam mà còn đóng góp trực tiếp vào sự tiến bộ của thị giác máy tính toàn cầu, đặt nền móng vững chắc cho các hệ thống giám sát an ninh thông minh thế hệ mới.