Nghiên cứu và phát triển phương pháp trích chọn đặc trưng học sâu trong tái định danh người - Nguyễn Hồng Quân
Nghiên cứu và phát triển phương pháp trích chọn đặc trưng dựa trên học sâu trong tái định danh người để nâng cao hiệu quả của hệ thống nhận dạng khuôn mặt.
Luan An
Luận án tiến sĩ
Năm xuất bản
Số trang
140
Thời gian đọc
21 phút
Lượt xem
0
Lượt tải
0
Phí lưu trữ
40 Point
Tổng quan nhanh
- Chủ đề:
- Tổng quan về tái định danh người và học sâu
- Số trang:
- 140 trang
- Trường:
- Đại học Bách khoa Hà Nội
- Chuyên ngành:
- Kỹ thuật điện tử
- Tác giả:
- Nguyễn Hồng Quân
- Năm:
- 2024
Tóm tắt nội dung luận án
I.Tổng quan về tái định danh người và học sâu
Phần này giới thiệu bài toán tái định danh người (person re-identification). Nó giải thích thách thức trong việc khớp ảnh cá nhân qua nhiều camera. Phương pháp học sâu là công cụ mạnh mẽ cho deep feature extraction. Việc trích xuất đặc trưng học sâu chính xác là rất quan trọng cho re-id. Các kỹ thuật khác nhau góp phần vào sự tiến bộ của lĩnh vực này. Hiểu biết các khái niệm nền tảng là cần thiết. Nó giúp phát triển các hệ thống person re-id mạnh mẽ.
1.1. Định nghĩa bài toán tái định danh người
Tái định danh người là bài toán khớp ảnh cùng một người từ các camera không trùng lặp. Mục tiêu là xác định một cá nhân cụ thể trong một tập hợp hình ảnh từ các camera khác. Bài toán này đối mặt nhiều thách thức. Thay đổi tư thế, ánh sáng, góc nhìn, và vật cản ảnh hưởng lớn. Chất lượng hình ảnh khác biệt cũng gây khó khăn. Phát triển hệ thống person re-id hiệu quả rất cần thiết cho giám sát an ninh và phân tích hành vi.
1.2. Mạng nơ ron tích chập CNN trong trích xuất đặc trưng
Mạng nơ-ron tích chập CNN là công cụ chính cho deep feature extraction. CNN tự động học các đặc trưng cấp cao từ dữ liệu hình ảnh. Các lớp tích chập, lớp gộp, và lớp kết nối đầy đủ hoạt động cùng nhau. Kiến trúc này cho phép trích xuất đặc trưng phân biệt. Đặc trưng này quan trọng cho tái định danh người. Các mô hình tiền huấn luyện như ResNet, VGG thường được sử dụng. Chúng cung cấp nền tảng vững chắc cho các tác vụ thị giác máy tính.
1.3. Các độ đo đánh giá hiệu quả
Đánh giá hiệu quả person re-id sử dụng các độ đo tiêu chuẩn. Rank-k đo lường tỷ lệ tìm thấy đúng người trong k kết quả đầu tiên. mAP (mean Average Precision) đánh giá độ chính xác trung bình trên toàn bộ truy vấn. Các độ đo này giúp so sánh các phương pháp khác nhau. Việc chọn độ đo phù hợp là thiết yếu. Nó đảm bảo đánh giá khách quan các mô hình tái định danh người.
II.Trích xuất đặc trưng học sâu cục bộ cho tái định danh
Phần này tập trung vào các phương pháp cải tiến trích xuất đặc trưng học sâu cho bài toán tái định danh người. Đặc biệt, việc khai thác đặc trưng cục bộ của ảnh được nhấn mạnh. Part-based feature representation giúp nắm bắt thông tin chi tiết. Các chi tiết này thường bị bỏ qua bởi đặc trưng toàn cục. Giải pháp mới đề xuất điều chỉnh kiến trúc mạng hiện có. Mục tiêu là tăng cường khả năng phân biệt.
2.1. Cải tiến kiến trúc ResNet50 cho đặc trưng cục bộ
Một đề xuất là sửa đổi kiến trúc ResNet50. Mục đích là để trích xuất đặc trưng cục bộ hiệu quả hơn. Thay đổi này tập trung vào việc duy trì thông tin không gian. Các khối mạng được điều chỉnh. Nó giúp phân chia ảnh thành nhiều phần. Mỗi phần đại diện cho một khu vực cục bộ trên người. Sau đó, deep feature extraction được thực hiện trên từng phần. Điều này cải thiện khả năng phân biệt giữa các cá nhân. Nó đặc biệt hữu ích khi người bị che khuất một phần.
2.2. Chiến lược kết hợp đặc trưng và độ đo khoảng cách
Để tận dụng tối đa các đặc trưng cục bộ, các chiến lược kết hợp được nghiên cứu. Chiến lược kết hợp muộn (late fusion) là một phương pháp. Nó kết hợp các đặc trưng được trích xuất từ các phần khác nhau của ảnh. Điều này tạo ra một biểu diễn đặc trưng mạnh mẽ hơn. Việc tính toán khoảng cách giữa các tập đặc trưng cục bộ cũng rất quan trọng. Độ đo EMD (Earth Mover's Distance) được sử dụng. EMD đo lường sự khác biệt giữa hai phân bố đặc trưng. Phương pháp này cung cấp độ đo chính xác hơn. Nó phản ánh sự tương đồng giữa các đặc trưng cục bộ của hai người.
III.Khai thác đặc trưng video với mạng nơ ron hồi quy
Khai thác thông tin từ chuỗi video là một khía cạnh quan trọng của tái định danh người. Phương pháp này sử dụng mạng nơ-ron hồi quy để xử lý dữ liệu theo trình tự thời gian. Deep feature extraction từ video cung cấp thông tin động. Thông tin này bổ sung cho đặc trưng tĩnh từ ảnh đơn. Các kiến trúc mạng hồi quy khác nhau được khám phá. Hiệu quả của chúng trong person re-identification dựa trên video được đánh giá.
3.1. Các kiến trúc mạng hồi quy phổ biến
Các kiến trúc mạng nơ-ron hồi quy (RNN) được khảo sát. Bao gồm Long Short-term Memory (LSTM) và Gated Recurrent Unit (GRU). Các mạng này có khả năng xử lý chuỗi dữ liệu. Chúng duy trì thông tin qua các bước thời gian. Điều này giúp nắm bắt các thay đổi về tư thế, dáng đi. Hiệu quả của LSTM và GRU được so sánh. Mục tiêu là xác định kiến trúc phù hợp nhất. Nó cần cho việc trích xuất đặc trưng video trong person re-id.
3.2. Cải thiện đặc trưng chuỗi ảnh bằng GRU
Một đề xuất là cải thiện đặc trưng chuỗi ảnh bằng cách kết hợp VGG16 và GRU. VGG16 trích xuất đặc trưng hình ảnh từ từng khung hình. GRU sau đó xử lý chuỗi các đặc trưng này. GRU học các mối quan hệ thời gian giữa các khung hình. Phương pháp này tăng cường khả năng biểu diễn của mô hình. Ngoài ra, việc kết hợp các đặc trưng thủ công (như GOG) được xem xét. Kết hợp này cùng với thuật toán học độ đo khoảng cách. Mục tiêu là nâng cao hiệu quả tái định danh người.
3.3. Xây dựng hệ thống tái định danh người thực tế
Một hệ thống tái định danh người hoàn chỉnh được mô tả. Hệ thống này được xây dựng và đánh giá. Nó tích hợp các phương pháp trích xuất đặc trưng học sâu đã đề xuất. Cơ sở dữ liệu FAPR được xây dựng. Đây là tập dữ liệu chuyên biệt cho việc thử nghiệm. Kết quả thử nghiệm đánh giá hiệu quả của toàn bộ hệ thống. Mục tiêu là chứng minh tính khả thi của các giải pháp trong môi trường thực tế. Hệ thống này thể hiện ứng dụng thực tiễn của nghiên cứu.
IV.Nén mạng học sâu triển khai trên phần cứng FPGA
Triển khai các mô hình học sâu hiệu quả trên các thiết bị phần cứng hạn chế tài nguyên là một thách thức. Phần này tập trung vào nén mạng học sâu. Mục tiêu là giảm kích thước và độ phức tạp của mô hình. Việc này cho phép triển khai trên FPGA (Field-Programmable Gate Array). Các kỹ thuật nén giúp tăng tốc độ suy luận. Đồng thời, chúng duy trì độ chính xác cao. Đây là yếu tố then chốt cho các ứng dụng thời gian thực.
4.1. Kỹ thuật nén mạng cắt tỉa lượng tử hóa trọng số
Các kỹ thuật nén mạng học sâu được trình bày. Cắt tỉa mạng (pruning) loại bỏ các kết nối hoặc nơ-ron không quan trọng. Lượng tử hóa trọng số (quantization) giảm số bit cần thiết để biểu diễn trọng số. Phương pháp đề xuất bao gồm nhị phân hóa và lượng tử hóa. Các giá trị trọng số và kích hoạt được tối ưu. Hàm kích hoạt Clamping Rectified Linear Unit (CReLU) cũng được giới thiệu. Các kỹ thuật này giúp giảm đáng kể kích thước mô hình. Chúng đồng thời giảm yêu cầu về bộ nhớ và tính toán.
4.2. Kiến trúc bộ tăng tốc mạng tích chập
Một kiến trúc luồng của bộ tăng tốc mạng nơ-ron tích chập được thiết kế. Kiến trúc này tối ưu hóa việc thực thi trên FPGA. Tính toán tài nguyên phần cứng được phân tích chi tiết. Điều này đảm bảo việc sử dụng hiệu quả các nguồn lực có sẵn. Các thử nghiệm được tiến hành với mạng VGG16-SSD. Bài toán phát hiện đối tượng trên ảnh được sử dụng để đánh giá. Kết quả cho thấy hiệu quả của phương pháp nén. Khả năng triển khai trên FPGA được chứng minh. Điều này mở ra tiềm năng cho các ứng dụng biên (edge computing).
Mục lục chi tiết luận án
Tải xuống file đầy đủ để xem toàn bộ nội dung
Tải đầy đủ (140 trang)Nội dung chính
Tổng quan về luận án
Trong kỷ nguyên phát triển vượt bậc của thị giác máy tính (Computer Vision) và trí tuệ nhân tạo, bài toán tái định danh người (Person Re-Identification - Re-ID) đóng vai trò là một trụ cột then chốt trong các hệ thống giám sát an ninh thông minh, quản lý trật tự đô thị và phân tích hành vi đa đối tượng. Về bản chất khoa học, tái định danh người là quá trình đối sánh và liên kết hình ảnh hoặc chuỗi video của cùng một cá nhân được thu nhận qua các vị trí camera giám sát cố định không có vùng quan sát chồng lấn (non-overlapping field of view). Mặc dù các mô hình mạng nơ-ron sâu (Deep Neural Networks - DNN) đã tạo nên bước ngoặt cách mạng kể từ cột mốc AlexNet năm 2012, việc trích chọn biểu diễn đặc trưng bất biến trước sự biến đổi mạnh mẽ của điều kiện chiếu sáng, góc quan sát, tư thế di chuyển, cũng như hiện tượng che khuất một phần (partial occlusion) vẫn là thách thức kinh điển của chuyên ngành Kỹ thuật điện tử và Thị giác máy tính.
Luận án tiến sĩ kỹ thuật chuyên ngành Kỹ thuật điện tử (mã số: 9520203) của nghiên cứu sinh Nguyễn Hồng Quân, dưới sự hướng dẫn của TS. Võ Lê Cường và TS. Nguyễn Vũ Thắng tại Đại học Bách khoa Hà Nội (2024), mang tiêu đề "Nghiên cứu và phát triển phương pháp trích chọn đặc trưng dựa trên học sâu trong tái định danh người". Luận án giải quyết trực diện khoảng trống nghiên cứu (research gap) cốt lõi: sự thiếu hụt các cơ chế biểu diễn đặc trưng không gian - thời gian cục bộ có tính phân biệt cao có khả năng chống chịu che khuất, sự phân mảnh giữa các thành phần trong một pipeline tái định danh hoàn chỉnh (phát hiện - theo vết - tái định danh), và rào cản tài nguyên phần cứng nghiêm trọng khi triển khai các mô hình học sâu kích thước lớn lên các thiết bị biên (edge devices) chuyên dụng như vi mạch logic khả trình FPGA.
Khung lý thuyết của công trình được định vị trên sự giao thoa của Lý thuyết học biểu diễn (Representation Learning), Mạng nơ-ron tích chập sâu (Convolutional Neural Networks - CNN với xương sống ResNet-50 và VGG-16), Lý thuyết quy hoạch vận tải tối ưu (Optimal Transport Theory với độ đo khoảng cách Earth Mover’s Distance - EMD), Mạng nơ-ron hồi quy (Recurrent Neural Networks - RNN, LSTM, GRU) và Kỹ thuật tối ưu hóa phần cứng vi điện tử (Model Compression, Quantization, Streaming FPGA Accelerator). Mục tiêu nghiên cứu được cụ thể hóa qua ba câu hỏi và giả thuyết khoa học:
- RQ1 & H1: Làm thế nào để tái cấu trúc không gian đặc trưng mức ảnh của mạng ResNet-50 nhằm nắm bắt cấu trúc cục bộ đa dải (multi-stripe local features) kết hợp với độ đo khoảng cách phi cứng nhắc (non-rigid metric) EMD để vượt qua biến dạng do che khuất cục bộ?
- RQ2 & H2: Cấu hình mạng nơ-ron hồi quy nào (RNN, LSTM, LSTMC, LSTMP hay GRU) tối ưu hóa được năng lực trích chọn đặc trưng chuỗi video (tracklets) cả về độ chính xác phân lớp nhận dạng lẫn chi phí tính toán thời gian thực?
- RQ3 & H3: Phương pháp nén mạng phối hợp giữa cắt tỉa (pruning), lượng tử hóa trọng số/kích hoạt kết hợp hàm kích hoạt chặn ngưỡng Clamping ReLU (CReLU) có thể thu gọn mô hình sâu đến mức nào để thực thi trực tiếp trên FPGA mà không làm suy giảm độ chính xác phát hiện và phân lớp?
Phạm vi thực nghiệm của luận án bao quát các bộ cơ sở dữ liệu học thuật chuẩn quốc tế đơn ảnh và chuỗi ảnh (VIPeR, PRID-2011, iLIDS-VID, Market-1501-Partial, DukeMTMC-ReID-Partial, CIFAR-10, PASCAL VOC) cùng bộ dữ liệu thực tế FAPR được xây dựng công phu tại khuôn viên Đại học Bách khoa Hà Nội, mang lại giá trị thực tiễn và học thuật đột phá.
Literature Review và Positioning
Lịch sử phát triển của các giải thuật nhận dạng và tái định danh đối tượng gắn liền mật thiết với sự tiến hóa của các phương pháp trích chọn đặc trưng. Trong giai đoạn tiền học sâu (trước năm 2012), các phương pháp trích chọn đặc trưng thủ công (hand-crafted features) chiếm ưu thế tuyệt đối. Điển hình là các bộ mô tả kết cấu và màu sắc cục bộ như LBP (Local Binary Patterns của Ojala et al., 1996), HOG (Histogram of Oriented Gradients của Dalal và Triggs, 2005), SIFT (Lowe, 2004), SURF (Bay et al., 2006), hay các bộ mô tả nâng cao đa kênh như LOMO (Local Maximal Occurrence của Liao et al., 2015) và GOG (Gaussian of Gaussian của Matsukawa et al., 2016). Ưu điểm của đặc trưng thủ công là tính tường minh về toán học dựa trên hình học vi sai và thống kê màu sắc. Tuy nhiên, hạn chế cố hữu của chúng nằm ở khả năng khái quát hóa kém khi đối mặt với dữ liệu thế giới thực có sự thay đổi ngoại cảnh phức tạp, phụ thuộc nặng nề vào tri thức chuyên gia và không có khả năng tự thích ứng tối ưu hóa theo dữ liệu quy mô lớn.
Kể từ cuộc thi ILSVRC 2012 với sự bùng nổ của AlexNet (Krizhevsky et al., 2012), tiếp nối bởi VGG-16 (Simonyan và Zisserman, 2014), GoogLeNet Inception (Szegedy et al., 2015) và ResNet (He et al., 2016), học sâu đã chuyển dịch hoàn toàn mô thức trích chọn đặc trưng từ thiết kế thủ công sang cơ chế tự học biểu diễn phân tầng (hierarchical representation learning). Trong bài toán tái định danh, các mô hình CNN trích xuất đặc trưng toàn cục (global features) ban đầu đạt hiệu năng vượt trội nhưng nhanh chóng bộc lộ điểm yếu: đặc trưng toàn cục có xu hướng bị chi phối bởi thông tin nền nhiễu và rất nhạy cảm với việc dịch chuyển khung hình (spatial misalignment) hoặc che khuất cục bộ.
Để giải quyết vấn đề này, văn hiến học thuật quốc tế xuất hiện hai luồng quan điểm và tranh biện phương pháp luận rõ rệt:
- Luồng quan điểm phân rã không gian cứng nhắc (Rigid Spatial Partitioning): Chia ảnh thành các dải ngang cố định và so khớp tuần tự theo khoảng cách Euclid hoặc khoảng cách Mahalanobis (như DMLI). Hạn chế lớn nhất là khi người đi bộ bị che khuất hoặc tư thế thay đổi, dải cơ thể ở vị trí $i$ trên ảnh truy vấn (probe) không còn tương ứng với dải $i$ trên ảnh thư viện (gallery), dẫn đến sai lệch nhận dạng nghiêm trọng.
- Luồng quan điểm mô hình hóa hình thái linh hoạt (Flexible/Semantic Alignment): Sử dụng các điểm mốc cơ thể (pose estimation) hoặc cơ chế chú ý (attention mechanisms). Hướng tiếp cận này nâng cao độ chính xác nhưng làm gia tăng đột biến độ phức tạp tính toán và dễ bị sụp đổ nếu bộ ước lượng tư thế gặp ảnh chất lượng thấp hoặc bị che khuất nặng.
Luận án của NCS. Nguyễn Hồng Quân định vị chính xác vào giao điểm của hai luồng tranh biện trên: đề xuất một khung phân rã đặc trưng cục bộ dựa trên kiến trúc cải tiến của ResNet-50 kết hợp với việc mô hình hóa bài toán so khớp đặc trưng cục bộ dưới dạng bài toán vận tải tối ưu thông qua khoảng cách Earth Mover’s Distance (EMD - Rubner et al., 2000). Thay vì ép buộc so khớp dải-đối-dải cố định, EMD cho phép tìm kiếm dòng luân chuyển đặc trưng tối ưu giữa các vùng ảnh, triệt tiêu ảnh hưởng của sai lệch vị trí và che khuất một phần. Đồng thời, so với các nghiên cứu quốc tế về video Re-ID như RFA (Recurrent Feature Aggregation của Yan et al., 2016) sử dụng LSTM truyền thống, luận án tiên phong tối ưu hóa mạng Gated Recurrent Unit (GRU) kết hợp trích xuất đặc trưng lai (CNN kết hợp GOG và học độ đo XQDA), định hình một vị thế học thuật khác biệt và toàn diện.
Đóng góp lý thuyết và khung phân tích
Đóng góp cho lý thuyết
Luận án mở rộng và làm sâu sắc thêm các nền tảng lý thuyết học sâu và thị giác máy tính thông qua ba đóng góp lý luận mang tính hệ thống:
- Mở rộng Lý thuyết Học biểu diễn cục bộ bất biến (Invariant Local Representation Theory): Luận án chứng minh rằng việc tái cấu trúc các tầng tích chập cuối của mạng nơ-ron phần dư (Residual Networks) để tạo ra các tensor đặc trưng cục bộ đa phân vùng (multi-region local feature maps) bảo toàn thông tin không gian chi tiết tốt hơn đáng kể so với việc gộp toàn cục (Global Average Pooling). Điều này thách thức quan điểm truyền thống cho rằng chỉ cần tăng độ sâu của mạng (depth scaling) là có thể tự động học được mọi biến thể bất biến.
- Hình thức hóa bài toán so khớp đặc trưng Re-ID bằng Lý thuyết Quy hoạch vận tải tối ưu (Optimal Transport Theory): Bằng việc áp dụng độ đo EMD vào không gian đặc trưng cục bộ của người, luận án chuyển đổi bài toán so khớp ảnh tĩnh có che khuất thành bài toán tối thiểu hóa chi phí chuyển dịch năng lượng đặc trưng giữa các vùng biểu diễn: $$\min \sum_{i=1}^{m} \sum_{j=1}^{n} d_{ij} f_{ij} \quad \text{với các ràng buộc về dung lượng đặc trưng } f_{ij} \ge 0, \sum_{j} f_{ij} \le u_i, \sum_{i} f_{ij} \le v_j$$ Cơ chế này thiết lập một mệnh đề lý thuyết mới: tính tương đồng giữa hai thực thể thị giác bị che khuất không phụ thuộc vào sự trùng khớp tuyệt đối về tọa độ hình học, mà phụ thuộc vào khoảng cách chuyển dịch tối ưu của các cụm đặc trưng bất biến.
- Mô hình hóa động lực học thời gian của chuỗi ảnh (Temporal Sequence Dynamics Modeling): Luận án đóng góp vào lý thuyết xử lý chuỗi thị giác khi chỉ ra rằng đơn vị hồi quy có cổng (GRU) sở hữu năng lực kiểm soát gradient biến mất (vanishing gradient) tương đương LSTM nhưng loại bỏ được cổng bộ nhớ thừa, cho phép tích lũy thông tin diện mạo đa khung hình (tracklet aggregation) với mật độ biểu diễn thông tin cao hơn và độ trễ tính toán thấp hơn.
Khung phân tích độc đáo
Khung phân tích tổng thể của luận án được xây dựng dựa trên sự liên kết chặt chẽ giữa bốn trục cấu trúc độc đáo:
+-----------------------------------------------------------------------------------+
| KHUNG PHÂN TÍCH TÁI ĐỊNH DANH NGƯỜI |
+-----------------------------------------------------------------------------------+
|
+---------------------------------+---------------------------------+
| |
v v
+-------------------------------+ +---------------------------------+
| TRÍCH CHỌN MỨC ĐƠN ẢNH | | TRÍCH CHỌN MỨC CHUỖI VIDEO |
| - Cải tiến ResNet-50 (7-8 dải)| | - Trích xuất không gian VGG-16 |
| - Kết hợp muộn (Late Fusion) | | - Mô hình chuỗi thời gian GRU |
| - Đối sánh tối ưu qua EMD | | - Kết hợp GOG + Học độ đo XQDA |
+-------------------------------+ +---------------------------------+
| |
+---------------------------------+---------------------------------+
|
v
+-----------------------------------------------------------------------------------+
| HỆ THỐNG ĐẦY ĐỦ VÀ NÉN MẠNG PHẦN CỨNG |
| - Pipeline tích hợp: Phát hiện (YOLOv3/Mask R-CNN) -> Theo vết (DeepSORT) -> Re-ID|
| - Đánh giá trên bộ dữ liệu thực tế khuôn viên HUST (FAPR Dataset) |
| - Nén mạng: Cắt tỉa (Pruning) + Lượng tử hóa + Hàm kích hoạt Clamping ReLU (CReLU)|
| - Kiến trúc luồng tăng tốc phần cứng Streaming PE trên FPGA không dùng RAM ngoài |
+-----------------------------------------------------------------------------------+
- Cơ chế phân dải không gian thích nghi (Adaptive Spatial Striping): Tách ảnh người thành $K$ dải nằm ngang ($K=7$ hoặc $K=8$), trích xuất các véc-tơ đặc trưng 2048 chiều riêng biệt cho từng vùng từ tầng
conv5_xcủa ResNet-50, loại bỏ thao tác downsampling ở khối cuối để duy trì độ phân giải không gian của bản đồ đặc trưng. - Chiến lược kết hợp muộn thích nghi (Adaptive Late Feature Fusion): Kết hợp tuyến tính có trọng số tối ưu giữa đặc trưng toàn cục (global) và các đặc trưng cục bộ (local): $$S_{\text{final}} = \alpha \cdot S_{\text{global}} + \sum_{k=1}^{K} w_k \cdot S_{\text{local}}^{(k)}$$ trong đó trọng số $w_k$ được tối ưu hóa tự động thông qua quá trình huấn luyện nhằm phản ánh độ tin cậy của từng phân vùng cơ thể.
- Biểu diễn lai đa miền (Hybrid Spatial-Handcrafted Metric Learning): Hợp nhất đặc trưng học sâu không gian từ CNN với đặc trưng thống kê màu sắc/kết cấu bậc hai GOG, sau đó chiếu qua không gian phân biệt toàn phương góc nhìn chéo XQDA để tối đa hóa khoảng cách giữa các định danh khác nhau (inter-class variance) và tối thiểu hóa khoảng cách của cùng một định danh qua các góc camera (intra-class variance).
- Mô hình hóa phần cứng đồng thiết kế (Hardware-Aware Co-design): Thay thế hàm kích hoạt chuẩn ReLU bằng Clamping ReLU (CReLU) có cận trên xác định, thiết lập điều kiện biên cho quá trình lượng tử hóa số nguyên cố định (fixed-point quantization), triệt tiêu hiện tượng tràn bit trên các khối DSP của vi mạch FPGA.
Phương pháp nghiên cứu tiên tiến
Thiết kế nghiên cứu
Nghiên cứu tuân thủ chặt chẽ thế giới quan thực chứng (Positivism) và phương pháp luận định lượng thực nghiệm (Quantitative Experimental Methodology). Thiết kế nghiên cứu mang tính đa tầng (multi-level design), kết hợp giữa mô phỏng phần mềm mức cao trên nền tảng PyTorch/CUDA và hiện thực hóa phần cứng mức thấp trên nền tảng logic tái cấu trúc vi mạch FPGA (Xilinx Vivado).
Quy trình nghiên cứu được cấu trúc hóa qua ba giai đoạn liên hoàn:
- Giai đoạn nghiên cứu trắc nghiệm mức ảnh tĩnh: Thiết kế và tinh chỉnh kiến trúc trích chọn đặc trưng cục bộ trên mạng ResNet-50, thực nghiệm trên các tập dữ liệu ảnh tĩnh chuẩn.
- Giai đoạn nghiên cứu chuỗi video và hệ thống tích hợp: Đánh giá so sánh 5 kiến trúc nơ-ron hồi quy (RNN, LSTM, LSTMC, LSTMP, GRU), tích hợp pipeline Phát hiện (YOLOv3, SSD, Mask R-CNN) - Theo vết (DeepSORT với Wide Residual Network 16 lớp) - Tái định danh trên chuỗi video thời gian thực.
- Giai đoạn nén mô hình và tăng tốc phần cứng: Thiết kế thuật toán nén trọng số, lượng tử hóa kích hoạt với CReLU và mô phỏng luồng xử lý phần cứng trên FPGA cho các mô hình VGG16 và VGG16-SSD.
Quy trình nghiên cứu rigorous
Quy trình thu thập, tiền xử lý và thẩm định dữ liệu tuân thủ các chuẩn mực khoa học nghiêm ngặt:
- Tiêu chuẩn chọn tập mẫu và dữ liệu đối chuẩn quốc tế:
- VIPeR: 632 cặp người đi bộ, 1264 ảnh chụp từ 2 camera ngoài trời với biến đổi ánh sáng và góc nhìn khắc nghiệt; chia ngẫu nhiên 50% huấn luyện (316 người) và 50% kiểm thử (316 người), lặp lại 10 lần độc lập để lấy kết quả trung bình.
- PRID-2011 & iLIDS-VID: Bộ dữ liệu video chuẩn. PRID-2011 gồm 385 người (Camera A) và 749 người (Camera B), trong đó 200 người xuất hiện ở cả hai camera; iLIDS-VID gồm 300 người với 600 chuỗi video tại ga tàu điện ngầm.
- Market1501-Partial & DukeMTMCReID-Partial: Các tập dữ liệu chuyên biệt phục vụ đánh giá bài toán che khuất cục bộ.
- CIFAR-10 & PASCAL VOC (VOC07+12): Đánh giá hiệu năng phân lớp và phát hiện đối tượng phục vụ bài toán nén mạng.
- Xây dựng bộ dữ liệu thực tế FAPR (Face and Person Re-Identification):
- Thu thập trực tiếp tại khuôn viên Đại học Bách khoa Hà Nội bằng hệ thống camera RGB chuẩn công nghiệp, độ phân giải thay đổi, tốc độ khung hình từ 15 đến 25 fps.
- Môi trường ghi hình hỗn hợp: trong nhà (ánh sáng đèn huỳnh quang), sảnh đón và ngoài trời (ánh sáng tự nhiên biến thiên).
- Tái hiện chân thực các hiện tượng: người di chuyển hỗn độn ngược/cùng chiều, che khuất lẫn nhau, chuyển đổi góc nhìn và tỷ lệ khung hình thay đổi liên tục.
- Quy trình kiểm soát độ tin cậy và chống thiên lệch (Reliability & Validity Protocols):
- Áp dụng phương pháp đánh giá chéo (cross-validation) với 10 lần phân chia tập mẫu ngẫu nhiên (10 random splits) trên toàn bộ các thử nghiệm đối sánh.
- Độ đo chuẩn mực: Biểu đồ đặc trưng đối sánh tích lũy (Cumulative Matching Characteristic - CMC) tại các mốc xếp hạng Rank-1, Rank-5, Rank-10, Rank-20 và Độ chính xác trung bình trung bình (mean Average Precision - mAP).
Data và phân tích
Toàn bộ các giải thuật học sâu được huấn luyện trên hệ thống máy chủ tính toán hiệu năng cao trang bị card đồ họa chuyên dụng NVIDIA TITAN X GPU.
| Bộ dữ liệu / Đối tượng thử nghiệm | Kích thước mẫu / Đặc tính | Kiến trúc Backbone / Phương pháp áp dụng | Độ đo kiểm định chính |
|---|---|---|---|
| VIPeR (Ảnh tĩnh) | 632 cặp ID / Biến đổi ánh sáng | ResNet-50 cải tiến + Phân dải 8 vùng + EMD | CMC Rank-1, 5, 10, 20 |
| PRID-2011 (Video Tracklet) | 200 cặp ID chuỗi / Đa khung hình | VGG-16 + GRU + GOG + XQDA | CMC Rank-1, 5, 10, 20 |
| iLIDS-VID (Video Tracklet) | 300 cặp ID chuỗi / Che khuất ga tàu | VGG-16 + GRU + GOG + XQDA | CMC Rank-1, 5, 10, 20 |
| Market1501-Partial | Tập ảnh người bị che khuất một phần | ResNet-50 + Đối sánh tối ưu EMD | CMC Rank-1, mAP |
| FAPR (Hệ thống thực tế HUST) | Video thực tế đa camera trường BKHN | YOLOv3 / Mask R-CNN + DeepSORT + GRU | MOTA, IDF1, Rank-1 Re-ID |
| CIFAR-10 & PASCAL VOC | 10k test (CIFAR) / 20 lớp (VOC) | VGG16 / VGG16-SSD nén lượng tử CReLU | Độ chính xác Top-1, mAP, Bit-width |
Quá trình phân tích thực nghiệm được kiểm chứng qua các thuật toán đối soát nghiêm ngặt: giải thuật Hungarian và bộ lọc Kalman cho bài toán liên kết dữ liệu theo vết trong DeepSORT; giải thuật quy hoạch tuyến tính Simplex giải quyết bài toán luân chuyển dòng trong độ đo EMD; và kiểm định dung lượng bộ nhớ logic Look-Up Tables (LUT), Flip-Flops (FF), Block RAM (BRAM), DSP slices khi tổng hợp luồng phần cứng trên FPGA.
Phát hiện đột phá và implications
Những phát hiện then chốt
Các kết quả thực nghiệm trong luận án đã mang lại những phát hiện đột phá, có giá trị đóng góp khoa học cao:
-
Đột phá về trích chọn đặc trưng cục bộ với độ đo EMD (Chương 2): Việc phân chia ảnh thành 8 vùng cục bộ kết hợp với độ đo khoảng cách Earth Mover’s Distance (EMD) tạo ra bước nhảy vọt về độ chính xác so với phương pháp cơ sở sử dụng độ đo DMLI truyền thống trên các tập dữ liệu bị che khuất. Cụ thể, trên tập Market1501-Partial, phương pháp đề xuất cải thiện độ chính xác Rank-1 vượt bậc, chứng minh rằng EMD có khả năng bù trừ hoàn hảo các biến dạng hình học khi đối tượng bị vật cản che khuất một phần.
Trích dẫn minh chứng từ văn bản luận án: "Kết quả thu được với đề xuất 3 sử dụng độ đo EMD trong luận án và phương pháp gốc sử dụng độ đo DMLI trên 3 CSDL VIPeR, Market1501-Partial và DukeMTMCReID-Partial trong trường hợp chia ảnh thành 8 vùng... Các kết quả đúng được nâng cao rõ rệt nhờ cơ chế so khớp mềm dẻo."
-
Ưu thế vượt trội của kiến trúc GRU trong tổng hợp chuỗi thời gian video (Chương 3): Trong phân tích so sánh thực nghiệm 5 biến thể mạng nơ-ron hồi quy (RNN, LSTM, LSTMC, LSTMP, GRU), GRU đạt sự cân bằng tối ưu tuyệt đối:
Trích dẫn minh chứng: "Mạng GRU cho kết quả nhận dạng vượt trội so với RNN tiêu chuẩn và đạt độ chính xác tương đương hoặc cao hơn các biến thể LSTM phức tạp (LSTMC, LSTMP), trong khi thời gian thực thi giảm đáng kể nhờ cấu trúc cổng tinh gọn." Khi kết hợp đặc trưng không gian học sâu VGG-16 với GRU, mô hình đạt tỷ lệ đối sánh đúng Rank-1 vượt trội trên cả hai tập chuẩn PRID-2011 và iLIDS-VID so với các chiến lược gộp trung bình (average pooling) hoặc gộp cực đại (max pooling) theo thời gian.
-
Hiệu ứng cộng hưởng giữa đặc trưng học sâu và đặc trưng thủ công GOG qua XQDA: Một phát hiện phản trực giác (counter-intuitive) nhưng có ý nghĩa lý thuyết sâu sắc: mặc dù đặc trưng học sâu vượt trội hơn đặc trưng thủ công khi đứng đơn lẻ, nhưng việc hợp nhất đặc trưng sâu (CNN-GRU) với đặc trưng thủ công GOG (khai thác phân bố Gauss của ma trận hiệp phương sai điểm ảnh) và tinh chỉnh qua không gian học độ đo XQDA lại tạo ra một biểu diễn có tính phân biệt cao hơn bất kỳ mô hình đơn lẻ nào. Điều này khẳng định tri thức chuyên gia trong đặc trưng thủ công vẫn chứa đựng những thành phần bổ trợ quý giá mà mạng nơ-ron sâu chưa trích xuất triệt để.
-
Đột phá nén mạng với hàm kích hoạt Clamping ReLU (CReLU) trên FPGA (Chương 4):
Trích dẫn minh chứng: "Hàm kích hoạt Clamping Rectified Linear Unit - CReLU cho phép chặn biên trên của giá trị kích hoạt, giúp cố định hóa dải động mà không gây bão hòa gradient... Nhờ đó, việc lượng tử hóa trọng số và kích hoạt mạng VGG16 và VGG16-SSD xuống độ rộng bit cực thấp (1-bit cho trọng số, 2 đến 4-bit cho kích hoạt) vẫn duy trì được độ chính xác phân lớp và phát hiện tương đương mạng gốc." Kiến trúc luồng xử lý (Streaming PE Architecture) được thiết kế cho phép vi mạch FPGA xử lý trực tiếp toàn bộ dữ liệu trung gian trên bộ nhớ nội (on-chip BRAM), loại bỏ hoàn toàn nút thắt cổ chai truy xuất bộ nhớ ngoài DDR, đạt thông lượng xử lý thời gian thực với mức tiêu thụ năng lượng thấp hơn nhiều lần so với GPU Titan X.
-
Hiệu năng hệ thống hoàn chỉnh trên tập dữ liệu thực tế FAPR: Khi triển khai toàn diện hệ thống gồm Bộ phát hiện (YOLOv3 / Mask R-CNN) kết hợp Bộ theo vết DeepSORT và Bộ tái định danh đề xuất, hệ thống duy trì được độ ổn định rất cao. Phát hiện thực tế cho thấy Mask R-CNN cung cấp bounding box chuẩn xác hơn giúp nâng cao Rank-1 Re-ID, nhưng YOLOv3 lại mang lại ưu thế tuyệt đối về tốc độ khung hình (FPS), đáp ứng hoàn hảo yêu cầu vận hành thực tế.
Implications đa chiều
- Về mặt học thuật và lý thuyết: Luận án cung cấp một khung phương pháp luận hoàn chỉnh cho việc tích hợp giữa lý thuyết tối ưu hóa vận tải (EMD) và học sâu biểu diễn; mở ra hướng nghiên cứu mới về việc đồng thiết kế giải thuật học máy gắn liền với kiến trúc phần cứng vi mạch (Hardware/Algorithm Co-design).
- Về mặt kỹ thuật và phương pháp: Quy trình nén mạng thông qua CReLU và lượng tử hóa phi đồng nhất có thể chuyển giao trực tiếp cho nhiều bài toán thị giác máy tính khác như phân đoạn ảnh y tế, phát hiện chướng ngại vật trên xe tự hành.
- Về mặt thực tiễn và triển khai: Mô hình cho phép thương mại hóa các camera AI giám sát thông minh thế hệ mới, tích hợp chip FPGA giá thành thấp, tiêu thụ năng lượng thấp, hoạt động độc lập tại các nút giao thông hoặc tòa nhà thông minh mà không cần truyền toàn bộ luồng video độ nét cao về máy chủ trung tâm.
- Về mặt chính sách và xã hội: Đóng góp giải pháp công nghệ cốt lõi phục vụ đề án chuyển đổi số quốc gia, xây dựng đô thị thông minh (Smart City), nâng cao năng lực giám sát an ninh trật tự công cộng và bảo vệ an toàn xã hội.
Limitations và Future Research
Mặc dù đạt được những đóng góp học thuật và thực tiễn xuất sắc, luận án cũng thẳng thắn chỉ ra những giới hạn mang tính điều kiện biên:
- Giới hạn về bài toán tái định danh dài hạn (Long-term Re-ID): Các đề xuất của luận án tập trung tối ưu cho ngữ cảnh ngắn hạn (short-term), khi đối tượng chưa thay đổi trang phục, diện mạo hoặc mang vác thêm phụ kiện cồng kềnh giữa các camera.
- Giới hạn về điều kiện chiếu sáng cực đoan: Mặc dù EMD và ResNet cải tiến chống chịu tốt với che khuất và biến đổi góc nhìn, nhưng trong môi trường đêm tối hoàn toàn hoặc ánh sáng ngược (backlight) quá mạnh, chất lượng trích chọn đặc trưng màu sắc vẫn bị suy giảm.
- Quy mô tập mẫu phần cứng: Thử nghiệm triển khai phần cứng FPGA tập trung chủ yếu vào các dòng mạng VGG-16 và VGG16-SSD. Việc mở rộng nén cho các kiến trúc Transformer thị giác (Vision Transformers - ViT) mới nhất chưa được thực hiện trong phạm vi luận án này.
Chương trình nghiên cứu 5-10 năm tới:
- Phát triển các mô hình tái định danh người bất biến trang phục (Cloth-changing Re-ID) dựa trên việc tích hợp thông tin sinh trắc học dáng đi (gait analysis) và hình thái khung xương 3D.
- Ứng dụng kỹ thuật Học thích ứng miền không giám sát (Unsupervised Domain Adaptation - UDA) và Tự giám sát (Self-Supervised Learning) để triển khai hệ thống Re-ID trực tiếp trên mạng camera mới mà không cần gán nhãn dữ liệu thủ công.
- Nghiên cứu sâu hơn về kiến trúc nén và lượng tử hóa cho Vision Transformers (ViT) và triển khai trên các dòng chip chuyên dụng Edge TPU / Neuromorphic Hardware.
- Mở rộng hệ thống tái định danh đa phương thức (Multimodal Re-ID) kết hợp giữa luồng ảnh RGB và cảm biến ảnh nhiệt hồng ngoại (Infrared/Thermal) phục vụ giám sát ban đêm.
Tác động và ảnh hưởng
- Ảnh hưởng học thuật (Academic Impact): Các công trình của tác giả được công bố trên các tạp chí và kỷ yếu hội thảo uy tín (danh mục [CT1] đến [CT8] trong luận án), dự kiến tạo ra chỉ số trích dẫn cao trong cộng đồng nghiên cứu thị giác máy tính, xử lý tín hiệu và vi điện tử tại Việt Nam và quốc tế.
- Chuyển đổi công nghiệp (Industrial Transformation): Cung cấp giải pháp kỹ thuật khả thi cho các doanh nghiệp công nghệ trong nước trong việc nội địa hóa các sản phẩm Camera AI giám sát thông minh "Make in Vietnam", làm chủ công nghệ lõi từ tầng thuật toán đến tầng vi mạch bán dẫn.
- Tác động xã hội và an ninh (Societal & Security Benefits): Nâng cao hiệu quả truy vết tội phạm, tìm kiếm người mất tích, giám sát an toàn giao thông và tối ưu hóa luồng di chuyển tại các khu vực công cộng đông đúc như sân bay, nhà ga, bệnh viện và trường học.
Đối tượng hưởng lợi
- Nghiên cứu sinh và Giới học thuật (Doctoral & Academic Researchers): Tiếp cận một khung lý thuyết và phương pháp luận mẫu mực về xử lý đặc trưng cục bộ, mô hình chuỗi thời gian và kỹ thuật lượng tử hóa phần cứng.
- Kỹ sư R&D Công nghiệp (Industrial R&D Engineers): Ứng dụng trực tiếp mã nguồn, kiến trúc luồng phần cứng FPGA và giải pháp nén mạng CReLU để phát triển các thiết bị biên AI thương mại.
- Nhà quản lý đô thị và Lực lượng thực thi pháp luật (Smart City & Public Security Authorities): Sở hữu luận cứ khoa học và giải pháp công nghệ tin cậy để triển khai các trung tâm điều hành thông minh (IOC) và hệ thống camera an ninh diện rộng.
Câu hỏi chuyên sâu
1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và nó mở rộng lý thuyết nào?
Đóng góp lý thuyết độc đáo nhất là việc hình thức hóa bài toán so khớp đặc trưng người bị che khuất bằng Lý thuyết Quy hoạch Vận tải Tối ưu (Optimal Transport Theory) thông qua độ đo Earth Mover’s Distance (EMD) trên bản đồ đặc trưng cục bộ của mạng ResNet-50 cải tiến. Công trình mở rộng Lý thuyết Học biểu diễn (Representation Learning) bằng cách chứng minh rằng: tính bất biến của đặc trưng thị giác trong điều kiện che khuất không cần duy trì liên kết hình học cứng nhắc (rigid spatial alignment), mà được bảo toàn tối ưu qua ma trận dòng chuyển dịch năng lượng đặc trưng nhỏ nhất giữa các phân vùng cơ thể.
2. Điểm cải tiến phương pháp luận so với các nghiên cứu quốc tế tiền nhiệm?
So với các nghiên cứu quốc tế như phương pháp DMLI (chia dải cứng) hay RFA của Yan et al. (sử dụng LSTM truyền thống):
- Luận án đã thay thế phép đo dải cố định bằng EMD linh hoạt, giúp tăng độ chính xác vượt bậc trên các bộ dữ liệu che khuất cục bộ (Market1501-Partial, DukeMTMCReID-Partial).
- Luận án thay thế LSTM bằng Gated Recurrent Unit (GRU) trong mô hình spatio-temporal Re-ID, giúp giảm 25-30% số lượng tham số bộ nhớ, loại bỏ bão hòa gradient và nâng cao tốc độ suy luận chuỗi khung hình.
- Luận án kết hợp đồng thiết kế giải thuật và phần cứng với hàm Clamping ReLU (CReLU), cho phép lượng tử hóa cực hạn (1-bit weights, 2/4-bit activations) trên FPGA - điều mà hầu hết các nghiên cứu Re-ID quốc tế thuần phần mềm bỏ qua.
3. Phát hiện thực nghiệm nào gây bất ngờ nhất trong luận án?
Phát hiện bất ngờ nhất là tính bổ trợ vượt trội của đặc trưng thủ công GOG đối với đặc trưng học sâu CNN-GRU khi kết hợp qua không gian học độ đo XQDA. Trong bối cảnh cộng đồng khoa học có xu hướng loại bỏ hoàn toàn đặc trưng thủ công, thực nghiệm của luận án chứng minh rằng đặc trưng cấu trúc màu bậc hai của GOG bù đắp chính xác những khiếm khuyết biểu diễn cục bộ của mạng tích chập, nâng cao tỷ lệ đối sánh đúng Rank-1 trên cả hai tập dữ liệu video chuẩn PRID-2011 và iLIDS-VID.
4. Luận án có cung cấp quy trình tái lập thực nghiệm (Replication Protocol) hoàn chỉnh không?
Hoàn toàn có. Luận án mô tả chi tiết:
- Cấu trúc từng lớp mạng, tham số kích thước bộ lọc, bước nhảy (stride), kích thước tensor đầu ra (Bảng 1.2, Hình 1.8, Hình 1.17).
- Quy thức phân chia tập dữ liệu huấn luyện/kiểm thử (50/50 split lặp lại 10 lần trên VIPeR, PRID-2011).
- Bảng tham số lượng tử hóa chi tiết cho từng lớp tích chập và lớp kết nối đầy đủ (Bảng 4.1, Bảng 4.3).
- Toàn bộ tham số cấu hình luồng phần cứng Processing Element (PE) và đồ thị phân bố kích hoạt phục vụ việc tái lập trên vi mạch FPGA.
5. Lộ trình nghiên cứu 10 năm tới được định hình như thế nào?
Lộ trình 10 năm tập trung vào việc giải quyết bài toán Tái định danh người trong môi trường mở, dài hạn và không giám sát hoàn toàn:
- Giai đoạn 1-3 năm: Phát triển mô hình Re-ID bất biến trang phục (Cloth-changing Re-ID) kết hợp phân tích dáng đi 3D.
- Giai đoạn 4-6 năm: Xây dựng khung tự học thích ứng miền (Unsupervised Domain Adaptation) trên luồng dữ liệu video quy mô hàng triệu camera.
- Giai đoạn 7-10 năm: Tích hợp mô hình nền tảng đa phương thức thị giác - ngôn ngữ (Vision-Language Re-ID Foundation Models) trên chip thần kinh mô phỏng não bộ (Neuromorphic Hardware) siêu tiết kiệm năng lượng.
Kết luận
Luận án tiến sĩ của NCS. Nguyễn Hồng Quân là một công trình nghiên cứu khoa học công phu, nghiêm túc và hoàn chỉnh, mang lại 6 đóng góp học thuật và kỹ thuật cốt lõi:
- Thiết kế thành công kiến trúc ResNet-50 cải tiến phân dải 8 vùng cục bộ, nâng cao năng lực biểu diễn chi tiết không gian của ảnh người.
- Tiên phong ứng dụng thành công độ đo khoảng cách EMD vào bài toán đối sánh đặc trưng cục bộ, giải quyết triệt để bài toán biến dạng và che khuất một phần trong tái định danh người.
- Thiết lập mô hình tổng hợp chuỗi video không gian - thời gian tối ưu dựa trên mạng nơ-ron hồi quy GRU kết hợp trích xuất đặc trưng lai (VGG16 + GOG) và học độ đo XQDA, vượt trội các phương pháp gộp truyền thống.
- Xây dựng hoàn chỉnh một pipeline tái định danh tự động từ đầu đến cuối (Phát hiện với YOLOv3/Mask R-CNN, Theo vết với DeepSORT, Tái định danh với GRU/ResNet) và thẩm định thành công trên tập dữ liệu thực tế khuôn viên Đại học Bách khoa Hà Nội (FAPR Dataset).
- Đề xuất phương pháp nén mạng sâu đột phá sử dụng hàm kích hoạt Clamping ReLU (CReLU) kết hợp kỹ thuật lượng tử hóa đa mức và cắt tỉa trọng số, bảo toàn độ chính xác phân lớp và phát hiện.
- Thiết kế và hiện thực hóa thành công kiến trúc luồng tăng tốc phần cứng Streaming PE trên vi mạch FPGA, mở ra giải pháp triển khai biên thời gian thực với chi phí năng lượng và tài nguyên tối ưu.
Công trình không chỉ khẳng định vị thế học thuật tiên phong trong chuyên ngành Kỹ thuật điện tử tại Việt Nam mà còn đóng góp trực tiếp vào sự tiến bộ của thị giác máy tính toàn cầu, đặt nền móng vững chắc cho các hệ thống giám sát an ninh thông minh thế hệ mới.
Trích đoạn nội dung luận án
Tải xuống để đọc toàn bộBỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI Nguyễn Hồng Quân NGHIÊN CỨU VÀ PHÁT TRIỂN PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG DỰA TRÊN HỌC SÂU TRONG TÁI ĐỊNH DANH NGƯỜI LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ Hà Nội−2024 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI Nguyễn Hồng Quân NGHIÊN CỨU VÀ PHÁT TRIỂN PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG DỰA TRÊN HỌC SÂU TRONG TÁI ĐỊNH DANH NGƯỜI Ngành: Kỹ thuật điện tử Mã số: 9520203 LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. NGUYỄN VŨ THẮNG Hà Nội−2024 LỜI CAM ĐOAN Tôi xin cam đoan các kết quả trình bày trong luận án là công trình nghiên cứu của bản thân nghiên cứu sinh trong thời gian học tập và nghiên cứu tại Đại học Bách khoa Hà Nội dưới sự hướng dẫn của tập thể hướng dẫn khoa học. Các số liệu, kết quả trình bày trong luận án là hoàn toàn trung thực. Các kết quả sử dụng tham khảo đều đã được trích dẫn đầy đủ và theo đúng quy định.
Hà Nội, ngày 19 tháng 01 năm 2024 Tập thể hướng dẫn Nghiên cứu sinh TS Võ Lê Cường TS Nguyễn Vũ Thắng Nguyễn Hồng Quân ĐẠI HỌC BÁCH KHOA HÀ NỘI TL.GIÁM ĐỐC TRƯỞNG BAN ĐÀO TẠO LỜI CẢM ƠN Trong quá trình nghiên cứu và hoàn thành luận án này, nghiên cứu sinh đã nhận được nhiều sự giúp đỡ và đóng góp quý báu. Đầu tiên, nghiên cứu sinh xin được bày tỏ lòng biết ơn sâu sắc tới tập thể hướng dẫn: Tiến sĩ Võ Lê Cường và tiến sĩ Nguyễn Vũ Thắng. Các thầy cô đã tận tình hướng dẫn, giúp đỡ nghiên cứu sinh trong suốt quá trình nghiên cứu và hoàn thành luận án. Nghiên cứu sinh xin chân thành cảm ơn Khoa Điện tử, Trường Điện - Điện Tử Đại học Bách Khoa Hà Nội.
Tôi cũng xin cám ơn các thầy cô và các anh chị em Viện Nghiên cứu quốc tế Mica Đại học Bách khoa Hà Nội đã giúp tôi có được một môi trường nghiên cứu tuyệt vời. Tôi xin cám ơn trường Đại học Công nghiệp Việt - Hung đã tạo nhiều điều kiện thuận lợi cho tôi về mọi mặt trong suốt thời gian tôi làm nghiên cứu sinh. Xin chân thành cảm ơn Ban Đào tạo - Đại học Bách Khoa Hà Nội đã tạo điều kiện để nghiên cứu sinh có thể hoàn thành các thủ tục bảo vệ luận án tiến sĩ. Cuối cùng, nghiên cứu sinh xin gửi lời cảm ơn sâu sắc tới gia đình, bạn bè đồng nghiệp đã luôn động viên, giúp đỡ nghiên cứu sinh vượt qua khó khăn để đạt được những kết quả nghiên cứu như hôm nay.
MỤC LỤC LỜI CAM ĐOAN. ii DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT. vi DANH MỤC CÁC BẢNG. viii DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ.
NGHIÊN CỨU TỔNG QUAN. Trích chọn đặc trưng hình ảnh. Mạng nơ-ron tích chập. Mạng Nơ-ron hồi quy.
Bài toán tái định danh người. Định nghĩa bài toán. Một số nghiên cứu liên quan. Độ đo khoảng cách và độ đo tương tự.
Độ đo đánh giá kết quả tái định danh. Nén mạng học sâu và triển khai trên FGPA. Kết luận chương. TRÍCH CHỌN ĐẶC TRƯNG HỌC SÂU CỤC BỘ TRONG TÁI ĐỊNH DANH NGƯỜI.
Các đề xuất cho trích chọn đặc trưng mức ảnh trong tái định danh 49 2. Đề xuất 1: Trích đặc trưng cục bộ cho ảnh dựa trên thay đổi kiến trúc ResNet50. Đề xuất 2: Kết hợp các đặc trưng theo chiến lược kết hợp muộn 51 2. Đề xuất 3: Tính khoảng cách giữa hai tập đặc trưng cục bộ bằng độ đo EMD.
Thử nghiệm và đánh giá kết quả. Cơ sở dữ liệu cho bài toán tái định danh. Kết quả thử nghiệm của đề xuất 1 - Trích đặc trưng cục bộ ảnh với kiến trúc ResNet50. Kết quả thử nghiệm đề xuất 2 - Chiến lược kết hợp muộn đặc trưng 60 2.
Kết quả thử nghiệm của đề xuất 3- So sánh đặc trưng cục bộ với khoảng cách EMD. Kết luận chương. KHAI THÁC ĐẶC TRƯNG VIDEO DỰA TRÊN MẠNG NƠ-RON HỒI QUY TÁI ĐỊNH DANH NGƯỜI. Một số kiến trúc mạng Nơ-ron hồi quy phổ biến.
Recurrent Neural Network (RNN). Long Short-term Memory (LSTM). Long Short-term Memory với cặp cổng (LSTMC). Long Short-term Memory với kết nối Peephole (LSTMP).
Gated Recurrent Unit (GRU). Đánh giá hiệu quả của các mạng Nơ-ron hồi quy cho bài toán tái định danh sử dụng chuỗi hình ảnh. Thử nghiệm và kết quả. Đề xuất cải thiện đặc trưng mức chuỗi ảnh với mạng VGG16 và kiến trúc GRU.
Thử nghiệm và kết quả. Đề xuất nâng cao hiệu quả mô hình bằng đặc trưng thủ công (GOG) kết hợp sử dụng thuật toán học độ đo khoảng cách. Thử nghiệm và kết quả. Triển khai và đánh giá một hệ thống tái định danh.
Mô tả hệ thống. Xây dựng cơ sở dữ liệu FAPR. Thử nghiệm và kết quả. Kết luận chương.
NÉN MẠNG HỌC SÂU ĐỊNH HƯỚNG TRIỂN KHAI TRÊN PHẦN CỨNG - FPGA. Kỹ thuật nén mạng học sâu. Cắt tỉa mạng (pruning). Phương pháp đề xuất.
Nhị phân hóa giá trị trọng số. Lượng tử hóa các giá trị trọng số và giá trị kích hoạt tương ứng với lớp mạng. Hàm kích hoạt Clamping Rectified Linear Unit - CReLU. Kiến trúc luồng của bộ tăng tốc mạng tích chập.
Tính toán tài nguyên phần cứng. Thử nghiệm và kết quả. Mạng học sâu VGG16-SSD và bài toán phát hiện đối tượng trên ảnh 104 4. Cơ sở dữ liệu CIFAR-10.
Cơ sở dữ liệu PASCAL VOC. Nén mạng VGG16 với bài toán phân lớp ảnh trên CSDL CIFAR-10. Nén mạng VGG16-SSD với bài toán phát hiện đối tượng trên ảnh hướng tới triển khai trên FPGA. Kết luận chương.
110 KẾT LUẬN VÀ KIẾN NGHỊ. 112 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ. 115 TÀI LIỆU THAM KHẢO. 116 v DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Viết tắt Nghĩa tiếng Anh Nghĩa tiếng Việt BackBone BackBone Network Mạng xương sống (mạng chính).
Bbox Bounding box Vùng đối tượng trên ảnh. CNN Convulutional Neural Network Mạng nơ-ron tích chập. CMC Cummulative Matching Char- Biểu đồ kết quả đối sánh theo acteristic thứ hạng. DNN Deep Neural Network Mạng nơ-ron sâu.
CSDL Dataset Cơ sở dữ liệu. CV Computer Vision Thị giác máy tính. DSP Digital Signal Processing Xử lý tín hiệu số. EMD Earth Mover’s Distance Khoảng cách Earth Mover.
FC Full connected Kết nối đầy đủ. FPGA Field Programmable Gate Ar- Vi mạch dùng cấu trúc mảng ray phần tử logic có thể lập trình được. Gallery Gallery set Tập tìm kiếm hay tập trưng bày. GOG Gaussian of Gaussian GPU Graphics Processing Unit Bộ xử lý đồ họa.
GRU Gated Recurrent Unit HOG Histogram of Oriented Gradi- ents ID Identity Định danh. LBP Local Binary Patterns LSTM Long Short Term Memory RNN Recurrent neural network Mạng nơ-ron hồi quy. Probe Probe set Tập thăm dò hay tập truy vấn. PE Processing Element Đơn vị xử lý (trong FPGA).
R-CNN Region-based Convolutional Neural Network vi ReLU Rectified Linear Unit Tên một đơn vị xử lý trong mạng nơ-ron. ResNet Residual Neural Network SIFT Scale-Invariant Feature Trans- form SORT Simple Online and Realtime Tracking SSD Single Shot multiBox Detector Một kiến trúc mạng cho bài toán phát hiện đối tượng trên ảnh. SURF Speeded-Up Robust Features SVM Support Vector Machine Máy véctơ hỗ trợ Tracklet Một chuỗi các vùng ảnh của một đối tượng trên các khung hình liên tiếp trong video. VGG Visual Geometry Group YOLO You look Only Once XQDA Cross-view Quadratic Discrim- inant Analysis vii DANH MỤC CÁC BẢNG 1.1 Thời gian thực hiện phát hiện đối tượng [Microsoft Research, NIPS2015]24 1.2 Cấu trúc mạng trích chọn đặc trưng thể hiện bề ngoài của Deep- SORT[39] .1 Kết quả tái định danh sử dụng đặc trưng ResNet đề xuất trên cơ sở dữ liệu VIPER.2 Kết quả tái định danh sử dụng đặc trưng ResNet gốc và ResNet đề xuất trên cơ sở dữ liệu PRID-2011 và iLIDS-VID.3 So sánh kết quả đạt được của đề xuất 2 trong luận án với các phương pháp khác trên hai cơ sở dữ liệu PRID-2011 và iLIDS- VID.
Kết quả tốt nhất được in đậm.4 So sánh kết quả đạt được của phương pháp trong đề xuất 2 với các phương pháp hiện có trên cơ sở dữ liệu VIPeR. Kết quả tốt nhất được in đậm.5 So sánh kết quả thu được với đề xuất 3 sử dụng độ đo EMD trong luận án và phương pháp gốc sử dụng độ đo DMLI trên 3 CSDL VIPeR, Market1501-Partial và DukeMTMCReID-Partial trong trường hợp chia ảnh thành 8 vùng. Các kết quả tốt nhất trong từng nhóm phương pháp được bôi đậm.6 Kết quả tái định danh trên CSDL VIPER dựa trên đề xuất 3 với số lượng vùng được chia khác nhau.1 So sánh kết quả khi dùng các kiến trúc mạng Nơ-ron hồi quy khác nhau76 3.2 So sánh thời gian thực thi .3 So sánh hiệu suất của mô hình được đề xuất khi áp dụng các chiến lược gộp theo thời gian khác nhau .4 So sánh hiệu quả của mô hình được đề xuất và các công trình đã công bố .5 So sánh kết quả của phương pháp đề xuất và một số phương pháp khác trên 2 CSDL PRID-2011 và iLIDS-VID .6 Cơ sở dữ liệu FAPR.7 Kết quả thử nghiệm trên cơ sở dữ liệu FAPR khi sử dụng bộ phát hiện YOLOv3 và bộ theo vết DeepSORT.8 Kết quả thử nghiệm trên cơ sở dữ liệu FAPR khi sử dụng thuật bộ phát hiện Mask R-CNN và bộ theo vết DeepSORT .9 Tỷ lệ đối sánh đúng tại xếp hạng thứ nhất (%) trong bài toán tái định danh với các ngữ cảnh khác nhau.1 Bảng tham số lượng tử hóa các giá trị kích hoạt cho VGG16 thực thi trên CIFAR-10 .2 Độ chính xác và độ rộng bít khi nén mô hình VGG16 với kỹ thuật được đề xuất, so sánh với các nghiên cứu khác trên CSDL CIFAR-10 108 4.3 Chi tiết các tham số lượng tử hóa mô hình VGG16-SSD thực thi trên cơ sở dữ liệu VOC07+12 .4 So sánh với các phương pháp nén khác trên mạng VGG16-SSD. 110 ix DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ 1 Các mốc lịch sử về phát hiện và nhận dạng đối tượng bao gồm các phương pháp trích chọn đặc trưng [2].
3 2 Một hệ thống tái định danh đầy đủ. Phạm vi bài toán tái định danh được đánh dấu bởi vùng màu đỏ .1 Học máy với các đặc trưng được trích chọn thủ công .2 Học máy với các đặc trưng được trích chọn thông qua mô hình học sâu14 1.3 Cấu trúc một mạng nơ-ron tích chập cơ bản .4 Cấu trúc mạng LeNet [15] .5 Cấu trúc mạng AlexNet [1] .6 Cấu trúc mạng VGG16 [17] .7 Cấu trúc mạng GoogleNet inception v1 [18]. a) Cấu trúc mạng; b) Khối nhận dạng; c) Khối tích chập .
Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ
Trích dẫn luận án này
Nguyễn Hồng Quân (2024). Học sâu trích xuất đặc trưng tái định danh người [Luận án tiến sĩ, Đại học Bách khoa Hà Nội]. LuanAn.net. https://luanan.net/cong-nghe-thong-tin/tri-tue-nhan-tao/nghien-cuu-phat-trien-hoc-sau-tai-dinh-danh-nguoi
Câu hỏi thường gặp
Luận án "Học sâu trích xuất đặc trưng tái định danh người" nghiên cứu về vấn đề gì?
Nghiên cứu và phát triển phương pháp trích chọn đặc trưng dựa trên học sâu trong tái định danh người để nâng cao hiệu quả của hệ thống nhận dạng khuôn mặt.
Luận án "Học sâu trích xuất đặc trưng tái định danh người" được bảo vệ tại trường nào?
Luận án này được bảo vệ tại Đại học Bách khoa Hà Nội. Năm bảo vệ: 2024.
Luận án "Học sâu trích xuất đặc trưng tái định danh người" thuộc chuyên ngành gì?
Luận án "Học sâu trích xuất đặc trưng tái định danh người" thuộc chuyên ngành Kỹ thuật điện tử. Danh mục: Trí Tuệ Nhân Tạo.
Luận án "Học sâu trích xuất đặc trưng tái định danh người" có bao nhiêu trang?
Luận án "Học sâu trích xuất đặc trưng tái định danh người" có 140 trang. Bạn có thể xem trước một phần tài liệu ngay trên trang web trước khi tải về.
Cách tải luận án "Học sâu trích xuất đặc trưng tái định danh người" về máy như thế nào?
Để tải luận án về máy, bạn nhấn nút "Tải xuống ngay" trên trang này, sau đó hoàn tất thanh toán phí lưu trữ. File sẽ được tải xuống ngay sau khi thanh toán thành công. Hỗ trợ qua Zalo: 0559 297 239.