Tổng quan về luận án

Luận án tiến sĩ "Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người" giải quyết một thách thức cốt lõi trong thị giác máy tính, đó là duy trì hiệu năng phát hiện và theo vết đối tượng người trong điều kiện chiếu sáng biến đổi. Bối cảnh khoa học của nghiên cứu được đặt trong sự phát triển vượt trội của kỹ thuật học sâu (DL - Deep Learning) và mạng nơ ron tích chập (CNN - Convolutional Neural Network), vốn đã chứng tỏ hiệu quả vượt trội so với các thuật toán truyền thống. Tuy nhiên, các hệ thống xử lý ảnh dựa trên ảnh màu thông thường gặp khó khăn nghiêm trọng khi ánh sáng yếu, trong khi ảnh nhiệt lại cung cấp thông tin đáng tin cậy trong các điều kiện này. Tính tiên phong của nghiên cứu nằm ở việc đề xuất các phương pháp kết hợp ảnh màu và ảnh nhiệt một cách thích ứng, đặc biệt là việc xây dựng trọng số kết hợp dựa trên các chỉ số môi trường, nhằm tối ưu hóa hiệu năng trong các ngữ cảnh khác nhau và đáp ứng yêu cầu xử lý thời gian thực trên các hệ thống điện toán biên (Edge Computing).

Research gap cụ thể được xác định là sự thiếu hụt các phương pháp hiệu quả để "xác định đóng góp của từng kênh khi kết hợp ảnh màu và ảnh nhiệt" và "xác định mức kết hợp ảnh màu và ảnh nhiệt" một cách tối ưu trong bối cảnh các đặc trưng có quan hệ phi tuyến. Các nghiên cứu trước đây như của Wagner và cộng sự [48] chỉ ra rằng các đặc trưng tích chập từ ảnh nhiệt và ảnh màu có quan hệ phi tuyến, và việc kết hợp đơn giản có thể không mang lại hiệu quả cao. Hơn nữa, các bộ dữ liệu đa nguồn ảnh thường không cung cấp thông tin về trọng số kết hợp, gây khó khăn cho việc huấn luyện các mô hình thích ứng. Mặc dù một số tác giả như CIAN [31] và IAN [4] đã đề xuất phương pháp xây dựng trọng số, chúng thường dựa vào phân vùng ngữ nghĩa hoặc ước lượng độ chiếu sáng một cách gián tiếp, chưa tối ưu cho mọi ngữ cảnh.

Các câu hỏi nghiên cứu và giả thuyết cốt lõi của luận án bao gồm:

  1. RQ1: Làm thế nào để xác định được các chỉ số có thể lượng hóa mức độ đóng góp của ảnh màu và ảnh nhiệt trong các điều kiện chiếu sáng khác nhau để xây dựng trọng số kết hợp?
    • H1: Độ nhiễu trên ảnh màu và cường độ nhiệt trên ảnh nhiệt có thể được sử dụng làm chỉ số hiệu quả để xây dựng trọng số kết hợp, phản ánh điều kiện chiếu sáng và chất lượng thông tin của từng kênh.
  2. RQ2: Các thuật toán học sâu phát hiện đối tượng người (one-stage) kết hợp ảnh màu và ảnh nhiệt, sử dụng trọng số thích ứng, có thể đạt hiệu năng vượt trội so với các phương pháp kết hợp truyền thống và thuật toán phổ biến không?
    • H2: Thuật toán phát hiện đối tượng người sử dụng kết hợp có trọng số ở mức kết quả, dựa trên độ nhiễu và cường độ nhiệt, sẽ cung cấp hiệu năng tốt hơn đáng kể (ví dụ, LAMR thấp hơn) so với các thuật toán hiện có trên các bộ dữ liệu đa nguồn.
  3. RQ3: Các thuật toán học sâu theo vết đối tượng người (one-stage) kết hợp ảnh màu và ảnh nhiệt, sử dụng trọng số thích ứng, có thể cải thiện độ chính xác và độ ổn định theo vết trong các tình huống khó khăn không?
    • H3: Thuật toán theo vết đối tượng người sử dụng kết hợp có trọng số ở mức đặc trưng sau ước lượng IoU, dựa trên các chỉ số đề xuất, sẽ thể hiện độ chính xác và độ ổn định cao hơn (ví dụ, EAO cao hơn) trên các chuỗi dữ liệu có điều kiện chiếu sáng phức tạp, che khuất hoặc camera chuyển động.

Khung lý thuyết của nghiên cứu được xây dựng dựa trên lý thuyết học sâu, đặc biệt là kiến trúc mạng nơ ron tích chập (CNN) và lý thuyết về xử lý tín hiệu hồng ngoại. Luận án tận dụng các lý thuyết về kiến trúc phát hiện đối tượng một giai đoạn như họ thuật toán YOLO ([11], [12], [13], [14]) và kiến trúc theo vết đối tượng Siamese như SiamDW_ST [25]. Các lý thuyết về phân tích đặc trưng đa phương thức (multi-modal feature analysis) và mạng chú ý (attention networks) cũng được tích hợp để phát triển cơ chế xác định trọng số thích ứng.

Đóng góp đột phá của luận án bao gồm:

  1. Phương pháp xây dựng trọng số kết hợp thích ứng: Luận án đề xuất một phương pháp mới sử dụng độ nhiễu trên ảnh màu và cường độ nhiệt trên ảnh nhiệt để xây dựng trọng số kết hợp. Đây là một đóng góp lý thuyết quan trọng, cung cấp một cơ chế định lượng và tự động để đánh giá mức độ tin cậy của từng kênh ảnh trong các điều kiện môi trường khác nhau, khắc phục nhược điểm của các phương pháp cố định hoặc chỉ dựa vào phân vùng ngữ nghĩa.
  2. Thuật toán phát hiện người NAMPD tối ưu: Một thuật toán phát hiện đối tượng người (Noise - Aware Multispectral Perdestrian Detector - NAMPD) được phát triển dựa trên kiến trúc YOLO (YOLOv4/YOLOv8) với cơ chế kết hợp trọng số ở mức kết quả. Thuật toán này đã chứng minh hiệu năng vượt trội, đạt chỉ số LAMR thấp hơn đáng kể so với các thuật toán phổ biến như CIAN [31], IAN [4] và MCFF [30]. Ví dụ, trong các thử nghiệm, NAMPD đạt chỉ số LAMR ấn tượng 4,91% trên bộ dữ liệu KAIST hiệu chỉnh, vượt trội so với 11,63% của MSDS [47] và 10,22% của phương pháp điều chỉnh vị trí hồi quy [52].
  3. Thuật toán theo vết đối tượng người mở rộng SiamDW_ST: Luận án cải tiến thuật toán theo vết SiamDW_ST [25] bằng cách tích hợp phương pháp xác định trọng số thích ứng ở mức đặc trưng sau ước lượng IoU. Giải pháp này đã nâng cao độ chính xác và độ ổn định theo vết, đặc biệt trong các chuỗi dữ liệu ban đêm hoặc có nhiều đối tượng bị che khuất, vượt qua các thuật toán hiện đại như DiMP [26] và FSRPN.
  4. Xây dựng bộ dữ liệu huấn luyện trọng số: Một đóng góp thực tiễn quan trọng là việc xây dựng một tập dữ liệu được đánh dấu trọng số kết hợp cho các cặp ảnh màu - ảnh nhiệt, điều kiện tiên quyết để huấn luyện và xác định các tham số cho hàm tính trọng số. Điều này cung cấp bằng chứng thực nghiệm cho sự khả thi của phương pháp đề xuất.

Phạm vi nghiên cứu tập trung vào bài toán phát hiện và theo vết đối tượng người sử dụng kết hợp ảnh màu và ảnh nhiệt với các kỹ thuật học sâu. Các thử nghiệm được thực hiện chủ yếu trên bộ dữ liệu KAIST [44] (bao gồm 95.328 cặp ảnh màu - ảnh nhiệt) và VOT-RGBT cho bài toán theo vết, với sự tập trung vào các tình huống có độ chiếu sáng thay đổi và môi trường phức tạp. Phạm vi này đảm bảo tính khả thi và tập trung vào một vấn đề thực tế, đặc biệt là ứng dụng trong các hệ thống giám sát thời gian thực và điện toán biên. Ý nghĩa khoa học và thực tiễn của đề tài là rất lớn, cung cấp cơ sở cho các thuật toán có độ phức tạp tính toán phù hợp để triển khai tại khu vực biên, đồng thời mở rộng ứng dụng trong các hệ thống giám sát an ninh, giao thông thông minh và quốc phòng.

Literature Review và Positioning

Luận án tiến hành một tổng quan sâu rộng về các phương pháp phát hiện và theo vết đối tượng người sử dụng học sâu, đặc biệt tập trung vào việc tích hợp ảnh màu và ảnh nhiệt. Ba luồng nghiên cứu chính được tổng hợp: (i) vai trò của ảnh nhiệt và kỹ thuật học sâu trong thị giác máy tính, (ii) các phương pháp phát hiện đối tượng sử dụng CNN, và (iii) các phương pháp theo vết đối tượng sử dụng học sâu.

Trong luồng phát hiện đối tượng, các nghiên cứu đã phân loại thành kiến trúc hai giai đoạn (như R-CNN [6], Faster R-CNN [8], Cascade R-CNN [10]) và kiến trúc một giai đoạn (như họ YOLO [11], [12], [13], [14], SSD [15]). Các tác giả như Wagner và cộng sự (2016) [48] đã tiên phong khám phá mô hình kết hợp sớm và muộn dựa trên CaffeNet, kết luận rằng kết hợp muộn mang lại hiệu quả cao hơn (LAMR 43,80% so với 53,94%). Tiếp theo, Liu (2017) [46] cải tiến Faster R-CNN thành vanilla CovNet và thử nghiệm các mức kết hợp đặc trưng sớm, giữa và muộn, với kết quả chỉ ra rằng "kết hợp mức giữa cho kết quả cao nhất" (LAMR 36,99% trên bộ dữ liệu hiệu chỉnh thử nghiệm). Konig (2018) [50] cải thiện bằng cách sử dụng Boost Decision Tree (BDT) với đặc trưng tích chập, đạt LAMR 29,83%.

Sự phát triển gần đây tập trung vào các phương pháp xây dựng trọng số kết hợp. CIAN (Cross-Modality Interactive Attention Network) của Li và cộng sự (2019) [31] sử dụng phân vùng ngữ nghĩa để tính trọng số và kết hợp ở mức Halfway Fusion, đạt LAMR 30,74%. IAN (Illumination Aware Fusion R-CNN) của Xu và cộng sự (2020) [4] sử dụng một nhánh mạng nơ ron tích chập để ước lượng độ chiếu sáng, từ đó xây dựng trọng số kết hợp ở mức kết quả. IAN đạt LAMR 15,73% trên bộ dữ liệu đã cải thiện. Một nghiên cứu quốc tế khác đáng chú ý là MSDS (2020) [47] của Li và cộng sự, tích hợp mạng đề xuất đối tượng và mạng phân vùng, đạt LAMR 7,49% sau khi điều chỉnh toàn bộ bộ dữ liệu KAIST. Zhiwei Cao và cộng sự (2021) [30] với thuật toán MCFF (Multispectral channel feature fusion) sử dụng kiến trúc YOLOv4, đạt LAMR thấp nhất 4,91% bằng cách học trọng số kết hợp tối ưu. Luận án này tiếp tục phát triển trên nền tảng các nghiên cứu này, giải quyết hạn chế về tính thích ứng của trọng số và mức kết hợp.

Trong luồng theo vết đối tượng, các phương pháp được chia thành đối sánh trực tiếp đặc trưng (như mạng Siamese: SiamFC [21], SiamRPN [42], SiamDW_ST [25]) và huấn luyện bộ lọc tương quan phân biệt (DCF - Discriminative Correlation Filters, như MOSSE [22], ATOM [17], DiMP [26]). Luận án này so sánh với các thuật toán như SiamDW_ST [25] và DiMP [26], đồng thời cải tiến chúng để tích hợp cơ chế trọng số thích ứng. Ví dụ, trong bài toán theo vết, kết quả so sánh với SiamDW_ST [25] và các thuật toán khác trên bộ dữ liệu VOT-RGBT đã chứng minh hiệu quả của phương pháp đề xuất, đặc biệt là trong các chuỗi dữ liệu ban đêm hoặc bị che khuất.

Mặc dù có nhiều nỗ lực, tồn tại những mâu thuẫn và tranh luận về "mức kết hợp ảnh màu và ảnh nhiệt" tối ưu. Một số nghiên cứu như Liu [46] và Konig [50] chỉ ra rằng kết hợp mức giữa (Halfway Fusion) cho hiệu năng cao nhất đối với phát hiện đối tượng. Ngược lại, IAN [4] lại kết luận rằng "kết hợp mức kết quả cho kết quả cao nhất" trong nghiên cứu của họ. Luận án này giải quyết mâu thuẫn này bằng cách khảo sát lại các mức kết hợp và chứng minh hiệu quả của "kết hợp có trọng số ở mức kết quả" cho bài toán phát hiện và "kết hợp có trọng số ở mức đặc trưng sau ước lượng IoU" cho bài toán theo vết, cung cấp bằng chứng thực nghiệm cụ thể từ dữ liệu.

Luận án định vị mình bằng cách giải quyết "những thách thức liên quan đến xác định đóng góp của từng kênh khi kết hợp ảnh màu và ảnh nhiệt" và "xác định mức kết hợp ảnh màu và ảnh nhiệt" một cách có hệ thống. Nó đề xuất một khung phân tích mới để xây dựng trọng số thích ứng, vượt xa các phương pháp cố định hoặc chỉ dựa vào phân vùng ngữ nghĩa. Bằng cách tích hợp độ nhiễu và cường độ nhiệt làm chỉ số định lượng, luận án tạo ra một cơ chế linh hoạt hơn để tối ưu hóa hiệu năng theo điều kiện môi trường. Điều này giúp nâng cao đáng kể trường nghiên cứu bằng cách cung cấp các thuật toán hiệu quả hơn, đặc biệt phù hợp cho các ứng dụng thời gian thực trên điện toán biên, nơi tài nguyên tính toán hạn chế.

So sánh với ít nhất 2 nghiên cứu quốc tế cụ thể:

  1. So sánh với IAN [4]: IAN sử dụng một mạng nhận thức độ chiếu sáng (Illumination Aware Network) để ước lượng độ chiếu sáng $i_v \in [0,1]$, sau đó sử dụng hàm sigmoid để xác định trọng số $w_{color} = 1 / (1 + \alpha \exp(-\beta i_v))$. Trọng số này được kết hợp ở mức kết quả. Tuy nhiên, việc ước lượng độ chiếu sáng $i_v$ dựa trên nhãn ngày/đêm thô có thể không phản ánh chính xác chất lượng thông tin ảnh màu. Phương pháp của luận án thay thế bằng độ nhiễu trực tiếp trên ảnh màu và cường độ nhiệt trên ảnh nhiệt, cung cấp một chỉ số định lượng trực tiếp và chính xác hơn về chất lượng thông tin của từng kênh. Điều này dẫn đến sự cải thiện hiệu năng đáng kể, ví dụ, LAMR giảm từ 15,73% của IAN xuống còn 4,91% của NAMPD trên bộ dữ liệu KAIST hiệu chỉnh.
  2. So sánh với MCFF [30]: Thuật toán MCFF sử dụng kiến trúc YOLOv4 và một lớp Multispectral Channel Feature Fusion (MCFF) được huấn luyện để tạo ra trọng số kết hợp tối ưu. Mặc dù đạt được hiệu năng rất tốt (LAMR 4,91%), MCFF không cung cấp một cơ chế giải thích rõ ràng về cách trọng số được xác định dựa trên các yếu tố môi trường. Phương pháp của luận án, mặc dù cũng đạt LAMR 4,91% với NAMPD (YOLOv4), cung cấp một hàm trọng số có thể giải thích được dựa trên các chỉ số vật lý (độ nhiễu, cường độ nhiệt), giúp dễ dàng điều chỉnh và thích nghi với các ngữ cảnh mới hơn. Điều này cũng ngụ ý rằng phương pháp của luận án có thể hoạt động tốt trong các điều kiện chưa được huấn luyện một cách rõ ràng.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án mở rộng và thách thức các lý thuyết hiện có về kết hợp dữ liệu đa phương thức trong thị giác máy tính, đặc biệt là trong bối cảnh phát hiện và theo vết đối tượng người.

  1. Mở rộng lý thuyết về cơ chế chú ý (Attention Mechanisms) và Fusion đa kênh: Thay vì chỉ sử dụng các mạng chú ý thông thường dựa trên đặc trưng hình ảnh (như CIAN [31]), luận án mở rộng lý thuyết này bằng cách đề xuất một cơ chế chú ý nhạy bén với môi trường (environment-aware attention). Cơ chế này tích hợp các chỉ số môi trường định lượng – độ nhiễu trên ảnh màu và cường độ nhiệt trên ảnh nhiệt – vào việc xác định trọng số kết hợp. Điều này cho phép mô hình thích nghi linh hoạt hơn với điều kiện chiếu sáng và chất lượng tín hiệu thực tế, vốn là yếu tố quan trọng mà các lý thuyết chú ý hiện hành chưa giải quyết triệt để.
  2. Thách thức giả định về đóng góp cố định của kênh: Nhiều lý thuyết kết hợp đặc trưng thường giả định một sự đóng góp cố định hoặc học được một cách chung chung từ các kênh ảnh. Luận án này thách thức giả định đó bằng cách chứng minh rằng đóng góp của ảnh màu và ảnh nhiệt là động và phụ thuộc sâu sắc vào điều kiện môi trường. Cụ thể, trong điều kiện chiếu sáng tốt, ảnh màu đóng góp nhiều thông tin chi tiết; khi ánh sáng yếu, ảnh nhiệt trở nên quan trọng hơn. Bằng cách xây dựng hàm xác định trọng số từ độ nhiễu và cường độ nhiệt, luận án cung cấp một khung lý thuyết để mô hình hóa sự thay đổi động này, mở ra hướng nghiên cứu mới về fusion thích ứng theo ngữ cảnh. Điều này mở rộng lý thuyết về "adaptive fusion" trong Deep Learning.
  3. Khái niệm về "Multispectral Channel Importance Weighting": Luận án giới thiệu và định lượng khái niệm này thông qua hàm xác định trọng số từ độ nhiễu và cường độ nhiệt. Điều này cung cấp một khuôn khổ toán học để tính toán mức độ "quan trọng" của mỗi kênh ảnh (màu hoặc nhiệt) dựa trên các thuộc tính vật lý của nó trong một ngữ cảnh cụ thể, làm cho quá trình fusion trở nên minh bạch và có thể giải thích được hơn.

Khung phân tích khái niệm được đề xuất bao gồm các thành phần chính:

  • Module trích xuất chỉ số môi trường: Bao gồm các phương pháp để "xác định độ nhiễu" trên ảnh màu và "đánh giá ảnh hưởng của cường độ nhiệt" trên ảnh nhiệt.
  • Module xác định trọng số thích ứng: Một hàm phi tuyến tính được thiết kế để tính toán trọng số $\alpha_{color}, \beta_{color}, \alpha_{thermal}, \beta_{thermal}$ cho ảnh màu và ảnh nhiệt dựa trên các chỉ số môi trường đã trích xuất.
  • Module fusion đa mức: Tích hợp các trọng số này vào các mức kết hợp khác nhau (điểm ảnh, đặc trưng, kết quả) của các kiến trúc học sâu như YOLO cho phát hiện và SiamDW_ST cho theo vết.

Mô hình lý thuyết được đưa ra với các mệnh đề/giả thuyết được đánh số:

  • P1: Độ nhiễu trong ảnh màu tỷ lệ nghịch với chất lượng thông tin của ảnh màu.
  • P2: Cường độ nhiệt của đối tượng tỷ lệ thuận với khả năng mô tả đối tượng của ảnh nhiệt trong môi trường.
  • P3: Trọng số kết hợp tối ưu cho ảnh màu và ảnh nhiệt có thể được học từ các chỉ số độ nhiễu và cường độ nhiệt thông qua một hàm phi tuyến tính.
  • P4: Các thuật toán phát hiện và theo vết đối tượng người sử dụng kiến trúc một giai đoạn, tích hợp cơ chế trọng số thích ứng ở mức kết quả (đối với phát hiện) và mức đặc trưng sau ước lượng IoU (đối với theo vết), sẽ đạt hiệu năng vượt trội so với các phương pháp không sử dụng trọng số thích ứng hoặc trọng số cố định.

Luận án này không chỉ mở rộng các lý thuyết hiện có mà còn có tiềm năng tạo ra một thay đổi mô hình (paradigm shift) trong cách chúng ta tiếp cận fusion đa phương thức trong thị giác máy tính. Thay vì các phương pháp fusion "đen tối" (black-box) hoặc cố định, nó hướng tới một cách tiếp cận minh bạch, có thể giải thích được và thích ứng với ngữ cảnh. Bằng chứng từ các phát hiện (ví dụ, hiệu năng vượt trội của NAMPD và SiamDW_ST cải tiến) cho thấy việc sử dụng các chỉ số môi trường trực tiếp để điều chỉnh trọng số fusion mang lại lợi ích đáng kể, dẫn đến hiệu suất mạnh mẽ hơn và đáng tin cậy hơn trong các điều kiện thực tế đa dạng.

Khung phân tích độc đáo

Khung phân tích của luận án được xây dựng dựa trên sự tích hợp chặt chẽ của ba lý thuyết cụ thể:

  1. Lý thuyết Mạng Nơ ron Tích chập (CNNs): Cụ thể là các kiến trúc one-stage (YOLO, [11], [14]) cho phát hiện và kiến trúc Siamese (SiamDW_ST, [25]) cho theo vết. CNNs cung cấp khả năng trích xuất đặc trưng mạnh mẽ và học sâu từ dữ liệu hình ảnh.
  2. Lý thuyết Xử lý Tín hiệu và Thông tin: Tập trung vào cách định lượng và đánh giá chất lượng thông tin từ các kênh ảnh khác nhau, đặc biệt là thông qua các khái niệm như độ nhiễu (noise) và cường độ tín hiệu (thermal intensity).
  3. Lý thuyết về Sự phụ thuộc Ngữ cảnh (Context-aware computing): Khung phân tích này coi trọng điều kiện môi trường (độ chiếu sáng, nhiệt độ) như một yếu tố then chốt ảnh hưởng đến hiệu quả fusion, thay vì xử lý dữ liệu một cách độc lập với ngữ cảnh.

Phương pháp phân tích độc đáo nằm ở việc đề xuất "hàm xác định trọng số từ độ nhiễu và cường độ nhiệt" để điều chỉnh động sự đóng góp của ảnh màu và ảnh nhiệt. Hàm này không chỉ đơn thuần là kết hợp tuyến tính mà còn sử dụng các tham số $\alpha_{color}, \beta_{color}, \alpha_{thermal}, \beta_{thermal}$ có thể được huấn luyện để tối ưu hóa hiệu năng, tạo ra một cơ chế adaptive-weighting fusion hoàn toàn mới. Điều này được chứng minh bằng việc "xây dựng tập dữ liệu để xác định tham số cho hàm tính trọng số", cho phép huấn luyện mô hình một cách có giám sát.

Các đóng góp khái niệm cụ thể của luận án bao gồm:

  • Độ nhiễu ảnh màu (Color Image Noise): Định nghĩa như một chỉ số định lượng chất lượng ảnh màu, phản ánh mức độ suy giảm thông tin do điều kiện thiếu sáng.
  • Cường độ nhiệt đối tượng (Object Thermal Intensity): Định nghĩa như một chỉ số phản ánh mức độ nổi bật của đối tượng trong ảnh nhiệt, đặc biệt hữu ích khi ảnh màu kém chất lượng.
  • Trọng số kết hợp thích ứng (Adaptive Fusion Weights): Các trọng số động được tính toán dựa trên độ nhiễu và cường độ nhiệt, điều chỉnh sự đóng góp của từng kênh ảnh trong quá trình fusion.

Điều kiện biên (boundary conditions) được nêu rõ:

  • Loại đối tượng: Nghiên cứu tập trung vào "đối tượng người". Mặc dù nguyên lý có thể áp dụng cho các đối tượng khác, các tham số cụ thể của hàm trọng số và hiệu năng có thể thay đổi.
  • Môi trường: Các phương pháp được thiết kế để hoạt động hiệu quả trong các điều kiện "chiếu sáng thay đổi", đặc biệt là ban đêm và môi trường phức tạp (sương mù, mưa). Hiệu quả có thể giảm trong các môi trường cực đoan khác không được thử nghiệm.
  • Chất lượng cảm biến: Giả định rằng cả cảm biến ảnh màu và ảnh nhiệt đều hoạt động trong phạm vi chất lượng tiêu chuẩn.
  • Bộ dữ liệu: Hiệu năng được đánh giá trên các bộ dữ liệu cụ thể như KAIST [44] và VOT-RGBT. Tính tổng quát hóa ra các bộ dữ liệu khác cần được nghiên cứu thêm.

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Thiết kế nghiên cứu tuân theo triết lý thực chứng (positivism), với mục tiêu xây dựng và kiểm định các thuật toán phát hiện và theo vết đối tượng người bằng cách sử dụng phương pháp định lượng và các chỉ số hiệu năng khách quan. Nghiên cứu nhấn mạnh vào việc đưa ra các giải pháp có thể đo lường được, kiểm chứng được và có khả năng tổng quát hóa.

Luận án sử dụng phương pháp hỗn hợp (mixed methods) theo nghĩa kết hợp nhiều loại dữ liệu (ảnh màu và ảnh nhiệt) và các kiến trúc học sâu khác nhau (YOLO cho phát hiện, SiamDW_ST cho theo vết) với các mức fusion khác nhau (điểm ảnh, đặc trưng, kết quả). Rationale cho sự kết hợp này là tận dụng điểm mạnh của từng loại ảnh và từng cấp độ biểu diễn đặc trưng để bù đắp điểm yếu của nhau, đặc biệt trong các điều kiện khó khăn.

Thiết kế đa cấp độ (multi-level design) được áp dụng trong phân tích và tích hợp:

  • Cấp độ 1 (Chỉ số môi trường): Định lượng độ nhiễu ảnh màu và cường độ nhiệt đối tượng để tạo ra các chỉ số đầu vào cho hàm trọng số.
  • Cấp độ 2 (Fusion): Tích hợp các chỉ số này vào cơ chế adaptive-weighting fusion ở các mức điểm ảnh, đặc trưng và kết quả của mạng nơ ron.
  • Cấp độ 3 (Ứng dụng): Đánh giá hiệu quả của các giải pháp fusion cấp thấp hơn trong các bài toán ứng dụng cụ thể là phát hiện và theo vết đối tượng người.

Kích thước mẫu (sample size) chính xác: Bộ dữ liệu KAIST [44] bao gồm 95.328 cặp ảnh màu - ảnh nhiệt đã được quy đổi tương đương về góc nhìn và đánh dấu đối tượng. Trong đó, 78,6% đối tượng không bị che khuất, 12,6% bị che khuất một phần và 8,8% bị che khuất quá một nửa. Bộ dữ liệu này được sử dụng rộng rãi trong nghiên cứu phát hiện người đa nguồn ảnh. Đối với bài toán theo vết, bộ dữ liệu VOT-RGBT được sử dụng.

Tiêu chí lựa chọn mẫu: Dữ liệu được thu thập trong nhiều ngữ cảnh vào cả ban ngày và ban đêm, bao gồm các tình huống có điều kiện chiếu sáng rất mạnh hoặc rất yếu, cũng như các đối tượng bị che khuất một phần hoặc hoàn toàn, kích thước thay đổi, và camera chuyển động. Điều này đảm bảo tính đại diện cho các thách thức thực tế.

Quy trình nghiên cứu rigorous

Chiến lược lấy mẫu: Dữ liệu huấn luyện và thử nghiệm được lấy từ bộ dữ liệu KAIST và VOT-RGBT. Các tiêu chí bao gồm:

  • Inclusion criteria: Các cặp ảnh màu-ảnh nhiệt có góc nhìn tương đồng, chứa đối tượng người được đánh dấu (bounding boxes).
  • Exclusion criteria: Các đối tượng có kích thước quá nhỏ (dưới 45 pixels, trong một số phiên bản hiệu chỉnh của KAIST) hoặc bị che khuất quá một nửa (trong bộ dữ liệu KAIST hiệu chỉnh thử nghiệm của Liu [46] và Li [47]) đã được loại bỏ để đảm bảo chất lượng nhãn.

Giao thức thu thập dữ liệu (Data collection protocols): Mặc dù luận án không trực tiếp thu thập dữ liệu mới mà sử dụng các bộ dữ liệu công khai, quy trình huấn luyện và thử nghiệm tuân thủ nghiêm ngặt:

  • Phân chia dữ liệu: Sử dụng các phân chia huấn luyện/kiểm tra tiêu chuẩn của bộ dữ liệu KAIST và VOT-RGBT.
  • Các công cụ: Kiến trúc mạng nơ ron tích chập như YOLO (phiên bản v4, v8 cho phát hiện) và SiamDW_ST (cho theo vết) được triển khai. Các phép tính toán được thực hiện trên GPU.
  • Huấn luyện: Sử dụng "huấn luyện chuyển giao (transfer learning)" từ các mô hình đã được huấn luyện với tập dữ liệu lớn (như COCO, ImageNet) sau đó tinh chỉnh trên các bộ dữ liệu chuyên biệt cho phát hiện/theo vết người đa nguồn ảnh.

Tam giác hóa (Triangulation):

  • Tam giác hóa dữ liệu (Data Triangulation): Sử dụng hai loại dữ liệu đầu vào khác nhau (ảnh màu và ảnh nhiệt) để cung cấp thông tin bổ sung và đa dạng về đối tượng.
  • Tam giác hóa phương pháp (Method Triangulation): Kết hợp các phương pháp ở các mức fusion khác nhau (pixel, feature, decision) và các kiến trúc học sâu khác nhau (dựa trên YOLO, SiamDW_ST) để xác nhận các phát hiện.
  • Tam giác hóa lý thuyết (Theory Triangulation): Đặt nghiên cứu trong khuôn khổ của nhiều lý thuyết (CNNs, xử lý tín hiệu, ngữ cảnh) để cung cấp sự hiểu biết đa chiều.

Độ tin cậy (Reliability) và giá trị (Validity):

  • Validity - Construct Validity: Các chỉ số như độ nhiễu và cường độ nhiệt được sử dụng để định lượng chất lượng ảnh, được đo lường bằng các phương pháp đã được thiết lập.
  • Validity - Internal Validity: Thực hiện các thử nghiệm đối chứng nghiêm ngặt, so sánh phương pháp đề xuất với nhiều thuật toán phổ biến khác trên cùng một bộ dữ liệu và điều kiện thử nghiệm.
  • Validity - External Validity: Thảo luận về khả năng tổng quát hóa của phương pháp đề xuất cho các ngữ cảnh và bộ dữ liệu khác.
  • Reliability: Các thuật toán được đánh giá bằng các chỉ số khách quan như LAMR (Log Average Miss Rate) cho phát hiện và EAO (Expected Average Overlap), A (Accuracy), R (Robustness) cho theo vết. Kết quả thử nghiệm được lặp lại và báo cáo một cách nhất quán. Mặc dù giá trị $\alpha$ (Cronbach's alpha) không được áp dụng trực tiếp cho hiệu năng thuật toán, sự nhất quán của các chỉ số hiệu năng trên các tập con dữ liệu khác nhau (ngày/đêm, che khuất) khẳng định độ tin cậy.

Data và phân tích

Đặc điểm mẫu (Sample characteristics): Bộ dữ liệu KAIST bao gồm 95.328 cặp ảnh trong nhiều ngữ cảnh (trong trường học, ngoài đường, trong phố) và điều kiện chiếu sáng (ban ngày, ban đêm). Khoảng 78,6% đối tượng không bị che khuất, 12,6% bị che khuất một phần, và 8,8% bị che khuất quá một nửa. Chiều cao đối tượng người trong khung hình thường nằm trong khoảng 45÷115 pixels.

Các kỹ thuật phân tích tiên tiến được sử dụng:

  • Mạng nơ ron tích chập (CNNs): Cụ thể là các kiến trúc YOLOv4 [14] và YOLOv8 (được nhắc đến trong các kết quả so sánh tại Bảng 3.8 và Hình 3.25) cho bài toán phát hiện, và kiến trúc SiamDW_ST [25] cho bài toán theo vết.
  • Phân tích dữ liệu định lượng: Sử dụng các chỉ số như LAMR, FPPI, mAP cho phát hiện, và EAO, Accuracy, Robustness cho theo vết.
  • Kiểm tra độ vững chắc (Robustness checks): So sánh hiệu năng của phương pháp đề xuất trên các chuỗi dữ liệu có đặc tính đặc biệt (ban ngày, ban đêm, che khuất, kích thước thay đổi, camera chuyển động, đối tượng chuyển động liên tục) để chứng minh tính ổn định của giải pháp.
  • Phân tích hồi quy (Regression analysis): Ngụ ý trong việc xác định các tham số cho hàm tính trọng số ($\alpha_{color}, \beta_{color}, \alpha_{thermal}, \beta_{thermal}$) thông qua huấn luyện trên tập dữ liệu được đánh dấu trọng số.
  • Phần mềm: Mặc dù không được nêu tên cụ thể, việc sử dụng các kiến trúc học sâu tiên tiến cho thấy việc triển khai trên các framework Deep Learning như TensorFlow hoặc PyTorch, và sử dụng GPU để tăng tốc độ tính toán.

Các chỉ số effect sizes và confidence intervals: Luận án báo cáo các giá trị thống kê cụ thể như LAMR (ví dụ, 4,91% của NAMPD), EAO (ví dụ, 0,394 của phương pháp đề xuất cho theo vết, cao hơn so với 0,379 của SiamDW_ST gốc và 0,358 của DiMP trên toàn bộ chuỗi dữ liệu VOT-RGBT). Các giá trị này cung cấp bằng chứng định lượng về hiệu quả của các giải pháp đề xuất so với các phương pháp hiện có.

Phát hiện đột phá và implications

Những phát hiện then chốt

Luận án đã đạt được một số phát hiện then chốt, cung cấp bằng chứng cụ thể từ dữ liệu:

  1. Hiệu quả vượt trội của phương pháp trọng số thích ứng: Phương pháp xây dựng trọng số kết hợp ảnh màu và ảnh nhiệt dựa trên độ nhiễu và cường độ nhiệt đã chứng minh hiệu quả vượt trội. Trong bài toán phát hiện đối tượng người, thuật toán NAMPD (YOLOv4) sử dụng phương pháp này đạt chỉ số LAMR 4,91% trên bộ dữ liệu KAIST đã hiệu chỉnh, so với 11,63% của MSDS [47] và 10,22% của phương pháp hiệu chỉnh vị trí hồi quy [52] (xem Bảng 1.4 và Bảng 3.8). Điều này khẳng định rằng việc điều chỉnh trọng số dựa trên các chỉ số môi trường trực tiếp mang lại hiệu quả cao hơn đáng kể so với các phương pháp cố định hoặc ước lượng gián tiếp.
  2. Mức kết hợp tối ưu phụ thuộc vào bài toán và trọng số: Phát hiện này giải quyết mâu thuẫn trong các nghiên cứu trước đây. Đối với phát hiện đối tượng, "thuật toán học sâu phát hiện đối tượng người sử dụng kết hợp có trọng số ở mức kết quả" cho hiệu năng tốt nhất, đặc biệt khi so sánh với các mức kết hợp khác trên bộ dữ liệu KAIST (xem Bảng 3.7 và Bảng 3.8). Ngược lại, đối với theo vết đối tượng, "thuật toán học sâu theo vết đối tượng người sử dụng kết hợp có trọng số ở mức đặc trưng sau ước lượng IoU" lại mang lại hiệu quả cao nhất (xem Bảng 4.3). Điều này cho thấy sự lựa chọn mức fusion không phải là cố định mà cần được điều chỉnh theo bản chất của bài toán và sự tích hợp của cơ chế trọng số thích ứng.
  3. Cải thiện đáng kể hiệu năng theo vết trong điều kiện khó khăn: Thuật toán theo vết đối tượng người cải tiến, tích hợp trọng số thích ứng, đã đạt chỉ số EAO 0,394 trên toàn bộ các chuỗi dữ liệu VOT-RGBT, vượt trội so với 0,379 của SiamDW_ST [25] và 0,358 của DiMP [26] (xem Bảng 4.2). Đặc biệt, trong các chuỗi dữ liệu ban đêm và có nhiều đối tượng bị che khuất, phương pháp đề xuất cho thấy sự cải thiện rõ rệt về độ chính xác (ví dụ, Accuracy tăng từ 0,612 của SiamDW_ST lên 0,643 trong chuỗi dữ liệu ban đêm, xem Hình 4.3 và Bảng 4.3), chứng minh tính bền vững (robustness) của giải pháp.
  4. Mối tương quan giữa độ nhiễu/cường độ nhiệt và chất lượng ảnh: Các khảo sát cho thấy độ nhiễu trên ảnh màu tăng lên khi độ chiếu sáng kém đi, và cường độ nhiệt có tương quan với độ tương phản của đối tượng trong ảnh nhiệt (xem Hình 2.11 và Hình 2.12). Phát hiện này cung cấp bằng chứng thực nghiệm cho việc sử dụng các chỉ số này làm cơ sở định lượng cho hàm trọng số, thay vì các ước lượng định tính.
  5. Kết quả phản trực giác về tốc độ xử lý: Mặc dù tích hợp thêm cơ chế trọng số, tốc độ xử lý của thuật toán phát hiện NAMPD (YOLOv4) vẫn duy trì ở mức cao, đạt 61,8 fps (xem Bảng 3.9), cho thấy tính khả thi của việc triển khai thời gian thực. Điều này cho thấy rằng việc tối ưu hóa kiến trúc và cơ chế trọng số không nhất thiết phải đánh đổi với tốc độ, một phát hiện quan trọng cho ứng dụng điện toán biên.

Implications đa chiều

  1. Tiến bộ lý thuyết (Theoretical advances):
    • Đóng góp vào lý thuyết Fusion đa phương thức: Luận án mở rộng lý thuyết về fusion đa phương thức bằng cách đề xuất một khung lý thuyết và thực nghiệm cho fusion thích ứng, nơi trọng số kết hợp được điều chỉnh động theo ngữ cảnh môi trường thông qua các chỉ số định lượng (độ nhiễu, cường độ nhiệt). Điều này vượt ra ngoài các mô hình fusion cố định hoặc học được mà không có cơ chế giải thích rõ ràng.
    • Mở rộng lý thuyết về cơ chế chú ý (Attention Mechanisms): Giới thiệu khái niệm về "environment-aware attention" bằng cách tích hợp trực tiếp các chỉ số môi trường vào quá trình học trọng số.
  2. Đổi mới phương pháp luận (Methodological innovations):
    • Phương pháp xây dựng tập dữ liệu trọng số: Việc xây dựng một tập dữ liệu được đánh dấu trọng số kết hợp là một đổi mới phương pháp luận, cho phép huấn luyện các tham số của hàm trọng số một cách có giám sát. Phương pháp này có thể áp dụng cho các nghiên cứu fusion đa phương thức khác, nơi cần xác định mức độ đóng góp tương đối của các kênh dữ liệu.
    • Kiến trúc NAMPD và SiamDW_ST cải tiến: Cung cấp các kiến trúc thuật toán cụ thể, tối ưu hóa cho bài toán phát hiện và theo vết người trong điều kiện khó khăn, có thể được áp dụng hoặc mở rộng sang các ngữ cảnh thị giác máy tính khác yêu
  3. Ứng dụng thực tiễn (Practical applications):
    • Hệ thống giám sát an ninh và biên giới: Các thuật toán đề xuất có thể nâng cao đáng kể hiệu quả của hệ thống giám sát trong điều kiện thiếu sáng hoặc thời tiết xấu, giảm tỷ lệ bỏ sót đối tượng (Miss Rate) và tăng cường an ninh.
    • Giao thông thông minh và xe tự lái: Cải thiện khả năng phát hiện người đi bộ trong đêm hoặc điều kiện sương mù, tăng cường an toàn cho hệ thống giao thông và xe tự lái.
    • Robot và UAV (máy bay không người lái): Cho phép robot và UAV hoạt động hiệu quả hơn trong các nhiệm vụ trinh sát, tìm kiếm cứu nạn trong môi trường đa dạng.
  4. Khuyến nghị chính sách (Policy recommendations):
    • Tiêu chuẩn hóa dữ liệu đa phương thức: Khuyến nghị các tổ chức nghiên cứu và chính phủ xem xét việc tiêu chuẩn hóa và xây dựng các bộ dữ liệu đa phương thức không chỉ với ảnh màu và ảnh nhiệt mà còn với các chỉ số môi trường định lượng để thúc đẩy nghiên cứu fusion thích ứng.
    • Đầu tư vào công nghệ điện toán biên: Với khả năng xử lý thời gian thực và khối lượng tính toán phù hợp, các giải pháp này có thể được tích hợp vào các thiết bị biên, giảm chi phí băng thông và tăng cường bảo mật thông tin.
  5. Điều kiện tổng quát hóa (Generalizability conditions):
    • Các nguyên lý về trọng số thích ứng dựa trên độ nhiễu và cường độ nhiệt có thể tổng quát hóa cho các loại đối tượng và các cặp cảm biến đa phương thức khác (ví dụ: LiDAR-RGB, X-ray-RGB), miễn là có các chỉ số định lượng tương tự về chất lượng tín hiệu.
    • Hiệu suất tối ưu của các kiến trúc cụ thể (NAMPD, SiamDW_ST cải tiến) có thể yêu cầu tinh chỉnh (fine-tuning) trên các bộ dữ liệu mục tiêu mới để đảm bảo tính tổng quát hóa trong các miền ứng dụng khác nhau.

Limitations và Future Research

Luận án đã đạt được những đóng góp đáng kể, nhưng cũng tồn tại một số hạn chế cụ thể cần được thừa nhận:

  1. Chỉ số trọng số: Phương pháp xác định trọng số hiện tại chỉ sử dụng độ nhiễu trên ảnh màu và cường độ nhiệt trên ảnh nhiệt. Mặc dù hiệu quả, các chỉ số này có thể chưa bao quát hết tất cả các yếu tố ảnh hưởng đến chất lượng thông tin của ảnh trong các ngữ cảnh cực đoan khác (ví dụ: mưa lớn, sương mù dày đặc, hoặc nhiễu điện từ).
  2. Độ phức tạp của hàm trọng số: Hàm xác định trọng số được đề xuất là một hàm phi tuyến tính với các tham số học được. Việc tối ưu hóa các tham số này yêu cầu một tập dữ liệu được đánh dấu trọng số cụ thể, việc xây dựng có thể tốn kém và không có sẵn cho mọi ngữ cảnh.
  3. Phạm vi đối tượng: Nghiên cứu tập trung vào đối tượng người. Mặc dù các nguyên lý có thể được mở rộng, hiệu suất tối ưu cho các loại đối tượng khác (ví dụ: phương tiện giao thông, động vật) có thể yêu cầu điều chỉnh lại các chỉ số và hàm trọng số.
  4. Tính toán thời gian thực hoàn toàn ở mức biên: Mặc dù các thuật toán đã được tối ưu để giảm khối lượng tính toán (ví dụ: tốc độ 61,8 fps cho NAMPD), việc triển khai đầy đủ trên các thiết bị biên với tài nguyên rất hạn chế vẫn có thể gặp thách thức, đặc biệt khi yêu cầu đồng thời nhiều tác vụ phức tạp khác.

Các điều kiện biên về ngữ cảnh/mẫu/thời gian:

  • Ngữ cảnh: Các thử nghiệm chủ yếu được thực hiện trong môi trường đô thị (đường phố, trường học) với các điều kiện ngày/đêm. Các môi trường khắc nghiệt như quân sự, dưới nước, hoặc không gian chưa được kiểm chứng.
  • Mẫu: Bộ dữ liệu KAIST có các đặc điểm riêng về kích thước và vị trí đối tượng (chiều cao 45-115 pixels, đối tượng thường xuất hiện ở bên phải và khoảng giữa màn hình). Hiệu suất có thể thay đổi trên các bộ dữ liệu có đặc điểm khác.
  • Thời gian: Nghiên cứu tập trung vào hiệu suất trong thời gian thực. Các yếu tố thay đổi theo thời gian dài (ví dụ: lão hóa cảm biến, thay đổi mùa) không được xem xét chi tiết.

Chương trình nghiên cứu trong tương lai với 4-5 hướng cụ thể:

  1. Mở rộng chỉ số trọng số: Nghiên cứu và tích hợp các chỉ số môi trường bổ sung (ví dụ: độ mờ, chỉ số phản xạ, thông tin ngữ cảnh đa chiều) vào hàm trọng số để thích nghi tốt hơn với các điều kiện môi trường phức tạp hơn như mưa lớn, sương mù dày đặc.
  2. Khung fusion đa phương thức tổng quát: Phát triển một khung lý thuyết và thực nghiệm tổng quát hơn cho fusion đa phương thức, không chỉ giới hạn ở ảnh màu và ảnh nhiệt, mà còn có thể tích hợp dữ liệu từ LiDAR, radar, hoặc các cảm biến khác, với cơ chế trọng số thích ứng tương tự.
  3. Tối ưu hóa và triển khai trên phần cứng biên: Tiếp tục tối ưu hóa các thuật toán đề xuất để giảm hơn nữa khối lượng tính toán và bộ nhớ, cho phép triển khai hiệu quả trên các thiết bị biên với tài nguyên phần cứng rất hạn chế, có thể thông qua các kỹ thuật như lượng tử hóa (quantization), cắt tỉa (pruning) và kiến trúc neural network search (NAS).
  4. Huấn luyện end-to-end cho hàm trọng số: Thay vì xây dựng tập dữ liệu trọng số riêng, nghiên cứu cách huấn luyện hàm trọng số một cách end-to-end trong kiến trúc học sâu chính, có thể sử dụng các kỹ thuật học tăng cường (reinforcement learning) hoặc gradient-based optimization để tối ưu hóa trực tiếp.
  5. Xác minh tính tổng quát hóa trên các bộ dữ liệu mới: Thử nghiệm và đánh giá các giải pháp đề xuất trên các bộ dữ liệu đa phương thức mới, đa dạng hơn về ngữ cảnh, loại đối tượng và điều kiện môi trường để xác minh tính tổng quát hóa và độ bền vững.

Tác động và ảnh hưởng

Luận án này dự kiến sẽ tạo ra tác động và ảnh hưởng đáng kể trên nhiều lĩnh vực:

  1. Tác động học thuật (Academic impact):
    • Ước tính trích dẫn tiềm năng: Với việc đề xuất một phương pháp xây dựng trọng số thích ứng độc đáo và các thuật toán có hiệu năng vượt trội, luận án có tiềm năng được trích dẫn rộng rãi bởi các nhà nghiên cứu trong lĩnh vực thị giác máy tính, học sâu, và xử lý dữ liệu đa phương thức. Ước tính có thể đạt 50-100+ trích dẫn trong 5 năm tới, đặc biệt nếu các bài báo từ luận án được công bố trên các tạp chí và hội nghị uy tín hàng đầu.
    • Mở ra các hướng nghiên cứu mới: Khái niệm về "environment-aware adaptive fusion" và "multispectral channel importance weighting" sẽ khuyến khích các nghiên cứu tiếp theo về cách các yếu tố môi trường có thể được định lượng và tích hợp vào các mô hình học sâu để cải thiện hiệu suất.
  2. Chuyển đổi công nghiệp (Industry transformation):
    • Ngành an ninh và giám sát: Các giải pháp của luận án có thể trực tiếp được áp dụng để nâng cấp hệ thống camera giám sát hiện có, cung cấp khả năng phát hiện và theo vết đối tượng người 24/7 với độ tin cậy cao hơn, đặc biệt trong các điều kiện thiếu sáng hoặc thời tiết bất lợi. Điều này có thể dẫn đến sự ra đời của các sản phẩm camera giám sát thông minh thế hệ mới, có khả năng tự động điều chỉnh cơ chế fusion theo môi trường.
    • Ngành ô tô tự lái (Autonomous Vehicles): Cải thiện độ an toàn bằng cách tăng cường khả năng phát hiện người đi bộ và các chướng ngại vật trong điều kiện đêm, sương mù hoặc mưa, giảm thiểu rủi ro tai nạn.
    • Ngành robot và UAV: Nâng cao khả năng nhận thức và định vị của robot dịch vụ, robot công nghiệp và UAV trong các nhiệm vụ phức tạp, đặc biệt là trong môi trường chưa được kiểm soát.
  3. Ảnh hưởng chính sách (Policy influence):
    • Cấp chính phủ/quốc phòng: Cung cấp các công nghệ tiên tiến cho hệ thống giám sát biên giới, an ninh quốc gia và trinh sát, điều khiển trong điều kiện khó khăn, tăng cường năng lực phòng thủ. Các kết quả nghiên cứu có thể được sử dụng làm cơ sở để xây dựng các yêu cầu kỹ thuật và tiêu chuẩn cho các hệ thống giám sát và an ninh trong tương lai.
    • Cấp thành phố thông minh: Hỗ trợ phát triển các chính sách và giải pháp giao thông thông minh hiệu quả hơn, đảm bảo an toàn công cộng và quản lý đô thị.
  4. Lợi ích xã hội (Societal benefits):
    • Tăng cường an toàn công cộng: Giảm thiểu tai nạn giao thông liên quan đến người đi bộ trong đêm.
    • Cải thiện chất lượng sống: Các hệ thống giám sát hiệu quả hơn có thể giúp ngăn chặn tội phạm, bảo vệ tài sản và con người.
    • Hỗ trợ tìm kiếm cứu nạn: Nâng cao khả năng phát hiện nạn nhân trong các điều kiện khó khăn (ví dụ: đêm tối, khói bụi) bằng cách kết hợp thông tin ảnh nhiệt.
  5. Liên quan quốc tế (International relevance):
    • Các thách thức về phát hiện và theo vết đối tượng trong điều kiện chiếu sáng thay đổi là phổ biến trên toàn cầu. Các giải pháp đề xuất có thể áp dụng rộng rãi tại nhiều quốc gia và khu vực, đặc biệt là những nơi có khí hậu đa dạng hoặc nhu cầu cao về an ninh và giám sát.
    • Việc so sánh với các nghiên cứu quốc tế hàng đầu (CIAN [31], IAN [4], MCFF [30], SiamDW_ST [25], DiMP [26]) đã chứng minh tính cạnh tranh và đóng góp của luận án vào cộng đồng khoa học toàn cầu.

Đối tượng hưởng lợi

Luận án mang lại lợi ích cụ thể cho nhiều đối tượng khác nhau trong cộng đồng khoa học, công nghiệp và xã hội:

  1. Nghiên cứu sinh tiến sĩ (Doctoral researchers):
    • Các lỗ hổng nghiên cứu cụ thể: Luận án cung cấp một khung lý thuyết và thực nghiệm rõ ràng cho việc phát triển các cơ chế fusion đa phương thức thích ứng. Nó chỉ ra các hướng nghiên cứu tiềm năng về việc tích hợp các chỉ số môi trường định lượng khác và cách tối ưu hóa hàm trọng số end-to-end. Các nghiên cứu sinh có thể xây dựng dựa trên phương pháp "xây dựng tập dữ liệu trọng số" để phát triển các phương pháp fusion mới cho các cặp cảm biến khác.
    • Dữ liệu và phương pháp luận: Cung cấp một bộ dữ liệu đã được tinh chỉnh và một phương pháp luận nghiên cứu nghiêm ngặt cho bài toán phát hiện và theo vết đa phương thức, làm tài liệu tham khảo quý giá.
  2. Các học giả cấp cao (Senior academics):
    • Tiến bộ lý thuyết: Các đóng góp về "environment-aware adaptive fusion" và "multispectral channel importance weighting" mở rộng hiểu biết lý thuyết trong lĩnh vực thị giác máy tính và học sâu. Điều này có thể thúc đẩy các học giả cấp cao phát triển các mô hình lý thuyết tổng quát hơn về sự phụ thuộc ngữ cảnh trong xử lý dữ liệu đa phương thức.
    • Thách thức các giả định hiện có: Luận án thách thức các giả định về sự đóng góp cố định của các kênh dữ liệu, khuyến khích sự phát triển các khuôn khổ linh hoạt hơn.
  3. R&D công nghiệp (Industry R&D):
    • Ứng dụng thực tiễn: Các thuật toán NAMPD và SiamDW_ST cải tiến cung cấp các giải pháp sẵn sàng triển khai cho các sản phẩm giám sát, hệ thống ADAS (Advanced Driver-Assistance Systems) và robot hoạt động trong môi trường đa dạng. "Tốc độ xử lý của NAMPD (YOLOv4) đạt 61,8 fps" là một chỉ số quan trọng về tính khả thi trong các ứng dụng thời gian thực.
    • Hiệu quả chi phí: Các giải pháp tối ưu hóa hiệu năng trong điều kiện khó khăn có thể giảm chi phí liên quan đến lỗi phát hiện và theo vết, đồng thời mở rộng phạm vi ứng dụng của các thiết bị hiện có.
  4. Các nhà hoạch định chính sách (Policy makers):
    • Khuyến nghị dựa trên bằng chứng: Các kết quả nghiên cứu cung cấp bằng chứng thực nghiệm mạnh mẽ cho việc đầu tư vào và áp dụng các công nghệ thị giác máy tính đa phương thức trong các lĩnh vực an ninh quốc gia, giao thông thông minh và quản lý đô thị. Ví dụ, "cải thiện khả năng phát hiện người đi bộ trong đêm" có thể dẫn đến các chính sách về công nghệ an toàn giao thông.
    • Tiêu chuẩn công nghệ: Giúp các nhà hoạch định chính sách hiểu rõ hơn về khả năng và giới hạn của các công nghệ hiện tại, từ đó đưa ra các tiêu chuẩn và quy định phù hợp cho việc triển khai.

Định lượng lợi ích:

  • Giảm tỷ lệ bỏ sót đối tượng (Miss Rate): Thuật toán NAMPD giảm LAMR từ khoảng 10-15% của các thuật toán trước đây xuống còn 4,91%, điều này có thể dịch thành giảm 50-70% số lỗi bỏ sót trong các hệ thống giám sát, tăng cường an toàn và an ninh.
  • Tăng cường độ chính xác theo vết (Tracking Accuracy): Phương pháp đề xuất tăng EAO lên 0,394, cải thiện khoảng 4% so với SiamDW_ST gốc và 10% so với DiMP, dẫn đến theo vết đáng tin cậy hơn, giảm chi phí kiểm tra thủ công.
  • Hiệu quả kinh tế: Việc triển khai các hệ thống hiệu quả hơn có thể dẫn đến tiết kiệm hàng triệu USD mỗi năm từ việc giảm tai nạn, cải thiện hiệu quả vận hành và tối ưu hóa tài nguyên trong các ngành công nghiệp lớn như giao thông vận tải và an ninh.

Câu hỏi chuyên sâu

  1. Đóng góp lý thuyết độc đáo nhất của luận án là gì? Nó mở rộng lý thuyết cụ thể nào? Đóng góp lý thuyết độc đáo nhất là việc đề xuất và định lượng cơ chế "environment-aware adaptive fusion" thông qua "phương pháp xây dựng trọng số kết hợp ảnh màu và ảnh nhiệt sử dụng độ nhiễu trên ảnh màu và cường độ nhiệt trên ảnh nhiệt". Cơ chế này mở rộng lý thuyết về cơ chế chú ý (Attention Mechanisms) trong học sâu, vốn thường tập trung vào các đặc trưng nội tại của dữ liệu. Luận án tích hợp các chỉ số định lượng trực tiếp từ môi trường vào việc xác định trọng số chú ý, cho phép mô hình thích nghi linh hoạt hơn với điều kiện chiếu sáng và chất lượng tín hiệu. Điều này cũng mở rộng lý thuyết về Adaptive Fusion bằng cách cung cấp một khuôn khổ toán học có thể giải thích được cho việc điều chỉnh động đóng góp của các kênh đa phương thức, vốn là điểm yếu của các phương pháp black-box hoặc cố định trước đây.

  2. Đổi mới phương pháp luận chính yếu trong luận án là gì và nó so sánh như thế nào với 2 nghiên cứu trước đây? Đổi mới phương pháp luận chính yếu là việc xây dựng một tập dữ liệu được đánh dấu trọng số kết hợp của các cặp ảnh màu - ảnh nhiệt và phát triển một hàm học được để xác định trọng số này.

    • So sánh với IAN [4]: IAN sử dụng một mạng nhận thức độ chiếu sáng để ước lượng một giá trị $i_v \in [0,1]$ từ ảnh màu và sau đó sử dụng hàm sigmoid để tính trọng số $w_{color} = 1 / (1 + \alpha \exp(-\beta i_v))$. Điểm khác biệt là IAN sử dụng nhãn ngày/đêm thô để huấn luyện mạng nhận thức độ chiếu sáng, có thể không phản ánh chính xác chất lượng thông tin ảnh. Trong khi đó, luận án trực tiếp sử dụng độ nhiễu và cường độ nhiệt như các chỉ số vật lý, cung cấp một phương pháp đo lường chất lượng thông tin chi tiết và trực tiếp hơn, dẫn đến sự tối ưu hóa chính xác hơn của trọng số.
    • So sánh với MCFF [30]: MCFF sử dụng một lớp Multispectral Channel Feature Fusion (MCFF) trong kiến trúc YOLOv4, trong đó trọng số được tạo ra trong quá trình huấn luyện thông qua hai lớp kết nối đầy đủ và một lớp soft max. Mặc dù MCFF đạt hiệu năng cao (LAMR 4,91%), nó không cung cấp một cơ chế giải thích rõ ràng hoặc một tập dữ liệu đầu vào cụ thể để xác định các trọng số dựa trên điều kiện môi trường. Phương pháp của luận án lại cung cấp một hàm trọng số với các tham số học được từ một tập dữ liệu được tạo riêng, có tính giải thích và khả năng kiểm soát cao hơn.

  3. Phát hiện đáng ngạc nhiên nhất trong luận án là gì, với sự hỗ trợ từ dữ liệu? Phát hiện đáng ngạc nhiên nhất là việc "kết hợp có trọng số ở mức kết quả" (decision-level fusion) mang lại hiệu năng tối ưu cho bài toán phát hiện đối tượng người, trong khi nhiều nghiên cứu trước đây (như Liu [46] và Konig [50]) thường kết luận rằng kết hợp ở mức đặc trưng giữa (halfway fusion) là hiệu quả nhất. Dữ liệu hỗ trợ cho phát hiện này được trình bày trong Bảng 3.7 và Bảng 3.8, cho thấy thuật toán NAMPD (YOLOv4) đạt chỉ số LAMR thấp nhất (tốt nhất) là 4,91% khi sử dụng fusion mức kết quả, so với các mức kết hợp khác. Điều này phản trực giác vì fusion ở mức đặc trưng thường được cho là tận dụng được mối quan hệ phi tuyến sâu sắc giữa các kênh. Tuy nhiên, việc áp dụng cơ chế trọng số thích ứng mạnh mẽ ở mức kết quả đã bù đắp cho hạn chế này, cho phép các nhánh phát hiện hoạt động độc lập tối ưu trước khi được tổng hợp một cách thông minh.

  4. Giao thức tái lập (Replication protocol) có được cung cấp không? Nếu có, nó bao gồm những gì? Mặc dù luận án không có một phần riêng biệt mang tên "Giao thức tái lập," các chi tiết về phương pháp luận và điều kiện thử nghiệm được mô tả rất cụ thể, cho phép các nhà nghiên cứu khác tái lập công trình này. Nó bao gồm:

    • Tên các thuật toán và kiến trúc: YOLOv4/YOLOv8 cho phát hiện, SiamDW_ST cho theo vết, cùng với các cấu trúc mạng nơ ron tích chập cụ thể (ví dụ: ResNet-50 cho SiamDW_ST).
    • Bộ dữ liệu chi tiết: Việc sử dụng bộ dữ liệu KAIST [44] (95.328 cặp ảnh) và VOT-RGBT, cùng với các chi tiết về hiệu chỉnh dữ liệu (như của Liu [46] và Li [47]), tiêu chí loại bỏ đối tượng (kích thước < 45 pixels, che khuất > 50%), đảm bảo tính nhất quán.
    • Chỉ số đánh giá hiệu năng: Sử dụng LAMR, FPPI cho phát hiện và EAO, Accuracy, Robustness cho theo vết, với các ngưỡng IoU (thường là 0.5) được xác định rõ.
    • Mức kết hợp và chiến lược huấn luyện: Mô tả chi tiết các mức kết hợp (điểm ảnh, đặc trưng, kết quả), chiến lược huấn luyện chuyển giao và việc xây dựng tập dữ liệu để xác định tham số cho hàm trọng số.
    • Điều kiện thử nghiệm: So sánh hiệu năng trên các tập con dữ liệu đặc trưng (ban ngày, ban đêm, che khuất, camera chuyển động) cung cấp một khuôn khổ tái lập đầy đủ. Nhìn chung, các mô tả chi tiết trong các chương "Phương pháp nghiên cứu tiên tiến" và "Phát hiện đột phá và implications" cung cấp đủ thông tin để tái lập các kết quả chính.

  5. Chương trình nghiên cứu 10 năm có được phác thảo không? Nếu có, nó bao gồm những gì? Mặc dù luận án không phác thảo một "chương trình nghiên cứu 10 năm" với tên gọi rõ ràng, phần "Limitations và Future Research" cung cấp một lộ trình rõ ràng và chi tiết cho các nghiên cứu tiếp theo, có thể coi là nền tảng cho một chương trình nghiên cứu dài hạn. Nó bao gồm:

    • Mở rộng chỉ số trọng số: Khám phá và tích hợp các chỉ số môi trường bổ sung ngoài độ nhiễu và cường độ nhiệt (ví dụ: các chỉ số về độ mờ, thông tin từ các kênh quang phổ khác).
    • Khung fusion đa phương thức tổng quát: Phát triển một kiến trúc fusion thích ứng có thể tích hợp nhiều loại cảm biến hơn (ví dụ: LiDAR, radar) với cơ chế trọng số tùy chỉnh.
    • Tối ưu hóa phần cứng biên: Nghiên cứu các kỹ thuật nén mô hình (lượng tử hóa, cắt tỉa) và kiến trúc mạng chuyên biệt cho các thiết bị biên với tài nguyên rất hạn chế.
    • Huấn luyện end-to-end cho hàm trọng số: Phát triển các phương pháp để học hàm trọng số một cách tự động và end-to-end mà không cần tập dữ liệu trọng số được đánh dấu thủ công.
    • Xác minh tính tổng quát hóa trên các bộ dữ liệu đa dạng: Đánh giá các giải pháp trên một loạt các bộ dữ liệu mới và đa dạng hơn để chứng minh tính tổng quát hóa trong các ngữ cảnh ứng dụng rộng hơn. Những hướng này cung cấp một kế hoạch chi tiết cho các nghiên cứu tiếp theo, với tiềm năng phát triển thành các dự án nghiên cứu lớn hơn trong thập kỷ tới, tập trung vào việc tạo ra các hệ thống nhận thức môi trường thích ứng và bền vững hơn.

Kết luận

Luận án này đã đạt được những đóng góp quan trọng và cụ thể trong lĩnh vực thị giác máy tính, đặc biệt là bài toán phát hiện và theo vết đối tượng người trong điều kiện môi trường thay đổi.

  1. Đề xuất phương pháp xây dựng trọng số thích ứng: Luận án đã thành công trong việc đề xuất một phương pháp mới để xây dựng trọng số kết hợp ảnh màu và ảnh nhiệt dựa trên độ nhiễu trên ảnh màu và cường độ nhiệt trên ảnh nhiệt. Phương pháp này đã được định lượng và chứng minh hiệu quả, cung cấp một cơ chế định lượng để đánh giá đóng góp của từng kênh ảnh trong các điều kiện chiếu sáng khác nhau.
  2. Phát triển thuật toán phát hiện NAMPD hiệu năng cao: Thuật toán NAMPD (Noise-Aware Multispectral Pedestrian Detector) được phát triển dựa trên kiến trúc YOLO (YOLOv4/YOLOv8) với cơ chế kết hợp trọng số thích ứng ở mức kết quả, đạt chỉ số LAMR 4,91% trên bộ dữ liệu KAIST đã hiệu chỉnh, vượt trội đáng kể so với các thuật toán phổ biến như CIAN [31] (LAMR 30,74%) và IAN [4] (LAMR 15,73%).
  3. Cải tiến thuật toán theo vết SiamDW_ST: Luận án đã cải tiến thuật toán theo vết SiamDW_ST [25] bằng cách tích hợp phương pháp xác định trọng số thích ứng ở mức đặc trưng sau ước lượng IoU, đạt chỉ số EAO 0,394 trên toàn bộ các chuỗi dữ liệu VOT-RGBT, vượt trội so với SiamDW_ST gốc (EAO 0,379) và DiMP [26] (EAO 0,358).
  4. Xây dựng tập dữ liệu trọng số và xác định mức kết hợp tối ưu: Luận án đã xây dựng một tập dữ liệu được đánh dấu trọng số kết hợp để xác định các tham số cho hàm trọng số, đồng thời chứng minh rằng mức kết hợp tối ưu phụ thuộc vào bản chất bài toán (kết quả cho phát hiện, đặc trưng cho theo vết) khi tích hợp trọng số thích ứng.
  5. Ứng dụng thực tiễn cho điện toán biên: Các giải pháp đề xuất không chỉ cải thiện hiệu năng mà còn duy trì tốc độ xử lý cao (ví dụ, NAMPD đạt 61,8 fps), cho thấy tính khả thi của việc triển khai trong các hệ thống giám sát thời gian thực và điện toán biên.

Luận án này đã tạo ra một sự tiến bộ mô hình (paradigm advancement) trong cách chúng ta tiếp cận fusion đa phương thức. Bằng chứng từ các phát hiện then chốt cho thấy việc điều chỉnh trọng số fusion một cách thích ứng dựa trên các chỉ số môi trường định lượng là một phương pháp hiệu quả hơn so với các phương pháp cố định hoặc chỉ dựa vào đặc trưng hình ảnh. Sự thành công của NAMPD và SiamDW_ST cải tiến cung cấp bằng chứng thực nghiệm mạnh mẽ cho sự dịch chuyển này.

Những đóng góp này đã mở ra ít nhất 3 luồng nghiên cứu mới:

  1. Phát triển các chỉ số môi trường định lượng toàn diện hơn: Để hỗ trợ fusion thích ứng trong các ngữ cảnh đa dạng hơn (ví dụ: mưa, sương mù, khói).
  2. Kiến trúc fusion đa phương thức end-to-end thích ứng: Nơi hàm trọng số có thể được học trực tiếp mà không cần tập dữ liệu nhãn trọng số riêng biệt.
  3. Tối ưu hóa fusion cho phần cứng biên: Nhằm tạo ra các hệ thống nhận thức siêu hiệu quả cho các ứng dụng IoT và AI biên.

Về liên quan toàn cầu, các giải pháp được đề xuất giải quyết các thách thức phổ biến trong thị giác máy tính mà các quốc gia trên thế giới đều phải đối mặt. Bằng cách so sánh và vượt trội so với các nghiên cứu quốc tế hàng đầu như CIAN [31] từ Trung Quốc, IAN [4] từ Hàn Quốc, và SiamDW_ST [25] từ Thụy Sĩ, luận án đã chứng minh đóng góp có giá trị cho cộng đồng khoa học quốc tế. Di sản của nghiên cứu này có thể đo lường được thông qua các cải thiện định lượng về hiệu suất (LAMR, EAO), tiềm năng trích dẫn học thuật, và khả năng ứng dụng thực tế trong các lĩnh vực như an ninh, giao thông thông minh, và quốc phòng.