Luận án tiến sĩ: Nhận dạng khuôn mặt đơn mẫu với LT-MHD - Đặng Nguyên Châu

ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẶNG NGUYÊN CHÂU PHƯƠNG PHÁP NHẬN DẠNG KHUÔN MẶT TRONG ĐIỀU KIỆN ĐƠN MẪU DỰA TRÊN ĐỘ ĐO LT-MHD LUẬN ÁN TIẾN SĨ TP. HỒ CHÍ MINH - NĂM 2022 ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẶNG NGUYÊN CHÂU PHƯƠNG PHÁP NHẬN DẠNG KHUÔN MẶT TRONG ĐIỀU KIỆN ĐƠN MẪU DỰA TRÊN ĐỘ ĐO LT-MHD Chuyên ngành: Kỹ thuật Viễn Thông Mã số chuyên ngành: 62520208 Phản biện độc lập: PGS.

Phan Văn Ca Phản biện độc lập: PGS. Trần Công Hùng Phản biện: PGS. Phạm Hồng Liên Phản biện: TS. Lê Xuân Vinh Phản biện: TS.

Trần Trung Duy NGƯỜI HƯỚNG DẪN: PGS. ĐỖ HỒNG TUẤN LỜI CAM ĐOAN Tác giả xin cam đoan đây là công trình nghiên cứu của bản thân tác giả. Các kết quả nghiên cứu và các kết luận trong luận án này là trung thực, và không sao chép từ bất kỳ một nguồn nào và dưới bất kỳ hình thức nào. Việc tham khảo các nguồn tài liệu đã được thực hiện trích dẫn và ghi nguồn tài liệu tham khảo đúng quy định.

Tác giả luận án ĐẶNG NGUYÊN CHÂU i ABSTRACT Face recognition with only one image or single sample for each person (SSPP) in database is an important problem in face recognition field because the recognition rates of all face recognition methods seriously drop in the case of SSPP problem. In recent decades, various face recognition methods have been proposed for solving the SSPP problem. In comparing with other face recognition methods, the local feature based face recognition methods are simple and easy to deploy in real face recognition applications. Edge pixel is a local feature widely used in face recognition methods because edge pixel is the reflecting of the face structure.

Edge pixel is also a variant feature with non-ideal conditions of face image, especially with different lighting conditions of face image. The Modified Hausdorff Distance (MHD) is an efficient and widely used dis- tance in face recognition field. A lot of SSPP face recognition methods, that use edge pixel as local feature of face image, use the MHD for measuring the dissimilarity between two sets of feature of face images. In this study, a novel Hausdorff distance-based distance is proposed, the Least Trimmed Mod- ified Hausdorff Distance (LT-MHD).

Based on the proposed distance, two face recognition in SSPP condition methods are proposed, the Least Trimmed Line Hausdorff Distance (LT-LHD) method and the Least Trimmed New Modified Hausdorff Distance (LT-NMHD) method. The experimental results of recog- nition rates of the LT-NMHD method and the LT-LHD method prove the ef- ficiency of using the LT-MHD for measuring the distance between two sets of face image feature. By using the LT-MHD, the recognition rate of face recog- nition methods increase 2-10% in comparing with the case using the MHD for measuring the distance between two sets of face image feature. Moreover, the recognition rates of the LT-LHD method and the LT-NMHD method are compared with various face recognition methods, which are proposed in recent years, in SSPP situation.

In the same condition of experiment, both proposed face recognition methods give very high recognition rate in comparing with other face recognition methods. Especially, the recognition rate of the LT-LHD method is 2-11% higher than the recognition rates of state-of-art SSPP face recognition methods over the past five years. The computational complexity is a disadvantage of the LT-MHD. This makes ii the computational complexities of the face recognition methods that use LT- MHD, i.

the LT-LHD method and the LT-NMHD method, become very high. In CAD/CAM/CAE field, a lot of methods were proposed with the purposed reducing the computational complexity of Hausdorff computing, in recent decade. The EARLYBREAK method and the Local Start Search (LSS) method are two state-of-art methods for reducing the complexity of Haus- dorff distance computing. In this study, the EARLYBREAK method is used for reducing the computational complexity the LT-LHD method and the LSS method is used for reducing the computational complexity of the LT-NMHD method.

The experimental results show that computational complexities of the LT-LHD method and the LT-NMHD method decrease 67% and 17%, respec- tively. These results demonstrate the efficiency of using the EARLYBREAK method and the LSS method for reducing the face recognition methods using the LT-MHD. Moreover, in this research, a model, that is a combination of a convolutional neural network (CNN) model with the LT-MHD distance, for face image fea- ture extraction is proposed. The LT-MHD distance is used as the loss function of the CNN model instead of the cross-entropy loss function.

The experimental result shows that by using the LT-MHD distance as the loss function makes an improvement of recognition rate of the model up to 43%. iii TÓM TẮT LUẬN ÁN Nhận dạng khuôn mặt trong điều kiện chỉ có một ảnh cho mỗi người trong cơ sở dữ liệu, single sample per person (SSPP), là một bài toán cực kì quan trọng trong lĩnh vực nhận dạng khuôn mặt vì tỷ lệ nhận dạng của các phương pháp đều bị ảnh hưởng nghiêm trọng trong điều kiện SSPP. Trong những năm qua, đã có rất nhiều các phương pháp nhận dạng khuôn mặt được đề xuất nhằm giải quyết bài toán SSPP. Trong đó, so sánh với các phương pháp nhận dạng khuôn mặt khác, nhóm phương pháp nhận dạng khuôn mặt dựa trên các đặc trưng cục bộ được đánh giá là đơn giản hơn và dễ dàng triển khai trong các ứng dụng thực tế.

Các pixel cạnh là một đặc trưng cục bộ được sử dụng rộng rãi trong lĩnh vực nhận dạng khuôn mặt vì đặc trưng này phản ánh rất tốt cấu trúc của khuôn mặt. Bên cạnh đó, các đặc trưng này bền vững với các điều kiện không lý tưởng của ảnh đầu vào, nhất là các điều kiện chiếu sáng khác nhau của ảnh đầu vào. Khoảng cách Hausdorff trung bình, là một phép đo hiệu quả được sử dụng rộng rãi trong lĩnh vực nhận dạng khuôn mặt. Các phương pháp nhận dạng khuôn mặt trong điều kiện SSPP sử dụng đặc trưng cục bộ là các pixel cạnh thường sử dụng khoảng cách Hausdorff trung bình để đo sự giống nhau giữa hai tập hợp các đặc trưng của ảnh khuôn mặt.

Trong nghiên cứu này, chúng tôi sẽ đề xuất một phép đo mới dựa trên khoảng cách Hausdorff, khoảng cách Hausdorff trung bình các giá trị lớn nhất, Least Trimmed Modified Hausdorff Distance (LT-MHD). Dựa trên khoảng cách mới được đề xuất, chúng tôi đề xuất hai phương pháp nhận dạng khuôn mặt trong điều kiện SSPP, phương pháp Least Trimmed Line Hausdorff Distance (LT-LHD) và phương pháp Least Trimmed New Modified Hausdorff Distance (LT-NMHD). Các kết quả mô phỏng về tỷ nhận dạng khuôn mặt của hai phương pháp LT-NMHD và LT-LHD đã chứng minh sự hiệu quả của việc dùng khoảng cách LT-MHD thay vì khoảng cách Hausdorff trung bình. Việc sử dụng khoảng cách LT-MHD giúp làm tăng tỷ lệ nhận dạng khuôn mặt khoảng 2-10% so với việc sử dụng khoảng cách Hausdorff trung bình tùy vào điều kiện khác nhau của ảnh đầu vào.

Bên cạnh đó, tỷ lệ nhận dạng của hai phương pháp LT-NMHD và LT-LHD cũng được so sánh với một số phương pháp nhận dạng khuôn mặt trong điều kiện SSPP khác được đề xuất trong những năm gần đây. Các kết quả nhận dạng trong cùng một điều kiện mô phỏng cũng cho thấy rằng hai phương pháp LT-LHD iv và LT-NMHD cho kết quả nhận dạng khá tốt. Đặc biệt, phương pháp LT-LHD cho tỷ lệ nhận dạng khuôn mặt cao hơn khoảng 2-11% so với các phương pháp nhận dạng khuôn mặt trong được đề xuất trong 5 năm gần đây. Độ phức tạp tính toán rất cao là một nhược điểm của các khoảng cách Haus- dorff trung bình và LT-MHD.

Điều này làm cho các phương pháp nhận dạng khuôn mặt như LT-LHD và LT-NMHD có độ phức tạp tính toán cũng rất cao. Các nhà nghiên cứu trong các lĩnh vực CAD/CAM/CAE đã đưa ra rất nhiều các phương pháp khác nhau nhằm làm giảm độ phức tạp của phép tính khoảng cách Hausdorff và nổi tiếng nhất là hai phương pháp EARLYBREAK và Local Start Search (LSS). Trong nghiên cứu này, chúng tôi sẽ áp dụng phương pháp EARLYBREAK để làm giảm độ phức tạp tính toán cho phương pháp LT-LHD. Đồng thời, chúng tôi cũng áp dụng phương pháp LSS để làm giảm độ phức tạp tính toán cho phương pháp LT-NMHD.

Các kết quả mô phỏng cũng cho thấy độ phức tạp tính toán của các phương pháp LT-LHD và phương pháp LT-NMHD giảm lần lượt là 67% và 17%. Điều này cho thấy sự hiệu quả khi áp dụng các phương pháp như EARLYBREAK hay LSS để làm giảm độ phức tạp tính toán cho các phương pháp nhận dạng khuôn mặt dựa trên khoảng cách Hausdorff trung bình. Trong nghiên cứu này, một mô hình trích đặc trưng ảnh khuôn mặt bằng cách kết hợp giữa một mạng CNN cùng khoảng cách LT-MHD cũng được đề xuất. Khoảng cách LT-MHD được sử dụng như hàm mất mát ngõ ra của mạng CNN thay vì hàm cross-entropy.

Các kết quả mô phỏng cho thấy việc thay đổi này giúp làm tăng tỷ lệ nhận dạng của mô hình lên đến 43%. v LỜI CÁM ƠN "Không ai có thể thành công một mình" là câu nói mà tôi luôn tâm đắc và ghi nhớ. Hoàn thành Luận án Tiến sĩ có thể được xem như một thành công của riêng cá nhân tôi. Bên cạnh sự nỗ lực không ngừng nghỉ của bản thân thì thành công này cũng sẽ không thể đến với tôi nếu thiếu đi sự giúp đỡ, động viên và chia sẻ của những người thầy, người bạn, đồng nghiệp và người thân trong gia đình của tôi.

Đầu tiên, tôi xin gửi lời cảm ơn sâu sắc đến người thầy của tôi, PGS. Thầy Tuấn là người thầy đã dẫn dắt tôi trên con đường học thuật từ khi tôi còn là một sinh viên năm cuối tại trường Đại học Bách Khoa cho đến khi tôi hoàn thành luận án này. Trong suốt quá trình làm luận án, tôi đã nhận được rất nhiều những nhận xét, góp ý từ thầy để từ đó tôi có thể làm tốt hơn các nghiên cứu của mình. Tiếp theo tôi xin gửi lời cảm ơn đến thầy GS.

Lê Tiến Thường, thầy PGS. Đặng Thành Tín, TS. Trương Quang Vinh và PGS. Hà Hoàng Kha, những người đã có rất nhiều các ý kiến đóng góp cho luận án của tôi thông qua các chuyên đề Tiến sĩ mà tôi thực hiện.

Tôi cũng xin gửi lời cảm ơn chân thành đến một người bạn, người anh của tôi, TS. Chế Viết Nhật Anh, người đã động viên và giúp đỡ tôi rất nhiều trong suốt quá trình làm nghiên cứu để tôi cảm thấy tự tin hơn về bản thân. Bên cạnh đó, tôi cũng xin gửi lời cảm ơn đến Ban chủ nhiệm khoa Điện - Điện tử, các quý thầy cô tại Bộ môn Viễn Thông, những người đã chia sẻ, giúp đỡ tôi rất nhiều trong công tác để tôi có thể hoàn thành tốt nhiệm vụ của một giảng viên cũng như nhiệm vụ của một nghiên cứu sinh.