Luận án tiến sĩ kỹ thuật phát triển biểu diễn biểu cảm khuôn mặt 3D - Huỳnh Cao Tuấn - Học viện Công nghệ Bưu Chính Viễn Thông

BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG HUỲNH CAO TUẤN PHÁT TRIỂN CÁC KỸ THUẬT BIỂU DIỄN BIỂU CẢM KHUÔN MẶT 3D LUẬN ÁN TIẾN SĨ KỸ THUẬT Hà Nội – 2021 BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG HUỲNH CAO TUẤN PHÁT TRIỂN CÁC KỸ THUẬT BIỂU DIỄN BIỂU CẢM KHUÔN MẶT 3D Chuyên ngành : Hệ thống thông tin Mã số : 9.04 LUẬN ÁN TIẾN SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC 1. Nguyễn Thanh Bình Hà Nội – 2021 i LỜI CẢM ƠN Xin chân thành cảm ơn Quý thầy/cô Học viện Công nghệ Bưu Chính Viễn Thông đã giúp đỡ tận tình để nghiên cứu sinh hoàn thành Luận án. Xin bày tỏ lòng biết ơn sâu sắc đến hai vị Thầy kính yêu, đó là PGS. Đỗ Năng Toàn và TS.

Nguyễn Thanh Bình; những người đã tận tình hướng dẫn, gợi ý và cho nghiên cứu sinh những lời khuyên hết sức bổ ích trong suốt quá trình thực hiện luận án. Bên cạnh đó nghiên cứu sinh xin gửi lời cảm ơn đến Ban Lãnh đạo, những thầy cô quản lý Sau đại học của Học viện Công nghệ Bưu Chính Viễn Thông đã hỗ trợ trong quá trình nghiên cứu sinh nghiên cứu tại Trường. Nghiên cứu sinh xin chân thành cảm ơn Trường Đại học Lạc Hồng là nơi nghiên cứu sinh đã và đang làm việc; qua đây xin trân trọng gửi lời cảm ơn chân thành đến Ban lãnh đạo Nhà Trường vì đã không ngừng quan tâm, khích lệ và tạo điều kiện thuận lợi để nghiên cứu sinh có thời gian hoàn thành nhiệm vụ nghiên cứu và thực hiện Luận án này. Đồng thời, nghiên cứu sinh cũng xin cảm ơn sự hợp tác của các đồng nghiệp ở Viện công nghệ thông tin - Viện Hàn lâm Khoa học và Công nghệ Việt Nam.

Qua sự hợp tác này đã giúp nghiên cứu sinh nhìn nhận vấn đề nghiên cứu ở nhiều góc độ khác nhau, hoàn thiện hơn thông qua các buổi thảo luận của nhóm. Bên cạnh đó, nghiên cứu sinh xin cảm ơn sự động viên, chia sẻ của các anh/chị nghiên cứu sinh trong suốt thời gian cùng nhau học tập và nghiên cứu tại Trường. Cuối cùng, con xin chân thành cảm ơn Cha, Mẹ đã luôn động viên trong quá trình học tập. Trân trọng, Huỳnh Cao Tuấn ii LỜI CAM ĐOAN Trên cơ sở nghiên cứu lý thuyết, kiến thức thực tiễn và dưới sự hướng dẫn khoa học của PGS.

Đỗ Năng Toàn và TS. Nguyễn Thanh Bình. Tôi xin cam đoan rằng, bản luận án tiến sĩ này là công trình nghiên cứu của bản thân và không sao chép nội dung từ các luận án hay công trình khác. Các kỹ thuật và những kết quả trong luận án là trung thực, được đề xuất từ những yêu cầu thực tiễn, chưa từng được công bố trước đây.

Nghiên cứu sinh Huỳnh Cao Tuấn ii MỤC LỤC LỜI CẢM ƠN. i LỜI CAM ĐOAN.ii MỤC LỤC.iii DANH MỤC CÁC TỪ VIẾT TẮT.v DANH MỤC KÝ HIỆU TOÁN HỌC.vii DANH MỤC CÁC BẢNG.viii DANH MỤC HÌNH. ix MỞ ĐẦU. Sự cần thiết của đề tài.

Đối tượng, Mục tiêu, Phạm vi và Phương pháp nghiên cứu. Các đóng góp của luận án. Bố cục luận án.7 TỔNG QUAN VỀ TRÍCH CHỌN ĐẶC TRƯNG VÀ BIỂU DIỄN BIỂU CẢM KHUÔN MẶT. Tổng quan về một hệ thống biểu cảm khuôn mặt.

Khái niệm biểu cảm mặt người. Định nghĩa điểm điều khiển. Một số vấn đề trong một hệ thống mô phỏng biểu cảm. Nhận diện và trích chọn đặc trưng biểu cảm.

Một số phương pháp phát hiện khuôn mặt trong ảnh. Bài toán trích chọn đặc trưng biểu cảm khuôn mặt. Một số cách tiếp cận trích chọn đặc trưng. Biểu diễn biểu cảm khuôn mặt.

Các khía cạnh hình học của khuôn mặt người. Một số vấn đề trong biểu diễn biểu cảm. Một số phương pháp tiếp cận giải quyết bài toán. Tổng kết chương và vấn đề nghiên cứu.39 KỸ THUẬT TRÍCH CHỌN ĐẶC TRƯNG CỬ CHỈ VÀ ƯỚC LƯỢNG BIỂU CẢM.1 Bài toán phát hiện khuôn mặt.1 Mô hình khuôn mặt mẫu.2 Phát hiện khuôn mặt.3 Kết quả thử nghiệm.2 Bài toán trích chọn đặc trưng cử chỉ.1 Loại bỏ nhiễu hình ảnh.2 Làm mịn bảo toàn cạnh của khuôn mặt.3 Hiệu chỉnh ánh sáng và cải thiện đặc trưng khuôn mặt.4 Trích chọn đặc trưng cử chỉ của khuôn mặt.3 Ước lượng biểu cảm khuôn mặt.4 Đề xuất kỹ thuật ước lượng biểu cảm khuôn mặt.1 Mô hình ước lượng.2 Đề xuất sử dụng đặc trưng hình dạng.3 Hàm quyết định.5 Tổng kết chương.74 BIỂU DIỄN CỬ CHỈ, BIỂU CẢM TRÊN KHUÔN MẶT 3D.1 Bài toán biểu diễn cử chỉ, biểu cảm khuôn mặt 3D.2 Kỹ thuật nội suy RBF.1 Ý tưởng tiếp cận của thuật toán.2 Lựa chọn tham số hình dạng.3 Thuật toán nội suy.3 Nội suy thể hiện các cử chỉ, biểu cảm của khuôn mặt người 3D.1 Ước lượng tập vector đặc trưng.2 Tính toán mô hình đích.3 Tính toán quá trình biến đổi.4 Xác định tập điểm điều khiển phục vụ nắn chỉnh biến dạng.1 Đặc trưng biến dạng của các điểm.2 Xác định các nhóm tương đồng và chọn điểm điều khiển.3 Phân tích hiệu quả trong biến đổi mô hình.4 Thử nghiệm nắn chỉnh mô hình.5 Đề xuất xây dựng hệ thống mô phỏng biểu cảm khuôn mặt 3D.6 Tổng kết chương.98 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN.100 DANH MỤC CÁC CÔNG TRÌNH CÔNG BỐ.102 TÀI LIỆU THAM KHẢO.103 v DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt Tiếng Anh Tiếng Việt 2D Two Dimension Hai chiều 3D Three Dimension Ba chiều AAM Active Appearance Model Mô hình định vị điểm điều khiển AF Average Filter Bộ lọc trung bình AMF Adaptive Median Filter Bộ lọc trung vị ANN Artificial Neural Network Mạng thần kinh nhân tạo ASM Active Shape Model Mô hình hình dạng AUs Facial Action Units Đơn vị hành động trên khuôn mặt BEs Basic Emotions Cảm xúc cơ bản BF Bilateral Filter Bộ lọc song phương CEs Compound Emotions Cảm xúc tổng hợp Contrast-limited adaptive Cân bằng biểu đồ thích ứng có giới hạn CLAHE histogram equalization tương phản CLM Constrained Local Model Mô hình cục bộ ràng buộc ECG Electrocardiogram Điện tâm đồ EEG Electroencephalogram Điện não đồ Extreme Learning ELM Máy học cực độ Machine EMG Electromyography Điện cơ Facial Action Coding Hệ thống mã hóa hành động trên khuôn FACS System mặt Facial Expression FER Nhận dạng biểu cảm khuôn mặt Recognition FLs Facial Landmarks Dấu mốc trên khuôn mặt GF Gaussian Filter Bộ lọc Gaussian HMM Hidden Marko Model Mô hình ẩn Marko vi Từ viết tắt Tiếng Anh Tiếng Việt HUE, SATURATION, Vùng màu, độ bảo hòa màu, giá trị độ HSV VALUE sáng của màu sắc.

Japanese Female Facial Cơ sở dữ liệu chứa những biểu cảm JAFFE Expression khuôn mặt phụ nữ ở Nhật Bản LBP Local Binary Pattern Mẫu nhị phân cục bộ Local Gabor Binary LGBP Mẫu nhị phân Gabor cục bộ Pattern Learning Vector LVQ Lượng tử hóa Vector Quantization MEs Micro Expressions Biểu cảm quy mô Non-uniform rational B- Mô hình biểu diễn đường cong và bề NURBS spline mặt Principal Component PCA Phân tích thành phần chính Analysis RBF Radial Basis Functions Hàm cơ sở bán kính RGB (RED, GREEN, BLUE) Hệ màu đỏ, xanh lá, xanh dương SVM Support Vector Machine Máy vector hỗ trợ TV Television Tivi vi DANH MỤC KÝ HIỆU TOÁN HỌC 𝐿𝐵𝑃(. ) Hàm xác định mẫu nhị phân cục bộ 𝑊𝑀𝑆𝐸(𝐼, 𝑣, 𝑤) Hàm mục tiêu phân lớp dữ liệu 𝐵(𝐼) Hàm so sánh cường độ điểm ảnh trên ảnh I 𝛼 (. ) Ký hiệu tham số biến đổi tỉ lệ hình ảnh 𝛽 (. ) Ký hiệu tham số dịch chuyển 𝛿(.

) Ký hiệu tham số độ lệch vector cường độ ảnh ∆ Vector độ lệch 𝑓𝐿𝐼𝑁𝐸_𝐿𝐼𝑁𝐸 Hàm đặc trưng tính tỉ số độ dài 2 đoạn thẳng 𝑓𝑇𝑅𝐼𝐴𝑁𝐺𝐿𝐸_𝑇𝑅𝐼𝐴𝑁𝐺 Hàm đặc trưng tính tỉ số diện tích hai tam giác 𝐿𝐸 𝑓𝐿𝐼𝑁𝐸𝐿𝐼𝑁𝐸_𝐿𝐼𝑁𝐸𝐿𝐼𝑁 Hàm đặc trưng tính tỉ số của tổng độ dài 2 đoạn 𝐸 thẳng 𝜀(. ) Ký hiệu tham số chỉ ra giá trị min của hàm cơ sở bán kính vi DANH MỤC CÁC BẢNG Bảng 2.1 Một số kết quả ví dụ so sánh cường độ ảnh.2 So sánh kết quả định vị khuôn mặt.3 Sai số trung bình của các loại biểu cảm.4 Thống kê thời gian xử lý của các loại biểu cảm.72 ix DANH MỤC HÌNH Hình 0.1 Các nhân vật trong phim Avatar.2 Biểu cảm trạng thái mặt trong phim hoạt hình 3D.1 Minh hoạ phương pháp sử dụng điểm đánh dấu trong phim Avatar.2 Trạng thái biểu cảm khuôn mặt cơ bản [82].3 Mẫu khuôn mặt trong phương pháp định vị [97].4 Kiến trúc mạng UnitBox của nhóm Yu [129].5 Quy trình xử lý của nhóm Yang [124].6 Mô hình của nhóm Bai [14].7 Kiến trúc của FANet [134].8 Cảm xúc và không gian V-A [24],.9 Quy trình nhận dạng biểu cảm khuôn mặt.10 Ví dụ về phương pháp mã LBP.11 Ví dụ về toán tử LBP mở rộng với các vùng tròn có bán kính và số điểm ảnh lân cận tương ứng (8,1), (16,2) và (24,3).12 Ví dụ về toán tử LBP mở rộng với các vùng tròn có bán kính và số điểm ảnh lân cận tương ứng (8,1), (12, 2.13 Đặc trưng Haar-like cơ bản.14 Các đặc trưng Haar-like mở rộng.15 Tính giá trị ảnh tích phân tại điểm P có tọa độ (x, y).16 Tính nhanh tổng các giá trị điểm ảnh của vùng D trên ảnh.17 Hệ thống điểm của MPEG-4 4 [62].18 Đặc trưng được đưa ra của nhóm Chuang [28].19 Nội suy tuyến tính khuôn mặt từ trạng thái tự nhiên sang trạng thái cười .20 Nghiên cứu của Tong-Yee Lee và Po-Hua Huang [109].21 Nghiên cứu của Henry Schäfer và cộng sự [52].1 Quy trình trích chọn đặt trưng cử chỉ khuôn mặt.2 Ví dụ của phép so sánh cường độ.3 Sơ đồ module hệ thống.4 Phép biến đổi Đồng dạng.5 Mặt nạ kết cấu hình dạng.6 Một số kết quả định vị tập điểm điều khiển.7 Các biểu đồ thống kê tỉ lệ chính xác theo ngưỡng chấp nhận.8 Biểu đồ thống kê tỉ lệ chính xác theo từng loại biểu cảm.1 Tập điểm của Luxand.2 Điều khiển hoạt động của Khủng Long dựa vào điểm điều khiển.3 Hàm cơ sở bán kính (RBF).4 Đầu vào của thuật toán nội suy dựa vào RBF.5 Đầu vào của thuật toán nội suy dựa vào RBF.6 Kết quả nội suy đối tượng.7 Mô hình mẫu ở trạng thái cân bằng (a), và trạng thái đích (b).8 Lược đồ nội suy biểu cảm.9 Ví dụ dữ liệu mô hình mặt 3D.10 Một số mẫu biến thể của đối tượng.11 Một số kết quả gom cụm với nhiều mức K.12 Biểu đồ tương quan giữa sai số với các giá trị K.13 Một số hình ảnh kết quả nắn chỉnh: hàng 1 là các mô hình mục tiêu, hàng 2 là tương ứng các mô hình được nắn chỉnh từ mô hình 3D tham chiếu.14 Biểu đồ tương quan giữa sai số với các giá trị K với trường hợp biến đổi các biểu cảm khác nhau của người mẫu KA.15 Biểu đồ tương quan giữa sai số với các giá trị K với trường hợp biến đổi giữa những người khác nhau trên cùng biểu cảm trung tính.16 Mô hình hệ thống mô phỏng biểu cảm khuôn mặt.