Nghiên cứu Kỹ thuật Khôi phục Mặt người Ba Chiều từ Sọ - Luận án TS Công nghệ Thông tin

ĐẠI HỌC QUỐC GIA HÀ N ỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ MA THỊ CHÂU NGHIÊN C ỨU MỘT SỐ KỸ THUẬT KHÔI PHỤC MẶT NGƯỜI BA CHIỀU TỪ SỌ LUẬN ÁN TIẾN SĨ CÔNG NGH Ệ THÔNG TIN HÀ N ỘI – Năm 2013 ĐẠI HỌC QUỐC GIA HÀ N ỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ MA THỊ CHÂU NGHIÊN C ỨU MỘT SỐ KỸ THUẬT KHÔI PHỤC MẶT NGƯỜI BA CHIỀU TỪ SỌ Chuyên ngành: Khoa học Máy tính Mã s ố: 62 48 01 01 LUẬN ÁN TIẾN SĨ CÔNG NGH Ệ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: 1.BÙI TH Ế DUY 2. TAE – WAN KIM HÀ N ỘI – Năm 2013 LỜI CẢM ƠN Để hoàn thành luận án, tác giả đã nhận được sự giúp đỡ nhiệt tình và tạo điều kiện của rất nhiều người, sau đây tác giả xin được phép bày tỏ lời cảm ơn chân thành: Tôi xin gửi lời cảm ơn chân thành và sâu sắc nhất tới hai thầy Bùi Thế Duy – Trường Đại học Cô ng nghệ, Đại học Quốc gia Hà Nội và thầy Tae-wan Kim – Trường Đại học quốc gia Seoul, Hàn Quốc, những người thầy tâm huyết đã tận tình hướng dẫn, động viên khích lệ, dành nhiều thời gian quí báu để định hướng cho tôi trong quá trình tham gia khóa học và hoàn thiện luận án. Tôi xin gửi lời cảm ơn chân thành tới lãnh đạo trường Đại học Công nghệ, lãnh đạo Khoa Cô ng nghệ thông tin, cảm ơn các đồng nghiệp đã tạo điều kiện thuận lợi cho tôi trong quá trình làm luận án. Tôi xin gửi lời cảm ơn chân thành tới các bạn đồng nghiệp trong phòng thí nghiệm Tương tác Người máy, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, những người luôn bên tôi động viên, góp ý, chỉnh sửa trong quá trìnhviết luận án.

Tôi xin gửi lời cảm ơn chân thành tới bác Nguyễn Trọng Toàn – Nguyên giám đốc Viện pháp y quân đội, người đã cung cấp số liệu và có những lời khuyên bổ ích giúp tôi tiếp cận số liệu nhân trắc khuôn mặt hiệu quả để tôi hoàn thành được luận án này. Tôi xin gửi lời cảm ơn chân thành tới bạn Nguyễn Đình Tư – Phòng thí nghiệm Tương tác Người máy, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, bạn Phạm Bá Mấy – Viện CNTT, Viện Khoa học Việt Nam đã nhiệt tình giúp đỡ tôi trong quá trình triển khai thu thập số liệu và can thiệp thô ng tin nhân trắc. Tôi xin gửi lời cảm ơn đặc biệt tới anh Đặng Trung Kiên, người đã có những chỉ dẫn, lời khuyên, động viên bổ ích và thiết thực nhất trong quá trình tôi thực hiện luận án. Cuối cù ng, tôi xin gửi tấm lòng ân tình tới bố mẹ, chồng con.

Gia đình của tôi là nguồn động viên và truyền nhiệt huyết để tôi hoàn thành luận án. i LỜI CAM ĐOAN Tôi xin cam đoan: Bản luận án tốt nghiệp này là cô ng trình nghiên cứu thực sự của cá nhân, được thực hiện trên cơ sở nghiên cứu lý thuyết, kiến thức kinh điển, nghiên cứu khảo sát tình hình thực tiễn và dưới sự hướng dẫn khoa học của PGS. Bùi Thế Duy và GS. Tae-wan Kim.

Các số liệu, mô hình toán và những kết quả trong luận án là trung thực, các giải pháp đưa ra xuất phát từ thực tiễn và kinh nghiệm, chưa từng được côn g bố dưới bất cứ hình thức nào trước khi trình, bảo vệ và công nhận bởi “Hội Đồng đánh giá luận án tốt nghiệp Tiến sĩ Cô ng nghệ Thô ng Tin”. Một lần nữa, tôi xin khẳng định về sự trung thực của lời cam kết trên. Tác giả: ii MỤC LỤC LỜI CẢM ƠN. i LỜI CAM ĐOAN.

ii MỤC LỤC. iii DANH MỤC CÁ C KÝ HIỆU VÀ CHỮ VIẾT TẮT. vi DANH MỤC CÁ C BẢNG. vii DANH MỤC CÁ C HÌNH VẼ.

viii MỞ ĐẦU.2 Bài toán và c ách giải quyết của chún g tôi.3 Cấu trú c của luận án. KIẾN THỨC CƠ BẢN VỀ DỰNG KHUÔN MẶT TỪ HỘP SỌ 7 2.1 Các cách tiếp cận dựng khuôn mặt từ hộp sọ.1 Dựng thủ cô ng khuôn mặt từ hộp sọ.2 Dựng khuôn mặt từ hộp sọ với trợ giúp c ủa máy tính.2 Biểu diễn mô hình ba chiều khuôn mặt và sọ.1 Mô hình hóa bề mặt khuôn mặt bằng lưới đa giác.2 Mô hình hóa bề mặt khuôn mặt bằng bề mặt tham số. DỰNG MÔ HÌNH BA CHIỀU CỦA SỌ TỪ ẢNH.1 Những nghiên cứu liên quan.1 Dựng mô h ình ba chiều khuôn mặt từ ảnh.2 Các bộ trích chọn đặc trưng trên ảnh.2 Thuật toán dựng mô hình ba chiều của sọ từ ảnh.1 Thuật toán tính đặc trưng sọ ba chiều.2 Ảnh hưởng của lỗi trượt lên đặc trưng sọ ba chiều và cách khắc phục.3 Biến đổi mô hình ba chiều của sọ mẫu bằng RBF.4 Đặc tính hội tụ và độ phức tạp các thuật toán .3 Thử nghiệm và đánh giá .1 Tính lỗi trượt và điều chỉnh đặc trưng sọ ba chiều .2 Đánh giá hiệu quả điều chỉnh đặc trưng sọ ba chiều dựa trên lỗi trượt .4 Kết luận chương. DỰNG MÔ HÌNH BA CHIỀU KHUÔN MẶT TỪ MÔ HÌNH BA CHIỀU CỦA SỌ.1 Những nghiên cứu liên quan .1 Dựng mô hình ba chiều khuôn mặt từ mô hình ba chiều của sọ với trợ giúp của máy tính.2 Các phương pháp đánh giá mô h ình ba chiều khuôn mặt kết quả .2 Thuật toán dựng mô hình ba chiều khuôn mặt từ mô hình ba chiều của sọ 51 4.1 Các mốc đo, số đo trên sọ và xác định độ dày mô mềm.2 Biến đổi mô hình ba chiều khuôn mặt mẫu bằng RBF .3 Đặc tính hội tụ và độ phức tạp các thuật toán .3 Thử nghiệm và đánh giá .1 Xác định cô ng thức tính độ dày mô mềm .2 Dựng mô h ình ba chiều khuôn mặt từ mô h ình ba chiều của sọ .4 Kết luận chương.

TRÍCH CHỌN ĐẶC TRƯNG TỰ ĐỘNG TRÊN MÔ HÌNH BA CHIỀU CỦA SỌ.1 Những nghiên cứu liên quan .1 Trích chọn đặc trưng ba chiều dựa trên đa giác .2 Trích chọn đặc trưng ba chiều dựa trên điểm.2 Trích chọn đặc trưng .1 Phân đoạn dữ liệu .2 Trích chọn điểm gó c.3 Trích chọn cạnh .4 Đặc tính hội tụ và độ phức tạp các thuật toán .3 Kết quả thử nghiệm .4 Kết luận chương. 89 iv CHƯƠNG 6. KẾT QUẢ NGHIÊ N CỨU VÀ BÀN LUẬN.92 DANH MỤC CÁC CÔ NG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊ N QUAN ĐẾN LUẬN Á N. 93 TÀI L IỆU THAM KHẢO.

94 PHỤ LỤC 1 - HÌNH HỌC E-PI-PÔ -LA. 103 PHỤ LỤC 2 - BIẾN ĐỔI BỀ MẶT BA CHIỀU DỰA VÀO HÀM BÁ N KÍNH CƠ SỞ. 106 PHỤ LỤC 3 - MỘT SỐ PHÉ P TOÁN. 110 PHỤ LỤC 4 - CÁ C SỐ ĐO NHÂN TRẮC.

116 v DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT VIẾT TẮT ABBFP (Angle Between Best Fit Polynomial) : Góc giữa các đa thức tốt nhất BFP ( Best Fit Polynomial) : Đa thức tốt nhất ESOD (Extended Second Order Difference) : Vi phân bậc hai mở rộng MC (Marching Cubes) : Các khối liên kết MSE (Mean Square Error) : Trung bình sai phương PCA (Principle Component Analysis) : Phân tích thành phần chính RBF ( Radial Basic Function) : Hàm bán kính cơ sở SFM (Structure From Motion) : Cấu trúc từ chuyển động SOD (Second Order Difference) : Vi phân bậc hai TPS (Thin-Plate Spline) : Mảnh S-pline mỏng THUẬT NGỮ Hộp sọ : Hộp sọ thật khai quật được Mô hình ba chiều của sọ : Mô hình ba chiều của bề mặt hộp sọ dưới dạng lưới đa giác Mô hình ba chiều khuô n mặt : Mô hình ba chiều của bề mặt khuôn mặt dưới dạng lưới đa giác vi DANH MỤC CÁC BẢNG Bảng 3.1: Lỗi trung bình và lỗi lớn nhất của các điểm đặc sọ trưng ba chiều trước và sau khi được điều chỉnh.1: Lỗi trung bình của hai phương pháp.1: Một số hàm bán kính cơ sở.2: Các số đo trên sọ.3: Mốc đo độ dày mô mềm.4: Cô ng thức tính độ dày mô mềm theo phương pháp hồi qui tuyến tính 118 Bảng 6.5: Các số đo sọ dùng để tính độ dày mô mềm theo phương pháp dù ng mạng nơ-ron 120 vii DANH MỤC CÁC HÌNH VẼ Hình 1.1: Qui trình dựng mô h ình ba chiều khuôn mặt từ hộp sọ.1: Dựng thủ cô ng khuôn mặt từ hộp sọ.2: Một hệ thống chồng khít ảnh lên hộp sọ.3: Dựng khuôn mặt dựa trên giải phẫu.4: Dựng khuôn mặt dựa trên độ dày mô mềm.5: Vídụ về biểu diễn bề mặt khuôn mặt bằng lưới đa giác.6: Vídụ về biểu diễn bề mặt khuôn mặt bề mặt s-pline.1: Dựng mô h ình ba chiều khuôn mặt từ ảnh dựa vào hiệu chỉnh ảnh.2: Ảnh bảng ca-rô để hiệu chỉnh máy quay.3: Dựng mô hình ba chiều khuôn mặt từ ảnh dùng bảng ca-rô để hiệu chỉnh máy quay.4: Dựng mô hình ba chiều khuôn mặt từ thiết lập nguồn sáng khi chụp ảnh.5: Dựng mô hình ba chiều khuôn mặt dựa vào mô hình ba chiều khuôn mặt mẫu.6: Dựng mô h ình ba chiều của sọ từ ảnh.7: Tínhđiểm đặc trưng sọ ba chiều.8: Một số điểm đặc trưng sọ ba chiều.9: Lỗi trượt và điều chỉnh điểm ba chiều.10: Mối quan hệ giữa điểm hai chiều và ba chiều.11: Đánh giá sai số trượt và điều chỉnh đặc trưng sọ ba chiều.12: Mô hình ba chiều của sọ mẫu.13: Xác định điểm đặc trưng trên mô h ình ba chiều của sọ mẫu.14: Chụp ảnh sọ quét.15: Hộp sọ quét trước (trái) và sau (phải) khi đánh dấu thêm các nhãn.16: Đối sánh đặc trưng SIFT.17: Đối sánh đặc trưng HARRIS.18: Lỗi trượt trên ảnh của hộp sọ thứ nhất.19: Lỗi trượt trên ảnh của hộp sọ thứ hai.20: Đặc trưng sọ ba chiều trước điều chỉnh và sau điều chỉnh.1: Dựng mô hình ba chiều khuôn mặt từ mô hình ba chiều của sọ dựa vào độ dày mô mềm.2: Dựng mô hìnhba chiều khuôn mặt từ mô hìnhba chiều của sọ của Bullock.3: Các cấp biến đổi trong phương pháp của Archer.4: Các thành phần dùng để khôi p hục khuôn mặt .5: Tìm công thức tính độ dày mô mềm.6: Dựng mô h ình ba chiều khuôn mặt từ mô hình ba chiều của sọ.7: Gắn kim trên mô h ình ba chiều của sọ.8: Mốc nhân trắc trên sọ.9: Nội suy kim .10: Biến đổi mô hình ba chiều khuôn mặt mẫu .11: Các điểm mốc chuẩn hó a dữ liệu trên mô hình ba chiều khuôn mặt mẫu 61 Hình 4.12: Đồ thị mô tả trung bình sai phương.13: Hai mô hình ba chiều khuôn mặt kết quả .1: Bề mặt và bề mặt trung tâm .2: Nối và làm trơn đặc trưng đường.3: Làm trơn và nối các đồ thị .4: Trích chọn đặc trưng trên mô h ình ba chiều của sọ.5: Hộp bao mô h ình ba chiều của sọ.6: Phân đoạn lát cắt mô hình ba chiều của sọ.7: Minh họa phương pháp tập mức.8: Biên của đối tượng ứng với F(u,C) khác nhau.