Luận án: Phân đoạn ảnh RGB-D và Khôi phục Thông tin bằng Logic Mờ Loại 2

LỜI CẢM ƠN Đầu tiên, tôi xin chân thành cảm ơn giáo viên hướng dẫn PGS. Đào Thanh Tĩnh người đã tận tình chỉ dẫn về mặt chuyên môn, định hướng ý tưởng nghiên cứu cũng như hỗ trợ tôi về tin thần cũng như công việc để tôi thực hiện nghiên cứu này. Tôi cũng rất cảm ơn đến các đồng nghiệp trong bộ môn Hệ thống thông tin và Khoa công nghệ thông tin Học viện Kỹ thuật quân sự đã động viên, hỗ trợ tôi trong quá trình thực hiện luận án này. Tôi cũng xin cảm ơn đến TS.

Tăng Văn Hạ, PGS. Ngô Thành Long đã cùng cộng tác thực hiện một số công trình nghiên cứu cũng như đưa ra những nhận xét và góp ý quý báu để hoàn thiện các nghiên cứu này. Cuối cùng tôi xin cảm ơn gia đình tôi đã đồng hành, hỗ trợ, tạo điều kiện cho tôi thực hiện luận án này. LỜI CAM ĐOAN Tôi xin cam đoan rằng trong luận án này không chứa nội dung đã được sử dụng trong luận án, luận văn của các tác giả khác trong các trường đại học và học viện trong nước cũng như quốc tế ngoại trừ các tham khảo.

Với nhận thức của mình, tôi xin cam đoan các kết quả đã được trình bày trong luận án của mình chưa được xuất bản bởi các tác giả khác trong nước và quốc tế. Tác giả luận án Nguyễn Mậu Uyên i Mục lục Danh mục các chữ viết tắt iii Danh mục các bảng v Danh mục các hình vẽ, đồ thị v Mở đầu 1 Chương 1 Phân đoạn ảnh RGB-D dựa trên phân cụm 6 1.1 Ảnh RGB-D và mô hình thu nhận .2 Phân cụm dữ liệu và phân đoạn ảnh RGB-D .1 Phân cụm trừ mờ .2 Phân đoạn ảnh và phân cụm .3 Logic mờ loại 2 .2 Tập mờ loại 2 và tập mờ loại 2 khoảng .3 Sử dụng logic mờ trong bài toán xử lý ảnh .4 Phân đoạn ảnh và khôi phục thông tin trong ảnh. 35 Chương 2 Phân cụm mờ loại 2 khoảng và xác định đối tượng trên ảnh RGB-D 42 2.1 Logic mờ và phân cụm .1 Phân cụm mờ trừ loại 2 khoảng .2 Phân cụm trừ mờ loại 2 khoảng cải tiến .2 Trích xuất đối tượng trong ảnh RGB-D .1 Vấn đề trích xuất đối tượng trong ảnh RGB-D .2 Thuật toán trích xuất đối tượng trong ảnh RGB-D 62 2.3 Ứng dụng tính khoảng cách đến các đối tượng. 70 ii Chương 3 Khôi phục thông tin trong ảnh RGB-D 77 3.1 Khôi phục thông tin trong ảnh độ sâu .1 Đặc trưng ảnh độ sâu của camera Kinect .2 Khôi phục ảnh trong miền wavelet .2 Mô hình mờ khôi phục thông tin .1 Mô hình mờ giải quyết bài toán mất thông tin trong ảnh RGB-D .2 Thuật toán khôi phục ảnh độ sâu dựa trên logic mờ .3 Thử nghiệm mô hình khôi phục thông tin dựa trên logic mờ .3 Phương pháp gradient bước dài .1 Phương pháp xấp xỉ gradient .2 Phương pháp xấp xỉ gradient bước dài .3 Thử nghiệm thuật toán xấp xỉ gradient bước dài.

109 Kết luận 127 iii Danh mục các chữ viết tắt Chữ viết tắt Ý nghĩa ACC Tỷ lệ chính xác - Accuracy AIT2FSC Phân cụm mờ trừ loại hai khoảng cải tiến - Accelerated interval type-2 fuzzy subtractive clustering APG Phương pháp xấp xỉ gradient bước dài - Accelerated proximal gradient B3DO Cơ sở dữ liệu đối tượng trường Đại học Berkeley - Berkeley 3-D Object Dataset F1 Độ đo chính xác - F1 score FCM Phân cụm mờ c-Means - Fuzzy c-Means clustering FCRM Mô hình C-Regression mờ - Fuzzy C-Regression model FDR Xấp xỉ mờ khôi phục giá trị điểm mất thông tin trong ảnh độ sâu - Fuzzy depth reconstruction FOU Biên không chắc chắn bậc 2 - Footprint of uncertainty IT2FSC Phân cụm trừ mờ loại hai khoảng - Interval type-2 fuzzy subtractive clustering MSE Sai số toàn phương trung bình - Means square error NYU Đại học New York - New York University ODBC Phát hiện đối tượng dựa trên phân cụm - Object detection based on clustering PG Phương pháp xấp xỉ gradient - Proximal gradient iv Chữ viết tắt Ý nghĩa PSNR Tỷ lệ tín hiệu cực đại trên nhiễu - Peak signal-to-noise ratio RGB Ảnh màu, thu nhận bởi camera quang học bao gồm ba thành phần đỏ (R), xanh (G), xanh dương (B) RGB-D Ảnh màu kết hợp ảnh độ sâu ToF Camera độ sâu dựa trên tia quét - Time of Flight WashU Đại học Washington - Washington University v Danh mục các bảng 2.1 So sánh tỉ lệ N , ND , Ng trên ảnh độ sâu.2 So sánh tỉ lệ N , ND , Ng trên ảnh màu.3 Thống kê số lượng phần tử trên dữ liệu ảnh NYU.4 Thống kê khoảng cách tính được so với khoảng cách thực tế.1 Thống kê tỉ lệ mất thông tin trên các ảnh độ sâu.2 Thống kê độ lệch của các giá trị đã được khôi phục và giá trị đã được gán trên ảnh độ sâu.3 Thống kê PSNR của ảnh khôi phục và ảnh gốc với mặt nạ ngẫu nhiên (PG-APG).4 Thống kê PSNR của ảnh khôi phục và ảnh gốc với mặt nạ thiết lập (PG-APG).5 Thống kê số bước lặp trên mặt nạ ngẫu nhiên (PG-APG).6 Thống kê số bước lặp trên mặt nạ thiết lập (PG-APG).7 Thống kê PSNR của ảnh khôi phục và ảnh gốc với mặt nạ ngẫu nhiên (FDR-APG).8 Thống kê PSNR của ảnh khôi phục và ảnh gốc với mặt nạ thiết lập (FDR-APG).9 Thống kê chỉ số PSNR cho thuật toán APG.10 Thống kê chỉ số PSNR cho thuật toán FDR.11 Thống kê độ chính xác phát hiện đối tượng. 124 vi Danh mục các hình vẽ, đồ thị 1.1 Mô hình camera Kinect.2 Ảnh thu nhận từ camera Kinect.3 Hình ảnh độ sâu trước và sau khi khôi phục.4 Mô hình tập mờ .5 Biểu diễn phép AND.6 Biểu diễn phép OR.7 Tập mờ và phần bù.8 Mô hình logic mờ.9 Hàm thuộc tập mờ loại 2.10 Ảnh độ sâu được thu nhận từ camera Kinect.1 Ảnh độ sâu và ảnh màu.2 Lược đồ histogram của ảnh độ sâu.3 Tọa độ không gian tương ứng với camera Kinect.4 Mặt phẳng nền của di chuyển.5 Ảnh trước và sau khi loại bỏ mặt phẳng nền của di chuyển.6 Ảnh trước và sau khi loại bỏ mặt phẳng nền của di chuyển (NYU).7 Ảnh thu nhận trong phòng thí nghiệm.8 Lược đồ histogram của các ảnh độ sâu trong phòng thí nghiệm.9 Kết quả loại bỏ mặt phẳng nền của di chuyển.10 Các cụm trong ảnh độ sâu.11 Các đối tượng trong ảnh .12 Các đối tượng được quan tâm.13 So sánh khoảng cách thật và khoảng cách tính toán trên ảnh.1 Ảnh độ sâu thu nhận từ camera Kinect.2 Các trường hợp mất thông tin đặc trưng trong ảnh độ sâu.3 Hình ảnh nhiễu thu nhận từ camera Kinect.4 Hệ số wavelet của ảnh độ sâu.5 Một số loại mất thông tin.6 Mô hình lân cận 8.7 Các ảnh thử nghiệm khôi phục thông tin.8 Kết quả khôi phục độ sâu trên ảnh RGB-D theo cơ sở dữ liệu WashU [70].9 Kết quả so sánh chi tiết khôi phục thông tin.10 Kết quả thử nghiệm khôi phục thông tin.11 Biểu đồ so sánh tốc độ hội tụ và hệ số PSNR .12 Biểu đồ so sánh tốc độ cực tiểu hóa hàm chi phí .13 Các mặt nạ thử nghiệm thuật toán khôi phục thông tin.14 Các ảnh thử nghiệm khôi phục thông tin với thuật toán APG và FDR.15 Biểu đồ PSNR thử nghiệm thuật toán APG.16 Biểu đồ PSNR thử nghiệm thuật toán FDR. 122 1 Mở đầu Công nghệ tích hợp "khả năng suy nghĩ và thực thi của con người" cho máy móc đã đặt ra nhu cầu trang bị khả năng nhìn cho các thiết bị. Kỹ thuật xử lý ảnh đã được nhiều nhà khoa học quan tâm nghiên cứu để đáp ứng nhu cầu này.

Một số thiết bị chuyên dụng đã được chế tạo để đo được khoảng cách từ camera thu nhận đến bề mặt vật thể (độ sâu), kết quả thu nhận được là hình ảnh độ sâu. Các thiết bị được sử dụng để thu nhận ảnh độ sâu có thể kể đến là stereo camera, thiết bị camera dựa trên các tia quét ToF (Time-of-Flight camera) và các loại khác. Trong thời gian gần đây, một số thiết bị camera hồng ngoại thu nhận ảnh độ sâu như Kinect của Microsoft, ASUS Xtion Pro, Intel Leap Motion được các nhà nghiên cứu quan tâm khai thác. Nhiều nhóm nghiên cứu của các phòng thí nghiệm và trường đại học đã xây dựng nhiều cơ sở dữ liệu thông tin hình ảnh RGB-D để nghiên cứu và thử nghiệm.

Một số cơ sở dữ liệu tiêu biểu như các cơ sở dữ liệu hình ảnh của Đại học Rzeszow [68], Đại học New York [106], Đại học Washington [70], Đại học Viên (Wein) [76], Đại học California vùng Berkeley [58] và một số khác được mô tả trong các công bố [6], [8], [12], [40]. Trong nước cũng có nhiều nhóm nghiên cứu quan tâm đến xử lý ảnh RGB-D như viện MICA - Viện Nghiên cứu quốc tế MICA, với các công bố [55], [92], [96], [113], nhóm nghiên cứu đến từ Đại học Quốc gia Thành phố Hồ Chí Minh [114]. Đặc trưng mới của ảnh RGB-D đặt ra bài toán phân đoạn, xác định đối tượng trong không gian mới. Bên cạnh đó, ảnh độ sâu (D) có chứa nhiễu và các điểm mất thông tin (các điểm không thu được giá trị độ sâu) đặt ra nhóm bài toán khử nhiễu và khôi phục giá trị điểm mất thông tin.

2 Do giá thành thấp và khả năng cung cấp ảnh độ sâu bên cạnh ảnh màu nên camera có đặc tính tương tự như camera Kinect được nghiên cứu và ứng dụng trong nhiều lĩnh vực khác nhau. Các hình ảnh thu nhận được từ hệ thống camera được sử dụng trong nhiều ứng dụng như hỗ trợ giám sát thông tin cư dân trong công bố [3], giám sát việc ngã của người đột quỵ trong công bố [68], [113]. Ảnh RGB-D được sử dụng để tái tạo không gian và hỗ trợ cho việc định hướng di chuyển của robot trong các nghiên cứu [26], [37], [110], [122]. Các nghiên cứu trong [1], [55], [56], [72], [96] được ứng dụng vào bài toán hỗ trợ người khiếm thị trong cảnh báo vật cản trong quá trình di chuyển.

Một ứng dụng khác là phân tích hình dạng tay để hỗ trợ trao đổi cho người khuyết tật [30], [92], [97]. Để đảm bảo các ứng dụng trên hoạt động có hiệu quả, các bài toán xử lý ảnh RGB-D nâng cao chất lượng ảnh độ sâu cho các bước xử lý tiếp theo đã được đặt ra. Các nhóm nghiên cứu Schöner H. cùng cộng sự trong công bố [103], Nguyen C.

và các đồng tác giả trong công trình [91] và các công bố [42], [46], [57], [73], [74], [79], [124] trình bày nhiễu, điểm mất thông tin trong ảnh độ sâu và các phương pháp để loại bỏ nhiễu và khôi phục giá trị điểm bị mất thông tin.