Luận án tiến sĩ: Nghiên cứu và phát triển kỹ thuật định vị hình ảnh hỗ trợ dẫn đường cho người khiếm thị

MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC vi DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT vii DANH MỤC CÁC BẢNG ix DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ xv MỞ ĐẦU 1 1 TỔNG QUAN VỀ HỆ THỐNG TRỢ GIÚP NGƯỜI KHIẾM THỊ 4 1.2 Các nghiên cứu liên quan .1 Các nghiên cứu trên thế giới .2 Các nghiên cứu trong nước .3 Mục tiêu nghiên cứu và phương pháp đề xuất .1 Mục tiêu và phạm vi nghiên cứu .2 Phương pháp đề xuất .4 Kết luận chương 1. 13 2 BIỂU DIỄN MÔI TRƯỜNG VÀ ĐỊNH VỊ 14 2.1 Giới thiệu chung .2 Những nghiên cứu liên quan .1 Hướng tiếp cận sử dụng bản đồ số liệu .2 Hướng tiếp cận sử dụng bản đồ topo .3 Hướng tiếp cận lai .3 Đề xuất hướng tiếp cận lai ngữ nghĩa biểu diễn môi trường .4 Phương pháp xây dựng bản đồ môi trường .1 Xây dựng bản đồ số liệu .1 Phương pháp đo hành trình bằng hình ảnh sử dụng mô hình không chắc chắn .2 Thích nghi VO cho môi trường trong nhà .2 Xây dựng bản đồ topo .1 Giải thuật FAB-MAP .2 Thích nghi và cải thiện FAB-MAP xây dựng bản đồ topo 39 2.3 Bổ sung thông tin đối tượng vật cản tĩnh trên bản đồ .5 Phương pháp định vị .6 Kết quả thực nghiệm .1 Môi trường đánh giá .2 Thu thập dữ liệu đánh giá .1 Hệ thống thu thập dữ liệu .2 Thu thập dữ liệu .3 Kết quả đánh giá .1 Đánh giá phương pháp xây dựng bản đồ số liệu .2 Đánh giá phương pháp định vị hình ảnh .7 Kết luận chương 2. 59 3 PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN 60 3.1 Định nghĩa bài toán và các thách thức .2 Những nghiên cứu liên quan .1 Các phương pháp sử dụng 01 camera .1 Hướng nghiên cứu sử dụng stereo camera .2 Hướng nghiên cứu sử dụng cảm biến Kinect .3 Phân tích và đánh giá các phương pháp .3 Đề xuất phương pháp phát hiện và ước lượng khoảng cách .4 Phát hiện vật cản .1 Phát hiện vật cản cố định .1 Đối sánh các điểm đặc trưng .2 Phát hiện vật cản từ kết quả đối sánh .3 Xác định vùng chứa đối tượng .2 Phát hiện vật cản động .1 Trích chọn đặc trưng HoG .2 Bộ phân loại SVM .5 Uớc lượng khoảng cách vật cản .1 Nguyên lý ước lượng khoảng cách .2 Xây dựng bản đồ chênh lệch .1 Thu thập dữ liệu .2 Hiệu chỉnh hình ảnh .3 Đối sánh hình ảnh .4 Tính toán độ sâu .6 Kết quả đánh giá .1 Xây dựng cơ sở dữ liệu vật cản .2 Đánh giá giải thuật phát hiện đối tượng .3 Đánh giá giải thuật ước lượng khoảng cách vật cản .7 Kết luận chương 3. 98 4 PHÁT TRIỂN VÀ THỬ NGHIỆM HỆ THỐNG DẪN ĐƯỜNG 99 4.1 Hệ thống tích hợp .1 Tích hợp phần cứng .2 Kiến trúc tổng thể .2 Phát triển hệ thống dẫn đường sử dụng robot .1 Tìm đường cho robot .2 Điều khiển robot .1 Điều khiển trực tiếp dựa trên đường đi xác định .2 Điều khiển theo dự báo và hiệu chỉnh vị trí của bộ lọc Kalman .3 Tương tác người-robot .3 Thử nghiệm và đánh giá hệ thống dẫn đường .1 Môi trường và quy trình thử nghiệm .1 Môi trường thử nghiệm .2 Quy trình thử nghiệm .2 Kết quả thực nghiệm .1 Đánh giá khả năng xác định vị trí xuất phát của robot 116 4.2 Đánh giá khả năng điều khiển robot .3 Đánh giá khả năng tương tác người-robot .4 Đánh giá hệ thống dẫn đường trợ giúp NKT bằng robot 121 4.3 Bàn luận hệ thống robot dẫn đường .4 Kết luận chương 4.

132 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 133 TÀI LIỆU THAM KHẢO 136 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN 148 PHỤ LỤC 151 v A MỘT SỐ PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG 151 A.1 Đặc trưng Harris Corner .2 Đặc trưng SIFT .3 Đặc trưng SURF .4 Đặc trưng GIST .5 Đặc trưng HoG .6 Đặc trưng Haar. 170 B ĐÁNH GIÁ HIỆU NĂNG NHẬN DẠNG TRÊN MỘT SỐ CSDL 173 B.1 Giới thiệu 3 CSDL thử nghiệm .2 Khung nhận dạng đối tượng tổng quát .4 Kết quả đánh giá. 183 C THIẾT KẾ HỆ THỐNG THU THẬP DỮ LIỆU 188 C.1 Xe camera thu thập dữ liệu .2 Hiệu chỉnh camera góc rộng .3 Robot PC-Bot914. 193 vi DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT TT Viết tắt Nghĩa đầy đủ (tiếng Việt/tiếng Anh) 1 AM Appearance based Mapping 2 AP Average Precision 3 BOW Bag of Words 4 CSDL Cơ sở dữ liệu 5 ED Euclidean Distance 6 FAB-MAP Fast Appearance Based Mapping 7 FLANN Fast Library for Approximate Nearest Neighbors 8 FN False Negative 9 FP False Positive 10 GPS Global Positioning System 11 HOG Histogram of Oriented Gradients 12 HSI Hue Saturation and Intensity 13 KF Kalman Filter 14 KH&CN Khoa học và Công nghệ 15 k-NN K-Nearest Neighbors 16 LASER Light Amplification by Stimulated Emission of Radiation 17 LATS Luận án tiến sĩ 18 LIDAR Light Detection And Ranging 19 MICA Multimedia, Information, Communication & Applications 20 MUT Motion Uncertainty Tetragon 21 NCS Nghiên cứu sinh 22 NĐC Nguyễn Đình Chiểu 23 NKT Người khiếm thị 24 PUT Perspective Uncertainty Tetragons 25 RANSAC RANdom SAmple Consensus 26 RFID Radio Frequency Identification 27 RGB Red Green and Blue 28 RMSE Root Mean Square Error 29 SAD Sum of Absolute Differences 30 SIFT Scale Invariant Feature Transforms 31 SLAM Simultaneous Localization and Mapping 32 SURF Speeded Up Robust Features 33 SVM Support Vector Machine 34 TP True Positive 35 TQB Tạ Quang Bửu 36 VO Visual Odometry 37 WIFI Wireless Fidelity vii DANH MỤC CÁC BẢNG Bảng 2.1 Bảng tổng hợp thông tin về 03 môi trường thử nghiệm .2 Tốc độ lấy mẫu (fps) của các camera tại các môi trường thử nghiệm 47 Bảng 2.3 Dữ liệu thu thập tại E1:NĐC .4 Dữ liệu thu thập tại E2:TQB .5 Dữ liệu thu thập tại E3:MICA .6 Kết quả đánh giá RMSE tại E1:NĐC .7 Kết quả đánh giá độ sai số tiêu chuẩn RMSE tại E2:TQB .8 Kết quả đánh giá độ sai số tiêu chuẩn RMSE tại E3:MICA .9 So sánh khả năng định vị của giải thuật FAB-MAP* tại E1:NĐC 54 Bảng 2.10 Kết quả đánh giá so sánh giải thuật định vị FAB-MAP* tại E2:TQB 56 Bảng 2.11 Kết quả đánh giá so sánh giải thuật định vị FAB-MAP* tại E3:MICA 57 Bảng 3.1 Kết quả thu nhận dữ liệu khung cảnh/đường đi phục vụ đánh giá 88 Bảng 3.2 Thu thập dữ liệu đánh giá phát hiện và ước lượng khoảng cách vật cản .3 Kết quả phát hiện đối tượng theo phương pháp đề xuất .4 Kết quả phát đánh giá so sánh với phương pháp Haar-AdaBoost 91 Bảng 3.5 Kết quả dự đoán độ sai số ước lượng khoảng cách vật cản .1 Danh sách tham gia thử nghiệm dẫn đường tại E1:NĐC .2 Danh sách tham gia đánh giá hệ thống dẫn đường tại E2:TQB .3 Danh sách tham gia đánh giá hệ thống dẫn đường tại E3:MICA .4 Kết quả đánh giá điểm xuất phát của robot .5 Kết quả đánh giá vai trò lọc Kalman trong điều khiển robot .6 Kết quả sai số định vị sử dụng sai số trung vị .7 Kết quả sai số định vị sử dụng sai số trung bình .8 Bảng câu hỏi phỏng vấn trước và sau khi sử dụng hệ thống .9 Tổng hợp kết quả tần số rung (Hz) phản hồi thông tin môi trường 121 Bảng 4.10 Kết quả đánh giá độ sai số RMSE khi robot chuyển động tịnh tiến 122 Bảng 4.11 Kết quả đánh giá hiệu năng robot dẫn đường chuyển động tịnh tiến122 Bảng 4.12 Kết quả đánh giá robot dẫn đường chuyển động tịnh tiến .13 Kết quả đánh giá độ sai số RMSE với kịch bản robot chuyển động tịnh tiến và quay tại E1:NĐC .14 Kết quả robot dẫn đường chuyển động quay và tịnh tiến tại E1:NĐC124 Bảng 4.15 Đánh giá các lần thử nghiệm hệ thống dẫn đường tại E1:NĐC .16 Kết quả sai số RMSE robot phát hiện vật cản xuất hiện bất ngờ tại E1:NĐC .17 Kết quả đánh giá hiệu năng dẫn đường robot phát hiện vật cản .18 Kết quả đánh giá robot dẫn đường chuyển động quay và tịnh tiến 127 Bảng 4.19 Kết quả đánh giá độ sai số RMSE tại E2:TQB .20 Kết quả đánh giá hiệu năng dẫn đường robot tại E2:TQB .21 Tổng hợp kết quả robot dẫn đường tại E2:TQB .22 Kết quả đánh giá độ sai số RMSE tại E3:MICA .23 Kết quả đánh giá hiệu năng dẫn đường của robot tại E3:MICA .24 Tổng hợp kết quả robot dẫn đường tại E3:MICA .25 Bảng tổng hợp thông số kỹ thuật .1 Quy định thang tính điểm phần thi nhận dạng RobotVision2013 182 Bảng B.2 Kết quả nhận dạng tượng CSDL Naiscorp 2012 .3 Kết quả điểm nhận dạng đối tượng CSDL Robot Vision 2013.

185 ix DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ Hình 1.1 Các thành phần chính của hệ thống đề xuất Robot trợ giúp NKT 13 Hình 2.1 Mô hình biểu diễn môi trường theo hướng tiếp cận lai ngữ nghĩa .2 Minh họa di chuyển của robot với vận tốc v và góc lái α .3 Các bước giải thuật đo hành trình bằng thông tin hình ảnh VO .4 Một số trường hợp lỗi tích lũy khi xây dựng bản đồ .5 Một số cấu trúc mặt nền thử nghiệm thuật toán VO .6 Tạo các điểm đánh dấu dọc hành trình .7 Minh họa số điểm đặc trưng phát hiện trên mặt sàn .8 Minh họa phương pháp thử nghiệm khi tạo các mẫu đánh dấu .9 Các bước của giải thuật FAB-MAP [29] .10 Xây dựng từ điển và biểu diễn quan sát theo mô hình túi từ .11 Một số những thách thức khi nhận dạng vị trí trong môi trường .12 Cây nhị phân Chow liu theo hướng đồ thị có hướng .13 Biểu diễn các quan sát cùng xuất hiện tại một thời điểm .14 Biểu diễn vị trí Li thành phần quan sát eq và quan sát có nhiễu zq 35 Hình 2.15 Xác định khung cảnh phân biệt: (a) Chuỗi hình ảnh khung cảnh; (b) Khung cảnh đại diện .16 Xác định các khung cảnh có cấu trúc giống nhau .17 Minh họa các bước trích chọn đặc trưng GIST .18 Minh họa kết quả loại bỏ khung cảnh có cấu trúc giống nhau .19 Minh họa các bước thực hiện giải thuật FAB-MAP* .20 Minh họa bước thực hiện cập nhật điểm mốc quan trọng .21 Mô hình định vị sử dụng thông tin hình ảnh sử dụng robot .22 Hệ thống thu thập dữ liệu .23 Biểu đồ so sánh RMSE giữa VO và VO* tại E1:NĐC .24 Minh họa giá trị ngưỡng θV O quyết định số điểm đặc trưng .25 Kết quả xây dựng bản đồ sử dụng VO và VO* tại E1:NĐC .26 Biểu đồ so sánh RMSE giữa VO và VO* tại E2:TQB .27 Kết quả xây dựng bản đồ sử dụng VO và VO* tại E2:TQB .28 Biểu đồ so sánh sai số RMSE giữa VO và VO* tại E3:MICA .29 Kết quả xây dựng bản đồ sử dụng VO và VO* tại E3:MICA .