Luận án: Nghiên cứu phát triển thuật toán ước lượng mặt phẳng và dẫn đường cho robot

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Đặng Khánh Hòa NGHIÊN CỨU PHÁT TRIỂN CÁC THUẬT TOÁN ƯỚC LƯỢNG MẶT PHẲNG VÀ DẪN ĐƯỜNG CHO HỆ THỐNG THỊ GIÁC RÔ-BỐT TRONG NHÀ LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ Hà Nội – 2019 i BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Đặng Khánh Hòa NGHIÊN CỨU PHÁT TRIỂN CÁC THUẬT TOÁN ƯỚC LƯỢNG MẶT PHẲNG VÀ DẪN ĐƯỜNG CHO HỆ THỐNG THỊ GIÁC RÔ-BỐT TRONG NHÀ Ngành: Kỹ thuật điện tử Mã số: 9520203 LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. Nguyễn Tiến Dũng 2. Lê Dũng Hà Nội – 2019 ii LỜI CAM ĐOAN Tôi xin cam đoan rằng các kết quả khoa học được trình bày trong luận án này là thành quả nghiên cứu của bản thân tôi trong suốt thời gian làm nghiên cứu sinh và chưa từng xuất hiện trong công bố của các tác giả khác. Các kết quả đạt được là chính xác và trung thực.

Hà Nội, ngày 11 tháng 9 năm 2019 Tập thể giáo viên hướng dẫn khoa học Tác giả luận án TS. Nguyễn Tiến Dũng TS. Lê Dũng Đặng Khánh Hòa i LỜI CẢM ƠN Trước hết, tôi xin bày tỏ lời cảm ơn chân thành và sâu sắc đến tập thể hướng dẫn PGS. Nguyễn Tiến Dũng và TS.

Lê Dũng đã trực tiếp định hướng khoa học trong quá trình nghiên cứu. Các Thầy đã dành nhiều thời gian và tâm huyết, động viên về mọi mặt để tác giả hoàn thành luận án. Tác giả xin trân trọng cảm ơn Lãnh đạo trường Đại học Bách Khoa Hà Nội (HUST), Phòng Đào tạo, Viện Điện tử Viễn thông (SET), Bộ môn Điện tử và Kỹ thuật máy tính và TT Đào tạo thực hành đã tạo điều kiện thuận lợi cho nghiên cứu sinh trong suốt quá trình học tập và nghiên cứu. Chân thành cảm ơn các cán bộ, giảng viên, các cộng sự cũng như các anh chị NCS của Viện Điện tử Viễn thông đã động viên, hỗ trợ và tận tình giúp đỡ tác giả trong quá trình thực hiện luận án.

Tác giả cảm ơn chương trình 911, Bộ Giáo dục và Đào tạo đã tài trợ cho nghiên cứu sinh. Cảm ơn SET, HUST đã tài trợ thông qua đề tài nghiên cứu khoa học cấp cơ sở với mã T2016- PC-108. Cuối cùng, tôi xin bày tỏ lòng biết ơn đến song thân phụ mẫu, vợ và hai con vì những sự thúc đẩy, khích lệ và hy sinh nhiều trong thời gian vừa qua. Đây chính là động lực to lớn giúp tác giả vượt qua mọi trở ngại để hoàn thành luận án này.

Tác giả luận án ĐẶNG KHÁNH HÒA ii MỤC LỤC LỜI CAM ĐOAN. ii MỤC LỤC. iii DANH MỤC CÁC KÝ HIỆU. vi DANH MỤC CÁC CHỮ VIẾT TẮT.viii DANH MỤC CÁC BẢNG.x DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ.

xi MỞ ĐẦU. Tính cấp thiết của luận án. Trích xuất mặt phẳng. Trích xuất mặt phẳng đất.

Dẫn đường cho rô-bốt trong nhà. Mục tiêu, đối tượng, phương pháp và phạm vi nghiên cứu. Mục tiêu nghiên cứu. Đối tượng nghiên cứu.

Phương pháp nghiên cứu. Phạm vi nghiên cứu. Ý nghĩa khoa học và những đóng góp của luận án. Ý nghĩa khoa học.

Các đóng góp khoa học của luận án. Cấu trúc nội dung của luận án. TỔNG QUAN HỆ THỐNG DẪN ĐƯỜNG CHO RÔ-BỐT DỰA TRÊN HÌNH ẢNH THỊ GIÁC MÁY TÍNH. 12 Giới thiệu chương.

12 Hệ thống dẫn đường cho rô-bốt trong nhà. Các hệ thống dẫn đường cho rô-bốt trong nhà. Kiến trúc hệ thống dẫn đường rô-bốt sử dụng thị giác máy tính.15 Một số vấn đề của hệ thống rô-bốt dẫn đường dựa trên thị giác nổi. Phương pháp tính toán bản đồ chênh lệch/độ sâu.

Phương pháp trích xuất đối tượng mặt phẳng dựa trên ảnh thị giác máy tính. Phát hiện mặt phẳng đất dựa trên sự biến đổi ảnh thị giác. Phương pháp dẫn đường cho rô-bốt trong nhà trong môi trường chưa biết. 36 Tổng kết chương.

PHƯƠNG PHÁP TĂNG TỐC TÍNH TOÁN BẢN ĐỒ CHÊNH LỆCH VÀ PHÁT TRIỂN THUẬT TOÁN TRÍCH XUẤT MẶT PHẲNG.41 Giới thiệu chương. 41 Hệ thống máy ảnh nổi. Cảm biến hình ảnh. Cấu trúc hệ thống máy ảnh nổi.

Nguyên lý thị giác nổi. 45 Phương pháp tăng tốc tính toán bản đồ chênh lệch/độ sâu. Triển khai tính toán SAD thông thường. Triển khai tính toán SAD đề xuất.

Kết quả thực hiện và thảo luận. 49 Nguyên lý trích xuất đối tượng mặt phẳng. Độ sâu của điểm. Khái niệm mặt phẳng trong thị giác máy tính.

Khái niệm điểm lân cận và hàng xóm. 55 Triển khai phương pháp trích xuất đối tượng mặt phẳng. Kiến trúc hệ thống xử lý dữ liệu. Thuật toán đề xuất Tạo nhóm hàng xóm kết hợp lọc.

Kết quả thực nghiệm và thảo luận. 66 Tổng kết chương. PHÁT TRIỂN THUẬT TOÁN NHẬN DẠNG MẶT ĐẤT .68 Giới thiệu chương. 68 Nguyên lý nhận dạng đối tượng mặt đất.

68 Phương pháp nhận đối tượng mặt đất từ ảnh độ sâu chuẩn. Kiến trúc hệ thống xử lý dữ liệu. Thuật toán đề xuất. Kết quả thực nghiệm và thảo luận.

83 iv Phương pháp nhận dạng đối tượng mặt phẳng đất từ dữ liệu độ sâu thực tế. Kiến trúc hệ thống trích mặt đất từ dữ liệu độ sâu thực tế. Kết quả thực nghiệm và thảo luận. 92 Tổng kết chương.

PHÁT TRIỂN PHƯƠNG PHÁP DẪN ĐƯỜNG CHO RÔ- BỐT DỰA TRÊN THUẬT TOÁN NHẬN DẠNG MẶT ĐẤT.94 Giới thiệu chương. 94 Phương pháp dẫn đường sử dụng nhận dạng mặt đất. Mô hình hoạt động của rô-bốt trong nhà. Xác định kích thước 2D của điểm sâu.

Phương pháp dẫn đường AMSD đề xuất dựa trên khai thác dữ liệu độ sâu. 96 Kết quả thực nghiệm phương pháp dẫn đường AMSD dựa trên nhận dạng mặt đất và thảo luận. Kết quả thực nghiệm của phương pháp tránh vật cản cơ bản. Kết quả thực nghiệm của phương pháp tránh vật cản cải thiện.

110 Tổng kết chương. 110 KẾT LUẬN VÀ KIẾN NGHỊ. Kiến nghị nghiên cứu tiếp theo. 112 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN.113 TÀI LIỆU THAM KHẢO.

Kịch bản thực nghiệm 1. Kịch bản thực nghiệm 2. Kịch bản thực nghiệm 3. Kịch bản thực nghiệm 4.

132 v DANH MỤC CÁC KÝ HIỆU Ký hiệu Ý nghĩa A Cửa sổ tham chiếu a Góc chuyển hướng của xe rô bốt A’ Cửa sổ tìm kiếm Accurate Độ chính xác B Cửa sổ làm mịn Bottom Điểm liền kề dưới C Phép biến Coverage Độ bao phủ d Độ chênh lệch dmax Độ chênh lệch tối đa dmin Độ chênh lệch tối thiểu f Tiêu cự máy ảnh FN Bộ đếm các điểm đất đúng không được phát hiện FP Bộ đếm các điểm phi đất bị phát hiện sai. H Ma trận biến đổi phẳng IL Ảnh bên trái IR Ảnh bên phải Ngưỡng chênh lệch độ sâu của hai điểm liền kề K Ma trân hiệu chuẩn máy ảnh L Số điểm tính được độ chênh lệch Left Điểm liền kề bên trái maxbias Giới hạn độ lệch min Kích thước tối thiểu của mặt phẳng n Véc tơ pháp tuyến mặt đất OL Vị trí máy ảnh trái OR Vị trí máy ảnh phải p Điểm ảnh P Tập điểm ảnh PL Điểm phản chiếu của điểm p trên ảnh trái PR Điểm phản chiếu của điểm p trên ảnh phải Ngưỡng phân biệt khối đất và phi đất vi Q Số lượng điểm tính được độ chênh lệch hợp lệ R Phép xoay ảnh R1 Tỷ lệ phần trăm của các điểm đất được phát hiện R2 Tỷ lệ phần trăm của các điểm mặt đất được phát hiện không chính xác Right Điểm liền kề bên phải T Khoảng cách giữa hai máy ảnh hoặc máy ảnh với projector TN Bộ đếm các điểm phi đất đúng được phát hiện Top Điểm liền kề trên TP Bộ đếm các điểm đất đúng được phát hiện w Kích thước cửa sổ XG Tập hợp điểm có sẵn trên mặt đất xL Hoành độ trên ảnh trái xR Hoành độ trên ảnh phải z Độ sâu vii DANH MỤC CÁC CHỮ VIẾT TẮT Viết tắt Tên tiếng Anh Tên tiếng Việt 2D Two Dimensions Hai chiều 3D Three Dimensions Ba chiều AMDS Always Move Straight to the Thuật toán Luôn di chuyển thẳng Destination tới đích ANN Artificial Neural Network Mạng nơron nhân tạo APIs Application Programming Giao diện lập trình ứng dụng Interface ARA* Anytime Repairing A* Thuật toán sửa chữa bất cứ lúc nào* BFS Best First Seaching Thuận toán tìm kiếm tốt nhất đầu tiên BP Belief Propagation Thuật toán Lan truyền tin cậy CCD Charge Coupled Device Linh kiện tích điện kép CMOS Complementary Metal Oxide Bán dẫn bổ sung ô xít kim loại Semiconductor DSM Digital Surface Models Mô hình bề mặt số DWA Dynamic Window Approach Thuật toán tiếp cận cửa sổ động EKF Extended Kalman Filter Bộ lọc phi tuyến tính Kalman mở rộng FPDIDM Fast Plane Detection In Disparity Thuật toán Phát hiện mặt phẳng Maps nhanh trong bản đồ chênh lệch FSPF Fast Sampling Plane Filtering Thuật toán Lọc mặt phẳng lấy mẫu nhanh GDM Gradient Depth Map Thuật toán Gradien bản đồ độ sâu GPS Global Positioning System Hệ thống định vị toán cầu HSAD Hybrid SAD SAD lai HSBSR Hierarchical Shape-Based Surface Thuật toán tái tạo bề mặt dựa trên Reconstruction hình dạng phân cấp HT Hough Transform Thuật toán Biến đổi Hough ICP Iterative Closest Point Thuật toán điểm gần nhất lặp lại LRF Laser Range Finder Xác định phạm vi bằng tia laser LSD Line Segment Detector Bộ phát hiện đoạn thẳng MDL Minimum Description Length Thuật toán Độ dài mô tả tối thiểu viii MS Mean Shift Thuật toán Dịch trung bình NCC Normalized Cross Correlation Thuật toán Độ tương quan chéo chuẩn NGaF Neighbor Grouping and Filter Thuật toán Tạo nhóm hàng xóm và lọc NMOS N Metal Oxide Semiconductor Bán dẫn ôxit kim loại loại N PPDFDM Planar Patch Detection for Thuật toán Phát hiện mảnh phẳng Disparity Maps dùng bản đồ chênh lệch PROSAC Progressive Sample Consensus Đồng thuận mẫu lũy tiến PSO Particle Swarm Optimization Thuật toán tối ưu đám hạt RANSAC RANdom SAmple Consensus Thuật toán Đồng thuận lấy mẫu ngẫu nhiên RG Region Growing Thuật toán phát triển vùng RGB-D Red Green Blue-Depth Cảm biến màu Đỏ Lục Dương- Độ sâu RHT Random Hough Transform Thuật toán Biến đổi Hough ngẫu nhiên SAD Sum of Absolute Differences Thuật toán Tổng độ sai lệch tuyệt đối SCS Stereo Camera System Hệ thống máy ảnh stereo SIFT Scale-invariant Feature Transform Biến đổi đặc trưng tỷ lệ bất biến SLAM Simultaneous Localization And Đồng thời định vị trí và lập bản Mapping đồ SP1 Service Pack 1 Gói dịch vụ 1 SSD Sum of Squared Differences Thuật toán Tổng bình phương độ sai lệch SUFT Speeded-Up Robust Features Tăng tốc đặc trưng mạnh mẽ VDEMs VectorizedDigitalElevation Mô hình nâng cao kỹ thuật số Model véc-tơ hóa VGA Video Graphics Array Chuẩn mảng đồ họa video độ phân giải 640x480 vLRF Virtual LRF Máy LRF ảo ix DANH MỤC CÁC BẢNG Bảng 1. Sai số của phương pháp [47]. Thông số đánh giá kết quả thực nghiệm [7].

Kết quả phát hiện mặt đường với các kịch bản khác [26]. Phân loại điểm đất và điểm phi đất.