Nghiên cứu điều khiển rô bốt tay máy di động bám mục tiêu dựa trên thông tin hình ảnh - Luận án tiến sĩ kỹ thuật

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ ----------------------------- Lê Văn Chung NGHIÊN CỨU ĐIỀU KHIỂN RÔ BỐT TAY MÁY DI ĐỘNG BÁM MỤC TIÊU TRÊN CƠ SỞ SỬ DỤNG THÔNG TIN HÌNH ẢNH LUẬN ÁN TIẾN SĨ KỸ THUẬT Hà Nội – 2019 luan an BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ ----------------------------- Lê Văn Chung NGHIÊN CỨU ĐIỀU KHIỂN RÔ BỐT TAY MÁY DI ĐỘNG BÁM MỤC TIÊU TRÊN CƠ SỞ SỬ DỤNG THÔNG TIN HÌNH ẢNH Chuyên ngành: Kỹ thuật điều khiển và tự động hóa Mã số: 9.16 LUẬN ÁN TIẾN SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC: 1.TSKH Phạm Thượng Cát 2. Phạm Minh Tuấn Hà Nội – 2019 luan an LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các kết quả được viết chung với các tác giả khác đều được sự đồng ý của đồng tác giả trước khi đưa vào luận án. Các kết quả trong luận án là trung thực và chưa từng được công bố trong bất kỳ công trình nào khác.

Tác giả luận án Lê Văn Chung i luan an LỜI CẢM ƠN Lời đầu tiên, Tôi xin chân thành cảm ơn Ban Lãnh đạo Học viện Khoa học và Công nghệ, Viện Công nghệ thông tin - Viện Hàn lâm Khoa học và Công nghệ Việt Nam, Phòng Công nghệ tự động hóa đã tạo điều kiện thuận lợi trong quá trình học tập, nghiên cứu. Tôi xin bày tỏ lòng kính trọng và biết ơn sâu sắc tới PGS. Phạm Thượng Cát và TS. Phạm Minh Tuấn, hai thầy đã định hướng và tận tình hướng dẫn để tôi có thể hoàn thành luận án.

Tôi xin cảm ơn Ban Giám hiệu Trường Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên, Khoa Công nghệ tự động hóa và các đơn vị trong Nhà trường đã quan tâm giúp đỡ, tạo điều kiện để tôi có thể thực hiện nghiên cứu. Tôi xin cảm ơn các cán bộ Phòng Công nghệ tự động hóa – Viện Công nghệ thông tin, các đồng nghiệp thuộc Khoa Công nghệ Tự động hóa - Trường Đại học Công nghệ thông tin và truyền thông - Đại học Thái Nguyên đã động viên và trao đổi kinh nghiệm trong quá trình hoàn thành luận án. Cuối cùng, tôi xin chân thành cảm ơn đến gia đình, người thân, các bạn đồng nghiệp - những người luôn dành cho tôi những tình cảm nồng ấm, luôn động viên và sẻ chia những lúc khó khăn trong cuộc sống và tạo điều kiện tốt nhất để tôi có thể hoàn thành quá trình nghiên cứu. Hà Nội, ngày 28 tháng 8 năm 2019 Tác giả luận án Lê Văn Chung ii luan an MỤC LỤC LỜI CAM ĐOAN .ii MỤC LỤC.

iii DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT .vii DANH MỤC HÌNH VẼ. x DANH MỤC BẢNG. xiii MỞ ĐẦU. Tổng quan về điều khiển rô bốt sử dụng thông tin hình ảnh .1 Tình hình nghiên cứu ngoài nước .2 Tình hình nghiên cứu trong nước .3 Các vấn đề nghiên cứu của luận án.

Phát triển phương pháp điều khiển rô bốt s dụng thông tin hình ảnh. Một số cải tiến trong điều khiển hệ servo thị giác bám mục tiêu di động. Phát triển thuật toán điều khiển rô bốt di động s dụng thông tin hình ảnh. Kết luận chƣơng 1.

23 PHÁT TRIỂN THUẬT TOÁN ĐIỀU KHIỂN HỆ PAN-TILT SỬ DỤNG THÔNG TIN HÌNH ẢNH TỪ HAI CAMERA. Xây dựng mô hình động học hệ pan-tilt-stereo camera bám mục tiêu di động với nhiều tham số bất định. 24 iii luan an 2.1 Xác định ma trận Jacobi ảnh qua tọa độ điểm ảnh thu được từ 2 camera quy vào hệ tọa độ OcXcYcZc .2 Xác định hệ phương trình động học tốc độ hệ pan-tilt.3 Xây dựng bài toán điều khiển động học (kinematic control) hệ rô bốt- stereo camera bám mục tiêu.Thiết kế thuật toán điều khiển .1 Xây dựng mô hình bộ điều khiển .2 Xây dựng thuật toán điều khiển hệ Pan-tilt –2 camera bám mục tiêu di động .3 Một số kết quả mô phỏng kiểm chứng. Kết luận chƣơng 2.

45 MỘT SỐ CẢI TIẾN TRONG ĐIỀU KHIỂN. 45 HỆ SERVO TH GIÁC BÁM MỤC TIÊU DI ĐỘNG .1 dựng mô hình 3D cho hệ 2 camera trên hệ pan-tilt .1 Mô hình 3D cho hệ stereo camera .2 Mô hình hệ camera ảo.3 Kiểm soát sự suy biến của ma trận Jacobian .4 Bài toán điều khiển rô bốt bám mục tiêu với nhiều tham số bất định. dựng hệ động lực học hệ pan-tilt – stereo camera với các tham số bất định. dựng bộ điều khiển nơ ron cho hệ động lực học hệ pan-tilt stereo camera bám mục tiêu di động.1 Xây dựng bộ điều khiển .2 Xây dựng cấu trúc các lớp bộ điều khiển nơ ron truyền th ng RBF cho hệ thống .3 Tối ưu tham số.

Mô phỏng hệ thống. 61 iv luan an 3. 74 PHÁT TRIỂN THUẬT TOÁN ĐIỀU KHIỂN RÔ BỐT DI ĐỘNG. 74 SỬ DỤNG THÔNG TIN HÌNH ẢNH.

Xây dựng mô hình động học và bài toán hệ điều khiển Rô bốt-Pan-tilt– Stereo Camera bám mục tiêu di động .1 Xác định ma trận Jacobi ảnh .2 Xác định ma trận Jacobi của hệ và tốc độ bám mục tiêu cho rô bốt di động.3 Xác định tốc độ của các bánh xe cho rô bốt di động để rô bốt tiếp cận mục tiêu. Thiết kế thuật toán điều khiển .1 Động lực học hệ rô bốt di động-bệ pan-tilt .2 Thiết kế bộ điều khiển tối ưu. Mô phỏng hệ thống.1 Mô phỏng hệ thống với bộ điều khiển tối ưu .2 Mô phỏng hệ thống với bộ điều khiển trượt CTC. Kết luận chƣơng 4.

Những nội dung nghiên cứu chính của luận án.Những đóng góp khoa học mới của luận án .Định hƣớng nghiên cứu phát triển. 98 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ. 100 TÀI LIỆU THAM KHẢO. Mô hình mô phỏng về hệ pan-tilt stereo camera bám mục tiêu di động có sử dụng mô hình camera 3D ảo.

Mô hình mô phỏng về hệ pan-tilt stereo camera bám mục tiêu di động có sử dụng mô hình camera 3D ảo. 118 vi luan an DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Đơn vị Ký hiệu Mô tả tính CTC Computed Torque Controller – bộ điều khiển dựa trên phương pháp tính mô men. d m Khoảng cách giữa 2 bánh xe rô bốt di động. d(t) Vecto ảnh hư ng của nhi u, các tham số bất định.

f pixel Tiêu cự camera (1 pixel = 35μm) fv pixel Tiêu cự thấu kính của camera ảo. f Các thành phần bất định trong mô hình động học hệ pan-tilt. fu Các thành phần bất định trong mô hình động lực học hệ pan-tilt. Jimag Ma trận Jacobi ảnh.

Jrobot Ma trận Jacobi rô bốt. J Ma trận Jacobi tổng hợp. Jˆ imag (m), Jˆ robot (q) Các giá trị biết được của các ma trận tương ứng. ΔJ imag (m), ΔJrobot (q) Các đại lượng không biết của các ma trận tương ứng.

Jˆ ˆ ˆ ˆ Ma trận giả nghịch đảo của ma trận J; Jˆ (Jˆ Jˆ ) Jˆ T 1 T K m Khoảng cách 2 camera. k m khoảng cách giữa hai bánh xe rô bốt di động. k1 m Khoảng cách giữa rô bốt di động và mục tiêu. l1 m Chiều dài khớp pan củahệ pan-tilt.

l2 m Chiều dài khớp tilt củahệ pan-tilt. LQR Linear–Quadratic Regulator. vii luan an LQG Linear–Quadratic–Gaussian. m Pixel Véc tơ đặc trưng ảnh.

md Pixel Véc tơ đặc trưng ảnh mong muốn. Q Tọa độ mục tiêu. q Véc tơ vị trí góc của khớp pan, tilt qr Véc tơ vị trí góc của khớp pan, tilt RBF Radial basis function neural network s Véc tơ sai số giữa giá trị mong muốn và đo được. Tx Ty Tz m/s Vận tốc dài của tay nắm camera x y z m/s Vận tốc góc của tay nắm camera U, V Pixel Tọa độ ảnh của đối tượng u1, Thành phần điều khiển nơ ron u* Thành phần điều khiển tối ưu v véc tơ biến ngoài của đầu tay nắm của bệ pan-tilt (trùng với gốc tọa độ camera OC) C v Véc tơ vận tốc dài của đầu tay nắm của bệ pan-tilt C Ω Véc tơ vận tốc góc của đầu tay nắm của bệ pan-tilt vs Véc tơ vận tốc đo được tại 2 bánh rô bốt di động và 2 khớp của bệ pan-tilt.

vd Véc tơ vận tốc mong muốn đặt lên 2 bánh rô bốt di động và 2 khớp của bệ pan-tilt. x Véc tơ mô tả vị trí và hướng của camera. xs Véc tơ tọa độ mục tiêu nhìn trong hệ tọa độ camera ảo. W Ma trận trọng số của mạng nơ ron ε Sai số giữa tham số mong muốn và đo được θ1 rad Góc quay của khớp pan θ2 rad Góc quay của khớp tilt m rad Góc hướng của rô bốt di động θ1d rad Góc quay mong muốn của khớp pan θ2d rad Góc quay mong muốn của khớp tilt viii luan an  md rad Góc hướng mong muốn của rô bốt di động m Khoảng cách từ gốc tới vị trí đặt camera ảo c j , j Trọng tâm và độ rộng khoảng cách tính từ tâm của lớp n thứ j radial basis function của mạng nơ ron.

φl , φr rad Góc quay của bánh xe trái, phải trên rô bốt di động Stereo camera Hệ 2 camera được gắn trên khung cố định củahệ pan-tilt và có các quan hệ hình học được xác định trước. ix luan an DANH MỤC HÌNH VẼ Hình 1.1 Các ứng dụng điều khiển rô bốt s dụng thông tin hình ảnh.2 Một số phương pháp điều khiển rô bốt s dụng thông tin hình ảnh .1 Bệ pan-tilt PTU-D48E-Series và biểu di n hệ tọa độ .2 Mô hình hệ thống camera .3 Ảnh theo 2 trục Z, Y .4 Ảnh theo 2 trục X, Y .5 Mạng RBF xấp xỉ hàm f .6 Cấu trúc của hệ visual servoing điều khiển camera bám mục tiêu di động có nhiều tham số bất định.7 Sai lệch tọa độ ảnh mục tiêu (pixel).8 Sai lệch tọa độ ảnh mục tiêu (pixel) khi bộ điều khiển không có mạng nơ , ron bù ( u1 = 0 ).9 Sai lệch bám tọa độ khi mục tiêu di chuyển theo đường thẳng.10 Sai lệch tọa độ ảnh khi mục tiêu di chuyển theo đường thẳng .11 Sai lệch bám tọa độ khi mục tiêu di chuyển theo đường thẳng với bộ điều khiển không có mạng nơ ron bù ( u1, = 0 ).12 Sai lệch tọa độ ảnh khi mục tiêu di chuyển theo đường thẳng với bộ điều khiển không có mạng nơ ron bù .13 Sai lệch bám quỹ đạo khi mục tiêu cơ động theo cung tròn .14 Sai lệch tọa độ ảnh khi mục tiêu cơ động theo cung tròn .