Luận án TS: Giải thuật học củng cố điều khiển thích nghi bền vững hệ phi tuyến (Nguyễn Tấn Lũy)

ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƢỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN TẤN LŨY NGUYỄN TẤN LŨY NGHIÊN CỨU GIẢI THUẬT HỌC CỦNG CỐ TRONG ĐIỀU KHIỂN THÍCH NGHI BỀN VỮNG CHO HỆ PHI TUYẾN LUẬN ÁN TIẾN SĨ KỸ THUẬT TP. HỒ CHÍ MINH NĂM 2015 ĐẠI HỌC QUỐC GIA TP. HCM TRƢỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN NGUYỄN TẤN LŨY TẤN LŨY NGHIÊN CỨU GIẢI THUẬT HỌC CỦNG CỐ TRONG ĐIỀU KHIỂN THÍCH NGHI BỀN VỮNG CHO HỆ PHI TUYẾN Chuyên ngành: Tự động hóa Mã số chuyên ngành: 62.01 Phản biện độc lập 1: GS.TS Phan Xuân Minh Phản biện độc lập 2: PGS.TS Nguyễn Chí Ngôn Phản biện 1: GS.TSKH Hồ Đắc Lộc Phản biện 2: PGS.TS Nguyễn Ngọc Lâm Phản biện 3: PGS.TS Lê Minh Phương HƯỚNG DẪN KHOA HỌC 1.

NGUYỄN THIỆN THÀNH NGƯỜI HƯỚNG DẪN KHOA HỌC 1. NGUYỄN THIỆN THÀNH 2. HOÀNG MINH TRÍ 2. HOÀNG MINH TRÍ LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của bản thân tôi.

Các kết quả nghiên cứu và các kết luận trong luận án này là trung thực, và không sao chép từ bất kỳ một nguồn nào và dưới bất kỳ hình thức nào. Việc tham khảo các nguồn tài liệu đã được thực hiện trích dẫn và ghi nguồn tài liệu tham khảo đúng quy định. Tác giả luận án Nguyễn Tấn Lũy yễn Tấn Lũy i TÓM TẮT LUẬN ÁN Bài toán điều khiển tối ưu cho hệ phi tuyến bị ràng buộc trực tiếp bởi nghiệm của phương trình Hamilton-Jacobi-Bellman (HJB) và bài toán điều khiển tối ưu bền vững bị ràng buộc trực tiếp bởi nghiệm của phương trình Hamilton-Jacobi-Isaacs (HJI). Đây là các phương trình vi phân phi tuyến không có nghiệm giải tích.

Từ đó, bài toán xấp xỉ nghiệm HJB và HJI off-line hoặc online được đặt ra. Học củng cố (Reinforcement Learning (RL)) bắt nguồn từ qui hoạch động (Dynamic Programming (DP)), phát triển thành qui hoạch động thích nghi (Adaptive Dynamic Programming (ADP)) trở thành một trong những phương pháp hữu hiệu dùng để xấp xỉ các nghiệm HJB và HJI. Dựa vào cấu trúc điều khiển chuẩn của ADP bao gồm hai hoặc ba xấp xỉ hàm, các giải thuật RL không ngừng được nghiên cứu và phát triển. Ngày nay, các giải thuật điều khiển RL là online, không off-line như những nghiên cứu đã công bố trong những năm đầu của thế kỷ 21.

Ví dụ, các giải thuật RL đã được thiết kế để xấp xỉ nghiệm ARE (Algebraic Riccati Equation) cho hệ tuyến tính với các ma trận trạng thái không biết và sau này, xấp xỉ nghiệm HJB và HJI cho hệ phi tuyến với các thành phần động học trong mô hình hệ thống biết hoặc không biết, có nhiễu hoặc bỏ qua nhiễu. Luận án này nghiên cứu giải thuật học củng cố điều khiển thích nghi bền vững hệ phi tuyến, trong đó qui hoạch động thích nghi online (Online Adaptive Dynamic Programming (OADP)) và qui hoạch động thích nghi bền vững online (Online Robust Adaptive Dynamic Programming (ORADP)) là hai giải thuật chính được phân tích và thiết kế. Giải thuật OADP dùng để xấp xỉ nghiệm HJB cho hệ thống phi tuyến với mô hình xác định, sau đó được phát triển thành giải thuật ORADP để xấp xỉ nghiệm HJI cho hệ phi tuyến hoàn toàn không có thông tin về động học nội (internal dynamics). Ban đầu, cấu trúc ADP chuẩn với hai hoặc ba xấp xỉ hàm được sử dụng để chuyển đổi thành cấu trúc điều khiển với duy nhất một xấp xỉ hàm để tránh độ phức tạp tính toán và lãng phí tài nguyên nhằm đẩy nhanh tốc độ hội tụ.

Sau đó, luật cập nhật mới cho tham số cho xấp xỉ hàm và các giải thuật điều khiển mới được thiết kế. Trong giải thuật, các luật cập nhật tham số được đồng bộ hóa trong một bước lặp nhằm tăng tốc độ hội tụ. Bên cạnh đó, luật điều khiển ổn định ban đầu để khởi động giải thuật là không cần thiết. Từ đó, thủ tục thiết kế trở nên linh hoạt hơn.

Giải thuật đảm bảo rằng hàm chi phí được tối thiểu, tham số xấp xỉ hàm và luật điều khiển hội tụ về giá trị cận ii tối ưu trong khi toàn bộ trạng thái của hệ kín và sai số xấp xỉ bị chặn theo tiêu chuẩn UUB (Uniform Ultimate Bounded). Kết quả mô phỏng có so sánh với các phương pháp khác sử dụng hai hoặc ba xấp xỉ hàm cho thấy tính hiệu quả của giải thuật OADP và ORADP. Để kiểm tra khả năng ứng dụng của giải thuật ORADP, mô phỏng số và thực nghiệm cho robot di động dạng xe (Wheeled Mobile Robot (WMR)) được tiến hành. So sánh với các giải thuật điều khiển thích nghi khác, giải thuật ORADP điều khiển WMR có một số ưu điểm mới.

Thứ nhất, việc chia tách bộ điều khiển động học (kinematic) và động lực học (dynamic) sử dụng phổ biến trong điều khiển thích nghi cho WMR là không cần thiết. Từ đó, tránh phụ thuộc vào kinh nghiệm của người thiết kế trong việc lựa chọn các tham số cho bộ điều khiển động học. Thứ hai, không đòi hỏi nhận dạng trực tiếp hoặc gián tiếp thành phần động học không chắc chắn, không cấu trúc trong mô hình robot. Cuối cùng, với giải thuật ORADP, hàm chỉ tiêu chất lượng có liên quan đến sai số bám cả về động học, động lực học lẫn năng lượng điều khiển được tối thiểu.

Giải thuật ORADP tiếp tục được sử dụng để thiết kế mở rộng cho bài toán điều khiển hợp tác nhiều hệ phi tuyến MIMO không sử dụng thông tin về động học nội hệ thống. Ban đầu, lý thuyết đồ thị được sử dụng để thiết lập cấu hình truyền thông phân tán cho nhiều hệ phi tuyến hợp tác. Sau đó, giải thuật ORADP được thiết kế mở rộng thành giải thuật điều khiển hợp tác thích nghi bền vững. Kết quả điều khiển đồng bộ hóa hệ thống robot bầy đàn từ mô phỏng cho thấy tính hiệu quả của giải thuật ORADP mở rộng.

iii ABSTRACT The optimal control problem for nonlinear systems is constrained directly by the solution of Hamilton-Jacobi-Bellman (HJB) equation and the robust optimal control problem is constrained directly by the solution of Hamilton-Jacobi-Isaacs (HJI) equation. These are nonlinear partial differential equations that have been proven to be impossible to solve analytically. Since then, the problems for approximating off-line or online HJB and HJI solutions are devoted. The reinforcement learning (RL) method, at first, derived from the dynamic programming (DP) theory, and then, developed into adaptive dynamic programming (ADP) method, becomes one of the most effective online methods to approximate HJB and HJI solutions.

Based on the standard control structure of ADP, including two or three approximators, RL algorithms are studied and developed continuously. Nowadays, these algorithms are online and no longer off-line as the researches that are published in the early years of the 21st century. For example, RL algorithms have been developing to approximate the ARE (Algebraic Riccati Equation) solutions for linear systems with unknown state matrices, and after that, HJB and HJI solutions for nonlinear systems contained known and unknown system dynamics with or without impacted by disturbance. This thesis propose reinforcement learning-based robust adaptive control algorithms for nonlinear systems, in which Online Adaptive Dynamic Programming (OADP) and Online Robust Adaptive Dynamic Programming (ORADP) are two main analyzed and designed algorithms.

OADP algorithm is used to approximate a HJB solution for the nonlinear system with known dynamics, and then extended to ORADP algorithm to approximate HJI solution for the nonlinear system without absolutely knowing knowledge of internal dynamics. Firstly, the standard ADP structures with two or three approximators are used to transform into control structures with only single approximator to avoid the complex computation and waste of resources in order to accelerate the speed of update processes. Then, novel update laws for the approximator’s parameters and the novel algorithms are designed. In the algorithm, parameter update laws are synchronized in one iterative step to increase the speed of convergence.

Besides, any stability control law to initialize algorithm is not needed; Therefore, design procudures become more flexible. The algorithms guarantee that iv cost functions are minimized, parameters of approximators and control laws converge to suboptimal values while all closed-system states and the approximate errors are bounded by UUB (Uniform Ultimate Bounded) standard. The results of numerical simulation compared with other methods using two or three approximators demonstrate the effectiveness of the OADP and ORADP algorithms. To verify the application ability of ORADP algorithm, simulation and experiment for WMR (Wheeled Mobile Robot) are conducted.

It is shown that when ORADP algorithm is applied to control WMR, some novel advantages compared with other adaptive control algorithms have been gained. Firstly, the separation of kinematic and dynamic controllers that commonly used in adaptive control for WMR is unnecessary. By doing that, we can avoid depending on the designer's experience in choosing the parameters for the kinematic controller. Secondly, identifying directly or indirectly uncertainty, unstructured and unmodeled dynamics in the robot models is not required.

Lastly, using ORADP algorithm, the performance index function related to both kinematic, dynamic tracking errors and control energy is minimized. The ORADP algorithm is continuously designed extendedly for the cooperative control problem of multiple MIMO nonlinear systems without using the knowledge of system internal dynamics. Initially, graph theory is used to establish distributed communication configures for multiple cooperative nonlinear systems. Then, ORADP algorithm is expanded to become the robust adaptive cooperative control algorithm.

Simulation results of synchronous control for the swarm robot system show the effectiveness of the extended ORADP algorithm. v LỜI CÁM ƠN Luận án này được hoàn thành dưới sự hướng dẫn của TS. Nguyễn Thiện Thành và TS. Hoàng Minh Trí.

Tôi xin gửi tới các Thầy lời biết ơn vô hạn về sự quan tâm giúp đỡ, tạo điều kiện tối đa để tôi hoàn thành cuốn luận án này. Đặc biệt, tôi xin trân trọng bày tỏ lòng biết ơn chân thành đến Thầy Nguyễn Thiện Thành người đã giới thiệu và truyền cho tôi nguồn cảm hứng về lĩnh vực học củng cố. Luận án này không thể hoàn thành nếu không có sự hướng dẫn khoa học của PGS. Nguyễn Thị Phương Hà.

Cô đã cho tôi định hướng và truyền đạt cho tôi rất nhiều kiến thức quan trọng về lĩnh vực điều khiển thích nghi bền vững. Vì vậy, cho tôi được bày tỏ đến Cô lòng biết ơn sâu sắc. Tôi xin chân thành cảm ơn tập thể các nhà khoa học trong Bộ môn Điều khiển tự động, Đại học Bách Khoa Thành phố Hồ Chí Minh đã có những đóng góp rất quí báu về mặt học thuật để luận án này được hoàn thành. Tôi cũng xin dành riêng lời cảm ơn đến các đồng nghiệp ở Khoa Công nghệ Điện tử Đại học Công nghiệp Thành phố Hồ Chí Minh, đã tạo điều kiện về thời gian để tôi hoàn thành luận án, cảm ơn các bạn ở Phòng Thí nghiệm Trọng điểm Quốc Gia Điều khiển số và Kỹ thuật hệ thống Đại học Quốc Gia, Đại học Bách Khoa đã tạo môi trường vui vẻ và chia sẻ những khó khăn trong thời gian tôi công tác tại đây.