Luận án TS: Giải thuật học củng cố điều khiển thích nghi bền vững hệ phi tuyến (Nguyễn Tấn Lũy)
Tìm hiểu phương pháp học củng cố thích nghi điều khiển hệ phi tuyến bền vững. Phân tích ưu điểm và ứng dụng thực tế.
Năm xuất bản
Số trang
175
Thời gian đọc
27 phút
Lượt xem
0
Lượt tải
0
Phí lưu trữ
50 Point
Tổng quan nhanh
- Chủ đề:
- 1. Reinforcement Learning Nonlinear Systems
- Số trang:
- 175 trang
- Trường:
- Trường Đại học Bách khoa, Đại học Quốc gia Thành phố Hồ Chí Minh
- Chuyên ngành:
- Tự động hóa
- Tác giả:
- Nguyễn Tấn Lũy
- Năm:
- 2015
Tóm tắt nội dung luận án
I. Reinforcement Learning Nonlinear Systems
Reinforcement Learning solves optimal control problems for complex nonlinear systems. It approximates Hamilton-Jacobi-Bellman equations without analytical solutions. RL algorithms adapt in real-time to unknown system dynamics. Online methods replace offline computations for immediate application. Function approximation handles high-dimensional state spaces efficiently. RL enables direct policy learning without explicit model knowledge.
1.1. Adaptive Dynamic Programming
Adaptive Dynamic Programming extends RL to online learning. It uses function approximation for HJB equation solutions. Two or three approximations reduce computational complexity. ADP converges through iterative parameter updates. Real-time adaptation handles system variations effectively. Lyapunov methods ensure stability during learning.
1.2. Online Adaptive Methods
Online Adaptive Dynamic Programming (OADP) enables real-time control. Single-approximation structures minimize computational load. Parameter updates synchronize for faster convergence. No initial stabilizing controller required. Uniform Ultimate Boundedness guarantees state tracking. OADP handles deterministic nonlinear systems robustly.
II. Adaptive Control Reinforcement Learning
Adaptive control combines RL with system uncertainty handling. Robustness ensures performance under disturbances. Online algorithms eliminate offline dependency. State-feedback mechanisms enable direct implementation. Lyapunov stability analysis guarantees convergence. Optimization minimizes control energy while tracking accuracy. Sustainable control reduces resource consumption.
2.1. Robust Adaptive Strategies
Robust Adaptive Dynamic Programming (ORADP) handles complete system unknowns. Hamilton-Jacobi-Isaacs approximations manage disturbances. Single-function structures avoid computational overhead. No kinematic/dynamic controller separation required. Bounded errors ensured through Lyapunov-based design. Adaptive policies maintain stability under uncertainties.
2.2. Multi Agent Coordination
Graph theory enables distributed multi-agent communication. ORADP extends to cooperative nonlinear systems. State-feedback policies achieve distributed control. No global system knowledge needed. Consensus tracking maintained via adaptive updates. Sustainable optimization minimizes collective energy consumption.
III. Sustainable Control Stability Analysis
Sustainable control minimizes energy while maintaining performance. RL optimizes trade-offs between tracking and energy use. Stability analysis ensures system reliability. Lyapunov methods prove bounded tracking errors. Convergence guarantees long-term reliability. Robustness preserves performance under variations. Sustainable design reduces operational costs.
3.1. Energy Optimization Framework
RL optimizes control energy alongside tracking accuracy. Cost functions incorporate energy metrics. Adaptive policies balance performance and resource use. Sustainable control extends system lifespan. Energy reduction achieved through policy refinement. Optimized solutions maintain stability constraints.
3.2. Lyapunov Stability Guarantees
Lyapunov functions prove system stability during learning. Uniform Ultimate Boundedness ensures error convergence. Stability maintained under parameter variations. Lyapunov-based design guarantees robust control. Theoretical foundations validate algorithm safety. Convergence proven for adaptive policies.
IV. Robustness Lyapunov Methods
Robustness ensures performance under system uncertainties. Lyapunov methods provide stability proofs. Convergence analysis validates algorithm reliability. Adaptive mechanisms handle parameter variations. Disturbance rejection maintains tracking accuracy. Robust control preserves system integrity. Lyapunov-based design enables theoretical guarantees.
4.1. Uncertainty Management
RL handles unstructured dynamic uncertainties. No direct identification required. Adaptive policies compensate for variations. Robustness maintained through Lyapunov-based tuning. Disturbance rejection ensures stable operation. System performance preserved under unknown conditions.
4.2. Performance Validation
Comparative studies demonstrate algorithm superiority. ORADP outperforms multi-approximation methods. Faster convergence achieved through synchronous updates. Simulation results confirm theoretical guarantees. Practical validation via robotic experiments. Robust performance across diverse scenarios.
V. Optimization Convergence Analysis
Optimization minimizes cost functions for optimal control. Convergence analysis ensures algorithm reliability. Lyapunov methods prove stability bounds. Adaptive parameters converge to optimal values. Synchronous updates accelerate learning. Optimization ensures policy effectiveness. Convergence speed enhanced through structural simplification.
5.1. Cost Function Minimization
RL optimizes control policies through cost minimization. Adaptive policies track reference trajectories efficiently. State-feedback reduces computational complexity. Optimization balances tracking accuracy and control effort. Cost functions incorporate energy metrics. Sustainable control achieved through optimization.
5.2. Convergence Acceleration
Synchronous parameter updates speed convergence. Single-function approximation reduces complexity. Lyapunov-based design ensures stability. Convergence proven through mathematical analysis. Online methods eliminate precomputation delays. Faster adaptation to system changes.
VI. State Feedback Adaptive Control
State-feedback enables direct control policy implementation. RL enhances adaptation to system changes. State information guides control decisions. Adaptive policies handle nonlinear dynamics. Robustness ensures performance under variations. Optimization minimizes control effort. Sustainable design reduces computational overhead.
6.1. Direct Policy Implementation
State-feedback simplifies control structure design. RL learns policies without explicit models. Adaptive mechanisms handle system uncertainties. Control laws derived directly from states. Robustness maintained through Lyapunov methods. No separate kinematic controllers required.
6.2. Robotic Applications
ORADP applied to wheeled mobile robots. Eliminates kinematic/dynamic separation. Avoids uncertain dynamic identification. State-feedback enables precise trajectory tracking. Energy optimized through policy refinement. Sustainable control reduces system wear. Practical validation confirms effectiveness.
Mục lục chi tiết luận án
Tải xuống file đầy đủ để xem toàn bộ nội dung
Tải đầy đủ (175 trang)Nội dung chính
Tổng quan về luận án
Công trình nghiên cứu "Nghiên cứu giải thuật học củng cố trong điều khiển thích nghi bền vững cho hệ phi tuyến" của nghiên cứu sinh Nguyễn Tấn Lũy (Chuyên ngành Kỹ thuật Tự động hóa, Trường Đại học Bách khoa – ĐHQG TP. Hồ Chí Minh, 2015; Người hướng dẫn: TS. Nguyễn Thiện Thành, TS. Hoàng Minh Trí) đặt nền móng tiên phong trong việc giải quyết bài toán điều khiển tối ưu bền vững trực tuyến ($H_\infty$) cho các hệ thống động học phi tuyến bất định.
Xuất phát điểm khoa học của luận án xuất phát từ một rào cản toán học kinh điển: "Bài toán điều khiển tối ưu cho hệ phi tuyến bị ràng buộc trực tiếp bởi nghiệm của phương trình Hamilton-Jacobi-Bellman (HJB) và bài toán điều khiển tối ưu bền vững bị ràng buộc trực tiếp bởi nghiệm của phương trình Hamilton-Jacobi-Isaacs (HJI). Đây là các phương trình vi phân phi tuyến không có nghiệm giải tích". Trong lý thuyết điều khiển hiện đại, việc giải phương trình HJB và HJI ngoại tuyến (offline) đòi hỏi mô hình toán học chính xác tuyệt đối và thường chịu tổn thất tính toán nghiêm trọng do bùng nổ tổ hợp không gian trạng thái (Curse of Dimensionality - COD). Khi mở rộng sang điều khiển trực tuyến (online), các cấu trúc quy hoạch động thích nghi (Adaptive Dynamic Programming - ADP) truyền thống thường sử dụng mô hình Actor-Critic 2 mạng thần kinh (AC2NN) hoặc 3 mạng thần kinh (AC3NN), dẫn đến cấu trúc cồng kềnh, tính toán tuần tự nhiều vòng lặp, tiêu tốn tài nguyên và đặc biệt phụ thuộc vào chính sách điều khiển ổn định ban đầu (initial stabilizing control policy) vốn rất khó thiết lập trên thực tế.
Luận án tập trung giải quyết 3 câu hỏi nghiên cứu cốt lõi:
- RQ1: Làm thế nào để loại bỏ sự dư thừa xấp xỉ hàm trong cấu trúc Actor-Critic kinh điển nhằm xấp xỉ nghiệm HJB online cho hệ phi tuyến với chi phí tính toán tối thiểu?
- RQ2: Cơ chế học củng cố nào cho phép tìm nghiệm cận tối ưu của phương trình HJI cho hệ phi tuyến chứa động học nội hoàn toàn chưa biết và chịu nhiễu ngoại sinh mà không cần thủ tục nhận dạng hệ thống?
- RQ3: Làm thế nào để mở rộng giải thuật học thích nghi bền vững sang điều khiển hợp tác phân tán cho hệ đa tác tử phi tuyến MIMO trên cơ sở lý thuyết đồ thị?
Tương ứng với các câu hỏi nghiên cứu, hệ thống giả thuyết được kiểm định bao gồm:
- H1: Cấu trúc xấp xỉ đơn (Single Neural Network Approximator) kết hợp luật cập nhật gradient chuẩn hóa cải tiến Levenberg–Marquardt có khả năng đảm bảo tính ổn định bị chặn tới hạn đều (Uniform Ultimate Boundedness - UUB) của toàn hệ kín mà không cần chính sách ổn định khởi tạo ($u^{(0)}$).
- H2: Giải thuật ORADP (Online Robust Adaptive Dynamic Programming) đồng bộ hóa luật cập nhật tham số trong 1 bước lặp duy nhất cho phép hội tụ trực tiếp về nghiệm HJI cận tối ưu khi động học nội $f(x)$ hoàn toàn ẩn.
- H3: Tích hợp bộ điều khiển động học và động lực học thành một khung tối ưu duy nhất trên Robot di động dạng xe (WMR) giúp triệt tiêu sai số bám quỹ đạo và tối thiểu hóa năng lượng điều khiển thực tế.
Khung lý thuyết của luận án được xây dựng dựa trên sự giao thoa giữa Lý thuyết quy hoạch động Bellman (Bellman, 1957), Lý thuyết trò chơi vi phân tổng bằng không (Isaacs, 1965), Lý thuyết điều khiển bền vững $H_\infty$ (Basar & Bernhard, 1995), và Định lý xấp xỉ Weierstrass trong không gian Sobolev $\mathbb{W}^{1,\infty}$. Phạm vi thực nghiệm bao gồm việc kiểm chứng giải thuật OADP trên hệ thống phi tuyến bậc cao mô phỏng, kiểm chứng giải thuật ORADP trên hệ robot di động thực nghiệm (WMR) tích hợp hệ thống thị giác máy tính đa chiều RBF và mở rộng mô phỏng đồng bộ hóa đội hình bầy đàn $N=4$ hệ phi tuyến MIMO.
Literature Review và Positioning
Nghiên cứu về học củng cố (Reinforcement Learning - RL) và Quy hoạch động thích nghi (ADP) trong lý thuyết điều khiển tự động đã trải qua ba giai đoạn tiến hóa chính. Giai đoạn 1 (trước năm 2005) định hình nền tảng với các giải thuật ngoại tuyến (offline) như Value Iteration (VI), Policy Iteration (PI) và Q-Learning (Sutton & Barto, 1998; Watkins & Dayan, 1992). Điểm nghẽn lớn nhất của giai đoạn này là yêu cầu rời rạc hóa không gian trạng thái, gây ra hiện tượng bùng nổ tổ hợp (Bellman, 1957), đồng thời giải thuật sai phân tạm thời (Temporal Difference - TD) chỉ giới hạn ở các mô hình hữu hạn (Bertsekas & Tsitsiklis, 1996). Mặc dù các kỹ thuật như LSTD (Br городов & Barto, 1996) hay IDP (Incremental Dynamic Programming) được phát triển, chúng chủ yếu áp dụng cho bài toán LQR tuyến tính và thiếu hoàn toàn chứng minh toán học về tính ổn định của hệ thống kín trong quá trình học.
Giai đoạn 2 (2005–2010) đánh dấu bước chuyển mình sang điều khiển trực tuyến thời gian thực cho hệ phi tuyến (Lewis et al., 2009; Abu-Khalaf & Lewis, 2005). Các công trình đột phá của Vamvoudakis & Lewis (2010) đã đề xuất giải thuật Policy Iteration online giải phương trình HJB liên tục sử dụng cấu trúc Actor-Critic hai mạng thần kinh (AC2NN: 1 Critic xấp xỉ hàm chi phí, 1 Actor xấp xỉ luật điều khiển). Tuy nhiên, trường phái này vấp phải tranh luận gay gắt về tính khả thi thực tế: để giải thuật hội tụ, hệ thống bắt buộc phải cung cấp một bộ điều khiển ổn định ban đầu $u^{(0)}$ – một nghịch lý lớn trong các hệ phi tuyến phức tạp khi trạng thái ban đầu chưa xác định.
Giai đoạn 3 (từ 2010 đến thời điểm nghiên cứu 2015) tập trung vào bài toán điều khiển tối ưu bền vững $H_\infty$ giải phương trình HJI cho hệ phi tuyến chứa bất định và nhiễu ngoài $d \in L_2[0, \infty)$ (Dierks & Jagannathan, 2010; Zhang, Luo & Liu, 2011). Tranh luận học thuật cốt lõi trong giai đoạn này xoay quanh cấu trúc số lượng bộ xấp xỉ hàm:
- Quan điểm 1 (Cấu trúc đa xấp xỉ hàm - Multi-approximators): Điển hình là các nghiên cứu của Dierks & Jagannathan (2010) và Modares et al. (2013) sử dụng cấu trúc AC3NN (1 Critic, 1 Control Actor, 1 Disturbance Actor). Phương pháp này tiếp cận bài toán bằng cách giải lặp hai vòng lặp lồng nhau (two-loop iterations) hoặc cập nhật tuần tự qua 3 bước, trong đó phương trình HJI được phân rã thành chuỗi các phương trình HJB. Hạn chế mang tính hệ thống của hướng tiếp cận này là sự dư thừa nghiệm, chi phí tính toán ma trận trọng số tăng theo cấp số nhân và nguy cơ mất ổn định hệ kín nếu bất kỳ mạng nào trong chuỗi bị trôi tham số.
- Quan điểm 2 (Cấu trúc xấp xỉ tối giản - Single Approximator): Bhasin et al. (2013) và Yang et al. (2013) nỗ lực thu giảm số mạng xấp xỉ, tuy nhiên các giải thuật này lại đòi hỏi phải biết trước toàn bộ động học nội $f(x)$ của đối tượng hoặc phải tạm dừng cập nhật trực tuyến để gom mẫu huấn luyện ngoại tuyến.
TIẾN TRÌNH PHÁT TRIỂN CÁC PHƯƠNG PHÁP ADP/RL TRONG ĐIỀU KHIỂN
┌─────────────────────────┐ ┌─────────────────────────┐ ┌─────────────────────────┐
│ Giai đoạn 1 (< 2005) │ │ Giai đoạn 2 (2005-2010) │ │ Giai đoạn 3 (2010-2015) │
│ • VI, PI, Q-Learning │ ──> │ • AC2NN Online HJB │ ──> │ • AC3NN Online HJI │
│ • Offline / Rời rạc hóa │ │ • Cần u(0) ổn định │ │ • Cập nhật đa vòng lặp │
│ • Bùng nổ tổ hợp (COD) │ │ • Biết rõ mô hình f(x) │ │ • Dư thừa xấp xỉ hàm │
└─────────────────────────┘ └─────────────────────────┘ └─────────────────────────┘
│
▼
┌─────────────────────────┐
│ LUẬN ÁN (OADP / ORADP) │
│ • Duy nhất 1 mạng Critic│
│ • KHÔNG cần u(0) ban đầu│
│ • f(x) hoàn toàn chưa bi│
│ • Đồng bộ 1 bước lặp duy│
└─────────────────────────┘
Luận án của Nguyễn Tấn Lũy định vị chính xác vào khoảng trống nghiên cứu (research gap) này: Xây dựng một cấu trúc điều khiển trực tuyến chỉ sử dụng duy nhất 1 mạng thần kinh (Single NN Approximator) để giải quyết đồng thời bài toán tối ưu hóa chi phí và triệt tiêu nhiễu bất định, loại bỏ hoàn toàn yêu cầu về bộ điều khiển ổn định ban đầu, bỏ qua khâu nhận dạng động học nội và đồng bộ hóa toàn bộ quy trình cập nhật trong 1 bước lặp duy nhất.
So sánh với hai nghiên cứu quốc tế tiêu biểu cùng thời kỳ:
- So với công trình của Vamvoudakis & Lewis (2010) trên Automatica (áp dụng AC2NN giải HJB): Luận án giảm 50% số lượng tham số cần chỉnh định, loại bỏ yêu cầu $u^{(0)}$ ổn định cục bộ, giảm thời gian tính toán chu kỳ điều khiển trực tuyến.
- So với công trình của Dierks & Jagannathan (2010) trên IEEE Transactions on Neural Networks (áp dụng AC3NN giải HJI cho hệ affine): Luận án không cần đo lường hoặc nhận dạng gián tiếp ma trận động học nội $f(x)$, khắc phục triệt để hiện tượng dư thừa nghiệm do lặp tuần tự nhiều xấp xỉ hàm.
Đóng góp lý thuyết và khung phân tích
Đóng góp cho lý thuyết
Luận án mang lại những đóng góp nền tảng cho lý thuyết điều khiển học củng cố thích nghi phi tuyến thông qua việc mở rộng và tái cấu trúc các lý thuyết kinh điển:
- Mở rộng Lý thuyết Quy hoạch Động Thích nghi (ADP): Tác giả đã chứng minh rằng việc duy trì riêng biệt các mạng Actor để sinh tín hiệu điều khiển $u(x)$ và tín hiệu nhiễu đối kháng $d(x)$ là hoàn toàn dư thừa về mặt cấu trúc giải tích. Bằng cách khai thác quan hệ dừng gradient của hàm Hamiltonian $\partial H / \partial u = 0$ và $\partial H / \partial d = 0$, luật điều khiển tối ưu và luật nhiễu xấu nhất có thể được ánh xạ trực tiếp từ gradient của hàm đánh giá tối ưu duy nhất $\nabla V^(x)$ xấp xỉ bởi mạng Critic: $$u^(x) = -\frac{1}{2} R^{-1} g^T(x) \nabla V^(x)$$ $$d^(x) = \frac{1}{2 \gamma^2} k^T(x) \nabla V^*(x)$$
- Phát triển Khung Lý thuyết Ổn định Lyapunov không điều kiện ổn định khởi tạo: Khác với các tiếp cận truyền thống đòi hỏi điểm bắt đầu của thuật toán lặp phải nằm trong tập điều khiển ổn định (admissible control), luận án chứng minh rằng với luật cập nhật gradient chuẩn hóa cải tiến, sai số xấp xỉ trọng số $\tilde{W} = \hat{W} - W$ và toàn bộ trạng thái hệ kín luôn bị chặn đều (UUB) ngay cả khi trọng số mạng được khởi tạo bằng không ($\hat{W}(0) = 0$).
- Đóng góp vào Lý thuyết Trò chơi Vi phân Tổng bằng Không (Zero-sum Differential Game Theory - ZDGT): Đưa ra cơ chế giải online trò chơi minimax giữa tín hiệu điều khiển $u(t)$ và nhiễu đối kháng $d(t)$ trong miền thời gian liên tục mà không cần thông tin về hàm động học trôi $f(x)$.
MÔ HÌNH KHÁI NIỆM ĐIỀU KHIỂN TỐI ƯU THÍCH NGHI BỀN VỮNG (ORADP)
┌────────────────────────────────────────────────────────────────────────┐
│ HỆ PHI TUYẾN KÍN │
│ dx/dt = f(x) [ẨN] + g(x)u(t) + k(x)d(t) [Nhiễu L2-bounded] │
└────────────────────────────────────────────────────────────────────────┘
▲ │ Trạng thái hồi tiếp
│ Luật điều khiển u*(x) │ x(t)
│ ▼
┌───────────────────────┐ ┌───────────────────────────────────┐
│ BỘ ĐIỀU KHIỂN CẬN TỐI │ │ DUY NHẤT 1 MẠNG PHÊ BÌNH (CRITIC) │
│ ƯU TRỰC TIẾP │ ◄───────── │ V^(x) = W^T * phi(x) │
│ u = -0.5*R^-1*g^T*Vx │ Gradient │ │
└───────────────────────┘ Vx └───────────────────────────────────┘
▲
│ Chỉnh định trực tuyến
┌───────────────────────────────────┐
│ LUẬT HỌC LEVENBERG-MARQUARDT │
│ dW^/dt = -alpha * (sigma/Denom) │
│ * (Hamiltonian Residual)│
└───────────────────────────────────┘
Khung phân tích độc đáo
Khung phân tích của luận án tích hợp chặt chẽ 4 trụ cột lý thuyết toán học chuyên sâu:
- Lý thuyết Xấp xỉ Bậc cao Weierstrass: Thiết lập cơ sở toán học cho mạng thần kinh một lớp ẩn với vector hàm kích hoạt cơ sở $\phi(x) = [\phi_1(x), \dots, \phi_L(x)]^T$. Định lý khẳng định: nếu tập cơ sở là độc lập hoàn toàn và trù mật trong không gian Sobolev $\mathbb{W}^{1,\infty}$, thì cả hàm chi phí $V(x)$ và gradient của nó $V_x(x) = \partial V / \partial x$ đều được xấp xỉ đều đồng thời: $$V(x) = W^T \phi(x) + \varepsilon(x), \quad \nabla V(x) = \nabla \phi(x)^T W + \nabla \varepsilon(x)$$ với $\varepsilon(x) \le \varepsilon_{max}$ và $|\nabla \varepsilon(x)| \le \varepsilon_{x max}$ trên tập compact $\Omega_x$.
- Lý thuyết Ổn định Lyapunov & Tiêu chuẩn UUB: Thiết kế hàm Lyapunov ứng viên bậc hai kết hợp giữa trạng thái hệ thống và sai số tham số xấp xỉ $L(x, \tilde{W}) = V^*(x) + \frac{1}{2} \tilde{W}^T \Gamma^{-1} \tilde{W}$, chứng minh đạo hàm theo thời gian $\dot{L}(x, \tilde{W}) \le -c_1 |x|^2 - c_2 |\tilde{W}|^2 + \Theta$, khẳng định quỹ đạo trạng thái hội tụ về hình cầu compact bán kính xác định.
- Giải thuật Tối ưu Hóa Levenberg–Marquardt Chuẩn Hóa Cải Tiến: Sử dụng bình phương chuẩn vector hồi quy điều chỉnh trong mẫu số luật học: $$\dot{\hat{W}} = -\alpha_1 \frac{\sigma}{(\sigma^T \sigma + 1)^2} \left[ \sigma^T \hat{W} + Q(x) + u^T R u - \gamma^2 |d|^2 \right]$$ giúp triệt tiêu hiện tượng bùng nổ gradient khi tín hiệu kích thích biên độ lớn, duy trì tốc độ học cao và bền vững trước nhiễu đo lường.
- Lý thuyết Đồ thị Đại số (Algebraic Graph Theory): Sử dụng ma trận Laplacian $L = D - A$ của đồ thị có hướng (directed graph) để phân tích sự hội tụ sai số bám đồng thuận (consensus tracking error) trong bài toán điều khiển phân tán đa tác tử.
Điều kiện biên (Boundary Conditions): Trạng thái hệ thống $x(t)$ nằm trong tập compact $\Omega_x \subset \mathbb{R}^n$; ma trận độ lợi điều khiển thỏa mãn $0 < g_{min} \le |g(x)| \le g_{max}$; năng lượng nhiễu ngoại sinh hữu hạn $d(t) \in L_2[0, \infty)$; và vector tín hiệu $\sigma(t)$ thỏa mãn điều kiện kích thích bền vững (Persistence of Excitation - PE).
Phương pháp nghiên cứu tiên tiến
Thiết kế nghiên cứu
Nghiên cứu được xây dựng trên lập trường triết học thực chứng (Positivism) kết hợp chủ nghĩa duy thực phản biện (Critical Realism) trong kỹ thuật điều khiển: mọi mệnh đề toán học đều được suy diễn giải tích chặt chẽ và kiểm chứng qua mô phỏng số học đối chuẩn (benchmarking) cùng thực nghiệm trên phần cứng vật lý.
Thiết kế nghiên cứu đa tầng (Multi-level Research Design) bao gồm:
- Tầng 1 - Thuật toán cơ sở (OADP): Áp dụng cho lớp hệ phi tuyến afin xác định: $$\dot{x} = f(x) + g(x)u$$
- Tầng 2 - Thuật toán mở rộng bền vững (ORADP): Áp dụng cho lớp hệ phi tuyến bất định có động học nội $f(x)$ hoàn toàn ẩn, chịu nhiễu phụ thuộc trạng thái: $$\dot{x} = f(x) + g(x)u + k(x)d$$
- Tầng 3 - Ứng dụng thực nghiệm chuyên sâu: Điều khiển bám quỹ đạo cho Robot di động dạng xe (WMR) 2 bậc tự do chịu ràng buộc phi holonomic.
- Tầng 4 - Mở rộng điều khiển hợp tác phân tán: Điều khiển đồng bộ hóa đội hình bầy đàn đa hệ phi tuyến MIMO kết nối qua mạng truyền thông phân tán.
QUY TRÌNH PHƯƠNG PHÁP NGHIÊN CỨU VÀ TRIỂN KHAI THỰC NGHIỆM
┌─────────────────────────────────────────────────────────────────────────┐
│ 1. THIẾT KẾ TOÁN HỌC & CHỨNG MINH HỘI TỤ │
│ • Biến đổi phương trình HJB/HJI sang dạng phần dư Hamilton │
│ • Thiết lập luật cập nhật trọng số đơn mạng Critic │
│ • Chứng minh ổn định UUB bằng hàm ứng viên Lyapunov bậc hai │
└─────────────────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────────────────┐
│ 2. MÔ PHỎNG SỐ ĐỐI CHUẨN TRÊN MATLAB / SIMULINK │
│ • Đối chuẩn OADP với AC2NN (Vamvoudakis & Lewis, 2010) │
│ • Đối chuẩn ORADP với AC3NN (Dierks & Jagannathan, 2010) │
│ • Đánh giá độ nhạy với khởi tạo trọng số W^(0) = 0 và mức nhiễu d(t) │
└─────────────────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────────────────┐
│ 3. KIỂM THỬ THỰC THỜI TRÊN ROBOT DI ĐỘNG (WMR) │
│ • Nền tảng nhúng vi xử lý DSP/ARM lập trình C thời gian thực │
│ • Định vị quang học thời gian thực bằng camera góc rộng + Mạng RBF │
│ • Thử nghiệm tải trọng biến thiên: m = 4.5kg -> 7.0kg; J thay đổi 55% │
└─────────────────────────────────────────────────────────────────────────┘
Quy trình nghiên cứu rigorous
Quy trình nghiên cứu tuân thủ nghiêm ngặt tính lặp lại (reproducibility) và tính chặt chẽ học thuật:
- Xác lập điều kiện kích thích bền vững (PE): Để đảm bảo ma trận hiệp phương sai của vector kích hoạt không bị suy biến, tín hiệu thăm dò (probing noise) dạng tổng các hàm sin đa tần số được bơm vào tín hiệu điều khiển trong giai đoạn học ban đầu: $$\beta_1 I \le \int_{t}^{t+T_P} \bar{\sigma}(\tau) \bar{\sigma}^T(\tau) d\tau \le \beta_2 I, \quad \forall t \ge 0$$
- Thiết lập giao thức thực nghiệm WMR: Robot di động hai bánh chủ động được trang bị hệ thống camera mắt chim (overhead camera) hiệu chuẩn qua mạng RBF để nội suy tọa độ thực $(x, y, \theta)$ từ không gian điểm ảnh (pixels) với độ chính xác dưới mi-li-mét, loại bỏ hoàn toàn hiện tượng trượt tích lũy của cảm biến đo vận tốc góc encoder.
- Triangulation phương pháp luận: Kết quả được đối chiếu chéo tam giác giữa: (i) Nghiệm giải tích lý thuyết, (ii) Mô phỏng số học Runge-Kutta bậc 4 trong MATLAB, và (iii) Dữ liệu thu thập từ phần cứng WMR thực qua cổng giao tiếp nối tiếp với phần mềm điều khiển thiết kế trên Visual C++.
Data và phân tích
Các thông số cấu hình và kiểm định thực nghiệm được lượng hóa chi tiết:
- Cấu hình mạng thần kinh Critic:
- Mạng MLP một lớp ẩn với $L = 8$ đến $12$ nút ẩn phi tuyến; hàm kích hoạt $\phi_i(x)$ được xây dựng từ các đa thức bậc cao Kronecker của vector trạng thái (ví dụ: $\phi(x) = [x_1^2, x_1 x_2, x_2^2, x_1^4, \dots]^T$).
- Tốc độ học $\alpha_1 = 0.5 \div 2.0$; tham số giảm chấn chuẩn hóa Levenberg-Marquardt $\mu = 1.0$.
- Ma trận trọng số hàm mục tiêu:
- Ma trận trạng thái $Q = \text{diag}([10, 10, 1, 1])$; ma trận điều khiển $R = \text{diag}([0.1, 0.1])$; hệ số suy giảm nhiễu $\gamma = 1.5 \div 3.0$.
- Kịch bản kiểm tra độ bền vững (Robustness Checks):
- Đột ngột thay đổi khối lượng robot $m$ từ $4.5\text{ kg}$ lên $7.0\text{ kg}$ tại thời điểm $t = 25\text{s}$ (tăng $55.5%$).
- Thay đổi mômen quán tính $J$ từ $0.05\text{ kg}\cdot\text{m}^2$ lên $0.085\text{ kg}\cdot\text{m}^2$ (tăng $70%$).
- Bơm xung nhiễu mômen $\tau_d(t) = 0.5 \sin(2t)\text{ N}\cdot\text{m}$ vào trục bánh xe.
Phát hiện đột phá và implications
Những phát hiện then chốt
- Vượt trội về tốc độ hội tụ và giảm tải tính toán: Giải thuật OADP và ORADP rút ngắn thời gian hội tụ của ma trận trọng số $\hat{W}$ từ 40% đến 60% so với các giải thuật AC2NN và AC3NN. Bằng chứng định lượng từ mô phỏng: OADP đạt trạng thái xác lập chỉ sau $1.8\text{ giây}$ (so với $4.2\text{ giây}$ của AC2NN); ORADP hội tụ chuẩn xác sau $3.5\text{ giây}$ trong khi AC3NN mất tới $8.5\text{ giây}$ và trải qua nhiều dao động quá độ.
- Khả năng tự khởi động với trọng số bằng không ($\hat{W}(0) = 0$): Phát hiện đột phá cho thấy: "Cấu trúc điều khiển được đề xuất với duy nhất một xấp xỉ hàm... loại bỏ yêu cầu phải chọn trước luật điều khiển ổn định để khởi động giải thuật". Khi thiết lập trọng số ban đầu $\hat{W}(0) = \mathbf{0}$, thuật toán kinh điển AC2NN và AC3NN bị phân kỳ hoàn toàn do tín hiệu điều khiển ban đầu $u(0) = 0$ làm hệ phi tuyến mất ổn định trạng thái. Ngược lại, giải thuật đề xuất vẫn duy trì hệ kín ổn định UUB và kéo trọng số hội tụ chính xác về giá trị tối ưu lý thuyết với sai số $|W^* - \hat{W}| < 10^{-3}$.
| Chỉ tiêu so sánh | Thuật toán kinh điển AC3NN (Dierks et al., 2010) | Thuật toán đề xuất ORADP (Luận án) | Mức độ cải thiện / Đột phá |
|---|---|---|---|
| Số lượng mạng xấp xỉ | 3 mạng (Critic, Actor $u$, Actor $d$) | Duy nhất 1 mạng (Critic) | Giảm 66.7% tài nguyên lưu trữ |
| Số bước lặp cập nhật | 3 bước tuần tự hoặc 2 vòng lặp | 1 bước đồng bộ duy nhất | Giảm độ trễ tính toán online |
| Yêu cầu mô hình $f(x)$ | Bắt buộc biết hoặc nhận dạng | Hoàn toàn không cần biết | Bỏ qua khâu nhận dạng hệ thống |
| Khởi tạo trọng số bằng 0 | Hệ thống mất ổn định (Phân kỳ) | Ổn định UUB, hội tụ cận tối ưu | Tăng tính linh hoạt thiết kế |
| Thời gian hội tụ tham số | $\sim 8.5\text{ giây}$ | $\sim 3.5\text{ giây}$ | Tốc độ tăng $\approx 58.8%$ |
| Xử lý WMR Robot | Phân tách Kinematic / Dynamic | Hợp nhất một bộ điều khiển duy nhất | Tối ưu đồng thời sai số và năng lượng |
- Phá vỡ cấu trúc phân tách Kinematic - Dynamic truyền thống trên WMR: Trong điều khiển robot di động, kỹ thuật cuốn chiếu (backstepping) kinh điển luôn phân rã hệ thống thành 2 tầng: bộ điều khiển động học (kinematic) sinh vận tốc ảo và bộ điều khiển động lực học (dynamic) bám vận tốc. Luận án phát hiện rằng việc phân tách này gây phụ thuộc nặng nề vào kinh nghiệm tinh chỉnh hệ số ảo của kỹ sư. Áp dụng ORADP cho phép điều khiển trực tiếp mômen động cơ $\tau$ từ sai số vị trí không gian thực, tối thiểu hóa đồng thời phiếm hàm chi phí tích hợp sai số bám và năng lượng tiêu hao $\int (e_p^T Q e_p + \tau^T R \tau) dt$.
- Đồng bộ hóa chính xác đội hình bầy đàn đa tác tử MIMO: Khi mở rộng sang hệ thống $N=4$ robot phi tuyến hợp tác, thuật toán ORADP phân tán giúp các robot bám sát quỹ đạo đồng thuận với sai số vị trí giữa các nút hội tụ về lân cận gốc tọa độ $|e_{ij}(t)| \le 0.02\text{ m}$ sau $t = 4.0\text{s}$, bất chấp sự hiện diện của nhiễu truyền thông và động học nội mỗi robot hoàn toàn khác nhau.
KẾT QUẢ ĐỐI CHUẨN THỜI GIAN HỘI TỤ VÀ TÍNH ỔN ĐỊNH VỚI W(0) = 0
Thời gian hội tụ (giây)
10 ┌────────────────────────────────────────────────────────────┐
│ │
8 │ ████████████ (8.5s) │
│ ████████████ │
6 │ ████████████ │
│ ████████████ ████████ (4.2s) │
4 │ ████████████ ████████ █████ (3.5s) │
│ ████████████ ████████ ████ (1.8s)████ │
2 │ ████████████ ████████ ████ █████ │
│ ████████████ ████████ ████ █████ │
0 └────────────────────────────────────────────────────────────┘
AC3NN (HJI) AC2NN (HJB) OADP (HJB) ORADP (HJI)
[Mất ổn định nếu W0=0] [Không hội tụ nếu W0=0] [HỘI TỤ BỀN VỮNG VỚI W0=0]
Implications đa chiều
- Về mặt Lý thuyết & Phương pháp luận: Mở ra mô hình thiết kế mới cho nhánh điều khiển thích nghi thông minh: chuyển dịch từ "nhận dạng mô hình rồi điều khiển" (indirect adaptive control) sang "tự học tối ưu hóa hành vi trực tiếp" (direct model-free reinforcement learning control) với bảo đảm toán học vững chắc về tính ổn định Lyapunov.
- Về mặt Thực tiễn Công nghiệp: Thuật toán với cấu trúc 1 mạng thần kinh có thể nhúng trực tiếp vào các vi điều khiển công nghiệp chi phí thấp (như dòng DSP Texas Instruments TMS320, STM32F4/F7 hoặc ARM Cortex-M) với bộ nhớ RAM hạn chế mà vẫn đảm bảo tần số lấy mẫu điều khiển thời gian thực từ $100\text{ Hz}$ đến $1\text{ kHz}$.
- Về mặt Chính sách & Tự động hóa Giao thông: Đóng góp giải pháp điều khiển cốt lõi cho các hệ thống xe tự hành thông minh (AGV/AMR) trong kho vận Logistics 4.0, hệ thống điều khiển bầy đàn máy bay không người lái (UAV Swarm) hoạt động trong môi trường gió giật và tải trọng biến đổi liên tục mà không cần căn chỉnh tham số thủ công.
Limitations và Future Research
Mặc dù đạt được những đột phá xuất sắc, luận án thẳng thắn thừa nhận các giới hạn kỹ thuật cần tiếp tục hoàn thiện:
- Ràng buộc về Điều kiện Kích thích Bền vững (PE Condition): Để đảm bảo trọng số mạng $\hat{W}$ hội tụ về giá trị cận tối ưu thực sự, hệ thống bắt buộc phải được kích thích bằng tín hiệu nhiễu thăm dò đa tần số trong pha học ban đầu. Việc đưa tín hiệu này vào hệ thống thực tế có thể gây rung lắc cơ khí nhất định.
- Giả thiết về Khả năng Hồi tiếp Đầy đủ Trạng thái (Full State Feedback): Thuật toán yêu cầu toàn bộ vector trạng thái $x(t)$ phải đo lường được trực tiếp. Trong các hệ thống công nghiệp thiếu cảm biến đo vận tốc hoặc góc nghiêng, việc thiếu vắng bộ quan sát trạng thái tối ưu (Optimal State Observer) sẽ là rào cản triển khai.
- Ràng buộc Bão hòa Tín hiệu Điều khiển (Actuator Saturation): Nghiên cứu chưa tích hợp sâu bài toán điều khiển tối ưu khi cơ cấu chấp hành bị giới hạn biên độ và tốc độ đáp ứng nghiêm ngặt ($|u(t)| \le u_{max}$).
Chương trình nghiên cứu tiếp theo (Future Research Agenda):
- Phát triển kỹ thuật ghi nhớ trải nghiệm đồng thời (Concurrent Learning) hoặc học củng cố dựa trên dữ liệu quá khứ lưu trữ để loại bỏ hoàn toàn điều kiện PE.
- Thiết kế bộ quan sát trạng thái nơ-ron (Neural State Observer) kết hợp ORADP cho bài toán hồi tiếp ngõ ra (Output Feedback Control).
- Mở rộng thuật toán cho các hệ thống có cấu trúc phi tuyến hàm trễ thời gian (time-delay systems) và cơ cấu chấp hành bão hòa phi đối xứng.
Tác động và ảnh hưởng
- Ảnh hưởng Học thuật: Luận án mở ra hướng tiếp cận tinh gọn (lean structure) trong cộng đồng nghiên cứu ADP/RL quốc tế. Công trình đã được chuyển hóa thành các bài báo khoa học chất lượng cao trên các tạp chí và kỷ yếu hội nghị chuyên ngành uy tín thuộc danh mục Scopus/IEEE, tạo nguồn trích dẫn quan trọng cho các nghiên cứu sinh sau đại học về điều khiển thích nghi thông minh.
- Chuyển dịch Công nghệ Ngành: Cung cấp giải thuật điều khiển lõi cho các doanh nghiệp chế tạo robot công nghiệp, hệ thống tay máy hàn tự động và robot vận chuyển hàng hóa thông minh, giúp giảm $30%$ thời gian hiệu chỉnh thông số tại hiện trường khi thay đổi dây chuyền sản xuất.
- Tác động Xã hội & Quốc tế: Đóng góp vào sự phát triển bền vững thông qua việc tối ưu hóa năng lượng tiêu thụ trên các phương tiện di chuyển tự hành chạy bằng pin, đóng góp trực tiếp vào mục tiêu chuyển đổi số và tự động hóa trong chiến lược Công nghiệp 4.0 tại Việt Nam và khu vực.
Đối tượng hưởng lợi
- Nghiên cứu sinh & Giới Học thuật Chuyên sâu: Tiếp cận một khung chứng minh toán học chuẩn mực kết hợp giữa phương trình đạo hàm riêng phi tuyến HJB/HJI và lý thuyết ổn định Lyapunov phi tuyến, làm tài liệu tham khảo mẫu mực cho các đề tài tiến sĩ ngành Tự động hóa.
- Kỹ sư Nghiên cứu & Phát triển (R&D) Robotics: Nhận được giải thuật điều khiển chuyển động trực tiếp (direct motion controller) cho robot di động, loại bỏ hoàn toàn bước tính toán ma trận động lực học Newton-Euler hoặc Lagrange phức tạp.
- Các Nhà hoạch định Chính sách Tự động hóa: Có thêm cơ sở khoa học để xây dựng tiêu chuẩn kỹ thuật cho hệ thống vận tải tự hành thông minh và hệ thống điều khiển giao thông bầy đàn phân tán trong các đô thị thông minh.
Câu hỏi chuyên sâu
1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và đã mở rộng lý thuyết nào?
Đóng góp lý thuyết độc đáo nhất là việc hợp nhất và tinh giản cấu trúc xấp xỉ hàm ADP: chứng minh toán học rằng việc tìm nghiệm trò chơi minimax của phương trình vi phân phi tuyến Hamilton-Jacobi-Isaacs (HJI) có thể thực hiện trực tuyến bằng duy nhất 1 mạng thần kinh Critic cập nhật đồng bộ trong 1 bước lặp. Luận án mở rộng trực tiếp Lý thuyết Quy hoạch Động Thích nghi (ADP) của Werbos (1992) và Lý thuyết Điều khiển Tối ưu Bền vững $H_\infty$ của Basar & Bernhard (1995) sang miền hệ phi tuyến có động học nội $f(x)$ hoàn toàn ẩn.
2. Sự đổi mới về phương pháp luận so với các nghiên cứu tiền nhiệm?
So với nghiên cứu AC2NN của Vamvoudakis & Lewis (2010) và AC3NN của Dierks & Jagannathan (2010), luận án tạo ra bước nhảy vọt phương pháp luận:
- Loại bỏ hoàn toàn sự phụ thuộc vào bộ điều khiển ổn định ban đầu $u^{(0)}$, cho phép giải thuật khởi động an toàn từ trọng số bằng không.
- Bỏ qua khâu nhận dạng mô hình động học nội $f(x)$ (tiết kiệm hàng ngàn phép tính ma trận nghịch đảo thời gian thực).
- Cải tiến luật học Levenberg-Marquardt chuẩn hóa bậc hai giúp chặn đứng hiện tượng nổ gradient.
3. Phát hiện bất ngờ nhất có dữ liệu thực nghiệm chứng minh là gì?
Phát hiện bất ngờ nhất là tính bất biến của thuật toán trước sự thay đổi đột ngột $55.5%$ khối lượng và $70%$ mômen quán tính của Robot di động WMR. Dữ liệu thực nghiệm chứng minh: tại thời điểm $t = 25\text{s}$ khi đặt thêm tải trọng $2.5\text{ kg}$, mạng Critic tự động điều chỉnh thích nghi vector trọng số $\hat{W}$ chỉ trong vòng $0.4\text{ giây}$, quỹ đạo bám $x-y$ của robot không hề bị lệch khỏi hành lang sai số cho phép ($< 1.5\text{ cm}$), và mômen điều khiển $\tau$ tự động bù đắp chính xác mà không xảy ra hiện tượng chattering.
4. Luận án có cung cấp giao thức tái lập nghiên cứu (Replication Protocol) không?
Có. Luận án cung cấp đầy đủ:
- Hệ phương trình trạng thái toán học của đối tượng thử nghiệm.
- Cấu trúc các hàm kích hoạt đa thức Kronecker $\phi(x)$.
- Các ma trận trọng số phạt $Q, R$, tốc độ học $\alpha_1$, hệ số suy giảm nhiễu $\gamma$.
- Sơ đồ khối thuật toán từng bước (Step-by-step Algorithms) và mã nguồn thuật toán C nhúng trên vi điều khiển điều khiển phần cứng WMR thực nghiệm.
5. Lộ trình nghiên cứu 10 năm tiếp theo được định hình như thế nào?
Lộ trình 10 năm mở rộng từ nền tảng luận án bao gồm:
- Giai đoạn 1 (1-3 năm): Phát triển ORADP hồi tiếp ngõ ra sử dụng Neural Observers cho hệ thống thiếu cảm biến trạng thái.
- Giai đoạn 2 (4-6 năm): Tích hợp Deep Reinforcement Learning (DRL) với mạng nơ-ron sâu để xử lý không gian trạng thái siêu lớn và dữ liệu hình ảnh trực tiếp từ camera (End-to-End Visual Control).
- Giai đoạn 3 (7-10 năm): Ứng dụng điều khiển hợp tác bầy đàn quy mô lớn (hàng trăm đến hàng ngàn tác tử) cho mạng lưới giao thông thông minh kết nối V2X và lưới điện thông minh (Smart Grid) thích ứng với biến đổi tải cực đoan.
Kết luận
Luận án Tiến sĩ của tác giả Nguyễn Tấn Lũy đã giải quyết trọn vẹn và xuất sắc bài toán điều khiển học củng cố thích nghi bền vững cho các hệ thống phi tuyến phức tạp, ghi nhận 5 đóng góp cốt lõi:
- Thiết kế thành công giải thuật OADP sử dụng duy nhất một mạng thần kinh để xấp xỉ nghiệm phương trình HJB cho hệ phi tuyến xác định.
- Phát triển đột phá giải thuật ORADP xấp xỉ trực tuyến nghiệm phương trình HJI cho hệ phi tuyến chứa động học nội hoàn toàn ẩn và chịu nhiễu $L_2$-bounded mà không cần nhận dạng hệ thống.
- Loại bỏ thành công yêu cầu bắt buộc về bộ điều khiển ổn định ban đầu $u^{(0)}$, cho phép hệ thống tự học an toàn từ trọng số khởi tạo bằng không.
- Chứng minh toán học chặt chẽ tính ổn định UUB của toàn hệ kín và sự hội tụ của các tham số về giá trị cận tối ưu bằng phương pháp Lyapunov kết hợp điều kiện kích thích bền vững PE.
- Hiện thực hóa thành công giải thuật trên mô hình thực nghiệm Robot di động WMR (tối ưu hóa hợp nhất động học - động lực học) và mô phỏng điều khiển hợp tác phân tán cho hệ thống robot bầy đàn MIMO dựa trên lý thuyết đồ thị.
Công trình tạo nên bước tiến quan trọng trong hệ hình (paradigm shift) điều khiển học thích nghi thông minh, mở ra 3 nhánh nghiên cứu giàu tiềm năng: Điều khiển học củng cố hồi tiếp ngõ ra không cần bộ quan sát truyền thống, Điều khiển tối ưu thích nghi hệ đa tác tử quy mô lớn, và Hệ thống nhúng AI thời gian thực trên các thiết bị tự hành thông minh thế hệ mới.
Trích đoạn nội dung luận án
Tải xuống để đọc toàn bộĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƢỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN TẤN LŨY NGUYỄN TẤN LŨY NGHIÊN CỨU GIẢI THUẬT HỌC CỦNG CỐ TRONG ĐIỀU KHIỂN THÍCH NGHI BỀN VỮNG CHO HỆ PHI TUYẾN LUẬN ÁN TIẾN SĨ KỸ THUẬT TP. HỒ CHÍ MINH NĂM 2015 ĐẠI HỌC QUỐC GIA TP. HCM TRƢỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN NGUYỄN TẤN LŨY TẤN LŨY NGHIÊN CỨU GIẢI THUẬT HỌC CỦNG CỐ TRONG ĐIỀU KHIỂN THÍCH NGHI BỀN VỮNG CHO HỆ PHI TUYẾN Chuyên ngành: Tự động hóa Mã số chuyên ngành: 62.01 Phản biện độc lập 1: GS.TS Phan Xuân Minh Phản biện độc lập 2: PGS.TS Nguyễn Chí Ngôn Phản biện 1: GS.TSKH Hồ Đắc Lộc Phản biện 2: PGS.TS Nguyễn Ngọc Lâm Phản biện 3: PGS.TS Lê Minh Phương HƯỚNG DẪN KHOA HỌC 1.
NGUYỄN THIỆN THÀNH NGƯỜI HƯỚNG DẪN KHOA HỌC 1. NGUYỄN THIỆN THÀNH 2. HOÀNG MINH TRÍ 2. HOÀNG MINH TRÍ LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của bản thân tôi.
Các kết quả nghiên cứu và các kết luận trong luận án này là trung thực, và không sao chép từ bất kỳ một nguồn nào và dưới bất kỳ hình thức nào. Việc tham khảo các nguồn tài liệu đã được thực hiện trích dẫn và ghi nguồn tài liệu tham khảo đúng quy định. Tác giả luận án Nguyễn Tấn Lũy yễn Tấn Lũy i TÓM TẮT LUẬN ÁN Bài toán điều khiển tối ưu cho hệ phi tuyến bị ràng buộc trực tiếp bởi nghiệm của phương trình Hamilton-Jacobi-Bellman (HJB) và bài toán điều khiển tối ưu bền vững bị ràng buộc trực tiếp bởi nghiệm của phương trình Hamilton-Jacobi-Isaacs (HJI). Đây là các phương trình vi phân phi tuyến không có nghiệm giải tích.
Từ đó, bài toán xấp xỉ nghiệm HJB và HJI off-line hoặc online được đặt ra. Học củng cố (Reinforcement Learning (RL)) bắt nguồn từ qui hoạch động (Dynamic Programming (DP)), phát triển thành qui hoạch động thích nghi (Adaptive Dynamic Programming (ADP)) trở thành một trong những phương pháp hữu hiệu dùng để xấp xỉ các nghiệm HJB và HJI. Dựa vào cấu trúc điều khiển chuẩn của ADP bao gồm hai hoặc ba xấp xỉ hàm, các giải thuật RL không ngừng được nghiên cứu và phát triển. Ngày nay, các giải thuật điều khiển RL là online, không off-line như những nghiên cứu đã công bố trong những năm đầu của thế kỷ 21.
Ví dụ, các giải thuật RL đã được thiết kế để xấp xỉ nghiệm ARE (Algebraic Riccati Equation) cho hệ tuyến tính với các ma trận trạng thái không biết và sau này, xấp xỉ nghiệm HJB và HJI cho hệ phi tuyến với các thành phần động học trong mô hình hệ thống biết hoặc không biết, có nhiễu hoặc bỏ qua nhiễu. Luận án này nghiên cứu giải thuật học củng cố điều khiển thích nghi bền vững hệ phi tuyến, trong đó qui hoạch động thích nghi online (Online Adaptive Dynamic Programming (OADP)) và qui hoạch động thích nghi bền vững online (Online Robust Adaptive Dynamic Programming (ORADP)) là hai giải thuật chính được phân tích và thiết kế. Giải thuật OADP dùng để xấp xỉ nghiệm HJB cho hệ thống phi tuyến với mô hình xác định, sau đó được phát triển thành giải thuật ORADP để xấp xỉ nghiệm HJI cho hệ phi tuyến hoàn toàn không có thông tin về động học nội (internal dynamics). Ban đầu, cấu trúc ADP chuẩn với hai hoặc ba xấp xỉ hàm được sử dụng để chuyển đổi thành cấu trúc điều khiển với duy nhất một xấp xỉ hàm để tránh độ phức tạp tính toán và lãng phí tài nguyên nhằm đẩy nhanh tốc độ hội tụ.
Sau đó, luật cập nhật mới cho tham số cho xấp xỉ hàm và các giải thuật điều khiển mới được thiết kế. Trong giải thuật, các luật cập nhật tham số được đồng bộ hóa trong một bước lặp nhằm tăng tốc độ hội tụ. Bên cạnh đó, luật điều khiển ổn định ban đầu để khởi động giải thuật là không cần thiết. Từ đó, thủ tục thiết kế trở nên linh hoạt hơn.
Giải thuật đảm bảo rằng hàm chi phí được tối thiểu, tham số xấp xỉ hàm và luật điều khiển hội tụ về giá trị cận ii tối ưu trong khi toàn bộ trạng thái của hệ kín và sai số xấp xỉ bị chặn theo tiêu chuẩn UUB (Uniform Ultimate Bounded). Kết quả mô phỏng có so sánh với các phương pháp khác sử dụng hai hoặc ba xấp xỉ hàm cho thấy tính hiệu quả của giải thuật OADP và ORADP. Để kiểm tra khả năng ứng dụng của giải thuật ORADP, mô phỏng số và thực nghiệm cho robot di động dạng xe (Wheeled Mobile Robot (WMR)) được tiến hành. So sánh với các giải thuật điều khiển thích nghi khác, giải thuật ORADP điều khiển WMR có một số ưu điểm mới.
Thứ nhất, việc chia tách bộ điều khiển động học (kinematic) và động lực học (dynamic) sử dụng phổ biến trong điều khiển thích nghi cho WMR là không cần thiết. Từ đó, tránh phụ thuộc vào kinh nghiệm của người thiết kế trong việc lựa chọn các tham số cho bộ điều khiển động học. Thứ hai, không đòi hỏi nhận dạng trực tiếp hoặc gián tiếp thành phần động học không chắc chắn, không cấu trúc trong mô hình robot. Cuối cùng, với giải thuật ORADP, hàm chỉ tiêu chất lượng có liên quan đến sai số bám cả về động học, động lực học lẫn năng lượng điều khiển được tối thiểu.
Giải thuật ORADP tiếp tục được sử dụng để thiết kế mở rộng cho bài toán điều khiển hợp tác nhiều hệ phi tuyến MIMO không sử dụng thông tin về động học nội hệ thống. Ban đầu, lý thuyết đồ thị được sử dụng để thiết lập cấu hình truyền thông phân tán cho nhiều hệ phi tuyến hợp tác. Sau đó, giải thuật ORADP được thiết kế mở rộng thành giải thuật điều khiển hợp tác thích nghi bền vững. Kết quả điều khiển đồng bộ hóa hệ thống robot bầy đàn từ mô phỏng cho thấy tính hiệu quả của giải thuật ORADP mở rộng.
iii ABSTRACT The optimal control problem for nonlinear systems is constrained directly by the solution of Hamilton-Jacobi-Bellman (HJB) equation and the robust optimal control problem is constrained directly by the solution of Hamilton-Jacobi-Isaacs (HJI) equation. These are nonlinear partial differential equations that have been proven to be impossible to solve analytically. Since then, the problems for approximating off-line or online HJB and HJI solutions are devoted. The reinforcement learning (RL) method, at first, derived from the dynamic programming (DP) theory, and then, developed into adaptive dynamic programming (ADP) method, becomes one of the most effective online methods to approximate HJB and HJI solutions.
Based on the standard control structure of ADP, including two or three approximators, RL algorithms are studied and developed continuously. Nowadays, these algorithms are online and no longer off-line as the researches that are published in the early years of the 21st century. For example, RL algorithms have been developing to approximate the ARE (Algebraic Riccati Equation) solutions for linear systems with unknown state matrices, and after that, HJB and HJI solutions for nonlinear systems contained known and unknown system dynamics with or without impacted by disturbance. This thesis propose reinforcement learning-based robust adaptive control algorithms for nonlinear systems, in which Online Adaptive Dynamic Programming (OADP) and Online Robust Adaptive Dynamic Programming (ORADP) are two main analyzed and designed algorithms.
OADP algorithm is used to approximate a HJB solution for the nonlinear system with known dynamics, and then extended to ORADP algorithm to approximate HJI solution for the nonlinear system without absolutely knowing knowledge of internal dynamics. Firstly, the standard ADP structures with two or three approximators are used to transform into control structures with only single approximator to avoid the complex computation and waste of resources in order to accelerate the speed of update processes. Then, novel update laws for the approximator’s parameters and the novel algorithms are designed. In the algorithm, parameter update laws are synchronized in one iterative step to increase the speed of convergence.
Besides, any stability control law to initialize algorithm is not needed; Therefore, design procudures become more flexible. The algorithms guarantee that iv cost functions are minimized, parameters of approximators and control laws converge to suboptimal values while all closed-system states and the approximate errors are bounded by UUB (Uniform Ultimate Bounded) standard. The results of numerical simulation compared with other methods using two or three approximators demonstrate the effectiveness of the OADP and ORADP algorithms. To verify the application ability of ORADP algorithm, simulation and experiment for WMR (Wheeled Mobile Robot) are conducted.
It is shown that when ORADP algorithm is applied to control WMR, some novel advantages compared with other adaptive control algorithms have been gained. Firstly, the separation of kinematic and dynamic controllers that commonly used in adaptive control for WMR is unnecessary. By doing that, we can avoid depending on the designer's experience in choosing the parameters for the kinematic controller. Secondly, identifying directly or indirectly uncertainty, unstructured and unmodeled dynamics in the robot models is not required.
Lastly, using ORADP algorithm, the performance index function related to both kinematic, dynamic tracking errors and control energy is minimized. The ORADP algorithm is continuously designed extendedly for the cooperative control problem of multiple MIMO nonlinear systems without using the knowledge of system internal dynamics. Initially, graph theory is used to establish distributed communication configures for multiple cooperative nonlinear systems. Then, ORADP algorithm is expanded to become the robust adaptive cooperative control algorithm.
Simulation results of synchronous control for the swarm robot system show the effectiveness of the extended ORADP algorithm. v LỜI CÁM ƠN Luận án này được hoàn thành dưới sự hướng dẫn của TS. Nguyễn Thiện Thành và TS. Hoàng Minh Trí.
Tôi xin gửi tới các Thầy lời biết ơn vô hạn về sự quan tâm giúp đỡ, tạo điều kiện tối đa để tôi hoàn thành cuốn luận án này. Đặc biệt, tôi xin trân trọng bày tỏ lòng biết ơn chân thành đến Thầy Nguyễn Thiện Thành người đã giới thiệu và truyền cho tôi nguồn cảm hứng về lĩnh vực học củng cố. Luận án này không thể hoàn thành nếu không có sự hướng dẫn khoa học của PGS. Nguyễn Thị Phương Hà.
Cô đã cho tôi định hướng và truyền đạt cho tôi rất nhiều kiến thức quan trọng về lĩnh vực điều khiển thích nghi bền vững. Vì vậy, cho tôi được bày tỏ đến Cô lòng biết ơn sâu sắc. Tôi xin chân thành cảm ơn tập thể các nhà khoa học trong Bộ môn Điều khiển tự động, Đại học Bách Khoa Thành phố Hồ Chí Minh đã có những đóng góp rất quí báu về mặt học thuật để luận án này được hoàn thành. Tôi cũng xin dành riêng lời cảm ơn đến các đồng nghiệp ở Khoa Công nghệ Điện tử Đại học Công nghiệp Thành phố Hồ Chí Minh, đã tạo điều kiện về thời gian để tôi hoàn thành luận án, cảm ơn các bạn ở Phòng Thí nghiệm Trọng điểm Quốc Gia Điều khiển số và Kỹ thuật hệ thống Đại học Quốc Gia, Đại học Bách Khoa đã tạo môi trường vui vẻ và chia sẻ những khó khăn trong thời gian tôi công tác tại đây.
Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ
Trích dẫn luận án này
Nguyễn Tấn Lũy (2015). Học củng cố điều khiển thích nghi bền vững hệ phi tuyến [Luận án tiến sĩ, Trường Đại học Bách khoa, Đại học Quốc gia TP. Hồ Chí Minh]. LuanAn.net. https://luanan.net/cong-nghe-thong-tin/tri-tue-nhan-tao/giai-thuat-hoc-cung-co-dieu-khien-thich-nghi-ben-vung-he-phi-tuyen
Câu hỏi thường gặp
Luận án "Học củng cố điều khiển thích nghi bền vững hệ phi tuyến" nghiên cứu về vấn đề gì?
Tìm hiểu phương pháp học củng cố thích nghi điều khiển hệ phi tuyến bền vững. Phân tích ưu điểm và ứng dụng thực tế.
Luận án "Học củng cố điều khiển thích nghi bền vững hệ phi tuyến" được bảo vệ tại trường nào?
Luận án này được bảo vệ tại Trường Đại học Bách khoa, Đại học Quốc gia TP. Hồ Chí Minh. Năm bảo vệ: 2015.
Luận án "Học củng cố điều khiển thích nghi bền vững hệ phi tuyến" thuộc chuyên ngành gì?
Luận án "Học củng cố điều khiển thích nghi bền vững hệ phi tuyến" thuộc chuyên ngành Tự động hóa. Danh mục: Trí Tuệ Nhân Tạo.
Luận án "Học củng cố điều khiển thích nghi bền vững hệ phi tuyến" có bao nhiêu trang?
Luận án "Học củng cố điều khiển thích nghi bền vững hệ phi tuyến" có 175 trang. Bạn có thể xem trước một phần tài liệu ngay trên trang web trước khi tải về.
Cách tải luận án "Học củng cố điều khiển thích nghi bền vững hệ phi tuyến" về máy như thế nào?
Để tải luận án về máy, bạn nhấn nút "Tải xuống ngay" trên trang này, sau đó hoàn tất thanh toán phí lưu trữ. File sẽ được tải xuống ngay sau khi thanh toán thành công. Hỗ trợ qua Zalo: 0559 297 239.