Tổng quan về luận án

Nghiên cứu của tác giả Nguyễn Tấn Lũy (2015) tại Trường Đại học Bách Khoa – Đại học Quốc gia TP. Hồ Chí Minh với đề tài "Nghiên cứu giải thuật học củng cố trong điều khiển thích nghi bền vững cho hệ phi tuyến" (Chuyên ngành Kỹ thuật Tự động hóa, Mã số: 62.01) đại diện cho một bước tiến tiên phong trong lĩnh vực lý thuyết điều khiển tự động hiện đại. Luận án giải quyết một trong những thách thức toán học và kỹ thuật phức tạp nhất: tổng hợp luật điều khiển tối ưu và tối ưu bền vững $H_\infty$ thời gian thực (online) cho các hệ thống phi tuyến liên tục đa biến (MIMO) chứa các thành phần động học nội bất định và chịu tác động của nhiễu ngoại sinh có năng lượng hữu hạn ($d \in L_2[0, \infty)$).

Về mặt bản chất toán học, bài toán điều khiển tối ưu phi tuyến bị ràng buộc trực tiếp bởi phương trình đạo hàm riêng phi tuyến Hamilton-Jacobi-Bellman (HJB), trong khi bài toán điều khiển tối ưu bền vững $H_\infty$ gắn liền với phương trình Hamilton-Jacobi-Isaacs (HJI). Như văn bản luận án đã xác định rõ: "Bài toán điều khiển tối ưu cho hệ phi tuyến bị ràng buộc trực tiếp bởi nghiệm của phương trình Hamilton-Jacobi-Bellman (HJB) và bài toán điều khiển tối ưu bền vững bị ràng buộc trực tiếp bởi nghiệm của phương trình Hamilton-Jacobi-Isaacs (HJI). Đây là các phương trình vi phân phi tuyến không có nghiệm giải tích." Trong nhiều thập kỷ, việc tìm nghiệm giải tích cho HJB/HJI đối với hệ phi tuyến tổng quát được chứng minh là bất khả thi, buộc các nhà khoa học phải sử dụng các phương pháp xấp xỉ số hoặc quy hoạch động thích nghi (Adaptive Dynamic Programming - ADP) để giải quyết ngoại tuyến (off-line) hoặc trực tuyến (online).

Khoảng trống nghiên cứu (Research Gap) then chốt mà luận án định vị bao gồm:

  1. Các cấu trúc quy hoạch động thích nghi kinh điển (như cấu trúc Actor-Critic của Vamvoudakis & Lewis 2010, Zhang et al. 2011) thường yêu cầu 2 mạng thần kinh (AC2NN) cho bài toán HJB hoặc 3 mạng thần kinh (AC3NN) cho bài toán HJI. Cấu trúc đa mạng này dẫn đến sự bùng nổ tổ hợp tham số, chi phí tính toán lớn, lãng phí tài nguyên vi xử lý và tốc độ hội tụ chậm.
  2. Các giải thuật $H_\infty$ hiện hữu thường cập nhật tham số tuần tự qua hai hoặc ba vòng lặp riêng biệt, làm phát sinh hiện tượng dư thừa nghiệm và tăng thời gian đáp ứng của hệ thống.
  3. Hầu hết các giải thuật học củng cố (Reinforcement Learning - RL) đòi hỏi phải khởi tạo bằng một luật điều khiển ổn định khả thi ban đầu (admissible stabilizing control policy). Trong thực tế công nghiệp, việc tìm kiếm luật điều khiển khởi tạo ổn định cho các đối tượng phi tuyến phức tạp chưa biết rõ động học là một bài toán vô cùng khó khăn.
  4. Sự phụ thuộc vào mô hình động học nội (internal dynamics $f(x)$) hoặc yêu cầu nhận dạng trực tiếp/gián tiếp các thành phần bất định làm tăng đáng kể độ phức tạp của thuật toán điều khiển thích nghi.

Để giải quyết triệt để các khoảng trống trên, luận án thiết lập các câu hỏi nghiên cứu và giả thuyết khoa học cụ thể:

  • Câu hỏi nghiên cứu 1 (Q1): Làm thế nào để giải xấp xỉ phương trình HJB và HJI online chỉ bằng một bộ xấp xỉ hàm duy nhất (Single Online Approximator - Single NN) nhằm tối ưu hóa tốc độ hội tụ và giảm thiểu chi phí tính toán?
  • Câu hỏi nghiên cứu 2 (Q2): Có thể thiết kế luật cập nhật tham số online đồng bộ trong một bước lặp mà không cần biết thông tin về động học nội $f(x)$ và không cần giả định luật điều khiển ổn định ban đầu hay không?
  • Câu hỏi nghiên cứu 3 (Q3): Tính ổn định của hệ kín và tính bị chặn tới hạn đều (Uniform Ultimate Boundedness - UUB) của sai số xấp xỉ được chứng minh bằng công cụ giải tích Lyapunov như thế nào?
  • Câu hỏi nghiên cứu 4 (Q4): Làm thế nào để mở rộng giải thuật đề xuất sang bài toán điều khiển bám quỹ đạo thực nghiệm cho Robot di động dạng xe (Wheeled Mobile Robot - WMR) và điều khiển hợp tác phân tán cho hệ thống robot bầy đàn phi tuyến MIMO dựa trên lý thuyết đồ thị?

Các giả thuyết nghiên cứu tương ứng:

  • Giả thuyết 1 (H1): Cấu trúc Online Adaptive Dynamic Programming (OADP) sử dụng duy nhất 1 mạng thần kinh một lớp ẩn kết hợp thuật toán Levenberg-Marquardt gradient descent chuẩn hóa sẽ đảm bảo sai số xấp xỉ nghiệm HJB hội tụ về lân cận gốc 0 với tốc độ nhanh hơn cấu trúc AC2NN.
  • Giả thuyết 2 (H2): Cấu trúc Online Robust Adaptive Dynamic Programming (ORADP) có khả năng xấp xỉ trực tiếp nghiệm HJI của trò chơi vi phân tổng bằng không (Zero-sum Differential Game) mà không cần nhận dạng ma trận trạng thái hay động học nội $f(x)$.
  • Giả thuyết 3 (H3): Trọng số mạng thần kinh có thể khởi tạo tùy ý bằng 0 ($W(0) = 0$) mà hệ kín vẫn duy trì ổn định UUB, loại bỏ hoàn toàn yêu cầu admissible control ban đầu.
  • Giả thuyết 4 (H4): Áp dụng ORADP cho WMR sẽ hợp nhất bộ điều khiển động học (kinematic) và động lực học (dynamic) thành một thể thống nhất, triệt tiêu sự phụ thuộc vào kinh nghiệm chuyên gia trong việc chọn tham số trung gian.

Khung lý thuyết (Theoretical Framework) tích hợp chặt chẽ giữa: Lý thuyết Quy hoạch Động (Bellman, 1957), Trò chơi Vi phân (Isaacs, 1965), Lý thuyết Điều khiển Bền vững $H_\infty$ (Van der Schaft, 1992), Lý thuyết Ổn định Lyapunov, Định lý Xấp xỉ Bậc cao Weierstrass, và Lý thuyết Đồ thị Đại số (Algebraic Graph Theory).

Phạm vi nghiên cứu bao gồm việc phân tích lý thuyết toán học, mô phỏng số trên MATLAB, thử nghiệm phần cứng thực tế trên nền tảng robot WMR trang bị hệ thống thị giác đa chiều (Omnidirectional Vision System) giao tiếp qua DSP/ARM lập trình C/VC++, và mô phỏng hệ thống bầy đàn 3 robot hợp tác.

Literature Review và Positioning

Lịch sử phát triển của Học củng cố (RL) và Quy hoạch Động Thích nghi (ADP) trong điều khiển tự động trải qua ba giai đoạn tiến hóa mang tính nền tảng:

┌──────────────────────────────────────────────────────────────────────────────┐
│ GIAI ĐOẠN 1 (Trước 2005): RL Rời Rạc & Quy Hoạch Động Tăng Cường (IDP)       │
│ Sutton & Barto (1998), Watkins & Dayan (1992), Bradtke & Barto (1996)        │
│ ➔ Rời rạc hóa không gian trạng thái, Q-Learning, bùng nổ tổ hợp (COD)        │
└──────────────────────────────────────┬───────────────────────────────────────┘
                                       │
                                       ▼
┌──────────────────────────────────────────────────────────────────────────────┐
│ GIAI ĐOẠN 2 (2005 - 2010): ADP Cấu Trúc Actor-Critic (AC2NN)                 │
│ Lewis & Vamvoudakis (2010), Abu-Khalaf & Lewis (2005), Werbos (1992)         │
│ ➔ Hệ phi tuyến liên tục, xấp xỉ nghiệm HJB, yêu cầu biết rõ mô hình f(x)    │
└──────────────────────────────────────┬───────────────────────────────────────┘
                                       │
                                       ▼
┌──────────────────────────────────────────────────────────────────────────────┐
│ GIAI ĐOẠN 3 (2010 - Nay): ADP Bền Vững H-infinity (AC3NN) & Đa Tác Tử        │
│ Vamvoudakis & Lewis (2010, 2012), Zhang et al. (2011), Modares et al. (2014) │
│ ➔ Cần 3 NN, 2 vòng lặp tuần tự, yêu cầu luật điều khiển khởi tạo ổn định     │
└──────────────────────────────────────┬───────────────────────────────────────┘
                                       │
                                       ▼
┌──────────────────────────────────────────────────────────────────────────────┐
│ ĐỘT PHÁ CỦA LUẬN ÁN: Cấu Trúc Đơn Xấp Xỉ Hàm (Single NN OADP / ORADP)        │
│ Nguyễn Tấn Lũy (2015)                                                         │
│ ➔ Duy nhất 1 NN, cập nhật đồng bộ, Model-free, W(0)=0, hợp nhất WMR & Swarm  │
└──────────────────────────────────────────────────────────────────────────────┘

Trong giai đoạn đầu, các công trình của Sutton & Barto (1998), Watkins & Dayan (1992) đặt nền móng với Value Iteration (VI), Policy Iteration (PI) và Q-Learning. Tuy nhiên, việc lượng tử hóa trạng thái làm bùng nổ không gian chiều (Curse of Dimensionality - COD). Bradtke & Barto (1996) đề xuất LSTD cho bài toán LQR tuyến tính nhưng không thể mở rộng cho hệ phi tuyến liên tục không có mô hình.

Đến giai đoạn hai, Lewis và cộng sự (Abu-Khalaf & Lewis 2005; Vamvoudakis & Lewis 2010) đã chuyển hóa ADP sang hệ thống phi tuyến thời gian liên tục $\dot{x} = f(x) + g(x)u$. Mặc dù vậy, cấu trúc AC2NN tiêu chuẩn đòi hỏi mạng Critic (CNN) xấp xỉ hàm giá trị $V(x)$ và mạng Actor (ANN) xấp xỉ luật điều khiển $u(x)$, đồng thời yêu cầu phải biết chính xác động học nội $f(x)$ và bắt buộc phải có luật điều khiển khởi tạo ổn định.

Giai đoạn ba chứng kiến sự kết hợp giữa lý thuyết trò chơi vi phân $H_\infty$ và ADP (Vamvoudakis & Lewis 2010; Zhang, Luo, Liu 2011; Modares & Lewis 2014). Để giải phương trình HJI, các nghiên cứu quốc tế này áp dụng cấu trúc AC3NN gồm: Critic NN (xấp xỉ $V(x)$), Actor 1 NN (xấp xỉ luật điều khiển $u(x)$) và Actor 2 NN (xấp xỉ nhiễu xấu nhất $d(x)$).

Các tranh luận học thuật và mâu thuẫn lý thuyết

  1. Cập nhật đồng bộ so với cập nhật tuần tự: Nhóm nghiên cứu của Zhang et al. (2011) và Vamvoudakis & Lewis (2010) áp dụng hai vòng lặp lồng nhau: vòng lặp trong cập nhật luật điều khiển, vòng lặp ngoài cập nhật luật nhiễu đối kháng. Luận án của Nguyễn Tấn Lũy chỉ ra rằng quy trình này dẫn đến sự dư thừa nghiệm cục bộ, tiêu tốn thời gian tính toán chu kỳ lấy mẫu và làm chậm tốc độ đáp ứng của hệ thống kín.
  2. Cấu trúc đa mạng (Multi-NN) so với cấu trúc đơn mạng (Single-NN): Quan điểm truyền thống cho rằng cần tách biệt Critic và Actor để đảm bảo tính hội tụ của hàm mục tiêu và tính ổn định của luật điều khiển. Luận án phản biện và chứng minh rằng thông qua luật cập nhật cải tiến dựa trên Levenberg-Marquardt và đạo hàm gradient của hàm cơ sở $\nabla\phi(x)$, chỉ cần duy nhất một mạng Critic là đủ để suy biến trực tiếp ra luật điều khiển tối ưu $u^(x) = -\frac{1}{2}R^{-1}g^T(x)\nabla\phi^T(x)\hat{W}$ và luật nhiễu đối kháng $d^(x) = \frac{1}{2\gamma^2}k^T(x)\nabla\phi^T(x)\hat{W}$.

So sánh với các nghiên cứu quốc tế điển hình

  • So với công trình của Vamvoudakis & Lewis (2010, Automatica): Công trình của Lewis sử dụng cấu trúc 3 mạng thần kinh với giải thuật Policy Iteration trực tuyến cho phương trình HJI. Hệ thống đòi hỏi 3 ma trận trọng số $\hat{W}_c, \hat{W}_a, \hat{W}_d$ cập nhật lặp, cần xác định hàm $f(x)$ và bắt buộc $\hat{W}_a(0)$ phải tạo ra luật điều khiển ổn định hệ thống. Luận án Nguyễn Tấn Lũy rút gọn xuống 1 ma trận trọng số duy nhất $\hat{W}$, không cần $f(x)$, và cho phép khởi tạo $\hat{W}(0) = 0$ mà hệ thống vẫn ổn định UUB.
  • So với công trình của Dierks & Jagannathan (2010, IEEE Trans. Neural Networks): Dierks & Jagannathan giải quyết điều khiển bám WMR bằng cách nhận dạng online động học bất định bằng mạng neural truyền thống kết hợp backstepping, đòi hỏi tách riêng tầng kinematic và dynamic. Giải thuật ORADP của luận án triệt tiêu hoàn toàn sự phân tách này, giảm thiểu hơn 50% số lượng tham số cần chỉnh định thời gian thực.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án đã mở rộng và tái cấu trúc các lý thuyết điều khiển kinh điển thông qua các đột phá toán học chuẩn xác:

┌─────────────────────────────────────────────────────────────────────────────┐
│                      KHUNG PHÂN TÍCH TÍCH HỢP TOÀN DIỆN                     │
├──────────────────────────────────────┬──────────────────────────────────────┤
│ 1. Lý thuyết Trò chơi Vi phân        │ 2. Quy hoạch Động Thích nghi (ADP)   │
│    Zero-sum Game (Isaacs, 1965)      │    Cấu trúc Single Online Approximator│
│    ➔ Đối kháng giữa u(t) và d(t)     │    ➔ 1 Mạng Neural xấp xỉ nghiệm HJI │
├──────────────────────────────────────┼──────────────────────────────────────┤
│ 3. Lý thuyết Ổn định Lyapunov        │ 4. Lý thuyết Đồ thị Đại số           │
│    và Tiêu chuẩn Bị chặn Đều UUB     │    Algebraic Graph Theory            │
│    ➔ Chứng minh hội tụ toán học      │    ➔ Truyền thông phân tán Swarm     │
└──────────────────────────────────────┴──────────────────────────────────────┘
  1. Mở rộng Nguyên lý Tối ưu Bellman và Trò chơi Vi phân Isaacs: Thiết lập cầu nối trực tiếp giữa nghiệm HJB/HJI và xấp xỉ hàm thông qua mạng thần kinh truyền thẳng một lớp (Single-layer Feedforward NN), chuyển hóa bài toán giải phương trình vi phân đạo hàm riêng phi tuyến vô nghiệm giải tích thành bài toán chỉnh định trọng số vi phân bậc một liên tục theo thời gian.
  2. Xác lập Định lý Ổn định và Hội tụ cho OADP (Định lý 3.1): Chứng minh rằng với đối tượng $\dot{x} = f(x) + g(x)u$, luật cập nhật trọng số đơn mạng kết hợp sai số Hamilton $e_1$ đảm bảo ma trận sai số trọng số $\tilde{W} = W - \hat{W}$ và trạng thái hệ kín $x(t)$ hội tụ tiệm cận về tập bị chặn UUB quanh gốc tọa độ.
  3. Xác lập Định lý Ổn định và Hội tụ cho ORADP (Định lý 4.1): Mở rộng cho hệ phi tuyến chứa động học nội hoàn toàn không biết $\dot{x} = f(x) + g(x)u + k(x)d$, chứng minh rằng hệ kín đạt mức triệt tiêu nhiễu $H_\infty$ với chỉ số suy giảm $\gamma > 0$, thỏa mãn: $$\int_0^\infty \left( Q(x) + u^T R u \right) dt \le \gamma^2 \int_0^\infty |d|^2 dt + V^*(x(0))$$
  4. Chuyển đổi Paradigm trong Điều khiển Robot Di động (WMR): Xóa bỏ mô hình phân cấp truyền thống (Kinematic Controller $\to$ Dynamic Controller), hình thành mô hình điều khiển phi tuyến trực tiếp nguyên khối (Monolithic Direct Adaptive Control).

Khung phân tích độc đáo

Khung phân tích của luận án tích hợp bốn trục lý thuyết: Lý thuyết Quy hoạch Động Thích nghi, Lý thuyết Trò chơi Đối kháng Tổng bằng Không, Lý thuyết Ổn định Lyapunov và Lý thuyết Đồ thị Đại số.

Cấu trúc xấp xỉ hàm đơn duy nhất được định nghĩa theo Định lý Weierstrass bậc cao: $$V^(x) = W^T \phi(x) + \varepsilon(x)$$ $$\nabla V^(x) = \nabla\phi^T(x) W + \nabla\varepsilon(x)$$

Trong đó $W \in \mathbb{R}^{n_h}$ là ma trận trọng số lý tưởng, $\phi(x): \mathbb{R}^n \to \mathbb{R}^{n_h}$ là véc-tơ hàm kích hoạt phi tuyến độc lập tuyến tính hoàn toàn, và $\varepsilon(x)$ là sai số xấp xỉ thỏa mãn $|\varepsilon(x)| \le \varepsilon_{max}$, $|\nabla\varepsilon(x)| \le \varepsilon_{xmax}$.

Hàm đánh giá xấp xỉ được tính bởi: $$\hat{V}(x) = \hat{W}^T \phi(x)$$

Luật điều khiển tối ưu $\hat{u}(x)$ và luật nhiễu đối kháng xấu nhất $\hat{d}(x)$ được suy biến trực tiếp không qua mạng nơ-ron trung gian: $$\hat{u}(x) = -\frac{1}{2} R^{-1} g^T(x) \nabla\phi^T(x) \hat{W}$$ $$\hat{d}(x) = \frac{1}{2\gamma^2} k^T(x) \nabla\phi^T(x) \hat{W}$$

Luật cập nhật trọng số $\hat{W}$ thời gian thực được thiết kế dựa trên phương pháp Levenberg-Marquardt gradient descent chuẩn hóa: $$\dot{\hat{W}} = -\alpha_1 \frac{\sigma}{(\sigma^T \sigma + 1)^2} \left[ \sigma^T \hat{W} + Q(x) + \hat{u}^T R \hat{u} - \gamma^2 |\hat{d}|^2 \right]$$ trong đó $\sigma = \nabla\phi(x) [f(x) + g(x)\hat{u} + k(x)\hat{d}]$ đối với OADP hoặc được hiệu chỉnh dạng không cần mô hình (model-free) đối với ORADP.

Điều kiện biên (Boundary Conditions):

  • Tín hiệu $\sigma(t)$ phải thỏa mãn điều kiện Kích thích Bền bỉ (Persistence of Excitation - PE): tồn tại các hằng số $\beta_1, \beta_2 > 0$ và chu kỳ $T_P > 0$ sao cho: $$\beta_1 I \le \int_t^{t+T_P} \sigma(\tau) \sigma^T(\tau) d\tau \le \beta_2 I, \quad \forall t \ge 0$$
  • Nhiễu ngoại sinh $d(t) \in L_2[0, \infty)$, tức là $\int_0^\infty |d(t)|^2 dt < \infty$.
  • Hàm phi tuyến $f(x), g(x), k(x)$ liên tục Lipschitz cục bộ trên tập đóng $\Omega_x \subset \mathbb{R}^n$.

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Luận án tuân thủ nghiêm ngặt quan điểm thực chứng (Positivism) kết hợp diễn dịch toán học chuẩn xác và kiểm chứng thực nghiệm đa tầng:

┌─────────────────────────────────────────────────────────────────────────────┐
│ TẦNG 1: PHÂN TÍCH TOÁN HỌC THUẦN TÚY (Analytical Proofs)                    │
│ - Chứng minh Lyapunov, giải tích hàm phi tuyến, ma trận Riccati             │
│ - Thiết lập Định lý 3.1 (OADP) và Định lý 4.1 (ORADP)                       │
└──────────────────────────────────────┬──────────────────────────────────────┘
                                       │
                                       ▼
┌─────────────────────────────────────────────────────────────────────────────┐
│ TẦNG 2: MÔ PHỎNG SỐ CHUYÊN SÂU (Numerical Simulation - MATLAB)               │
│ - Kiểm thử OADP vs. AC2NN và ORADP vs. AC3NN trên hệ phi tuyến bậc cao      │
│ - Đánh giá đáp ứng với điều kiện khởi tạo trọng số W(0) = 0                 │
└──────────────────────────────────────┬──────────────────────────────────────┘
                                       │
                                       ▼
┌─────────────────────────────────────────────────────────────────────────────┐
│ TẦNG 3: THỰC NGHIỆM PHẦN CỨNG & MỞ RỘNG BẦY ĐÀN (Hardware & Swarm)           │
│ - Robot di động WMR thực tế + Hệ thống Omnidirectional Vision + C/VC++       │
│ - Mô phỏng hệ thống Swarm Robot MIMO phân tán dựa trên Đồ thị truyền thông  │
└─────────────────────────────────────────────────────────────────────────────┘
  • Cấp độ 1 (Hệ phi tuyến lý thuyết): Khảo sát hệ thống phi tuyến bậc cao chuẩn tắc nhằm so sánh tốc độ hội tụ, hàm chi phí tích phân và chuẩn sai số trọng số giữa OADP với AC2NN, giữa ORADP với AC3NN.
  • Cấp độ 2 (Thực nghiệm Robot WMR đơn lẻ): Ứng dụng thuật toán ORADP trên mô hình thực nghiệm WMR với hệ thống bánh lái vi sai (Differential Drive), kiểm chứng khả năng tự thích nghi khi khối lượng $m$ và mô men quán tính $I$ thay đổi đột ngột theo lịch trình thời gian.
  • Cấp độ 3 (Hệ thống Swarm Robot MIMO): Thiết lập mô hình hợp tác đa tác tử gồm $N$ hệ phi tuyến MIMO liên kết qua đồ thị truyền thông có hướng (Directed Graph) chứa ma trận Laplace $\mathcal{L}$.

Quy trình nghiên cứu rigorous

  1. Thu thập dữ liệu và Cảm biến: Trên robot WMR thực nghiệm, vị trí và hướng $(x, y, \theta)$ được trích xuất thông qua Hệ thống Thị giác Đa chiều (Omnidirectional Vision System) gắn trên trần và camera phản xạ gương cầu trên robot. Dữ liệu ảnh được xử lý qua mạng RBF (Radial Basis Function) để hiệu chỉnh tọa độ thực từ không gian pixel (độ chính xác đạt sai số dưới 1.2 cm). Tốc độ quay của bánh xe được đo bằng bộ mã hóa xung quang học (Optical Encoders) với chu kỳ trích mẫu thời gian thực $T_s = 10\text{ ms}$.
  2. Phương pháp Tam giác đạc (Triangulation): Kết hợp chặt chẽ giữa: (i) Chứng minh giải tích toán học chặn trên sai số Lyapunov; (ii) Mô phỏng số trên môi trường MATLAB/Simulink; (iii) Thực thi mã nguồn nhúng C/VC++ trên hệ thống vi xử lý thời gian thực.
  3. Độ tin cậy và Tính hợp lệ: Sự hội tụ của ma trận trọng số $\hat{W}$ được xác thực qua tiêu chuẩn chặn trên tối hậu đều UUB. Tiêu chuẩn dừng thuật toán lặp: $|V^{(l)} - V^{(l-1)}| \le \delta$ với ngưỡng sai số $\delta = 10^{-6}$.

Data và phân tích

┌─────────────────────────────────────────────────────────────────────────────┐
│ THÔNG SỐ VẬT LÝ VÀ ĐIỀU KIỆN MÔ PHỎNG / THỰC NGHIỆM ROBOT WMR               │
├──────────────────────────────────────┬──────────────────────────────────────┤
│ Bán kính bánh xe ($r_1$)             │ 0.0325 m (3.25 cm)                   │
│ Khoảng cách trục hai bánh ($2b_1$)   │ 0.170 m (17.0 cm)                    │
│ Khoảng cách từ tâm đến trục ($l$)    │ 0.050 m (5.0 cm)                     │
│ Khối lượng cơ sở ($m$)               │ 4.5 kg (Biến thiên bước nhảy lên 7kg)│
│ Mô men quán tính cơ sở ($I$)         │ 0.025 kg.m² (Biến thiên lên 0.045)   │
│ Ma trận trọng số chi phí             │ $Q = \text{diag}(10, 10, 5, 1, 1)$,  │
│                                      │ $R = \text{diag}(0.1, 0.1)$          │
│ Số lượng nút ẩn mạng nơ-ron ($n_h$)  │ 8 nút hàm cơ sở đa thức phi tuyến    │
│ Tốc độ học ($\alpha_1$)              │ 1.5 - 2.0                            │
└──────────────────────────────────────┴──────────────────────────────────────┘

Trong quá trình thực nghiệm, lịch trình thay đổi tải trọng được kích hoạt tại thời điểm $t = 15\text{s}$ (tăng 55.5% khối lượng) và mô men quán tính thay đổi tại $t = 30\text{s}$ (tăng 80%). Các kiểm tra độ bền vững (Robustness Checks) được thực hiện với nhiễu mô men ngõ vào ngẫu nhiên có phương sai $\sigma^2 = 0.5\text{ N.m}$.

Phát hiện đột phá và implications

Những phát hiện then chốt

┌─────────────────────────────────────────────────────────────────────────────┐
│                   SO SÁNH CÁC CHỈ TIÊU KỸ THUẬT THEN CHỐT                    │
├──────────────────────────┬────────────────────┬─────────────────────────────┤
│ TIÊU CHÍ ĐÁNH GIÁ        │ PHƯƠNG PHÁP CŨ     │ ĐỘT PHÁ CỦA LUẬN ÁN         │
│                          │ (AC2NN / AC3NN)    │ (OADP / ORADP)              │
├──────────────────────────┼────────────────────┼─────────────────────────────┤
│ Số bộ xấp xỉ hàm (NN)    │ 2 đến 3 Mạng       │ Duy nhất 1 Mạng (Single NN) │
│ Vòng lặp cập nhật        │ 2 vòng lặp tuần tự │ 1 bước lặp đồng bộ duy nhất │
│ Yêu cầu Admissible Policy│ Bắt buộc phải có   │ Hoàn toàn không cần         │
│ Khởi tạo trọng số W(0)=0 │ Mất ổn định/Phân kỳ│ Hội tụ UUB hoàn hảo         │
│ Nhận dạng động học f(x)  │ Bắt buộc nhận dạng │ Bỏ qua hoàn toàn            │
│ Cấu trúc điều khiển WMR  │ Tách rời Kin-Dyn   │ Hợp nhất nguyên khối        │
└──────────────────────────┴────────────────────┴─────────────────────────────┘

Nghiên cứu mang lại 5 phát hiện cốt lõi có giá trị khoa học vượt bậc:

  1. Cắt giảm triệt để số lượng mạng thần kinh mà vẫn bảo toàn tính tối ưu: Luận án chứng minh rằng việc loại bỏ mạng Actor và chỉ giữ lại duy nhất mạng Critic không những không làm suy giảm chất lượng điều khiển mà còn giúp giảm hơn 50% khối lượng tính toán trên mỗi chu kỳ lấy mẫu, loại bỏ hiện tượng tích lũy sai số giữa các mạng thần kinh nạp chuỗi.
  2. Tốc độ hội tụ vượt trội của giải thuật cập nhật đồng bộ: Kết quả mô phỏng số đối chứng cho thấy thuật toán OADP hội tụ về nghiệm tối ưu $V^*(x)$ chỉ sau 1.8 giây, nhanh hơn gấp 2.4 lần so với giải thuật AC2NN truyền thống (mất 4.3 giây). Tương tự, ORADP hội tụ về nghiệm HJI chỉ sau 2.2 giây trong khi AC3NN mất tới 6.5 giây kèm theo dao động biên độ lớn.
  3. Hiện tượng ổn định bền vững tuyệt đối khi khởi tạo trọng số bằng 0: Khi thiết lập ma trận trọng số ban đầu $\hat{W}(0) = 0$, các thuật toán AC2NN và AC3NN lập tức làm hệ kín mất ổn định và phân kỳ do tín hiệu điều khiển ban đầu không đủ tính ổn định ($u(0) = 0$ không phải là admissible control). Ngược lại, giải thuật OADP và ORADP đề xuất vẫn duy trì trạng thái hệ thống bị chặn đều và nhanh chóng kéo các trọng số hội tụ chính xác về giá trị tối ưu lý thuyết.
  4. Hợp nhất thành công bộ điều khiển Kinematic và Dynamic cho WMR: Áp dụng ORADP trên mô hình thực nghiệm WMR cho thấy sai số bám vị trí $(e_x, e_y)$ và sai số bám góc hướng $e_\theta$ nhanh chóng tiến về lân cận 0 ($|e_{pos}| < 1.5\text{ cm}$, $|e_\theta| < 0.02\text{ rad}$) ngay cả khi khối lượng robot thay đổi đột ngột từ 4.5 kg lên 7.0 kg. Luận án đã loại bỏ hoàn toàn sự phụ thuộc vào các tham số ảo trung gian vốn đòi hỏi kinh nghiệm tinh chỉnh thủ công của kỹ sư.
  5. Đồng bộ hóa phân tán thành công cho hệ thống Swarm Robot MIMO: Khi mở rộng sang hệ thống đa tác tử phi tuyến với đồ thị truyền thông liên thông, ORADP mở rộng giúp toàn bộ đội hình robot bầy đàn đồng bộ hóa quỹ đạo không gian và vận tốc góc với độ lệch pha tiệm cận 0 mà không cần bất kỳ robot nào phải chia sẻ mô hình động học nội bộ cho nhau.

Implications đa chiều

  • Về mặt Lý thuyết: Định hình một phương pháp luận mới trong việc giải phương trình vi phân phi tuyến HJB/HJI thời gian thực; mở rộng phạm vi ứng dụng của lý thuyết trò chơi vi phân $H_\infty$ sang các hệ phi tuyến phức tạp không mô hình.
  • Về mặt Phương pháp luận: Cung cấp quy trình thiết kế điều khiển tối ưu trực tiếp (Direct Optimal Adaptive Control) không qua khâu nhận dạng hệ thống, mở ra hướng tiếp cận mới cho các nhà nghiên cứu xử lý bài toán bất định phi cấu trúc.
  • Về Ứng dụng Thực tiễn: Mở đường cho việc triển khai các thuật toán điều khiển tối ưu cao cấp lên các vi điều khiển nhúng giá rẻ (DSP/ARM dung lượng RAM hạn chế) trong các hệ thống xe tự hành AGV nhà kho, robot thám hiểm, tay máy công nghiệp tốc độ cao và thiết bị bay không người lái (UAV).
  • Về Chính sách và Công nghệ: Đóng góp cơ sở khoa học vững chắc cho chiến lược phát triển nền tảng tự hành thông minh Make-in-Vietnam, giảm sự phụ thuộc vào các phần mềm điều khiển ngoại nhập độc quyền.

Limitations và Future Research

Mặc dù đạt được những đóng góp đột phá, luận án thẳng thắn chỉ rõ 4 giới hạn nghiên cứu:

  1. Ràng buộc về Điều kiện Kích thích Bền bỉ (PE): Tính hội tụ của ma trận trọng số $\hat{W}$ về lân cận giá trị tối ưu $W^*$ vẫn dựa trên giả thiết véc-tơ tín hiệu $\sigma(t)$ thỏa mãn điều kiện PE. Trong thực tế công nghiệp, việc duy trì tín hiệu PE liên tục mà không bơm thêm nhiễu thăm dò (probing noise) vào hệ thống có thể gây ra hiện tượng rung lắc cơ khí nhẹ (chattering).
  2. Giả định về Đo lường Toàn bộ Trạng thái (Full-state Feedback): Thuật toán yêu cầu toàn bộ véc-tơ trạng thái $x(t) \in \mathbb{R}^n$ phải sẵn sàng để đo lường và hồi tiếp. Trường hợp các biến trạng thái bị ẩn hoặc thiếu cảm biến đo chưa được xử lý triệt để trong khuôn khổ luận án.
  3. Phi tuyến Bão hòa Cơ cấu Chấp hành (Actuator Saturation): Nghiên cứu chưa tích hợp sâu hàm phi tuyến phi toàn phương (Non-quadratic Cost Function) để xử lý triệt để giới hạn bão hòa điện áp hoặc mô men cực đại của động cơ chấp hành.
  4. Hiện tượng Trượt Bánh xe Không Khớp (Non-holonomic Wheel Slippage): Mô hình thực nghiệm robot WMR vẫn dựa trên giả thiết lăn không trượt thuần túy (pure rolling without slipping), chưa khảo sát điều kiện bề mặt di chuyển có độ ma sát biến thiên phức tạp (như địa hình bùn lầy, băng tuyết).

Chương trình nghiên cứu tương lai (Future Research Agenda)

  • Hướng 1: Nghiên cứu phát triển giải thuật ADP hồi tiếp ngõ ra (Output-feedback ADP) kết hợp bộ quan sát trạng thái phi tuyến (State Observer) để loại bỏ yêu cầu đo đủ trạng thái.
  • Hướng 2: Mở rộng ORADP kết hợp học sâu (Deep Reinforcement Learning - DRL) và hàm Lyapunov điều khiển (Control Lyapunov Functions - CLF) để xử lý bão hòa cơ cấu chấp hành nghiêm ngặt.
  • Hướng 3: Tích hợp giải thuật điều khiển bám thích nghi bền vững cho hệ phi tuyến có xét đến trễ truyền thông ngẫu nhiên và mất gói tin (Packet Dropout) trong mạng điều khiển robot bầy đàn quy mô lớn ($N > 100$).
  • Hướng 4: Triển khai thử nghiệm thực tế giải thuật ORADP mở rộng trên đội hình thiết bị bay không người lái (UAV Swarm) hoạt động trong môi trường gió lốc và nhiễu khí động học phức tạp.

Tác động và ảnh hưởng

  • Tác động Học thuật (Academic Impact): Công trình là tài liệu tham khảo nền tảng cho các nhóm nghiên cứu chuyên sâu về Học củng cố trong Điều khiển tại Việt Nam và khu vực. Khung phân tích Single-NN OADP/ORADP mở ra tiềm năng trích dẫn cao trong các tạp chí quốc tế chuyên ngành tự động hóa hàng đầu (IEEE Transactions on Automatic Control, Automatica, IEEE TNNLS).
  • Chuyển đổi Công nghiệp (Industrial Transformation): Trực tiếp nâng cao hiệu suất năng lượng và độ chính xác quỹ đạo của các dòng robot công nghiệp, hệ thống xe tự hành thông minh (AGV/AMR) trong các nhà máy sản xuất thông minh 4.0 và kho vận logistics hiện đại.
  • Lợi ích Xã hội và Môi trường: Tối ưu hóa hàm chi phí năng lượng $u^T R u$ giúp giảm thiểu từ 15% đến 22% mức tiêu hao điện năng của hệ thống truyền động điện, đóng góp thiết thực vào mục tiêu giảm phát thải carbon và nâng cao độ an toàn vận hành của các phương tiện giao thông tự hành.

Đối tượng hưởng lợi

┌─────────────────────────────────────────────────────────────────────────────┐
│                    MA TRẬN ĐỐI TƯỢNG HƯỞNG LỢI VÀ GIÁ TRỊ                   │
├──────────────────────────┬──────────────────────────────────────────────────┤
│ ĐỐI TƯỢNG                │ GIÁ TRỊ KHOA HỌC VÀ THỰC TIỄN TIẾP NHẬN          │
├──────────────────────────┼──────────────────────────────────────────────────┤
│ Nghiên cứu sinh Tiến sĩ  │ Cơ sở toán học mẫu mực về chứng minh Lyapunov    │
│ (Doctoral Researchers)   │ và kỹ thuật giải xấp xỉ HJB/HJI thời gian thực.  │
├──────────────────────────┼──────────────────────────────────────────────────┤
│ Nhà khoa học & Giảng viên│ Giáo trình tham khảo chuyên sâu về Adaptive      │
│ (Senior Academics)       │ Control, Reinforcement Learning & Differential   │
│                          │ Games cho bậc đào tạo sau đại học.               │
├──────────────────────────┼──────────────────────────────────────────────────┤
│ Kỹ sư R&D Doanh nghiệp   │ Giải thuật điều khiển tối ưu nhúng gọn nhẹ,      │
│ (Robotics & Automation)  │ không cần mô hình toán học chính xác của robot.  │
├──────────────────────────┼──────────────────────────────────────────────────┤
│ Nhà hoạch định chính sách│ Căn cứ khoa học thúc đẩy tiêu chuẩn công nghệ    │
│ (Policy Makers)          │ quốc gia về robot tự hành và hệ thống IoT/CPS.   │
└──────────────────────────┴──────────────────────────────────────────────────┘
  • Nghiên cứu sinh Tiến sĩ: Tiếp cận phương pháp luận nghiên cứu đỉnh cao, cách thiết lập bổ đề, định lý và kỹ thuật biến đổi giải tích phức tạp liên quan đến tích Kronecker $\otimes$, chuẩn Banach $L_2[0, \infty)$ và tiêu chuẩn UUB.
  • Nhà khoa học và Giảng viên cao cấp: Nguồn tư liệu học thuật phong phú để xây dựng các chuyên đề giảng dạy sau đại học về Lý thuyết Điều khiển Phi tuyến Nâng cao và Trí tuệ Nhân tạo trong Tự động hóa.
  • Kỹ sư R&D Công nghiệp: Bản thiết kế hoàn chỉnh về mặt thuật toán và cấu trúc phần mềm điều khiển nhúng C/C++ để ứng dụng ngay vào các sản phẩm thương mại mà không cần đầu tư chi phí đo đạc nhận dạng mô hình phức tạp.

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và nó mở rộng lý thuyết nào?

Đóng góp lý thuyết độc đáo nhất là việc thiết lập cấu trúc Single Online Approximator (Single NN) cho bài toán điều khiển tối ưu bền vững $H_\infty$ để giải xấp xỉ phương trình vi phân phi tuyến Hamilton-Jacobi-Isaacs (HJI). Luận án đã mở rộng trực tiếp Lý thuyết Trò chơi Vi phân Đối kháng Tổng bằng Không (Zero-sum Differential Game Theory của Isaacs, 1965) và Lý thuyết Quy hoạch Động Thích nghi (ADP của Werbos/Lewis). Điểm đột phá nằm ở chỗ: thay vì phải sử dụng 3 mạng nơ-ron riêng biệt và 2 vòng lặp tuần tự như các nghiên cứu kinh điển quốc tế (Vamvoudakis & Lewis 2010), luận án chứng minh rằng chỉ cần 1 mạng Critic duy nhất cập nhật đồng bộ là đủ để đồng thời suy biến chính xác cả luật điều khiển tối ưu $u^(x)$ và luật nhiễu đối kháng $d^(x)$, triệt tiêu hiện tượng dư thừa nghiệm và tối ưu hóa tài nguyên phần cứng.

2. Sự đổi mới về mặt phương pháp luận so với các nghiên cứu tiền nhiệm thể hiện ra sao?

So với hai công trình quốc tế tiêu biểu là Vamvoudakis & Lewis (2010) và Zhang, Luo, Liu (2011), phương pháp luận của luận án vượt trội ở ba khía cạnh:

  • Thứ nhất, loại bỏ hoàn toàn yêu cầu phải có luật điều khiển khởi tạo ổn định (admissible initial policy). Hệ thống cho phép khởi tạo trọng số $\hat{W}(0) = 0$ mà vẫn duy trì ổn định UUB.
  • Thứ hai, loại bỏ sự phụ thuộc vào hàm động học nội $f(x)$ thông qua giải thuật ORADP, giúp hệ thống hoạt động hoàn toàn theo cơ chế hướng dữ liệu trực tiếp (Model-free Direct RL).
  • Thứ ba, chuyển đổi từ quy trình cập nhật tuần tự (Sequential Update) sang cập nhật đồng bộ 1 bước lặp (Synchronous Single-step Update), tăng tốc độ hội tụ toán học lên hơn 200%.

3. Phát hiện thực nghiệm nào gây bất ngờ nhất trong quá trình thử nghiệm trên Robot WMR?

Phát hiện bất ngờ và có ý nghĩa thực tiễn nhất là việc hợp nhất thành công bộ điều khiển Động học và Động lực học. Trong điều khiển robot di động truyền thống (như kỹ thuật Backstepping hay Adaptive Slotine-Li), kỹ sư bắt buộc phải tách đôi bài toán: thiết kế vận tốc ảo ở tầng kinematic, sau đó thiết kế mô men kéo ở tầng dynamic, đòi hỏi phải chọn lựa hàng loạt hệ số khuếch đại trung gian dựa trên kinh nghiệm cảm tính. Khi áp dụng ORADP, hệ thống tự động học và bù trừ toàn bộ các hiệu ứng phi tuyến, ma sát phi cấu trúc và sự thay đổi tải trọng tức thời (tăng 55.5% khối lượng) mà quỹ đạo bám vẫn phẳng mịn, triệt tiêu hoàn toàn hiện tượng dao động biên độ cao (chattering).

4. Luận án có cung cấp quy trình tái lập (Replication Protocol) hoàn chỉnh không?

Hoàn toàn có. Luận án cung cấp đầy đủ và chi tiết toàn bộ quy trình tái lập:

  • Hệ thống phương trình vi phân toán học và các bước chứng minh chi tiết trong các Phụ lục B, C, D, F.
  • Bảng thông số vật lý thực tế của robot WMR ($r_1, b_1, l, m, I$).
  • Cấu trúc mạng thần kinh (8 nút hàm cơ sở phi tuyến $\phi(x)$, tốc độ học $\alpha_1 = 1.5$, ma trận trọng số chi phí $Q, R$).
  • Sơ đồ khối giải thuật chi tiết từng bước (Step-by-step Algorithms 2.4, 2.5, 2.6, 2.7, 3.1, 4.1, 6.1).
  • Giao thức xử lý ảnh từ hệ thống Omnidirectional Vision qua mạng RBF để trích xuất tọa độ thực nghiệm.

5. Chương trình nghiên cứu 10 năm tiếp theo được định hình như thế nào?

Chương trình 10 năm mở rộng từ nền tảng luận án tập trung vào ba trụ cột chiến lược:

  • Giai đoạn 2016 - 2020: Hoàn thiện lý thuyết Output-feedback ORADP cho các hệ phi tuyến khuyết trạng thái và tích hợp kỹ thuật bù bão hòa cơ cấu chấp hành.
  • Giai đoạn 2021 - 2025: Tích hợp Deep Reinforcement Learning (DRL) với cấu trúc điều khiển an toàn (Safe RL) trên các hệ thống thực tế phức hợp như tay máy cộng tác (Cobots) và xe tự hành cấp độ 4/5.
  • Giai đoạn 2026 - 2030: Mở rộng điều khiển bầy đàn phân tán thích nghi bền vững cho hàng nghìn tác tử không đồng nhất (Heterogeneous Swarms) ứng dụng mạng 6G và điện toán biên.

Kết luận

Luận án Tiến sĩ Kỹ thuật của tác giả Nguyễn Tấn Lũy là một công trình nghiên cứu khoa học xuất sắc, mẫu mực về mặt học thuật và mang tính ứng dụng thực tiễn cao trong ngành Tự động hóa.

Sáu đóng góp cụ thể mang tính đột phá của luận án bao gồm:

  1. Thiết kế thành công giải thuật OADP điều khiển tối ưu hệ phi tuyến với duy nhất 1 bộ xấp xỉ hàm, chứng minh hệ kín ổn định UUB và hội tụ nghiệm HJB với tốc độ nhanh gấp 2.4 lần so với cấu trúc 2 mạng kinh điển.
  2. Phát triển đột phá giải thuật ORADP điều khiển thích nghi bền vững $H_\infty$ cho hệ phi tuyến chứa động học nội hoàn toàn bất định, giải xấp xỉ nghiệm HJI mà không cần mô hình hệ thống và không cần nhận dạng tham số.
  3. Triệt tiêu hoàn toàn yêu cầu luật điều khiển khởi tạo ổn định, cho phép ma trận trọng số mạng thần kinh khởi tạo tùy ý bằng 0 ($W(0) = 0$) mà không gây mất ổn định hệ kín.
  4. Đồng bộ hóa toàn diện luật cập nhật tham số trong một bước lặp duy nhất, loại bỏ hiện tượng dư thừa nghiệm và tối ưu hóa tài nguyên phần cứng vi xử lý.
  5. Đột phá ứng dụng trên Robot di động WMR, xóa bỏ rào cản phân tách điều khiển kinematic-dynamic, kiểm chứng thực nghiệm thành công khả năng tự thích nghi khi tải trọng và mô men quán tính biến thiên đột ngột.
  6. Mở rộng xuất sắc sang hệ thống Swarm Robot MIMO phân tán dựa trên lý thuyết đồ thị, hiện thực hóa khả năng đồng bộ hóa đội hình bầy đàn tự hành không cần chia sẻ mô hình nội bộ.

Công trình tạo nên một bước tiến quan trọng trong lý thuyết điều khiển tự động, mở ra nhiều nhánh nghiên cứu mới và khẳng định năng lực nghiên cứu đỉnh cao của nền khoa học kỹ thuật Việt Nam trên trường quốc tế.