Luận án tiến sĩ: Điều khiển học tăng cường xe hai bánh tự cân bằng

Hệ thiếu cơ cấu chấp hành có đặc điểm riêng. Số đầu ra lớn hơn số đầu vào điều khiển. Xe hai bánh tự cân bằng thuộc loại này. Cần điều khiển ba biến trạng thái: vị trí, góc nghiêng, góc hướng. Chỉ có hai động cơ tạo mô-men xoắn. Thách thức nằm ở việc cân bằng động. Robot di động phải duy trì thăng bằng liên tục. Mất cân bằng dẫn đến đổ ngã ngay lập tức.

Ba dạng xe hai bánh phổ biến. Dạng truyền thống: hai bánh song song, thân xe đứng giữa. Dạng đầu vào xen kênh: bánh xe điều khiển độc lập. Dạng bánh phản ứng: sử dụng con quay hồi chuyển. Mỗi loại có ưu nhược điểm riêng. Xe truyền thống đơn giản, dễ chế tạo. Xe xen kênh linh hoạt hơn. Xe bánh phản ứng ổn định cao nhưng phức tạp.

Reinforcement learning thay đổi cách tiếp cận điều khiển. Hệ thống tự học từ tương tác với môi trường. Không cần mô hình toán học chính xác trước. Deep Q-network xử lý không gian trạng thái lớn. Q-learning tối ưu hàm giá trị hành động. Phương pháp này phù hợp với mô hình bất định. Hệ thống thích nghi với nhiễu không dừng. Điều khiển thông minh đạt hiệu suất cao.

Phương trình Lagrange mô tả động học hệ. Năng lượng động học bao gồm chuyển động tịnh tiến và quay. Năng lượng thế từ trọng lực tác dụng. Mô-men xoắn từ hai động cơ bánh xe. Phương trình phi tuyến bậc hai. Chứa tích các biến trạng thái. Ma trận khối lượng phụ thuộc vào cấu hình. Vector Coriolis chứa các lực ly tâm.

Điểm cân bằng là vị trí thẳng đứng. Góc nghiêng θ = 0, vận tốc góc = 0. Khai triển Taylor bậc nhất. Bỏ qua các số hạng bậc cao. Ma trận A mô tả động học tuyến tính. Ma trận B liên kết đầu vào với trạng thái. Hệ tuyến tính dễ phân tích tính ổn định. Áp dụng được các phương pháp điều khiển cổ điển.

Bất định mô hình ΔA là ma trận sai số. Phụ thuộc vào sai số tham số. Thường giả thiết bị chặn bởi chuẩn. Nhiễu đầu vào d(t) là vector ngẫu nhiên. Có thể không dừng, thay đổi theo thời gian. Giả thiết nhiễu có đạo hàm bị chặn. Bộ quan sát nhiễu sẽ ước lượng d(t). Mô hình tổng quát: ẋ = (A + ΔA)x + Bu + d.

Phương trình Bellman là phương trình đệ quy. V(s) = R(s,a) + γV(s'). V là hàm giá trị trạng thái. R là phần thưởng tức thời. γ là hệ số chiết khấu (0 < γ < 1). s' là trạng thái kế tiếp. Hàm Q(s,a) đánh giá cặp trạng thái-hành động. Q-learning học trực tiếp Q(s,a). Không cần mô hình chuyển trạng thái.

Deep Q-network (DQN) sử dụng mạng neural. Đầu vào: vector trạng thái [x, θ, ψ, ẋ, θ̇, ψ̇]. Đầu ra: giá trị Q cho mỗi hành động rời rạc. Mạng gồm nhiều lớp fully connected. Hàm kích hoạt ReLU. Loss function: TD-error bình phương. Experience replay tăng hiệu quả học. Target network ổn định quá trình training.

Xấp xỉ tuyến tính đơn giản hóa bài toán. Hàm giá trị V(x) = x^T P x. P là ma trận đối xứng xác định dương. Phương trình Riccati xác định P. Luật điều khiển tối ưu: u = -Kx. K là ma trận tăng ích phản hồi trạng thái. K = R^(-1) B^T P. Phương pháp học P từ dữ liệu. Không cần biết ma trận A, B trước.

Bộ quan sát nhiễu mở rộng vector trạng thái. Trạng thái mở rộng: z = [x; d]. Phương trình quan sát: ż = Fz + Gu + L(y - ŷ). F là ma trận động học mở rộng. L là ma trận tăng ích quan sát. Chọn L sao cho (F - LC) ổn định Hurwitz. Sai số e = z - ẑ thỏa ė = (F - LC)e. Eigenvalues âm đảm bảo e → 0.

Hàm Lyapunov: V = x^T Px + e^T Pe. P, Pe là ma trận xác định dương. Đạo hàm V̇ dọc quỹ đạo hệ thống. V̇ = -x^T Qx - e^T Qe + các số hạng chéo. Chọn tham số sao cho V̇ < 0. Định lý Lyapunov đảm bảo ổn định tiệm cận. Hệ kín hội tụ về điểm cân bằng x = 0.

Thuật toán cập nhật ma trận P từ dữ liệu. Thu thập cặp (x(t), u(t), x(t+Δt)). Xây dựng phương trình Bellman rời rạc. Giải hệ phương trình tuyến tính cho vec(P). Least squares estimate: P̂ = (Φ^T Φ)^(-1) Φ^T Y. Cập nhật luật điều khiển K = R^(-1) B^T P̂. Lặp lại cho đến hội tụ.

Tham số vật lý từ đo đạc thực tế. Khối lượng thân M = 10 kg. Khối lượng bánh m = 1 kg. Bán kính bánh r = 0.1 m. Chiều cao trọng tâm h = 0.3 m. Mô-men quán tính tính theo công thức chuẩn. Ma trận trọng Q = diag([100, 100, 10, 1, 1, 1]). Ma trận điều khiển R = diag([1, 1]). Bước thời gian Δt = 0.01s.

Ba phương pháp được so sánh. LQR cổ điển: thiết kế dựa trên mô hình danh định. LQR-DOB: LQR kết hợp bộ quan sát nhiễu. ADP-DOB: quy hoạch động thích nghi với quan sát nhiễu. Chỉ số đánh giá: IAE (tích phân sai số tuyệt đối). ISE (tích phân sai số bình phương). Thời gian xác lập. Độ vọt lố. ADP-DOB cho kết quả tốt nhất.

Mô hình xe chế tạo trong phòng thí nghiệm. Vi điều khiển STM32F4. IMU MPU6050 đo góc nghiêng. Encoder đo vận tốc bánh xe. Driver động cơ L298N. Tần số lấy mẫu 100 Hz. Xe cân bằng thành công trong 120 giây. Sai số góc nghiêng trung bình 0.8 độ. Bám궤 đạo vị trí với sai số 0.05 m. Bền vững với nhiễu đẩy tay 10 N.

Phương pháp cổ điển cần mô hình toán chi tiết. Xác định tham số vật lý tốn thời gian. Sai số mô hình ảnh hưởng hiệu suất. Reinforcement learning khắc phục nhược điểm này. Học trực tiếp từ dữ liệu tương tác. Model-free approach giảm công sức thiết kế. Đặc biệt hữu ích khi mô hình phức tạp. Hoặc tham số thay đổi theo thời gian.

Môi trường thực tế luôn thay đổi. Nhiễu không dừng, bất định thời gian. Bộ điều khiển cố định suy giảm hiệu suất. Học tăng cường cập nhật liên tục. Online learning thích nghi real-time. Phát hiện thay đổi trong dynamics. Điều chỉnh chính sách phù hợp. Duy trì hiệu suất ổn định lâu dài.

Hệ thống thực tế thường phi tuyến mạnh. Tuyến tính hóa chỉ đúng quanh điểm làm việc. Deep learning xử lý phi tuyến tự nhiên. Mạng neural xấp xỉ hàm phi tuyến bất kỳ. Universal approximation theorem đảm bảo. Học các đặc trưng phi tuyến từ dữ liệu. Không cần thiết kế thủ công. Hiệu suất cao trên miền làm việc rộng.