Luận án tiến sĩ - Tối ưu quỹ đạo robot di động với học sâu tăng cường

Bài toán lập quỹ đạo cho robot di động là thách thức phức tạp trong tự động hóa. Robot cần xác định vị trí chính xác và lập kế hoạch đường đi tối ưu. Simultaneous localization and mapping (SLAM) giúp robot nhận biết môi trường xung quanh. Path planning đảm bảo tránh va chạm với vật cản tĩnh và động. Hệ thống phải xử lý thời gian thực với độ trễ thấp. Các ràng buộc về vận tốc, gia tốc và năng lượng cần được thỏa mãn. Môi trường nhà máy đặt ra yêu cầu cao về độ tin cậy và an toàn.

Chất lượng truyền thông quyết định hiệu suất hoạt động của robot di động. Hệ thống cần đảm bảo băng thông ổn định và độ trễ thấp. Công nghệ IoT tích hợp cho phép thu thập dữ liệu từ nhiều cảm biến. Thiết bị D2D hỗ trợ giao tiếp trực tiếp giữa các robot. Thu hoạch năng lượng từ sóng RF giúp tăng thời gian hoạt động. Tối ưu hóa công suất phát và phân bổ tài nguyên là yêu cầu thiết yếu. Nghiên cứu đề xuất giải pháp tối ưu lồi để cải thiện hiệu suất tổng thể.

Deep reinforcement learning mang lại khả năng học tự động cho robot tự hành. DRL kết hợp mạng neural sâu với thuật toán học tăng cường truyền thống. Q-learning giúp robot học chính sách tối ưu qua tương tác với môi trường. Policy gradient cho phép tối ưu hóa trực tiếp hàm chính sách. Actor-critic kết hợp ưu điểm của cả hai phương pháp. Thuật toán TD3 và SAC cải thiện độ ổn định trong quá trình học. Ứng dụng DRL giúp robot thích ứng với môi trường động phức tạp.

Hệ thống bao gồm trạm gốc, robot di động và thiết bị IoT. Trạm gốc truyền tín hiệu đến các robot thông qua kênh vô tuyến. Thiết bị IoT thu hoạch năng lượng từ sóng RF để hoạt động. Giao tiếp D2D cho phép các thiết bị trao đổi thông tin trực tiếp. Mô hình kênh truyền xem xét cả fading và shadowing. Nhiễu và can nhiễu được mô hình hóa chính xác. Các tham số như công suất phát, băng thông và tốc độ bit được tối ưu hóa đồng thời.

Bài toán 1 tối đa hóa tốc độ truyền dữ liệu cho robot di động. Bài toán 2 tối đa hóa năng lượng thu hoạch cho thiết bị IoT. Các ràng buộc bao gồm công suất phát tối đa và tốc độ bit tối thiểu. Yêu cầu QoS cho từng loại thiết bị được đảm bảo. Hàm mục tiêu phi tuyến và không lồi gây khó khăn trong tối ưu. Phương pháp biến đổi và xấp xỉ được áp dụng để đơn giản hóa. Bài toán được chuyển về dạng lồi có thể giải hiệu quả.

Thuật toán sử dụng phương pháp lặp với hàm phạt điều chỉnh. Mỗi vòng lặp giải bài toán lồi con với công cụ CVX. Hệ số phạt η được tăng dần để đảm bảo hội tụ. Điểm khả thi ban đầu được tìm kiếm bằng thuật toán riêng. Điều kiện dừng dựa trên độ chính xác mong muốn. Độ phức tạp tính toán được phân tích chi tiết. Thuật toán đảm bảo hội tụ đến nghiệm tối ưu địa phương trong thời gian đa thức.

Robot di động được mô hình hóa với các ràng buộc vận tốc và gia tốc. Quỹ đạo được rời rạc hóa thành các điểm trong không gian 2D. Vận tốc tối đa và gia tốc tối đa được giới hạn bởi phần cứng. Năng lượng tiêu thụ phụ thuộc vào vận tốc và gia tốc. Mô hình xem xét cả ma sát và lực cản không khí. Thời gian di chuyển được tính dựa trên độ dài quỹ đạo. Các tham số động học được hiệu chỉnh từ robot thực tế.

Ràng buộc tránh va chạm đảm bảo an toàn trong quá trình di chuyển. Vật cản tĩnh được mô hình hóa bằng các vùng cấm trong không gian. Vật cản động yêu cầu dự đoán vị trí tương lai. Khoảng cách an toàn tối thiểu được thiết lập cho từng loại vật cản. Ràng buộc phi tuyến được xấp xỉ bằng các bất đẳng thức tuyến tính. Phương pháp xấp xỉ liên tiếp cải thiện độ chính xác qua mỗi vòng lặp. Thuật toán đảm bảo quỹ đạo không va chạm trong mọi trường hợp.

Bài toán tối thiểu hóa năng lượng tiêu thụ trong quá trình di chuyển. Hàm mục tiêu bao gồm năng lượng động học và năng lượng ma sát. Các ràng buộc về thời gian đến đích được xem xét. Thuật toán cân bằng giữa tốc độ di chuyển và hiệu suất năng lượng. Phương pháp tối ưu lồi được áp dụng với công cụ CVX. Kết quả cho thấy giảm 30-40% năng lượng so với phương pháp cổ điển. Giải pháp phù hợp cho robot hoạt động liên tục trong nhà máy.

Không gian trạng thái bao gồm vị trí, vận tốc và thông tin môi trường. Không gian hành động gồm các lệnh điều khiển vận tốc và hướng. Hàm chuyển trạng thái mô tả động học của robot di động. Hàm reward thưởng cho việc tiến gần đến đích và tránh vật cản. Phạt được áp dụng khi va chạm hoặc di chuyển không hiệu quả. Hệ số chiết khấu gamma cân bằng reward ngắn hạn và dài hạn. Mô hình MDP cho phép áp dụng các thuật toán DRL chuẩn.

TD3 (Twin Delayed Deep Deterministic Policy Gradient) cải thiện DDPG. Hai mạng critic giảm overestimation trong ước lượng Q-value. Policy được cập nhật chậm hơn để tăng độ ổn định. SAC (Soft Actor-Critic) tối đa hóa entropy để khuyến khích khám phá. Cả hai thuật toán xử lý tốt không gian hành động liên tục. Kỹ thuật target network và experience replay được sử dụng. Hyperparameter được điều chỉnh để đạt hiệu suất tối ưu cho bài toán điều hướng.

Môi trường mô phỏng được xây dựng với Gazebo và ROS. Robot được huấn luyện qua hàng triệu bước tương tác. Curriculum learning được áp dụng để tăng dần độ khó. Metrics đánh giá bao gồm tỷ lệ thành công, thời gian và năng lượng. Kết quả cho thấy tỷ lệ thành công trên 95% sau huấn luyện. DRL vượt trội so với các phương pháp cổ điển trong môi trường động. Mô hình được triển khai thành công trên robot thực với độ trễ thấp.

STAR-IRS gồm nhiều phần tử có thể điều khiển độc lập. Mỗi phần tử điều chỉnh biên độ và pha của tín hiệu. Chế độ hoạt động bao gồm phản xạ, truyền qua hoặc kết hợp. Công nghệ này không cần nguồn năng lượng chủ động. STAR-IRS khắc phục hạn chế của RIS truyền thống chỉ phản xạ. Vùng phủ sóng được mở rộng cả hai phía bề mặt. Chi phí triển khai thấp hơn nhiều so với relay truyền thống.

Bài toán tối ưu đồng thời quỹ đạo robot và ma trận pha STAR-IRS. Mục tiêu là tối đa hóa tốc độ truyền dữ liệu tích lũy. Các ràng buộc bao gồm vận tốc robot và công suất phát. Ràng buộc về hệ số phản xạ và truyền qua của STAR-IRS. Bài toán phi lồi với biến liên tục và rời rạc. Không gian tìm kiếm rất lớn, khó giải bằng phương pháp truyền thống. DRL là lựa chọn phù hợp cho bài toán này.

Không gian trạng thái bao gồm vị trí robot, kênh truyền và cấu hình STAR-IRS. Không gian hành động gồm điều khiển di chuyển và điều chỉnh pha. Hàm reward dựa trên tốc độ truyền dữ liệu đạt được. Thuật toán SAC được lựa chọn vì xử lý tốt không gian hành động phức tạp. Mạng neural được thiết kế với nhiều lớp ẩn. Kết quả cho thấy hội tụ nhanh sau 5000 episode. Hiệu suất vượt trội 50% so với phương pháp không có STAR-IRS.

TurtleBot3 được chọn làm nền tảng phần cứng chính. Robot trang bị cảm biến LiDAR 360 độ cho SLAM. Camera RGB-D cung cấp thông tin chiều sâu môi trường. IMU đo gia tốc và vận tốc góc chính xác. Module WiFi 5GHz đảm bảo truyền thông tốc độ cao. Raspberry Pi 4 xử lý thuật toán điều khiển cục bộ. Pin lithium-ion cung cấp năng lượng cho 4 giờ hoạt động.

ROS Noetic là framework chính cho phát triển phần mềm. Thuật toán SLAM sử dụng gói Gmapping hoặc Cartographer. Navigation stack xử lý path planning và obstacle avoidance. Mô hình DRL được tích hợp thông qua ROS bridge. Giao diện giám sát được phát triển với RViz và web dashboard. Hệ thống log ghi lại toàn bộ dữ liệu cho phân tích. Code được tổ chức theo chuẩn ROS package để dễ bảo trì.

Thử nghiệm được thực hiện trong môi trường nhà máy mô phỏng. Robot hoàn thành nhiệm vụ điều hướng với tỷ lệ thành công 96%. Thời gian di chuyển giảm 25% so với phương pháp A-star truyền thống. Năng lượng tiêu thụ giảm 35% nhờ tối ưu hóa quỹ đạo. Chất lượng truyền thông cải thiện 40% với STAR-IRS. Độ trễ xử lý trung bình là 80ms, đáp ứng yêu cầu thời gian thực. Kết quả xác nhận tính ưu việt của các giải pháp đề xuất trong luận án.