Luận án: Tối ưu chất lượng truyền thông và quỹ đạo cho robot di động ứng dụng thuật toán học sâu

2024 -NÙi Hà Trung ThNguyÃn Ë L°ãng Công Nguy¿n TS. Ti¿n M¡nh Ngô TS. KGHE CÖNG m VA HOC KHOA PHO VIÆN HÌC tên) hÍrõghi (Ký, tÙf) SRia'hqeÙngPgÇ hÍròshi Ãó d«n2h°Ûng Ng°Ýi d«nh°rÛng Ng°Ýi viÇn HÍc cça nh-n Xác 16 0252 s9Ñ: Mã hóa Ùng tñvà khiÃn iÁu thu-t Kù Ngành: THÔNG VIÄN VÀ Tì IÆN IÆN, THU¬T Kø S( TIÊN LU¬N ÁN ØNG ROBOT DI CHO ¯UH¯ÚNG TÐI IÀU TRONG C¯ÜNG TNG SÂU HÌC TOÁN THU¬T DäNG èNG VÀ THÔNG TRUYÈN L¯âNG CH¤T CAO NÂNG CèUNGHIÆN Vân Thanh ThNguyÅn Ë NGHÆ CÔNG VÀ HÌC KHOA VIÆN HÌC NAM VIÆT NGHÆ CÔNG VÀ T O ÀO VÀ HÌC KHOA L¢M HÀN VIÆN DäC GIÁO BØ LÜICAM OAN Tôi xin cam oan lu-n án: "Nghiên céu nâng cao ch¥t l°ãng truyên thông và Ùng" là ng dång thu-t toán hÍc sâu tng c°Ýng trong iÁu h°Úng tÑi °u cho robot di Công trình nghiên céucça chính mình d°Ûi sñ h°Ûng d«n khoa hÍc cça t-p thà h°Ûng d«n. Lu-n án sí dång thông tin trích d«n të nhiÁu nguÓn tham kh£o khác nhau vàcác thông tin trích d«n °ãc ghi rõ nguÓn gÑc.

Các k¿t qu£nghiên céu cça tôi °ãc côug bÑchung vÛi các tác gi£khác ã °ãc sñ nh¥t trí cça Óng tác gi£ khi °a vào lu-n án. Các sÑ liÇu, k¿t qu£ °ãc trình bày trong lu-n án là hoàn toàn trung thñc và ch°a tmg °âc công bÓ trong bât kó mÙt công trình nào khác ngoài các công trình công bÑcça tác gi£. Lu-n án °ãc hoàn thành trong thÝi gian tÑi làm nghiên céu sinh t¡i HÍc viÇn Khoa hÍc và Công nghÇ, ViÇn Hàn lâm Khoa hÍc và Công nghÇ ViÇt Nam. HàNÙi, ngày 14 tháng 11 nm 2024 Tác gi£ lu-n án NguyÅn ThË Thanh Vân ii LÜI C¢M ÞN Lu-n án ày °ãc hoàn thành vÛisñ n×lñc không nging cça tác gi£ và sñ giúp dö h¿t mình tëcác th§y giáo h°Ûng d«n, b¡n bè và ng°Ýi thân.

Dâu tiên, tác gi£ xin bày tÏ lÝi tri ân tÛi TS Ngô Manh Ti¿n và TS Nguyên Công L°ãng, c£n ¡n các th§y ã t-n tình h°Ûng d«n tác gi£ hoàn thành lu-n án này. Tác gi£ xin gii lÝi c£m ¡n tÛi các thày, cô giáo và cán bÙ cça ViÇn Công nghÇ thông tin, HÍcviÇn Khoa hÍc vàCông nghÇ (ViÇn Hàn lâm Khoa hÍc và Công nghÇ ViÇt Nam) ã nhiÇt tình giúp á và t¡o ra môi tr°Ýng nghiên céu tÑt à tác giä hoàn thành công trình cça mình; c£m ¡n các th§y, côvà các Óng nghiÇp ßcác noi mà tác giåtham gia vi¿t bài dã có nhïng góp ý chính xác é tác gi£ có °ãc nhüng công bô nh° ngày hôm nay. Tác gi£ xin c£m ¡n tÛi Ban Giám hiÇu tr°Ýng ¡i hÍc Phenikaa, các Óng nghiÇp khoa DiÇn iÇn tí n¡i tác gi£ công tác dã ing hÙvà h× trã à lu-n áu dãc hoàn thành. CuÑi cùng, tác gi£ xin gi tÑi gia inh, b¡n bè, ng°Ýi thân lÝi c£m ¡n chân thành nh¥t vì ã Óng hành cùng tác gi£ trong suÙt thÝi gian qua.

HàNÙi, ngày 14 tháng 11 nm 2024 Tác gi£ lu-n án NguyÅn ThË Thanh Vân iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT vi DANH MỤC HÌNH VẼ x DANH MỤC BẢNG xii MỞ ĐẦU 1 1 TỔNG QUAN VỀ VIỆC LẬP QUỸ ĐẠO CHO ROBOT DI ĐỘNG TRONG NHÀ MÁY 6 1.1 Bài toán lập quỹ đạo cho robot di động .2 Robot di động và vấn đề truyền thông không dây .3 Tình hình nghiên cứu trong và ngoài nước .1 Tình hình nghiên cứu trong nước .2 Tình hình nghiên cứu ngoài nước .4 Định hướng nghiên cứu của luận án .5 Kết luận chương 1. 24 2 NÂNG CAO CHẤT LƯỢNG TRUYỀN THÔNG TRONG NHÀ MÁY PHỤC VỤ HOẠT ĐỘNG CỦA ROBOT DI ĐỘNG 26 2.1 Vấn đề tối ưu hiệu suất truyền thông không dây tại các nhà máy .2 Mô hình hệ thống .1 Tín hiệu nhận tại các robot di động (IUs) .2 Tín hiệu nhận tại các cảm biến không dây thu năng lượng (EUs) 34 iv 2.3 Tín hiệu nhận tại bộ thu D2D .4 Bài toán tối ưu .3 Thuật toán tối ưu .1 Bài toán 1 với kịch bản N-OTA .2 Bài toán 2 với kịch bản N-OTA .3 Tính hội tụ, điểm khả thi và lựa chọn hệ số phạt η .4 Kịch bản phân chia thời gian .1 Bài toán 1 với kịch bản OTA .2 Bài toán 2 với kịch bản OTA .5 Đánh giá hiệu quả mô hình và thuật toán .6 Kết luận chương 2. 58 3 THUẬT TOÁN TỐI ƯU QUỸ ĐẠO CHO ROBOT DI ĐỘNG TRONG MÔI TRƯỜNG TRUYỀN THÔNG LÝ TƯỞNG 60 3.1 Bài toán tối ưu .2 Bài toán tối ưu lồi .3 Thuật toán tối ưu lồi .4 Giới thiệu CVX .2 Phát triển thuật toán tối ưu quỹ đạo cho robot di động .1 Mục tiêu và các ràng buộc của bài toán .2 Thuật toán tối ưu quỹ đạo .3 Đánh giá kết quả thuật toán CAA .3 Phát triển thuật toán tối thiểu năng lượng tiêu thụ .1 Mô hình hóa năng lượng tiêu thụ của robot di động .2 Các ràng buộc tránh va chạm .3 Thuật toán tối ưu năng lượng tiêu thụ cho robot .4 Bài toán tối ưu trong kịch bản môi trường có vật cản động .5 Đánh giá kết quả .4 Kết luận chương 3. 85 4 THUẬT TOÁN TỐI ƯU QUỸ ĐẠO CHO ROBOT DI ĐỘNG TRONG MÔI TRƯỜNG TRUYỀN THÔNG CÓ STAR-IRS HỖ TRỢ 87 4.1 Mô hình hệ thống điều hướng cho robot di động có STAR-IRS hỗ trợ .2 Mô hình hệ thống điều hướng cho robot di động trong môi trường truyền thông .3 Mô hình tín hiệu .4 Bài toán điều hướng tối ưu cho robot di động .2 Mô hình quy trình quyết định MDP (Markov Decision Process) .1 Học tăng cường RL (Reinforcement Learning) .2 Mô hình MDP cho bài toán điều hướng tối ưu .3 Thuật toán học sâu tăng cường DRL (Deep Reinforcement Learning) .2 Thuật toán PPO (Proximal Policy Optimization) .3 Độ hội tụ và độ phức tạp của thuật toán dựa trên actor-critic .4 Đánh giá hiệu quả mô hình và thuật toán điều hướng cho robot di động 106 4.5 Kết luận chương 4.

113 KẾT LUẬN VÀ KIẾN NGHỊ 115 DANH MỤC CÔNG TRÌNH CỦA TÁC GIẢ 117 TÀI LIỆU THAM KHẢO 119 PHỤ LỤC 131 vi DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT 1. Danh mục các ký hiệu Ký hiệu Ý nghĩa S Không gian trạng thái của robot A Không gian hành động của robot R Tập điểm thưởng của robot V (s) Hàm giá trị của trạng thái s Q(s, a) Hàm giá trị của hành động a δt Lỗi TD tại thời điểm t γ hệ số chiết khấu (discount factor) γ̄ Ngưỡng tốc độ truyền thông tối thiểu của robot q̂ = [x, y, φ]T Véc tơ tư thế của robot trong hệ quy chiếu toàn cục p công suất của thiết bị pmax công suất lớn nhất của AP PB,max công suất lớn nhất của BS q = [x, y]T Véc tơ tọa độ của robot trong hệ quy chiếu toàn cục qs Véc tơ tọa độ vị trí điểm xuất phát của robot qg Véc tơ tọa độ vị trí điểm đích đến của robot v Vận tốc dài của robot ω Vận tốc góc của robot m Khối lượng của robot I Momen quán tính của robot θ Tham số của mạng actor (bao gồm trọng số và phương sai) θ̄n độ địch pha (phase shift) của phần tử thứ n của IRS G Kênh truyền trực tiếp từ BS/AP đến IRS h(A,r) Kênh truyền từ AP đến robot h(I,r) Kênh truyền từ IRS đến robot r βl,n Hệ số phản xạ của phần tử thứ n của STAR-IRS tại khe thời gian l vii t βl,n Hệ số phản xạ của phần tử thứ n của STAR-IRS tại khe thời gian l Rlc Tốc độ truyền của robot tại khe thời gian l Q = Quỹ đạo rời rạc của robot [q1 , q2 ,. , qL ] ω Tham số của mạng critic (bao gồm trọng số và phương sai) st Trạng thái (state) tại thời điểm t at Hành động (action) tại thời điểm t rt Điểm thưởng (reward) tại thời điểm t A(st , at ) Hàm đánh giá cặp trạng thái-hành động (st , at ) πθ Chính sách (policy) với tham số θ Vω Hàm giá trị trạng thái với tham số ω B̄ Kích thước lô dữ liệu (batch size) b̄ Mẫu thứ b̄ trong lô dữ liệu PLLoS Mất mát đường truyền kênh LoS PLN LoS Mất mát đường truyền kênh NLoS fc tần số sóng mang (carrier frequency) M̄ Số lượng ăng ten của BS/AP M̂ Tham số big-M M Số lượng vật cản trong môi trường w̄ Bộ tạo chùm tia đến các thiết bị yêu cầu thông tin v̄ Bộ tạo chùm tia đến các thiết bị yêu cầu năng lượng τ Bước thời gian v Vận tốc của robot Ps Công suất nguồn hệ thống mạch điện trên robot 2.