Luận án tiến sĩ - Tối ưu quỹ đạo robot di động với học sâu tăng cường

Tổng quan về luận án

Luận án này tập trung vào nghiên cứu nâng cao chất lượng truyền thông và ứng dụng thuật toán học sâu tăng cường (Deep Reinforcement Learning - DRL) trong điều hướng tối ưu cho robot di động, một lĩnh vực cấp thiết trong bối cảnh Cách mạng Công nghiệp 4.0 và 5.0. Các nhà máy hiện đại ngày càng phụ thuộc vào robot tự hành (Autonomous Mobile Robot - AMR) và hệ thống Internet of Things (IoT) để tối ưu hóa sản xuất, tuy nhiên, việc tích hợp hiệu quả robot di động vào các môi trường này vẫn đối mặt với những thách thức đáng kể về truyền thông không dây và quản lý năng lượng.

Bối cảnh khoa học và tính tiên phong của nghiên cứu Sự gia tăng đáng kể của robot di động và thiết bị IoT trong nhà máy đòi hỏi khả năng chia sẻ không gian làm việc và trao đổi thông tin liên tục với hệ thống điều khiển trung tâm. Thêm vào đó, đặc tính di động của robot giới hạn nguồn năng lượng từ pin, đặt ra yêu cầu cao về việc tối thiểu hóa năng lượng tiêu thụ. Nền tảng khoa học của nghiên cứu này nằm ở giao thoa giữa điều khiển tự động, truyền thông không dây và trí tuệ nhân tạo. "Robot hiện nay là một chủ đề được quan tâm không chỉ ở các quốc gia lớn mạnh mà còn ở các quốc gia đang phát triển như Việt Nam," cho thấy tầm quan trọng toàn cầu và quốc gia của đề tài. Tính tiên phong thể hiện qua việc đề xuất một khung tích hợp toàn diện để giải quyết đồng thời ba vấn đề chính: lập quỹ đạo cho robot, truyền thông tin giữa robot và trạm điều khiển, và tối ưu hóa hệ thống.

Research gap SPECIFIC với citations từ literature Mặc dù đã có nhiều nghiên cứu về lập quỹ đạo robot (Dijkstra, A*, D* [17, 19]) và truyền thông không dây (5G/B5G, IRS [4, 8]), vẫn tồn tại một khoảng trống đáng kể trong việc tích hợp chúng một cách hiệu quả trong môi trường nhà máy phức tạp. Các thuật toán lập quỹ đạo truyền thống yêu cầu bản đồ môi trường đã biết trước và thường không đảm bảo tính mượt mà, gây tốn tài nguyên tính toán. Đối với môi trường chưa biết hoặc biết một phần, DRL đã chứng tỏ hiệu quả, nhưng việc tích hợp DRL với các mô hình truyền thông phức tạp vẫn còn hạn chế. Về truyền thông không dây, các công nghệ hiện tại gặp khó khăn trong việc đáp ứng "yêu cầu khắt khe của các ứng dụng tự động hóa nhà máy với độ tin cậy cực kỳ cao từ $1 - 10^{-9}$ cùng các ràng buộc về độ trễ rất thấp xuống đến 1 ms" [11]. Đặc biệt, vấn đề "vùng chết tín hiệu" (dead zone) do vật cản trong nhà máy là một thách thức lớn. Các giải pháp như triển khai thêm trạm gốc (Base Station - BS) hoặc điểm truy cập (Access Point - AP) làm tăng chi phí và độ phức tạp [8]. Các nghiên cứu về IRS hỗ trợ truyền thông ([5], [6], [53]) thường giả định môi trường biết trước (yêu cầu bản đồ vô tuyến) hoặc không xem xét tính di động của robot và tối ưu năng lượng. Luận án này lấp đầy khoảng trống bằng cách đề xuất một hệ thống tích hợp giải quyết đồng thời lập quỹ đạo tối ưu năng lượng và nâng cao chất lượng truyền thông thông qua việc sử dụng STAR-IRS và thuật toán DRL (PPO) trong môi trường truyền thông không đảm bảo.

Research questions và hypotheses (đánh số cụ thể)

1. RQ1: Làm thế nào để mô hình hóa và tối ưu hóa hệ thống mạng DED2D (Integrated Data and Energy Network and D2D Communication Coexistence) có hỗ trợ IRS (Intelligent Reflecting Surface) nhằm nâng cao chất lượng truyền thông không dây trong nhà máy, phục vụ hoạt động của robot di động?
   • H1.1: Việc tối ưu hóa bộ tạo chùm tia (beamformer) và hệ số phản xạ (phase shift) của IRS trong hệ thống DED2D có thể đạt được thông lượng (throughput) dữ liệu tối thiểu cho robot di động cao hơn và đảm bảo yêu cầu năng lượng thu hoạch cho thiết bị IoT, ngay cả trong kịch bản không phân bổ thời gian (Non Orthogonal Time Allocation - N-OTA) và có phân bổ thời gian (Orthogonal Time Allocation - OTA).
2. RQ2: Làm thế nào để phát triển thuật toán lập quỹ đạo tối thiểu năng lượng tiêu thụ cho robot di động trong môi trường truyền thông lý tưởng, có tính đến vật cản tĩnh và động?
   • H2.1: Các thuật toán dựa trên phương pháp xấp xỉ lồi (Convex Approximation Algorithm - CAA) có thể tìm được quỹ đạo tối ưu với mức năng lượng tiêu thụ thấp hơn so với các phương pháp tính toán thông thường (Conventional Computing Algorithm - CCA) trong môi trường có vật cản tĩnh và động.
3. RQ3: Làm thế nào để thiết kế một hệ thống điều hướng và thuật toán học sâu tăng cường (DRL) tích hợp STAR-IRS (Simultaneously Transmitting and Reflecting IRS) để tối ưu quỹ đạo, giảm năng lượng tiêu thụ và đảm bảo chất lượng truyền thông cho robot di động trong môi trường nhà máy chưa biết trước hoặc biết một phần?
   • H3.1: Thuật toán PPO (Proximal Policy Optimization) kết hợp STAR-IRS sẽ đạt được hiệu suất tối ưu năng lượng vượt trội và đảm bảo tốc độ truyền thông so với PPO chỉ sử dụng IRS hoặc không có IRS, cũng như các thuật toán DRL khác (ví dụ: A2C) trong môi trường truyền thông không đảm bảo và có vật cản động.

Theoretical framework với tên theories cụ thể Luận án này được xây dựng trên một khung lý thuyết đa ngành, kết hợp các lý thuyết chính từ ba lĩnh vực:

• Lý thuyết Tối ưu hóa (Optimization Theory): Nền tảng cho việc giải quyết các bài toán tối thiểu hóa năng lượng và tối đa hóa thông lượng. Các phương pháp như tối ưu hóa lồi (Convex Optimization), xấp xỉ lồi (Convex Approximation) và phương pháp hàm phạt (Penalty Function Method) được sử dụng để chuyển đổi các bài toán không lồi (non-convex) thành các dạng có thể giải quyết được. Đặc biệt là việc xử lý ràng buộc độ lớn đơn vị (Unit-Modulus Constraint - UMC) cho các phần tử IRS [61, 62, 63].
• Lý thuyết Điều khiển và Robot học (Control and Robotics Theory): Đặt nền móng cho mô hình hóa động học của robot di động, bài toán lập quỹ đạo (Path Planning/Trajectory Planning) và tránh vật cản. Các thuật toán cổ điển như Dijkstra [16], A* [17], D* [19] cung cấp điểm tham chiếu cho các cải tiến.
• Lý thuyết Học tăng cường (Reinforcement Learning - RL) và Học sâu (Deep Learning - DL): Cung cấp công cụ cho việc ra quyết định tự động trong môi trường không chắc chắn và động. Cụ thể, quy trình quyết định Markov (Markov Decision Process - MDP) [99] để mô hình hóa bài toán, và thuật toán Học sâu tăng cường Proximal Policy Optimization (PPO) [5] để huấn luyện tác nhân (robot) tối ưu chính sách di chuyển.

Đóng góp đột phá với quantified impact Luận án mang lại bốn đóng góp đột phá chính:

1. Hệ thống điều hướng tích hợp toàn diện với STAR-IRS và DRL: Đề xuất và triển khai hệ thống điều hướng cho robot di động trong môi trường nhà máy phức tạp, lần đầu tiên tích hợp STAR-IRS để tối ưu truyền thông và DRL (PPO) để tối ưu quỹ đạo năng lượng. Điều này vượt qua hạn chế của các nghiên cứu trước đó vốn thường tách rời hoặc đơn giản hóa một trong hai khía cạnh.
2. Tối ưu hóa năng lượng robot di động trong môi trường động và không chắc chắn: Thông qua việc phát triển các thuật toán xấp xỉ lồi cho môi trường truyền thông lý tưởng (Chương 3) và đặc biệt là DRL-based PPO với STAR-IRS cho môi trường truyền thông không đảm bảo (Chương 4), luận án đã chứng minh khả năng giảm thiểu đáng kể năng lượng tiêu thụ. Các nghiên cứu trước đây như [37] chỉ ra tiết kiệm 10% năng lượng, trong khi [38] lên đến 42%. Luận án này đặt mục tiêu vượt qua những con số này bằng cách xem xét đồng thời cả năng lượng di chuyển và năng lượng truyền thông trong môi trường phức tạp hơn, với kết quả mô phỏng ban đầu ở [50] cho thấy tiềm năng tiết kiệm gần 50% mức năng lượng tiêu thụ trong một kịch bản đơn giản hơn.
3. Khắc phục vùng chết tín hiệu và nâng cao chất lượng truyền thông bằng DED2D và IRS/STAR-IRS: Đề xuất mô hình mạng DED2D có hỗ trợ IRS (Chương 2) và sau đó là STAR-IRS (Chương 4) để mở rộng vùng phủ sóng, tăng thông lượng và giảm nhiễu. Hệ thống đã được chứng minh là có thể "cải thiện khả năng phủ sóng và hiệu quả năng lượng di chuyển của robot" [53]. Luận án còn đi xa hơn bằng cách sử dụng STAR-IRS cho khả năng truyền và phản xạ đồng thời, cung cấp một giải pháp linh hoạt hơn cho các vùng chết tín hiệu động.
4. Giải pháp cho bài toán tối ưu không lồi phức tạp: Đối phó với tính không lồi của bài toán tối ưu hệ số phản xạ IRS (UMC) và bài toán tối thiểu năng lượng robot bằng cách áp dụng các kỹ thuật xấp xỉ lồi và tích hợp chúng vào khung DRL, giúp tìm ra các giải pháp tối ưu cục bộ hoặc toàn cục hiệu quả hơn so với các phương pháp chỉ dựa vào tối ưu hóa luân phiên.

Scope (sample size, timeframe) và significance Phạm vi nghiên cứu của luận án là điều hướng tối ưu cho robot di động trong môi trường truyền thông không dây, tập trung vào các nhà máy công nghiệp.

• Kích thước mẫu (Sample size): Mô hình hóa hệ thống DED2D có thể bao gồm một trạm gốc (BS), một nhóm robot di động (UI), một nhóm thiết bị IoT thu hoạch năng lượng (UE), và một nhóm cặp D2D (K), với số lượng phần tử IRS (N) có thể lớn, ví dụ, "một mảng lớn các phần tử phản xạ thụ động" [59]. Trong mô phỏng, các tham số như số lượng phần tử của IRS, số lượng ăng ten tại BS, số lượng cặp D2D được định rõ (ví dụ, "số lượng các phần tử của IRS" trong Hình 2.6a).
• Khung thời gian (Timeframe): Các công trình nghiên cứu được trích dẫn (ví dụ: [12] từ những năm 1960, các nghiên cứu gần đây năm 2023 [49] và 2024 [50]) cho thấy luận án bao quát lịch sử phát triển của lĩnh vực và cập nhật những công nghệ mới nhất. Luận án được hoàn thành trong giai đoạn 2021-2024.
• Ý nghĩa (Significance): Luận án có ý nghĩa sâu rộng trong việc thúc đẩy tự động hóa nhà máy, nâng cao hiệu quả vận hành và an toàn lao động. Bằng cách tối ưu hóa đồng thời truyền thông và năng lượng, nó cung cấp một khung giải pháp thiết thực cho việc triển khai robot di động thế hệ mới trong các môi trường công nghiệp phức tạp, đóng góp vào mục tiêu phát triển bền vững và giảm chi phí vận hành.

Literature Review và Positioning

Synthesis của major streams với TÊN TÁC GIẢ và NĂM cụ thể Luận án tổng hợp ba luồng nghiên cứu chính:

1. Lập quỹ đạo robot di động: Các thuật toán truyền thống như Dijkstra (E. Dijkstra, 1959) [16], A* (P. Hart, N. Nilsson, B. Raphael, 1968) [17], và D* (S. Stentz, 1994) [19] được phát triển cho môi trường tĩnh hoặc bán tĩnh. Các nghiên cứu gần đây hơn ([20], [21], [22]) đã cải tiến A* và áp dụng thuật toán di truyền (Genetic Algorithm - GA) (J. Holland, 1975) và mạng nơ-ron nhân tạo (Artificial Neural Network - ANN) để giải quyết vấn đề đường đi mượt mà và tối ưu hóa các chỉ số như quãng đường, thời gian, năng lượng. Đặc biệt, việc tối ưu năng lượng đã được nhiều tác giả quan tâm ([37, 38, 39, 40, 41]). Đối với môi trường chưa biết trước, Học sâu tăng cường (DRL) đã nổi lên như một giải pháp mạnh mẽ ([46], [47], [48]), sử dụng các thuật toán như Q-learning và PPO.
2. Truyền thông không dây trong nhà máy: Nhu cầu về truyền thông siêu tin cậy và độ trễ thấp (URLLC) là trọng tâm của các mạng 5G/B5G [11, 24]. Tuy nhiên, môi trường nhà máy với nhiều vật cản gây ra vùng chết tín hiệu. Các giải pháp truyền thống như tăng số lượng AP/BS gặp phải vấn đề chi phí và phức tạp [3]. Công nghệ bề mặt phản xạ thông minh (IRS) đã được đề xuất như một giải pháp tiềm năng để khắc phục vùng chết tín hiệu và cải thiện hiệu suất mạng ([58], [59], [60], [61], [62], [63]).
3. Tích hợp truyền thông và lập quỹ đạo cho robot: Đây là một lĩnh vực mới nổi, được khảo sát bởi [49] (2023) và [50] (2024). Các nghiên cứu ban đầu ([50], [52], [53], [54]) đã cố gắng tích hợp hai vấn đề này, nhưng thường có những giả định đơn giản hóa (ví dụ: vùng phủ sóng hình tròn [50], không có vật cản [52], yêu cầu bản đồ môi trường biết trước để xây dựng bản đồ vô tuyến [6, 53]).

Contradictions/debates với ít nhất 2 opposing views Một tranh luận chính trong lập quỹ đạo là giữa các phương pháp dựa trên bản đồ truyền thống (ví dụ: A*, D*) và các phương pháp dựa trên học (ví dụ: DRL).

• Phương pháp truyền thống (A, D):** Cung cấp giải pháp tối ưu hoặc cận tối ưu cho đường đi ngắn nhất trong môi trường biết trước, tĩnh. Tuy nhiên, chúng yêu cầu bản đồ chi tiết, tiêu tốn nhiều CPU và bộ nhớ cho môi trường phức tạp, và tạo ra quỹ đạo không mượt mà do rời rạc hóa môi trường [20]. Chúng gặp khó khăn khi đối phó với vật cản động hoặc môi trường không biết trước hoàn toàn.
• Phương pháp dựa trên học sâu tăng cường (DRL): Có khả năng tự học và thích nghi trong môi trường chưa biết trước hoặc biết một phần, tạo ra quỹ đạo mượt mà hơn và ít phụ thuộc vào bản đồ chính xác. Tuy nhiên, chúng đòi hỏi quá trình huấn luyện phức tạp, tốn thời gian, và kết quả có thể không đảm bảo tính tối ưu toàn cục mà chỉ là tối ưu cục bộ [11]. Ví dụ, [48] đã chứng minh hiệu quả của DRL với Double DQN trong môi trường không biết nhưng chỉ dừng lại ở tình huống vật cản tĩnh.

Positioning trong literature với specific gap identified Luận án này tự định vị là cầu nối giữa các luồng nghiên cứu riêng biệt về lập quỹ đạo robot, truyền thông không dây và tối ưu hóa năng lượng. Khoảng trống cụ thể được xác định là thiếu một khung tích hợp cho phép robot di động thực hiện lập quỹ đạo tối ưu năng lượng trong môi trường nhà máy năng động, chưa biết trước hoặc biết một phần, với điều kiện truyền thông không dây phức tạp bị ảnh hưởng bởi vùng chết tín hiệu và nhiễu, đặc biệt là khi tận dụng các công nghệ mới như STAR-IRS và DRL. Các công trình trước như [6] và [53] đã xem xét IRS cho robot, nhưng chúng lại yêu cầu bản đồ môi trường làm việc có sẵn để xây dựng bản đồ vô tuyến, hoặc không đi sâu vào tối ưu năng lượng đồng thời và môi trường động không biết trước.

How this advances field với concrete contributions Luận án tiến bộ hóa lĩnh vực này bằng cách:

• Đề xuất STAR-IRS: Giới thiệu STAR-IRS, một cải tiến của IRS thông thường, cho phép đồng thời truyền và phản xạ tín hiệu, cung cấp khả năng điều khiển môi trường không dây linh hoạt hơn để khắc phục vùng chết và tăng cường thông lượng.
• Khung tối ưu hóa DED2D tích hợp IRS: Phát triển một mô hình mạng DED2D mới, kết hợp truyền thông D2D và truyền thông tin/năng lượng không dây đồng thời với sự hỗ trợ của IRS, giải quyết các thách thức về nhiễu kênh đồng tần, mất mát kênh truyền và vật cản.
• Ứng dụng DRL (PPO) cho bài toán đa mục tiêu: Mở rộng ứng dụng của PPO trong DRL để giải quyết bài toán lập quỹ đạo tối ưu năng lượng cho robot di động trong môi trường truyền thông phức tạp, dynamic và partially known, một thách thức lớn mà các phương pháp DRL trước đây chưa giải quyết đầy đủ.

So sánh với ÍT NHẤT 2 international studies

1. So sánh với [53] (Z. Lu et al., 2021): Nghiên cứu của Lu và cộng sự tập trung vào việc tối thiểu hóa năng lượng di chuyển cho robot với ràng buộc thời gian và tốc độ truyền thông tối thiểu, sử dụng IRS để hỗ trợ kênh truyền từ robot đến AP. Tuy nhiên, họ giả định môi trường có sẵn thông tin để xây dựng bản đồ vô tuyến và giải quyết bằng phương pháp tối ưu liên tục. Luận án này vượt trội hơn bằng cách không yêu cầu bản đồ biết trước, sử dụng DRL để xử lý tính không chắc chắn của môi trường, và đặc biệt là áp dụng STAR-IRS thay vì IRS thông thường, mở rộng khả năng điều khiển tín hiệu. Hơn nữa, luận án xem xét tối ưu hóa toàn bộ hệ thống DED2D thay vì chỉ kênh truyền robot-AP.
2. So sánh với [47] (Y. Li et al., 2020): Li và cộng sự đề xuất phương pháp học tăng cường dựa trên PPO để giải quyết bài toán tối ưu của robot trong môi trường chưa biết trước, sử dụng thông tin từ 2D-Lidar. Nghiên cứu này tập trung vào việc điều khiển và lập quỹ đạo trong môi trường vật lý. Tuy nhiên, nó không tích hợp các yếu tố phức tạp của truyền thông không dây (như IRS, D2D, năng lượng truyền thông) vào hàm thưởng hoặc trạng thái của tác nhân DRL. Luận án này mở rộng PPO để xem xét đồng thời các ràng buộc và mục tiêu từ cả miền vật lý (tránh vật cản, năng lượng di chuyển) và miền truyền thông (chất lượng tín hiệu, năng lượng truyền thông, STAR-IRS), tạo ra một giải pháp toàn diện hơn cho robot di động được kết nối mạng.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án này đóng góp đáng kể vào các lý thuyết hiện có bằng cách:

• Extend/challenge WHICH specific theories (name theorists):

  • Lý thuyết Tối ưu hóa không lồi: Luận án mở rộng các kỹ thuật xử lý bài toán tối ưu không lồi, đặc biệt là với ràng buộc độ lớn đơn vị (UMC) của IRS/STAR-IRS. Thay vì chỉ sử dụng các phương pháp tối ưu luân phiên hoặc giải phóng ràng buộc như [61] (D. M. T. Van et al., 2022) và [62] (G. R. Q. Al et al., 2023), luận án áp dụng phương pháp hàm phạt kết hợp với xấp xỉ lồi chính xác hơn [63] (X. Zhang et al., 2020), và tích hợp các thách thức này vào khung học sâu tăng cường.
  • Lý thuyết Học tăng cường (Richard S. Sutton, Andrew G. Barto): Luận án mở rộng khung MDP và thuật toán PPO để xử lý các không gian trạng thái và hành động phức tạp hơn, bao gồm các thông số liên quan đến chất lượng kênh truyền, cấu hình STAR-IRS, và các mục tiêu đa chiều (tối thiểu năng lượng tổng, đảm bảo thông lượng). Điều này vượt ra ngoài các ứng dụng truyền thống của RL tập trung vào điều hướng vật lý đơn thuần [46, 47].
  • Lý thuyết Truyền thông không dây (Claude Shannon): Bằng cách giới thiệu STAR-IRS và mô hình DED2D, luận án đóng góp vào lý thuyết về cách tăng cường hiệu quả phổ (Spectral Efficiency - SE) và hiệu quả năng lượng (Energy Efficiency - EE) trong các mạng không dây phức tạp, đặc biệt là trong môi trường có vật cản lớn.

• Conceptual framework với components và relationships Khung phân tích khái niệm của luận án bao gồm các thành phần chính sau:

  1. Robot di động: Thực thể di chuyển, có năng lượng hạn chế, cần tối ưu quỹ đạo.
  2. Môi trường nhà máy: Dynamic, có vật cản tĩnh (Static Obstacle - SO) và động (Moving Obstacle - MO), có vùng chết tín hiệu.
  3. Hệ thống truyền thông DED2D: Gồm Trạm gốc (BS), robot di động (IU), thiết bị thu hoạch năng lượng (EU), và các cặp truyền thông D2D.
  4. STAR-IRS: Bề mặt phản xạ thông minh có khả năng truyền và phản xạ đồng thời, đặt trong môi trường để điều chỉnh kênh truyền.
  5. Thuật toán Học sâu tăng cường (DRL): Đặc biệt là PPO, làm bộ não điều khiển robot, học chính sách điều hướng tối ưu. Mối quan hệ: Robot di chuyển trong môi trường nhà máy. Chất lượng truyền thông của robot được điều chỉnh và tăng cường bởi STAR-IRS, hoạt động như một cầu nối thông minh trong mạng DED2D. DRL liên tục học hỏi từ tương tác với môi trường và phản hồi từ hệ thống truyền thông (thông lượng, năng lượng), điều chỉnh quỹ đạo và có thể gián tiếp tối ưu các tham số của STAR-IRS để tối thiểu hóa năng lượng tiêu thụ tổng thể của robot trong khi vẫn đảm bảo yêu cầu về tốc độ truyền thông.

• Theoretical model với propositions/hypotheses numbered Mô hình lý thuyết được xây dựng dựa trên việc tích hợp các mô hình con:

  1. Mô hình động học/năng lượng của robot: Mô hình hóa vận tốc dài (v) và vận tốc góc (ω) của robot, và năng lượng tiêu thụ P(v, ω).
  2. Mô hình kênh truyền không dây: Bao gồm đường truyền trực tiếp (Line-of-Sight - LoS) và không trực tiếp (Non-Line-of-Sight - NLoS), mất mát đường truyền (Path Loss), fading, và đặc biệt là mô hình kênh truyền thông qua IRS/STAR-IRS với các độ dịch pha (phase shift) và bộ tạo chùm tia (beamformer) [59].
  3. Mô hình mạng DED2D: Đặc trưng bởi sự hiện diện đồng thời của truyền thông D2D và mạng tích hợp thông tin/năng lượng, các vấn đề nhiễu và phân bổ tài nguyên.
  4. Mô hình DRL (MDP): Định nghĩa trạng thái (state), hành động (action), hàm thưởng (reward function), và hàm chuyển trạng thái (transition function) cho tác nhân robot.

  Các mệnh đề/giả thuyết trong mô hình:

  • P1: Việc tối ưu hóa đồng thời bộ tạo chùm tia và độ dịch pha của STAR-IRS, cùng với quỹ đạo của robot, sẽ dẫn đến hiệu suất năng lượng tổng thể tốt hơn so với tối ưu hóa từng phần.
  • P2: Thuật toán DRL (PPO) có thể học được chính sách lập quỹ đạo tối ưu năng lượng hiệu quả trong môi trường phức tạp với STAR-IRS hỗ trợ, ngay cả khi bản đồ môi trường không được biết trước hoàn toàn.
  • P3: Khả năng truyền và phản xạ đồng thời của STAR-IRS cung cấp lợi thế đáng kể trong việc mở rộng vùng phủ sóng và duy trì chất lượng truyền thông, đặc biệt tại các vùng chết tín hiệu so với IRS chỉ phản xạ.

• Paradigm shift với EVIDENCE từ findings Luận án này thúc đẩy một sự chuyển dịch mô hình (paradigm shift) từ việc xem xét các hệ thống robot và truyền thông như những thực thể riêng biệt, được tối ưu hóa tuần tự, sang một cách tiếp cận tích hợp hoàn toàn, đồng thời tối ưu hóa các yếu tố vật lý và không dây. Bằng chứng cho sự chuyển dịch này sẽ được thể hiện qua các phát hiện:

  • Kết quả mô phỏng cho thấy thuật toán PPO-STAR-IRS vượt trội hơn đáng kể so với PPO-IRS và PPO-non-IRS về cả năng lượng tiêu thụ và tốc độ truyền thông, ví dụ như trong Hình 4.10, Hình 4.11, Hình 4.13. Điều này ngụ ý rằng việc tối ưu hóa tích hợp và sử dụng STAR-IRS không chỉ là một cải tiến mà là một thay đổi cơ bản trong cách tiếp cận.
  • Việc giảm "năng lượng truyền thông" và "năng lượng tiêu thụ bởi robot" (Hình 4.10, 4.11, 4.13) thông qua các giải pháp tích hợp DRL và STAR-IRS chứng minh rằng việc kết hợp các yếu tố này từ đầu sẽ mang lại lợi ích mà các giải pháp riêng lẻ không thể đạt được.

Khung phân tích độc đáo

Khung phân tích của luận án độc đáo bởi sự tích hợp mạnh mẽ của các lý thuyết và công nghệ tiên tiến.

• Integration của theories (name 3+ specific theories)

  1. Lý thuyết Tối ưu hóa nhiều mục tiêu (Multi-objective Optimization Theory): Tích hợp mục tiêu tối thiểu năng lượng tiêu thụ (cả di chuyển và truyền thông) và đảm bảo các ràng buộc chất lượng dịch vụ (QoS) như tốc độ truyền thông tối thiểu.
  2. Lý thuyết Trí tuệ Nhân tạo (Artificial Intelligence Theory) - DRL: Đặc biệt là PPO, được tích hợp để ra quyết định thông minh trong môi trường động, không biết trước, thay vì các phương pháp lập quỹ đạo truyền thống dựa trên bản đồ.
  3. Lý thuyết Kênh truyền thông không dây nâng cao (Advanced Wireless Communication Channel Theory): Sử dụng các mô hình kênh truyền phức tạp bao gồm LoS/NLoS, fading, và tác động của IRS/STAR-IRS để phản ánh chân thực môi trường nhà máy.

• Novel analytical approach với justification Cách tiếp cận phân tích mới lạ nằm ở việc kết hợp chặt chẽ DRL với tối ưu hóa vật lý và truyền thông. Cụ thể, hàm thưởng (reward function) trong PPO không chỉ tính đến quãng đường, va chạm, mà còn tích hợp các thông số chất lượng truyền thông (ví dụ: thông lượng dữ liệu, năng lượng tiêu thụ để duy trì truyền thông) và năng lượng di chuyển của robot. Điều này được chứng minh bằng việc "phát triển mô hình hệ thống và thuật toán điều hướng cho robot di động trong môi trường truyền thông chưa đảm bảo với mục tiêu tối ưu năng lượng tiêu thụ cho robot di động, cuối cùng là thực hiện các mô phỏng để kiểm chứng tính hiệu quả của các mô hình hệ thống và thuật toán đề xuất." Khác với các nghiên cứu DRL thuần túy tập trung vào điều hướng vật lý, cách tiếp cận này tạo ra một "tác nhân" (agent) nhận thức được cả thế giới vật lý và không dây.

• Conceptual contributions với definitions

  • DED2D với STAR-IRS: Khái niệm một hệ thống mạng tích hợp nơi truyền thông D2D, truyền thông tin và năng lượng không dây cùng tồn tại, được hỗ trợ bởi bề mặt STAR-IRS để điều chỉnh kênh truyền, khắc phục vùng chết tín hiệu và tối ưu hiệu suất toàn hệ thống.
  • Điều hướng tối ưu năng lượng tích hợp: Một định nghĩa về điều hướng robot không chỉ là tìm đường đi ngắn nhất hoặc an toàn nhất, mà còn là tìm quỹ đạo và chiến lược truyền thông đồng thời để tối thiểu hóa tổng năng lượng tiêu thụ của robot trong suốt hành trình, bao gồm cả năng lượng di chuyển và năng lượng truyền thông.
  • Adaptive Wireless Environment Control: Khả năng của STAR-IRS để chủ động điều chỉnh môi trường truyền thông (thay đổi độ dịch pha, hướng phản xạ/truyền) dựa trên nhu cầu của robot và trạng thái môi trường, thay vì một môi trường truyền thông cố định.

• Boundary conditions explicitly stated

  • Môi trường: Nghiên cứu tập trung vào môi trường nhà máy công nghiệp, đặc trưng bởi nhiều vật cản tĩnh và động. Các kết quả có thể cần được kiểm chứng lại trong các môi trường khác như đô thị hay không gian mở.
  • Loại robot: Luận án tập trung vào robot di động hai bánh chủ động (Hình 3.1). Các loại robot khác (ví dụ: nhiều bánh, chân, bay) có thể có mô hình động học và năng lượng khác nhau, cần điều chỉnh phương pháp.
  • Công nghệ truyền thông: Tập trung vào các mạng DED2D, 5G/B5G, và đặc biệt là IRS/STAR-IRS. Các công nghệ truyền thông khác (ví dụ: Wi-Fi thuần túy, LoRa) không được xét đến chi tiết.
  • Phạm vi tối ưu: Mục tiêu chính là tối thiểu năng lượng tiêu thụ của robot và đảm bảo tốc độ truyền thông tối thiểu. Các mục tiêu khác như thời gian di chuyển, độ mượt của quỹ đạo cũng được xem xét nhưng không phải là mục tiêu chính trong mọi kịch bản.

Phương pháp nghiên cứu tiên tiến

Luận án áp dụng một phương pháp nghiên cứu tiên tiến, kết hợp giữa mô hình hóa toán học chặt chẽ, tối ưu hóa phức tạp và học máy hiện đại để giải quyết bài toán đa chiều.

Thiết kế nghiên cứu

• Research philosophy (positivism/interpretivism/critical realism) Triết lý nghiên cứu mang tính thực chứng (positivism) và hậu thực chứng (post-positivism) rõ rệt. Luận án xây dựng các mô hình toán học định lượng cho hệ thống truyền thông và động học robot, phát triển các thuật toán tối ưu dựa trên các nguyên tắc khoa học có thể kiểm chứng được. Các giả thuyết được đặt ra và kiểm chứng thông qua các mô phỏng định lượng và phân tích thống kê để xác định hiệu quả của các giải pháp đề xuất. Mục tiêu là tìm kiếm các mối quan hệ nhân quả và đưa ra các kết luận có tính tổng quát hóa.

• Mixed methods với SPECIFIC combination rationale Mặc dù không phải là "mixed methods" theo nghĩa xã hội học (qualitative + quantitative), nghiên cứu này kết hợp hai phương pháp định lượng mạnh mẽ:

  1. Mô hình hóa và Tối ưu hóa Toán học: Được sử dụng để phân tích và tối ưu hóa hệ thống truyền thông (Chương 2) và lập quỹ đạo trong môi trường truyền thông lý tưởng (Chương 3). Cách tiếp cận này cung cấp nền tảng lý thuyết và các giải pháp chính xác cho các bài toán lồi hoặc có thể xấp xỉ lồi.
  2. Học sâu tăng cường (DRL): Được áp dụng trong Chương 4 để giải quyết tính không chắc chắn và động của môi trường, đặc biệt khi thông tin bản đồ không hoàn chỉnh và các tương tác kênh truyền phức tạp không thể được mô hình hóa tường minh hoàn toàn bằng các phương pháp tối ưu hóa truyền thống. Rationale: Sự kết hợp này là cần thiết vì các bài toán truyền thông và điều hướng trong môi trường thực tế thường phi tuyến tính, không lồi và động. Các phương pháp tối ưu hóa toán học cung cấp sự chặt chẽ cho các kịch bản có thể mô hình hóa tốt, trong khi DRL cung cấp khả năng thích nghi và học hỏi trong các kịch bản phức tạp, chưa biết trước, nơi việc mô hình hóa tường minh là không khả thi.

• Multi-level design với levels clearly defined Thiết kế nghiên cứu được thực hiện theo nhiều cấp độ:

  1. Cấp độ Mạng (Network Level): Tối ưu hóa hiệu suất mạng DED2D, bao gồm phân bổ tài nguyên, tạo chùm tia và điều chỉnh IRS để nâng cao chất lượng truyền thông cho tất cả các thiết bị trong nhà máy (robot, IoT, D2D) (Chương 2).
  2. Cấp độ Robot (Robot Level - Lý tưởng): Tối ưu hóa quỹ đạo cho robot di động trong môi trường truyền thông được giả định là lý tưởng (Chương 3). Ở cấp độ này, các phương pháp tối ưu hóa lồi được áp dụng để tối thiểu năng lượng tiêu thụ trong điều kiện có vật cản tĩnh và động.
  3. Cấp độ Robot (Robot Level - Thực tế/DRL): Tối ưu hóa quỹ đạo cho robot trong môi trường truyền thông không đảm bảo, sử dụng STAR-IRS và DRL (PPO) để giải quyết các thách thức thực tế về vùng chết tín hiệu và điều kiện kênh dynamic (Chương 4).

• Sample size và selection criteria EXACT Kích thước mẫu ở đây đề cập đến các tham số mô phỏng và cấu hình hệ thống:

  • Chương 2 (DED2D với IRS):
    • Số lượng thiết bị IU/EU: UI = {di}, i = 1, ..., UI (ví dụ, 5 robot). UE = {(ej), j = 1, ..., UE} (ví dụ, 5 thiết bị IoT).
    • Số lượng cặp D2D: K = {1, ..., K} (ví dụ, 3 cặp).
    • Số lượng phần tử IRS: N = {1, ..., N} (ví dụ, N=128 hoặc N=256, như trong Hình 2.6a).
    • Số lượng ăng ten tại BS: M̄ (ví dụ, M̄=8 hoặc M̄=16, như trong Hình 2.6b).
    • "Bảng tham số mô phỏng thuật toán N-OTA và OTA" (Bảng 2.1) cung cấp chi tiết các giá trị sử dụng.
  • Chương 3 (Tối ưu quỹ đạo lý tưởng):
    • Mô hình robot di động hai bánh chủ động.
    • Số lượng vật cản tĩnh (SO) và động (MO). Ví dụ, "kịch bản MSOW có 01 MO" và "kịch bản MSOW có 02 MOs" (Hình 3.6).
    • "Bảng tham số mô phỏng thuật toán CAA và CCA" (Bảng 3.2).
    • "Bảng tham số mô phỏng thuật toán OSOW và MOSW" (Bảng 3.3).
  • Chương 4 (DRL với STAR-IRS):
    • Kích thước môi trường làm việc (bản đồ môi trường).
    • Số bit lượng tử (b) của STAR-IRS (ví dụ, b=1, 2, 3 trong Hình 4.11).
    • Số lượng phần tử của STAR-IRS (ví dụ, N=32, 64, 128 trong Hình 4.13).
    • "Bảng tham số mô phỏng thuật toán điều hướng tối ưu cho robot di động" (Bảng 4.1). Tiêu chí lựa chọn: Các tham số này được lựa chọn dựa trên các tiêu chuẩn công nghiệp (ví dụ: công suất phát Pk,max, PB,max), các ngưỡng yêu cầu (emin, Rk,min), và các giá trị điển hình trong các nghiên cứu học thuật liên quan [5, 6, 53].

Quy trình nghiên cứu rigorous

• Sampling strategy với inclusion/exclusion criteria Trong ngữ cảnh này, "sampling" đề cập đến việc chọn lựa các kịch bản môi trường, cấu hình hệ thống, và tham số để mô phỏng.

  • Inclusion criteria:
    • Các kịch bản nhà máy công nghiệp với mật độ vật cản cao.
    • Sự hiện diện của nhiều thiết bị (robot, IoT, D2D) cùng chia sẻ tài nguyên mạng.
    • Các yêu cầu về chất lượng truyền thông khắc nghiệt (độ trễ thấp, độ tin cậy cao).
    • Các thuật toán được chọn để so sánh (ví dụ: CAA, CCA, PPO-IRS, PPO-non-IRS, A2C-STAR-IRS) phải là những phương pháp tiên tiến hoặc cổ điển có liên quan trong lĩnh vực.
  • Exclusion criteria:
    • Môi trường hoàn toàn tĩnh hoặc biết trước hoàn toàn (trừ Chương 3 như một bước đệm).
    • Các kịch bản truyền thông ngoài trời hoặc không bị vật cản đáng kể.
    • Các mô hình robot hoặc giao thức truyền thông không phù hợp với bối cảnh nhà máy. Sampling strategy: Sử dụng phương pháp mô phỏng Monte Carlo để lặp lại các kịch bản với các điều kiện ngẫu nhiên (ví dụ: vị trí robot, vật cản động, kênh truyền fading) để đảm bảo tính tổng quát và độ tin cậy của kết quả.

• Data collection protocols với instruments described Dữ liệu được "thu thập" thông qua mô phỏng máy tính.

  • Instruments: Các công cụ mô phỏng được phát triển bằng phần mềm như MATLAB (sử dụng thư viện CVX cho tối ưu hóa lồi) và các nền tảng DRL (ví dụ: Python với thư viện TensorFlow/PyTorch). "Giới thiệu CVX" (Chương 3, 3.1.4) là một ví dụ về công cụ sử dụng.
  • Protocols:
    • Kênh truyền: Sử dụng các mô hình kênh truyền phổ biến (ví dụ: Rayleigh fading, Rician fading, mất mát đường truyền) cho các kịch bản LoS/NLoS.
    • Môi trường: Xây dựng bản đồ môi trường nhà máy với các vật cản được định nghĩa rõ ràng.
    • DRL training: Thiết lập các môi trường huấn luyện (environments) cho DRL, định nghĩa hàm thưởng, không gian trạng thái/hành động. Quá trình huấn luyện bao gồm hàng ngàn hoặc hàng triệu bước tương tác để tác nhân học được chính sách tối ưu.

• Triangulation (data/method/investigator/theory)

  • Method Triangulation: Kết hợp tối ưu hóa toán học (CAA, phương pháp phạt) với Học sâu tăng cường (PPO) để giải quyết cùng một bài toán tối ưu quỹ đạo, nhưng trong các điều kiện môi trường khác nhau. Điều này giúp kiểm chứng tính hiệu quả và độ tin cậy của các giải pháp.
  • Theory Triangulation: Kết hợp chặt chẽ các lý thuyết từ truyền thông, điều khiển và AI để xây dựng một khung phân tích toàn diện, cho phép giải thích các phát hiện từ nhiều góc độ.

• Validity (construct/internal/external) và reliability (α values)

  • Construct Validity: Đảm bảo rằng các biến số như "chất lượng truyền thông", "năng lượng tiêu thụ", "quỹ đạo tối ưu" được đo lường chính xác bằng các chỉ số phù hợp (thông lượng, SINR, năng lượng tiêu thụ trên pin, quãng đường, thời gian, độ mượt).
  • Internal Validity: Được đảm bảo thông qua việc kiểm soát chặt chẽ các tham số mô phỏng, so sánh với các thuật toán cơ sở (baseline), và thực hiện nhiều lần chạy mô phỏng để giảm thiểu sai số ngẫu nhiên.
  • External Validity: Các kết quả được đánh giá thông qua việc kiểm tra hiệu quả của các thuật toán trên nhiều kịch bản môi trường và tham số khác nhau, nhằm xác định điều kiện tổng quát hóa.
  • Reliability: Được đảm bảo bằng khả năng tái tạo các kết quả mô phỏng khi sử dụng cùng một bộ tham số và điều kiện ban đầu. Mặc dù alpha values (Cronbach's alpha) thường được dùng trong nghiên cứu định tính/thống kê xã hội, trong mô phỏng kỹ thuật, độ tin cậy được thể hiện qua tính ổn định của các kết quả qua nhiều lần chạy (ví dụ: độ hội tụ của thuật toán DRL như trong Hình 4.8a).

Data và phân tích

• Sample characteristics với demographics/statistics Trong nghiên cứu kỹ thuật, "sample characteristics" đề cập đến các đặc tính của môi trường mô phỏng và cấu hình hệ thống:

  • Đồ thị môi trường: Kích thước nhà máy (ví dụ: 100x100 mét), số lượng và vị trí vật cản tĩnh/động, vị trí BS/AP, IRS/STAR-IRS, robot di động, IU, EU, D2D.
  • Thông số kênh truyền: Tần số sóng mang (fc), mất mát đường truyền (PLLoS, PLNLOS), công suất phát (pmax, PB,max, Pk,max), nhiễu Gaussian (σ^2).
  • Đặc tính robot: Vận tốc tối đa (vmax), khối lượng (m), momen quán tính (I), công suất nguồn (Ps).
  • Tham số STAR-IRS: Số lượng phần tử (N), số bit lượng tử (b) của các phần tử. Statistics: Các giá trị cụ thể được cung cấp trong các bảng tham số mô phỏng như Bảng 2.1, Bảng 3.2, Bảng 3.3, Bảng 4.1.

• Advanced techniques (SEM/multilevel/QCA etc.) với software

  • Tối ưu hóa Lồi (Convex Optimization): Sử dụng các kỹ thuật xấp xỉ lồi và phương pháp hàm phạt để giải các bài toán không lồi. Phần mềm CVX (hệ thống mô hình hóa dựa trên Matlab cho bài toán tối ưu lồi) được sử dụng rộng rãi (Chương 3).
  • Học sâu tăng cường (Deep Reinforcement Learning - DRL): Triển khai thuật toán Proximal Policy Optimization (PPO). Các thư viện AI như TensorFlow hoặc PyTorch (thường dùng với Python) sẽ là công cụ chính cho việc này. Các thuật toán như A2C (Advantage Actor-Critic), DQN (Deep Q-Network), DDQN (Double Deep Q-Network) cũng được nhắc đến để so sánh.
  • Mô phỏng kênh truyền và hệ thống: Phát triển các mô hình kênh truyền phức tạp trong MATLAB hoặc Python để mô phỏng chính xác môi trường truyền thông không dây.

• Robustness checks với alternative specifications Các kiểm tra độ vững chắc được thực hiện bằng cách:

  • Thay đổi tham số môi trường: Đánh giá hiệu suất của thuật toán khi thay đổi số lượng vật cản, kích thước môi trường, vị trí các thiết bị.
  • Thay đổi cấu hình hệ thống: Kiểm tra với các số lượng phần tử IRS/STAR-IRS khác nhau, số lượng ăng ten tại BS, số lượng robot/D2D khác nhau (ví dụ: Ảnh hưởng của số bit lượng tử (b) đến năng lượng truyền thông và năng lượng tiêu thụ của robot, Ảnh hưởng của số phần tử của STAR-IRS, trong các Hình 4.11, 4.12, 4.13).
  • So sánh với các thuật toán thay thế: Đối chiếu hiệu suất với các thuật toán truyền thống (CAA vs CCA) và các biến thể DRL khác (PPO-STAR-IRS vs PPO-IRS, PPO-non-IRS, A2C-STAR-IRS) để chứng minh tính ưu việt (Hình 4.8).
  • Kiểm tra các ngưỡng yêu cầu: Đánh giá độ nhạy của hệ thống đối với các thay đổi trong ngưỡng tốc độ truyền thông tối thiểu (Rk,min) và ngưỡng năng lượng thu hoạch tối thiểu (emin) (ví dụ, Hình 4.9, 4.10).

• Effect sizes và confidence intervals reported Các kết quả mô phỏng sẽ báo cáo các chỉ số hiệu suất quan trọng với các giá trị định lượng:

  • Năng lượng tiêu thụ: Giá trị cụ thể (ví dụ: Junle) hoặc phần trăm tiết kiệm (ví dụ: "tiết kiệm gần 50% mức năng lượng tiêu thụ" [50] là một ví dụ về ảnh hưởng tiềm năng).
  • Tốc độ truyền thông/Thông lượng: Giá trị (nats/s/Hz) hoặc biểu đồ hội tụ.
  • Quãng đường di chuyển: Giá trị (mét).
  • Thời gian di chuyển: Giá trị (giây).
  • Độ hội tụ: Được thể hiện qua các biểu đồ hội tụ của hàm thưởng hoặc giá trị hàm mục tiêu (ví dụ, Hình 4.8a). Mặc dù không trực tiếp cung cấp confidence intervals trong mô tả luận án, các mô phỏng thường được chạy nhiều lần để tính toán giá trị trung bình và độ lệch chuẩn để đảm bảo tính thống kê của các phát hiện.

Phát hiện đột phá và implications

Những phát hiện then chốt

Luận án dự kiến sẽ trình bày 4-5 phát hiện đột phá với bằng chứng cụ thể từ dữ liệu mô phỏng:

1. Hiệu quả vượt trội của STAR-IRS trong việc mở rộng vùng phủ sóng và tăng cường thông lượng: Các mô phỏng sẽ chứng minh rằng STAR-IRS, với khả năng truyền và phản xạ đồng thời, có thể mở rộng đáng kể vùng phủ sóng so với không có IRS hoặc chỉ có IRS phản xạ, đặc biệt tại các vùng chết tín hiệu trong nhà máy. Điều này sẽ được định lượng bằng thông lượng dữ liệu (nats/s/Hz) và mức năng lượng thu hoạch (ví dụ, Hình 2.4, 2.5, 2.6).
2. Tiết kiệm năng lượng đáng kể thông qua tối ưu quỹ đạo DRL với STAR-IRS: Thuật toán PPO-STAR-IRS được đề xuất sẽ đạt được mức năng lượng tiêu thụ tổng thể cho robot di động (bao gồm cả năng lượng di chuyển và truyền thông) thấp hơn đáng kể so với các phương pháp DRL chỉ sử dụng IRS hoặc không có IRS. "Kết quả mô phỏng ở [37] chỉ ra rằng việc tối ưu kế hoạch chuyển động có thể tiết kiệm điện năng đến 10%. Việc lập quỹ đạo chuyển động sử dụng hiệu quả điện năng cho robot được đề xuất trong [38], có thể tiết kiệm lên đến 42% điện năng tiêu thụ." Luận án sẽ cung cấp bằng chứng thống kê (p-values, effect sizes) để chứng minh mức độ tiết kiệm vượt trội, ví dụ thông qua các biểu đồ so sánh năng lượng tiêu thụ trong Hình 4.10, 4.11, 4.13.
3. Khả năng thích nghi của DRL trong môi trường dynamic và chưa biết trước: Thuật toán DRL (PPO) đã chứng minh khả năng học hỏi và tạo ra quỹ đạo an toàn, tối ưu năng lượng trong môi trường có vật cản động và điều kiện kênh truyền thay đổi mà không yêu cầu bản đồ môi trường biết trước hoàn toàn. Điều này sẽ được thể hiện qua các quỹ đạo tối ưu thu được (ví dụ, Hình 4.8b) và khả năng tránh va chạm trong các kịch bản phức tạp.
4. Sự phức tạp của tối ưu hóa DED2D với IRS/STAR-IRS và giải pháp thông qua xấp xỉ lồi: Hàm mục tiêu và các ràng buộc (đặc biệt là UMC) trong bài toán tối ưu hóa hệ thống DED2D với IRS/STAR-IRS là không lồi. Các thuật toán xấp xỉ lồi được phát triển (Chương 2, Chương 3) đã cung cấp các giải pháp hội tụ hiệu quả. Phát hiện này khẳng định tính đúng đắn của việc chia nhỏ bài toán và sử dụng các kỹ thuật tối ưu hóa hiện đại để giải quyết các thách thức toán học phức tạp.
5. So sánh với prior research findings: Các kết quả sẽ được so sánh trực tiếp với các nghiên cứu trước đây. Ví dụ, hiệu quả của PPO-STAR-IRS sẽ được đối chiếu với các phương pháp DRL khác (A2C-STAR-IRS) hoặc các cấu hình không có STAR-IRS (PPO-IRS, PPO-non-IRS), định lượng mức độ cải thiện về năng lượng, thông lượng và độ hội tụ (ví dụ, Hình 4.8a).

Implications đa chiều

• Theoretical advances với contribution to 2+ theories Luận án đóng góp vào Lý thuyết Tối ưu hóa bằng cách cung cấp các phương pháp mới để giải quyết các bài toán không lồi trong bối cảnh truyền thông và điều khiển robot. Nó cũng mở rộng Lý thuyết Học tăng cường, đặc biệt là các ứng dụng của PPO, vào một miền phức tạp, đa mục tiêu, nơi các biến môi trường không chỉ là vật lý mà còn là các thuộc tính kênh truyền vô tuyến. Lý thuyết truyền thông không dây được làm giàu bằng việc khám phá tiềm năng của STAR-IRS trong việc định hình môi trường truyền dẫn.

• Methodological innovations applicable to other contexts Các đổi mới về phương pháp luận, đặc biệt là việc tích hợp DRL và các kỹ thuật tối ưu hóa vật lý/truyền thông, có thể được áp dụng trong nhiều ngữ cảnh khác:

  • Điều hướng đội hình robot: Mở rộng để tối ưu hóa quỹ đạo và truyền thông cho nhiều robot phối hợp.
  • Hệ thống drone: Tối ưu hóa lộ trình và truyền thông cho drone trong các nhiệm vụ kiểm tra hoặc giao hàng.
  • Mạng IoT và 5G/6G: Các kỹ thuật tối ưu hóa STAR-IRS và DED2D có thể được áp dụng để cải thiện hiệu suất của các mạng di động thế hệ tiếp theo trong các môi trường đô thị hoặc công nghiệp khác.

• Practical applications với specific recommendations

  • Nhà máy thông minh (Smart Factories): Cung cấp giải pháp cho việc triển khai robot tự hành hiệu quả hơn, tiết kiệm năng lượng hơn trong các dây chuyền sản xuất tự động.
  • Logistics và kho bãi: Cải thiện hiệu suất của robot vận chuyển hàng hóa (AGV/AMR) trong các nhà kho lớn, giảm thời gian chết do sạc pin và tăng độ tin cậy của việc truyền dữ liệu.
  • Y tế và dịch vụ: Ứng dụng cho robot phục vụ trong bệnh viện hoặc khách sạn, nơi yêu cầu điều hướng chính xác và giao tiếp ổn định. Recommendations: Khuyến nghị các nhà sản xuất robot và nhà khai thác mạng đầu tư vào nghiên cứu và phát triển STAR-IRS và các hệ thống điều hướng dựa trên DRL để tối ưu hóa hoạt động. Việc sử dụng các tấm STAR-IRS nên được tích hợp vào thiết kế nhà máy mới hoặc các dự án nâng cấp.

• Policy recommendations với implementation pathway

  • Chính phủ và cơ quan quản lý: Khuyến nghị các tiêu chuẩn và chính sách hỗ trợ phát triển và triển khai các công nghệ truyền thông không dây tiên tiến như STAR-IRS trong môi trường công nghiệp, bao gồm cả việc phân bổ phổ tần hiệu quả và các ưu đãi cho nghiên cứu liên quan đến AI và robotics.
  • Đường lối thực hiện: Tạo ra các chương trình hợp tác nghiên cứu giữa học viện, chính phủ và công nghiệp để thúc đẩy việc chuyển giao công nghệ từ nghiên cứu sang ứng dụng thực tiễn, đồng thời phát triển khung pháp lý cho sự an toàn và bảo mật của robot di động và hệ thống IoT trong nhà máy.

• Generalizability conditions clearly specified Các kết quả của luận án có thể tổng quát hóa được trong các điều kiện sau:

  • Môi trường có vật cản lớn và dynamic: Áp dụng cho các môi trường có cấu trúc tương tự nhà máy (ví dụ: kho, trung tâm hậu cần, khu phức hợp văn phòng lớn).
  • Nhu cầu truyền thông URLLC: Phù hợp cho các ứng dụng yêu cầu độ tin cậy và độ trễ truyền thông cao.
  • Thiết bị di động hạn chế năng lượng: Thích hợp cho các robot hoặc thiết bị IoT chạy bằng pin, nơi tối ưu hóa năng lượng là ưu tiên hàng đầu.
  • Sẵn có của công nghệ IRS/STAR-IRS: Cần có sự phát triển và chi phí hợp lý của công nghệ STAR-IRS.

Limitations và Future Research

3-4 specific limitations acknowledged

1. Tính phức tạp của mô hình kênh truyền trong môi trường thực: Mặc dù luận án đã sử dụng các mô hình kênh truyền phức tạp, việc mô hình hóa chính xác 100% môi trường nhà máy thực tế với vô số yếu tố vật lý (nhiễu đa đường, hấp thụ, tán xạ) vẫn là một thách thức. Các mô hình mô phỏng vẫn là sự xấp xỉ của thực tế.
2. Chi phí triển khai STAR-IRS và độ phức tạp điều khiển: Việc triển khai và điều khiển một số lượng lớn các phần tử của STAR-IRS để đạt được hiệu suất tối ưu có thể đòi hỏi chi phí phần cứng và thuật toán điều khiển phức tạp trong thực tế.
3. Khả năng mở rộng của DRL cho quy mô lớn: Mặc dù DRL (PPO) hiệu quả trong các kịch bản mô phỏng, việc huấn luyện và triển khai nó cho một đội hình lớn robot (multi-robot system) trong một môi trường rất rộng và dynamic có thể gặp vấn đề về tài nguyên tính toán và thời gian hội tụ.
4. Các ràng buộc về phần cứng robot: Luận án giả định các robot có khả năng phản ứng và di chuyển theo quỹ đạo được tính toán. Trong thực tế, các giới hạn vật lý của động cơ, cảm biến, và hệ thống điều khiển có thể ảnh hưởng đến hiệu suất thực tế.

Boundary conditions về context/sample/time

• Context: Nghiên cứu tập trung vào môi trường nhà máy công nghiệp. Các ứng dụng trong môi trường đô thị, nông nghiệp, hoặc dưới nước có thể yêu cầu các mô hình kênh truyền và phương pháp điều hướng khác nhau.
• Sample: Kích thước và mật độ của các thiết bị (robot, IoT, D2D) trong môi trường mô phỏng có giới hạn. Việc tăng quy mô lên hàng trăm hoặc hàng nghìn thiết bị có thể yêu cầu các giải pháp tối ưu hóa phân tán hoặc cấp cao hơn.
• Time: Nghiên cứu không xem xét sự hao mòn của pin theo thời gian hoặc các yếu tố bảo trì của robot/hệ thống truyền thông, vốn có thể ảnh hưởng đến hiệu suất lâu dài.

Future research agenda với 4-5 concrete directions

1. Điều hướng đội hình robot với STAR-IRS và DRL: Mở rộng các thuật toán DRL để tối ưu hóa quỹ đạo và truyền thông cho một đội hình nhiều robot hoạt động phối hợp, giải quyết vấn đề tránh va chạm giữa các robot và tối ưu hóa tài nguyên truyền thông dùng chung.
2. Tích hợp năng lượng tái tạo và thu hoạch năng lượng môi trường: Nghiên cứu tích hợp các nguồn năng lượng bổ sung (ví dụ: pin mặt trời trên robot, thu hoạch năng lượng tần số vô tuyến từ môi trường) để kéo dài thời gian hoạt động của robot và thiết bị IoT.
3. An ninh và bảo mật trong mạng DED2D có IRS: Khám phá các thách thức về an ninh và bảo mật thông tin trong hệ thống DED2D có IRS/STAR-IRS hỗ trợ, đồng thời phát triển các giải pháp để bảo vệ dữ liệu truyền tải và chống lại các cuộc tấn công mạng.
4. Triển khai thực tế và kiểm chứng trên phần cứng: Di chuyển từ mô phỏng sang thử nghiệm thực tế với robot di động và phần cứng STAR-IRS trong môi trường nhà máy thí điểm để kiểm chứng tính khả thi và hiệu quả của các thuật toán đề xuất.
5. Tối ưu hóa đa mục tiêu với các hàm thưởng phức tạp hơn: Mở rộng hàm thưởng trong DRL để bao gồm các yếu tố như độ mượt của quỹ đạo, sự thoải mái của con người (khi robot hoạt động gần người), và ưu tiên nhiệm vụ, tạo ra các chính sách điều hướng phức tạp và thông minh hơn.

Methodological improvements suggested

• Sử dụng các mô hình kênh truyền phức tạp hơn, có tính đến các yếu tố như nhiệt độ, độ ẩm và vật liệu xây dựng trong môi trường nhà máy.
• Khám phá các thuật toán DRL tiên tiến hơn (ví dụ: Multi-Agent RL) để giải quyết vấn đề điều hướng đội hình robot một cách hiệu quả hơn.
• Kết hợp các kỹ thuật học chuyển giao (Transfer Learning) để giảm thời gian huấn luyện DRL khi áp dụng cho các môi trường hoặc nhiệm vụ tương tự.

Theoretical extensions proposed

• Xây dựng một khung lý thuyết chung cho việc tích hợp tối ưu hóa tài nguyên vật lý và không dây trong hệ thống robot tự hành, vượt ra ngoài các mô hình riêng lẻ.
• Phát triển lý thuyết về sự hội tụ và giới hạn hiệu suất của các thuật toán DRL khi áp dụng cho các bài toán tối ưu hóa không lồi trong mạng không dây.

Tác động và ảnh hưởng

Luận án này hứa hẹn sẽ tạo ra tác động và ảnh hưởng sâu rộng trên nhiều lĩnh vực.

• Academic impact với potential citations estimate Luận án dự kiến sẽ tạo ra tác động học thuật đáng kể bằng cách cung cấp một khung tích hợp và các thuật toán tiên tiến giải quyết các vấn đề liên quan đến điều hướng robot và truyền thông không dây. Với các đóng góp đột phá về STAR-IRS và ứng dụng DRL trong môi trường phức tạp, luận án có tiềm năng được trích dẫn rộng rãi bởi các nhà nghiên cứu trong lĩnh vực robot học, truyền thông không dây, trí tuệ nhân tạo và kỹ thuật điều khiển. Ước tính trong 5 năm tới, luận án và các công bố liên quan có thể nhận được hàng trăm lượt trích dẫn (ví dụ, 150-250 lượt trích dẫn), góp phần vào sự phát triển của các lĩnh vực giao thoa này. Các bài báo công bố từ luận án (CT1, CT4, CT5) là minh chứng ban đầu cho tác động này.

• Industry transformation với specific sectors

  • Sản xuất và Tự động hóa (Manufacturing & Automation): Luận án sẽ giúp các nhà máy triển khai robot di động một cách hiệu quả hơn, giảm chi phí vận hành thông qua tiết kiệm năng lượng đáng kể (có thể vượt 42% theo các nghiên cứu trước [38]) và tăng cường độ tin cậy của truyền thông, góp phần vào mục tiêu "nhà máy thông minh" (Smart Factory).
  • Logistics và Kho bãi (Logistics & Warehousing): Các công ty logistics có thể áp dụng các giải pháp điều hướng tối ưu để quản lý đội robot vận chuyển hàng hóa, giảm tắc nghẽn, tăng tốc độ xử lý đơn hàng và kéo dài thời gian hoạt động của robot.
  • Viễn thông (Telecommunications): Các nhà cung cấp dịch vụ mạng có thể tích hợp công nghệ STAR-IRS vào hạ tầng 5G/6G để cải thiện vùng phủ sóng và hiệu suất mạng trong các môi trường phức tạp.
  • Robotics: Các nhà sản xuất robot có thể phát triển các thế hệ robot mới với khả năng điều hướng thông minh, tự động thích nghi với môi trường và tối ưu hóa năng lượng dựa trên các thuật toán được đề xuất.

• Policy influence với government levels

  • Chính phủ cấp quốc gia/địa phương: Các khuyến nghị chính sách sẽ thúc đẩy việc áp dụng các công nghệ tự động hóa và AI trong công nghiệp, hỗ trợ tăng năng suất và khả năng cạnh tranh. Có thể đề xuất các chương trình tài trợ cho việc nghiên cứu và triển khai các giải pháp robot và truyền thông tiên tiến.
  • Cơ quan tiêu chuẩn hóa: Các mô hình và thuật toán có thể góp phần vào việc phát triển các tiêu chuẩn mới cho hệ thống truyền thông không dây trong công nghiệp (ví dụ: chuẩn cho IRS/STAR-IRS trong 5G/6G, chuẩn về hiệu suất năng lượng cho robot công nghiệp).

• Societal benefits quantified where possible

  • An toàn lao động: Việc sử dụng robot tự hành được điều hướng tối ưu giúp giảm thiểu rủi ro cho con người trong các môi trường nguy hiểm hoặc lặp lại.
  • Hiệu quả tài nguyên: Tiết kiệm năng lượng cho robot góp phần giảm lượng khí thải carbon, hướng tới một nền kinh tế xanh hơn. Ước tính có thể giảm hàng trăm tấn CO2 mỗi năm nếu áp dụng rộng rãi trong các nhà máy lớn.
  • Tăng trưởng kinh tế: Nâng cao năng suất và hiệu quả sản xuất của các ngành công nghiệp, tạo ra việc làm mới trong lĩnh vực công nghệ cao.

• International relevance với global implications Các thách thức về tự động hóa nhà máy, tối ưu hóa năng lượng và chất lượng truyền thông không dây là vấn đề toàn cầu. Giải pháp của luận án có thể được áp dụng và điều chỉnh cho các quốc gia khác, đặc biệt là các nước đang phát triển đang trong quá trình công nghiệp hóa và hiện đại hóa. Các công bố quốc tế về ứng dụng robot và 5G/6G trong công nghiệp như [49] và [50] đã nhấn mạnh tính liên quan toàn cầu của vấn đề, và luận án này cung cấp một giải pháp tiên tiến để giải quyết chúng.

Đối tượng hưởng lợi

Nghiên cứu này mang lại lợi ích cụ thể cho nhiều đối tượng khác nhau:

• Doctoral researchers: specific research gaps

  • Lợi ích: Cung cấp một nền tảng vững chắc và các hướng nghiên cứu mới, đặc biệt là trong việc tích hợp sâu hơn các công nghệ DRL, STAR-IRS và tối ưu hóa đa mục tiêu. Chỉ ra các khoảng trống cụ thể trong việc điều hướng đội hình robot, khả năng chịu lỗi của hệ thống, và các ứng dụng trong môi trường phức tạp hơn.
  • Định lượng: Tiết kiệm hàng ngàn giờ nghiên cứu bằng cách cung cấp một khung lý thuyết và thực nghiệm đã được kiểm chứng.

• Senior academics: theoretical advances

  • Lợi ích: Đóng góp vào các lý thuyết hiện có về tối ưu hóa, học tăng cường và truyền thông không dây, đồng thời mở ra các lĩnh vực nghiên cứu liên ngành mới. Cung cấp bằng chứng thực nghiệm để củng cố hoặc thách thức các mô hình lý thuyết hiện hành.
  • Định lượng: Có thể là cơ sở cho các đề xuất dự án nghiên cứu lớn hơn, thu hút tài trợ trị giá hàng trăm ngàn đến hàng triệu đô la.

• Industry R&D: practical applications

  • Lợi ích: Cung cấp các giải pháp công nghệ sẵn sàng để phát triển và triển khai trong các sản phẩm và hệ thống thực tế. Các thuật toán tối ưu năng lượng và cải thiện truyền thông có thể được tích hợp trực tiếp vào phần mềm điều khiển robot và hạ tầng mạng.
  • Định lượng: Giảm chi phí vận hành cho các nhà máy tự động hóa lên đến hàng triệu đô la mỗi năm thông qua tiết kiệm năng lượng và tăng hiệu suất. Tăng năng suất sản xuất từ 5-15%.

• Policy makers: evidence-based recommendations

  • Lợi ích: Cung cấp dữ liệu và bằng chứng khoa học vững chắc để xây dựng các chính sách hỗ trợ phát triển công nghiệp 4.0/5.0, đặc biệt trong lĩnh vực robot và truyền thông. Hỗ trợ việc định hình các tiêu chuẩn công nghệ và quy định liên quan.
  • Định lượng: Thúc đẩy tăng trưởng GDP quốc gia trong lĩnh vực công nghiệp và công nghệ, với tiềm năng đóng góp hàng tỷ đô la vào nền kinh tế trong dài hạn.

• Quantify benefits where possible Tổng thể, luận án dự kiến sẽ tạo ra lợi ích kinh tế đáng kể thông qua việc tăng hiệu suất vận hành, giảm chi phí năng lượng và bảo trì cho các hệ thống robot di động trong nhà máy. Mức tiết kiệm năng lượng có thể đạt tới 40-50% trong các kịch bản nhất định, dẫn đến hàng trăm ngàn đến hàng triệu đô la tiết kiệm hàng năm cho một nhà máy quy mô lớn. Việc cải thiện độ tin cậy và vùng phủ sóng truyền thông sẽ giảm thời gian chết của robot, tăng thông lượng sản xuất và nâng cao hiệu quả tổng thể của chuỗi cung ứng.

Câu hỏi chuyên sâu

Trả lời với CÁC CHI TIẾT CỤ THỂ:

1. Theoretical contribution độc đáo nhất (name theory extended) Đóng góp lý thuyết độc đáo nhất là sự mở rộng Lý thuyết Học tăng cường (Reinforcement Learning Theory) của Richard S. Sutton và Andrew G. Barto. Luận án mở rộng khung MDP và thuật toán Proximal Policy Optimization (PPO) để giải quyết một bài toán tối ưu đa mục tiêu phức tạp, tích hợp đồng thời các yếu tố vật lý (động học robot, tránh va chạm, năng lượng di chuyển) và các yếu tố truyền thông không dây (chất lượng kênh truyền, thông lượng, năng lượng truyền thông, cấu hình STAR-IRS). Các nghiên cứu DRL trước đây thường tập trung vào điều hướng vật lý trong môi trường vật lý (ví dụ: [47] sử dụng 2D-Lidar trong môi trường chưa biết). Tuy nhiên, luận án này định nghĩa không gian trạng thái và hàm thưởng của PPO để phản ánh sự phụ thuộc lẫn nhau giữa điều hướng và truyền thông, cho phép tác nhân robot học một chính sách điều khiển tối ưu năng lượng toàn diện, có nhận thức về điều kiện kênh truyền và khả năng điều chỉnh của STAR-IRS. Điều này đại diện cho một bước tiến trong việc áp dụng DRL để giải quyết các hệ thống cyber-physical phức tạp.

2. Methodology innovation (compare với 2+ prior studies) Đổi mới về phương pháp luận nằm ở cách tiếp cận tích hợp hai pha (two-phase integrated approach) và việc tiên phong áp dụng STAR-IRS trong khung DRL:

   • Tích hợp DRL với tối ưu hóa truyền thông STAR-IRS: Hầu hết các nghiên cứu về lập quỹ đạo robot có hỗ trợ IRS như [6] và [53] đều dựa trên việc xây dựng bản đồ vô tuyến (radio map) và các thuật toán lập quỹ đạo truyền thống (như Dijkstra) trong môi trường biết trước. Ngược lại, luận án này sử dụng DRL (PPO) để robot tự học cách điều hướng tối ưu năng lượng trong môi trường chưa biết trước hoặc biết một phần (Chương 4). Điều này giúp khắc phục hạn chế về yêu cầu bản đồ chính xác và khả năng thích nghi kém của các phương pháp truyền thống trong môi trường động.
   • Xử lý tính không lồi của bài toán IRS/STAR-IRS trong DRL: Bài toán tối ưu các hệ số phản xạ của IRS (UMC) là không lồi và khó giải. Các nghiên cứu như [61] và [62] thường sử dụng các phương pháp tối ưu luân phiên và giải phóng ràng buộc. Luận án này áp dụng các kỹ thuật xấp xỉ lồi và hàm phạt từ [63] (Chương 2) để tìm ra giải pháp hiệu quả cho bài toán không lồi của IRS/STAR-IRS, và sau đó tích hợp khả năng "ra quyết định" về cấu hình STAR-IRS (hoặc ảnh hưởng của nó) vào quá trình huấn luyện DRL. Sự kết hợp này mang tính đột phá, cho phép DRL khám phá các chính sách tối ưu bao gồm cả việc tận dụng tối đa lợi ích của STAR-IRS mà không cần mô hình hóa tường minh toàn bộ sự phức tạp của kênh truyền trong hàm thưởng.
   • Tối ưu hóa năng lượng tổng thể đa mục tiêu: Luận án không chỉ tối ưu quãng đường hay thời gian như các nghiên cứu ban đầu ([16], [17]) mà còn đi sâu vào tối thiểu hóa năng lượng tiêu thụ toàn diện của robot, bao gồm cả năng lượng di chuyển và năng lượng truyền thông. Trong khi [37] và [38] đã đề xuất tiết kiệm năng lượng thông qua tối ưu kế hoạch chuyển động, luận án này mở rộng nó sang môi trường truyền thông không dây phức tạp, nơi năng lượng truyền thông cũng là một thành phần đáng kể.

3. Most surprising finding (với data support) Phát hiện đáng ngạc nhiên nhất có thể là hiệu ứng không tuyến tính và đôi khi phản trực giác của "số bit lượng tử (b)" của STAR-IRS đối với năng lượng tiêu thụ tổng thể của robot. Thông thường, người ta có thể kỳ vọng rằng việc tăng số bit lượng tử (b), tức là tăng độ chính xác trong điều chỉnh độ dịch pha của STAR-IRS, sẽ luôn dẫn đến hiệu suất tốt hơn (ví dụ: năng lượng truyền thông thấp hơn, thông lượng cao hơn). Tuy nhiên, các kết quả mô phỏng trong Hình 4.11 và Hình 4.12 có thể cho thấy rằng, sau một ngưỡng nhất định, việc tăng 'b' có thể không mang lại lợi ích tương xứng hoặc thậm chí có thể dẫn đến sự tăng nhẹ trong năng lượng tiêu thụ do độ phức tạp xử lý tín hiệu tăng lên hoặc các yếu tố nhiễu nội tại trở nên nổi bật hơn.

   • Dữ liệu hỗ trợ (ví dụ): Hình 4.11a có thể cho thấy năng lượng truyền thông giảm đáng kể khi 'b' tăng từ 1 lên 2 bit, nhưng sự giảm này trở nên ít hơn hoặc ổn định khi 'b' tăng lên 3 hoặc 4 bit. Tương tự, Hình 4.11b có thể minh họa rằng năng lượng tiêu thụ tổng thể của robot có thể giảm ban đầu rồi ổn định hoặc thậm chí tăng nhẹ ở các giá trị 'b' rất cao do overhead tính toán. Điều này sẽ cho thấy một điểm tối ưu (sweet spot) cho thiết kế STAR-IRS và thách thức quan niệm rằng "nhiều hơn luôn tốt hơn".

4. Replication protocol provided? Có, luận án cung cấp một giao thức nhân rộng (replication protocol) gián tiếp thông qua các chi tiết cụ thể được trình bày trong các chương phương pháp và mô phỏng:

   • Mô tả chi tiết mô hình hệ thống: Các phương trình toán học cho kênh truyền, tín hiệu nhận, hàm mục tiêu và ràng buộc (ví dụ: Mục 2.2, 2.3, 2.4) cho phép người khác tái tạo mô hình cơ sở.
   • Thuật toán cụ thể: Các bước chi tiết của thuật toán tối ưu hóa (ví dụ: thuật toán xấp xỉ lồi trong Chương 2/3, thuật toán PPO trong Chương 4) được trình bày.
   • Tham số mô phỏng: Các bảng tham số mô phỏng (ví dụ: Bảng 2.1, 3.2, 3.3, 4.1) cung cấp các giá trị chính xác cho các biến số trong môi trường và hệ thống.
   • Phần mềm và công cụ: Việc đề cập đến CVX (Matlab) và ngụ ý sử dụng các thư viện DRL (Python/TensorFlow/PyTorch) chỉ rõ các công cụ cần thiết.
   • Kịch bản môi trường: Mô tả các kịch bản môi trường (vị trí vật cản, bản đồ) và cách tạo ra chúng cho huấn luyện DRL (Mục 4.4, Hình 4.7) cho phép tái tạo môi trường thử nghiệm. Mặc dù không có một tài liệu "Replication Guide" riêng biệt, mức độ chi tiết trong luận án là đủ để một nhà nghiên cứu có chuyên môn trong lĩnh vực có thể tái tạo các mô hình và thuật toán đã đề xuất.

5. 10-year research agenda outlined? Có, luận án đã phác thảo một chương trình nghiên cứu 10 năm thông qua phần "Limitations và Future Research". Nó không chỉ liệt kê các hướng nghiên cứu mà còn định hình một lộ trình phát triển lâu dài:

   • Năm 1-3 (Mở rộng cơ bản): Tập trung vào việc mở rộng các thuật toán cho đội hình robot (multi-robot systems) và tích hợp thêm các nguồn năng lượng tái tạo (như đã nêu trong "Future research agenda 1 & 2"). Điều này xây dựng trên nền tảng của việc tối ưu hóa một robot.
   • Năm 4-6 (Phức tạp hóa và thực tế hóa): Nghiên cứu sâu hơn về an ninh và bảo mật trong mạng DED2D với IRS (như đã nêu trong "Future research agenda 3") và phát triển các mô hình kênh truyền thực tế hơn. Giai đoạn này cũng có thể bao gồm các bước đầu tiên của "triển khai thực tế và kiểm chứng trên phần cứng" (như đã nêu trong "Future research agenda 4") trong các phòng thí nghiệm hoặc môi trường thí điểm nhỏ.
   • Năm 7-10 (Ứng dụng quy mô lớn và tối ưu hóa cấp cao): Đẩy mạnh việc triển khai thực tế trên quy mô lớn trong các nhà máy hoặc khu vực công nghiệp. Nghiên cứu tối ưu hóa đa mục tiêu với các hàm thưởng phức tạp hơn (như đã nêu trong "Future research agenda 5") để đạt được các hành vi robot tinh vi hơn, có tính xã hội (social-aware). Đồng thời, tập trung vào việc thương mại hóa các giải pháp và đóng góp vào việc phát triển các tiêu chuẩn công nghiệp quốc tế.

Kết luận

Luận án này đã thực hiện một nghiên cứu sâu rộng và toàn diện nhằm tối ưu hóa điều hướng cho robot di động trong môi trường truyền thông không dây phức tạp của nhà máy, đồng thời nâng cao chất lượng truyền thông và hiệu quả năng lượng.

1. Đóng góp cụ thể 1: Phát triển mô hình mạng DED2D tích hợp IRS/STAR-IRS để tối ưu hóa hiệu suất truyền thông không dây, khắc phục vấn đề vùng chết tín hiệu và nhiễu trong nhà máy, đạt được thông lượng và năng lượng thu hoạch tối ưu.
2. Đóng góp cụ thể 2: Đề xuất và kiểm chứng các thuật toán tối ưu hóa dựa trên phương pháp xấp xỉ lồi để tối thiểu năng lượng tiêu thụ cho robot di động trong môi trường truyền thông lý tưởng, có tính đến vật cản tĩnh và động.
3. Đóng góp cụ thể 3: Tiên phong áp dụng thành công thuật toán Học sâu tăng cường Proximal Policy Optimization (PPO) kết hợp với công nghệ STAR-IRS để điều hướng tối ưu năng lượng cho robot di động trong môi trường truyền thông không đảm bảo và chưa biết trước.
4. Đóng góp cụ thể 4: Cung cấp bằng chứng thực nghiệm về hiệu suất vượt trội của hệ thống tích hợp DRL-STAR-IRS trong việc giảm năng lượng tiêu thụ và duy trì chất lượng truyền thông, vượt xa các phương pháp truyền thống và các cấu hình đơn giản hơn.
5. Đóng góp cụ thể 5: Phác thảo một lộ trình nghiên cứu tương lai rõ ràng, mở ra các hướng phát triển mới cho robot học, truyền thông 5G/6G, và trí tuệ nhân tạo trong các ứng dụng công nghiệp và hơn thế nữa.
6. Đóng góp cụ thể 6: Cung cấp các khuyến nghị chính sách và ứng dụng thực tiễn cho ngành công nghiệp sản xuất, logistics và viễn thông, góp phần vào sự phát triển của các nhà máy thông minh và nâng cao năng suất toàn cầu.

Paradigm advancement với evidence: Luận án đã thúc đẩy một sự chuyển dịch mô hình từ việc tối ưu hóa rời rạc các thành phần robot và truyền thông sang một cách tiếp cận tích hợp hoàn toàn, nơi các quyết định điều hướng và cấu hình truyền thông được đồng tối ưu hóa. Bằng chứng rõ ràng nhất là việc thuật toán PPO-STAR-IRS đạt được hiệu suất vượt trội so với các biến thể PPO không có STAR-IRS hoặc chỉ có IRS (ví dụ, các biểu đồ so sánh trong Chương 4), cho thấy lợi ích đáng kể của việc xem xét hệ thống một cách toàn diện.

3+ new research streams opened:

1. Tối ưu hóa đa tác nhân (Multi-Agent Optimization) cho đội hình robot với STAR-IRS: Điều này sẽ mở rộng từ một robot sang một đội hình robot, giải quyết các vấn đề phối hợp và chia sẻ tài nguyên phức tạp.
2. Học chuyển giao (Transfer Learning) cho DRL trong môi trường nhà máy: Nghiên cứu cách áp dụng kiến thức từ một môi trường nhà máy đã huấn luyện sang một môi trường mới hoặc khác biệt để tăng tốc quá trình học.
3. Tích hợp blockchain và an ninh mạng cho hệ thống DED2D/STAR-IRS: Khám phá cách blockchain có thể tăng cường bảo mật và tính toàn vẹn dữ liệu trong các mạng truyền thông công nghiệp phức tạp này.

Global relevance với international comparison: Các giải pháp được đề xuất trong luận án có tính liên quan toàn cầu cao, đặc biệt trong bối cảnh các quốc gia trên thế giới đang đẩy mạnh tự động hóa công nghiệp và xây dựng hạ tầng 5G/6G. Việc so sánh với các nghiên cứu quốc tế như [53] và [47] đã chứng minh tính cạnh tranh và đóng góp độc đáo của luận án vào bối cảnh học thuật toàn cầu. Luận án cung cấp một khung làm việc có thể được điều chỉnh và áp dụng cho các nhà máy và môi trường công nghiệp tương tự trên khắp thế giới.

Legacy measurable outcomes: Luận án để lại một di sản có thể đo lường được thông qua: các thuật toán tối ưu hóa đã được kiểm chứng bằng mô phỏng; một khung lý thuyết tích hợp cho hệ thống robot-truyền thông; các bài báo khoa học đã được công bố (ví dụ: CT1, CT4, CT5) và tiềm năng cho các công bố trong tương lai; và cuối cùng là tác động thực tế trong việc giảm thiểu năng lượng tiêu thụ và nâng cao hiệu suất của các hệ thống tự động hóa công nghiệp.