Các giải pháp đảm bảo QoE cho hệ thống truyền video 360 độ trực tuyến trên nền tảng HTTP

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN VIẾT HÙNG CÁC GIẢI PHÁP ĐẢM BẢO QoE CHO HỆ THỐNG TRUYỀN VIDEO 360 ĐỘ TRỰC TUYẾN TRÊN NỀN TẢNG HTTP LUẬN ÁN TIẾN SĨ KỸ THUẬT VIỄN THÔNG Hà Nội – 2024 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN VIẾT HÙNG CÁC GIẢI PHÁP ĐẢM BẢO QoE CHO HỆ THỐNG TRUYỀN VIDEO 360 ĐỘ TRỰC TUYẾN TRÊN NỀN TẢNG HTTP Ngành: Kỹ thuật viễn thông Mã số: 9520208 LUẬN ÁN TIẾN SĨ KỸ THUẬT VIỄN THÔNG NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS. TS TRƯƠNG THU HƯƠNG Hà Nội – 2024 LỜI CAM ĐOAN Tôi cam đoan các kết quả trình bày trong luận án là công trình nghiên cứu của tôi dưới sự hướng dẫn của các cán bộ hướng dẫn. Các số liệu, các kết quả trình bày trong luận án hoàn toàn trung thực và chưa được tác giả khác công bố. Các dữ liệu tham khảo được trích dẫn đầy đủ.

Hà Nội, ngày 26 tháng 09 năm 2024 Người hướng dẫn khoa học Tác giả luận án PGS. Trương Thu Hương Nguyễn Viết Hùng i LỜI CẢM ƠN Trong quá trình nghiên cứu và hoàn thành Luận án, Nghiên cứu sinh đã nhận được sự định hướng, giúp đỡ, các ý kiến đóng góp quý báu và những lời động viên của các nhà khoa học, các thầy cô giáo, đồng nghiệp và gia đình. Trước hết, Nghiên cứu sinh xin bày tỏ lời cảm ơn tới cô PGS. Trương Thu Hương đã tận tình hướng dẫn và giúp đỡ trong quá trình nghiên cứu.

Cho phép Nghiên cứu sinh chân thành cảm ơn các thầy cô giáo, các nhà khoa học của Trường Điện-Điện Tử đã có các góp ý quý báu cho Nghiên cứu sinh trong quá trình thực hiện Luận án này. Nghiên cứu sinh chân thành cảm ơn Ban Giám đốc, Ban Đào tạo, Trường Điện- Điện tử đã tạo điều kiện thuận lợi để Nghiên cứu sinh hoàn thành nhiệm vụ nghiên cứu. Bên cạnh đó, Nghiên cứu sinh cũng chân thành bày tỏ lòng cảm ơn đến TS. Phạm Hồng Thịnh đã hỗ trợ nghiên cứu sinh trong quá trình hoàn thành cuốn luận án.

Cuối cùng, nghiên cứu sinh bày tỏ lời cảm ơn tới các đồng nghiệp, gia đình, bạn bè đã luôn động viên, chia sẻ, ủng hộ và giúp đỡ Nghiên cứu sinh vượt qua khó khăn để đạt được những kết quả nghiên cứu trong Luận án này. NCS Nguyễn Viết Hùng ii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC TỪ VIẾT TẮT vii DANH MỤC CÁC KÝ HIỆU TOÁN HỌC ix DANH MỤC HÌNH VẼ xiii DANH MỤC BẢNG BIỂU xv MỞ ĐẦU 1 1. Tính cấp thiết của luận án 1 2. Mục tiêu nghiên cứu của luận án 5 3.

Pham vi nghiên cứu của luận án 5 4. Giải pháp nghiên cứu của luận án 5 5. Ý nghĩa khoa học của luận án 7 6. Những đóng góp của luận án 7 7.

Cấu trúc nội dung của luận án 9 CHƯƠNG 1.1 Những ảnh hưởng đến việc truyền phát video 360 độ .1 Ảnh hưởng của mã hóa tới chất lượng đường truyền video 360 độ 11 1.2 Ảnh hưởng của tốc độ khung tới chất lượng cảm nhận video 360 độ .3 Ảnh hưởng của giới hạn băng thông tới chất lượng video 360 độ 12 1.4 Ảnh hưởng của mất gói tin tới chất lượng video 360 độ .5 Ảnh hưởng của nghẽn tại máy chủ truyền phát video 360 độ .2 Chất lượng trải nghiệm và nhân tố ảnh hưởng .1 Từ khái niệm QoS tới QoE .2 Cấu trúc và các yếu tố ảnh hưởng QoE .3 Giao thức truyền dẫn trực tuyến video 360 độ HTTP .2 Khối máy khách .4 Các thách thức trong truyền dẫn video 360 độ .5 QoE khách quan và QoE chủ quan .1 QoE khách quan .2 QoE chủ quan .6 Mô hình đánh gia QoE khách quan .7 Các khái niệm trong video 360 độ .8 Hệ thống VAS .9 Kết luận chương 1. ĐÁNH GIÁ CHẤT LƯỢNG CỦA VIDEO 360 ĐỘ DỰA TRÊN VÕNG MẠC ĐƯỢC MÃ HÓA THEO CÁC TILE 30 2.1 Định nghĩa bài toán .2 Các công trình liên quan .1 Giải pháp nghiên cứu .2 Nghiên cứu về các công trình liên quan .3 Đề xuất giải pháp đánh giá tác động của các vùng trong võng mạc con người để nâng cao chất lượng trải nghiệm .1 Xây dựng chỉ số đánh giá QoE mới - W ZUQI .2 Xây dựng hàm ánh xạ tính MOS mới .4 Thiết lập dữ liệu cho thí nghiệm .1 Thiết lập nội dung video 360 độ .2 Thiết lập thí nghiệm đánh giá chủ quan .5 Kết quả và đánh giá hiệu năng .1 Đánh giá chất lượng .2 Đánh giá dựa trên tác động của các phân vùng .6 Kết luận chương 2. GIẢI PHÁP DỰ BÁO TRƯỚC VỊ TRÍ VIEWPORT CHÍNH XÁC CHO VIDEO 360 ĐỘ PHÁT TRỰC TUYẾN BẰNG HỌC SÂU 50 3.1 Hình thành vấn đề .2 Thảo luận và đánh giá công trình liên quan .3 Giải pháp dự đoán vị trí viewport dựa trên chuyển động đầu .1 Định nghĩa bài toán 1 .2 Giải pháp ước tính dưới chuyển động đầu - GLVP .3 Đánh giá hiệu năng .4 Dự báo vị trí viewport dựa trên chuyển động đầu và mắt .1 Định nghĩa bài toán 2 .2 Giải pháp ước tính dưới chuyển động đầu và mắt - HEVEL .3 Đánh giá hiệu năng .5 Kết luận Chương 3. NGHIÊN CỨU CÁC GIẢI PHÁP PHÁT TRỰC TUYẾN THÍCH NGHI CHO VIDEO 360 ĐỘ 70 4.1 Hình thành vấn đề .2 Phân tích các công trình liên quan .3 Nghiên cứu thực nghiệm dựa trên chuyển động đầu .1 Đối với chuyển động đầu .2 Phân tích hiệu năng .4 Đề xuất giải pháp phân phối video 360 độ thích nghi dựa trên chuyển động cả đầu và mắt .1 Kiến trúc hệ thống đề xuất .2 Định nghĩa bài toán .3 Giải pháp thích nghi đề xuất .4 Cài đặt thí nghiệm .5 Kết quả thí nghiệm .5 Kết luận Chương 4.

101 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 103 Những đóng góp mới của luận án 103 Hướng phát triển của luận án 104 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN 106 TÀI LIỆU THAM KHẢO 108 vi DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt Tên tiếng Anh Tên tiếng Việt AR Augmented Reality Thực tế Tăng cường BBAG Buffer and Bandwidth Allocation Thuật toán phân bổ bộ Algorithm đệm và băng thông BL Buffer level Mức bộ đệm CDN Content Delivery Network Mạng phân phối nội dung CMP Cube projection Phép chiếu lập phương CNN Convolutional Neural Network Mạng Nơ-ron Tích chập DASH Dynamic adaptive streaming over Phát trực tuyến thích ứng HTTP động trên HTTP EEG Electroencephalography Điện não đồ ERP Equivalent projection Phép chiếu tương đương FoV Field of view Phạm vi quan sát GRU Gated Recurrent Unit Mạng Nơ-ron hồi tiếp với nút có cổng GLVP GRU-LSTM-based-Viewport- Dự đoán Viewport dựa Prediction trên GRU-LSTM HAS HTTP-based Adaptive Streaming Truyền dẫn thích ứng trên nền giao thức HTTP HMD Head Mounted Display Màn hình đội trên đầu HTTP Hypertext Transfer Protocol Giao thức truyền siêu văn bản LSTM Long Short-Term Memory Mạng thần kinh hồi quy có Bộ nhớ Ngắn hạn và Dài hạn MOS Mean Opinion Score Điểm số ý kiến trung bình MPD Media Presentation Description Mô tả trình diễn đa phương tiện MPEG Moving Picture Expert Group Chuẩn nén MPEG MSE Mean Squared Error Độ lỗi bình phương trung bình OQM Overall Quality Metric Chỉ số đánh giá Chất lượng Tổng thể PCC Pearson Correlation Coefficient Hệ số tương quan Pearson PSNR Peak Signal-to-Noise Ratio Tỷ số Tín hiệu/Nhiễu Cực đại QoE Quality of experience Chất lượng trải nghiệm vii Từ viết tắt Tên tiếng Anh Tên tiếng Việt QP Quantization parameters Tham số lượng tử hóa QS Quality Score Chất lượng RMSE Root Mean Square Error Căn bậc hai của mức trung bình của các sai số bình phương RNN Recurrent Neural Network Mạng Nơ-ron Hồi quy RTCP Real-Time Control Protocol Giao thức điều khiển thời gian thực SARA Segment-aware Rate Adaptation Thích ứng tốc độ cảm nhận phân đoạn SVC Scalable video encoding Mã hóa video có thể mở rộng SVSH Scalable Viewport Streaming Phát khung nhìn mở rộng HTTP/2 trên luồng HTTP/2 S-VAS Smooth VAS Làm mượt truyền phát thích ứng khung nhìn TCP Transmission Control Protocol Giao thức điều khiển truyền vận TLGA Tile Layering-based Gaze Adaptation Thích ứng dựa trên tile theo gốc nhìn UDP User Datagram Protocol Giao thức truyền thông UDP UQI Universal Quality Index Chỉ số chất lượng hình ảnh toàn cầu ODP Open Distributed Processing Xử lý phân tán mở URL Uniform Resource Locator Địa chỉ web VAS Viewport Adaptive Streaming Truyền phát thích ứng theo khung nhìn VBR Variable Bit Rate Tốc độ bit biến đổi VR Virtual Reality Thực tế Ảo VoD Video on Demand Video theo yêu cầu VQM Video Quality Metric Chỉ số chất lượng video VQM WZUQI Weighted-zone UQI Chỉ số đánh giá QoE đánh trọng số theo vùng viii DANH MỤC CÁC KÝ HIỆU TOÁN HỌC Ký hiệu Tên ký hiệu Ý nghĩa toán học α Giá trị alpha Giá trị biến alpha β Giá trị beta Giá trị biến beta Bk Giá trị bộ đệm Kích thước bộ đệm tại thời điểm phân đoạn γ Giá trị gamma Giá trị biến gamma σx Giá trị biến sigma x Giá trị mất mát tương quan σy Giá trị biến sigma y Sự biến dạng độ sáng σxy Giá trị biến sigma xy Sự biến dạng tương quan x̄ Giá trị trung bình của x̄ Tổng trung bình của {xi | i = 1,. , N} với N là số lượng ảnh ȳ Giá trị trung bình của ȳ Tổng trung bình của {yi | i = 1, .