Luận án tiến sĩ cải tiến kỹ thuật nhận dạng và thay thế đối tượng trong video - Trường Đại học Công nghệ thông tin và Truyền thông

i LỜI CAM ĐOAN Tác giả xin cam đoan đây là công trình nghiên cứu của bản thân tác giả. Các kết quả nghiên cứu và các kết luận trong luận án này là trung thực, không sao chép từ bất kỳ một nguồn nào và dưới bất kỳ hình thức nào. Việc tham khảo các nguồn tài liệu đã được thực hiện trích dẫn và ghi nguồn tài liệu tham khảo đúng quy định. Thái Nguyên, ngày tháng 08 năm 2020 Tác giả luận án ii LỜI CẢM ƠN Luận án được hoàn thành dưới sự hướng dẫn tận tình của PGS.

Phạm Việt Bình và PGS. Lời đầu tiên, tôi xin bày tỏ lòng kính trọng và biết ơn sâu sắc tới hai Thầy. Tôi xin chân thành cảm ơn TS. Phạm Thế Anh đã đóng góp những ý kiến quý báu cả về học thuật và kinh nghiệm nghiên cứu giúp đỡ tôi trong suốt quá trình thực hiện luận án.

Tôi xin chân thành cảm ơn Ban lãnh đạo trường Đại học Công nghệ thông tin và Truyền thông, Khoa Công nghệ thông tin, Bộ môn Khoa học máy tính, Bộ phận quản lý nghiên cứu sinh – trường Đại học Công nghệ thông tin và Truyền thông – Đại học Thái Nguyên đã tạo mọi điều kiện thuận lợi trong quá trình hoàn thành và bảo vệ luận án. Xin cảm ơn Ban Giám hiệu Trường Đại học Hồng Đức, các đồng nghiệp tại Phòng Đảm bảo chất lượng và Khảo thí, giảng viên khoa Công nghệ thông tin và Truyền thông – Trường Đại học Hồng Đức, cán bộ Viện Công nghệ thông tin – Đại học Quốc gia Hà Nội đã luôn động viên giúp đỡ tôi trong công tác để tôi có thời gian tập trung nghiên cứu, thực hiện luận án. Đặc biệt tôi xin bày tỏ lòng biết ơn sâu sắc tới Cha, Mẹ, Vợ, Con và các anh, chị em trong gia đình, những người luôn dành cho tôi những tình cảm nồng ấm và sẻ chia những lúc khó khăn trong cuộc sống, luôn động viên giúp đỡ tôi trong quá trình nghiên cứu. Luận án cũng là món quà tinh thần mà tôi trân trọng gửi tặng đến các thành viên trong Gia đình.

Tôi xin trân trọng cảm ơn! iii MỤC LỤC LỜI CAM ĐOAN. ii DANH MỤC CÁC TỪ VIẾT TẮT VÀ KÝ HIỆU.vi DANH MỤC CÁC BẢNG.viii DANH MỤC HÌNH VẼ. ix PHẦN MỞ ĐẦU. Tính cấp thiết.

Mục tiêu nghiên cứu của luận án. Đối tượng, phạm vi nghiên cứu của luận án. Đóng góp chính của luận án. Phương pháp và nội dung nghiên cứu.

Cấu trúc luận án. TỔNG QUAN VỀ BÀI TOÁN PHÁT HIỆN VÀ THAY THẾ ĐỐI TƯỢNG TRONG VIDEO. Tổng quan về video và bài toán phát hiện và thay thế đối tượng trong video 7 1. Khái quát về video.

Bài toán thay thế đối tượng trong video. Một số khái niệm. Dò tìm đối tượng trong video. Nhận dạng hình dạng đối tượng trong video.

Phát hiện đối tượng trong video. Phân vùng đối tượng. Thay thế đối tượng trong video. Các thách thức cho bài toán thay thế đối tượng.

Tổng quan về các kỹ thuật áp dụng trong hệ thống thay thế đối tượng trong video. Dựa trên điểm đặc trưng. Dựa trên các mô hình từng phần của đối tượng. Dựa trên mạng nơron nhân chập.

Phát hiện đối tượng quảng cáo. Nhận dạng hình dạng đối tượng. Lượng tử hóa vector. Lượng tử hóa tích đề các.

Nhận dạng hình dạng dựa trên tìm kiếm ANN. Các kỹ thuật hoàn thiện video. Video inpainting dựa trên lấy mẫu. Inpainting ảnh sử dụng DCNN cho không gian 2D.

Video inpainting sử dụng DCNN cho không gian 3D.37 Kết luận chương 1. PHÁT HIỆN ĐỐI TƯỢNG TRONG VIDEO. Dò tìm đối tượng trong video. Khái quát về mô hình dò tìm đối tượng YOLO.

Mô hình dò tìm đối tượng cải tiến YOLO-Adv. Cải tiến trong hàm loss. Cải tiến trong kiến trúc mạng. Trích chọn đặc trưng.

Ước lượng, đánh giá mô hình cải tiến. Dữ liệu kiểm thử. Môi trường cài đặt. Ước lượng, đánh giá.

Nhận dạng hình dạng đối tượng. Mô hình lập chỉ mục PSVQ. Tìm kiếm ANN dựa trên cây phân cụm thứ bậc. Ước lượng, đánh giá.

Dữ liệu và cấu hình hệ thống kiểm thử. Ước lượng, đánh giá chất lượng mã hóa của PSVQ. Ước lượng, đánh giá tốc độ tìm kiếm với PSVQ. Ước lượng, đánh giá giải thuật tìm kiếm cây phân cụm thứ bậc kết hợp PSVQ.75 Kết luận chương 2.

THAY THẾ ĐỐI TƯỢNG VÀ HOÀN THIỆN VIDEO. Phân vùng đối tượng. Các kỹ thuật phân vùng thực thể. Mô hình phân vùng thực thể.

Phát sinh mặt nạ vùng. Phân vùng thực thể bằng Mask R-CNN. Kết quả thực nghiệm mô hình phân vùng. Mô hình hoàn thiện video.

Kiến trúc mô hình V-RBPconv. Mô hình kiến trúc mạng RBPconv. Ước lượng, đánh giá mô hình hoàn thiện video. Môi trường thực nghiệm.

Kết quả so sánh định tính. Kết quả so sánh định lượng.104 Kết luận chương 3. 109 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN.110 DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC CÓ LIÊN QUAN ĐẾN LUẬN ÁN.112 TÀI LIỆU THAM KHẢO.122 vi DANH MỤC CÁC TỪ VIẾT TẮT VÀ KÝ HIỆU Từ viết Tên đầy đủ (và tạm dịch) tắt ANN Approximate Nearest Neighbor (Lân cận xấp xỉ gần nhất) ADC Asymmetric distance computation (Tính khoảng cách bất đối xứng) Audio Video Interleave (tệp tin đa phương tiện chứa cả âm thanh và AVI hình ảnh bên trong) CAM Class Activation Map (Bản đồ kích hoạt lớp) CPU Central processing unit (Bộ vi xử lý trung tâm) CNN Convolution Neural Network (Mạng nơron tích chập) DCNN Deep Convolution Neural Network (Mạng nơron tích chập sâu) FID Frechet Inception Distance (khoảng cách Frechet) Free-form video inpainting (hoàn thiện/tái tạo video với mặt nạ bất FVI kỳ) FCN Fully Convolutional Network (Mạng tích chập đầy đủ) GAN Generative Adversarial Networks (Mạng sinh đối kháng) GPU Graphics processing unit (Bộ xử lý đồ họa) HD High Definition (chuẩn độ nét cao) HOG Histogram of oriented gradients (Biểu đồ hướng gradient) IoU Intersection over Union (Tỷ lệ trùng khớp giữa hai hộp bao) Inverted file index Asymmetric distance computation (Chỉ mục IVFADC danh sách ngược của ADC) Learned Perceptual Image Patch Similarity (Chỉ số đo sự tượng LPIPS đồng các mẫu ảnh) MSE Mean square error (Lỗi bình phương trung bình) MPEG Moving Picture Experts Group (Nhóm chuyên gia hình ảnh động) NMS Non-Maxima Suppression (Loại bỏ các điểm không cực trị) vii Từ viết Tên đầy đủ (và tạm dịch) tắt National Television System Committee (Ủy ban quốc gia về các hệ NTSC thống truyền hình) PRM Peak Response Mapping (Ánh xạ độ nhạy tối đa) PSNR Peak signal-to-noise ratio (Tỉ số tín hiệu cực đại trên nhiễu) PAL Phase Alternation Line (Hệ truyền hình màu xoay pha) PQ Product quantization (Lượng tử hóa tích đề các) PSL Peak Simulation Layer (Tầng kích hoạt cực đại) Product sub-vector quantization (Lượng tử hóa tích đề các cụm PSVQ vector) RGB Red, Green, Blue (Hệ màu RGB) RoI Region of Interest (Vùng chứa đối tượng) Region-based Convolutional Neural Networks (Mạng nơron tích R-CNN chập dựa trên đề xuất vùng) SIFT Scale-Invariant Feature Transform (Biến đổi đặc trưng bất biến tỷ lệ) SSD Single Shot Detector (Bộ dò điểm đặc trưng SSD) SURF Speeded up robust features (Đặc trưng SURF) SD Standard Denfinition (Độ nét tiêu chuẩn) SSIM Structural Similarity Index (Chỉ số đồng nhất có cấu trúc) VGG Visual Geometry Group (Nhóm hình học trực quan) YOLO You only look once (Mạng nhìn đối tượng chỉ một lần) viii DANH MỤC CÁC BẢNG Số hiệu Tên bảng Trang bảng 2.1 Thông số phần cứng thực nghiệm mô hình YOLO-Adv 52 2.2 Hiệu năng thực thi trên tập dữ liệu Flickrlogos-47 55 So sánh mAP của mô hình dò tìm đối tượng trên tập dữ liệu 2.4 Các tập dữ liệu đặc trưng 69 2.5 Các tham số dùng để xây dựng các bộ lượng tử 75 So sánh kết quả của mô hình sử dụng với các phương pháp 3.1 khác sử dụng nhiều phương pháp tạo mặt nạ huấn luyện 90 khác nhau. Kết quả định lượng trên tập dữ liệu Places2 của các mô 3.2 106 hình: CA, Pconv, EC và RBPConv.

Kết quả định lượng trên tập dữ liệu FVI với các mô hình: 3.3 107 EC, CombCN, 3Dgated và V- RBPConv Số lượng đối tượng cho các tập huấn luyện và kiểm thử của A.1 124 tập dữ liệu FlickrLogo-47. ix DANH MỤC HÌNH VẼ Số hiệu Tên hình vẽ Trang hình vẽ 1.1 Cấu trúc phân cấp của video 7 1.2 Sơ đồ chuyển đổi dữ liệu video 11 1.3 Một số ứng dụng chèn/thay thế logo trong video 12 1.4 Mô hình phát hiện và thay thế đối tượng trong video 13 1.5 Các kiểu phân vùng ảnh 17 1.6 Các ví dụ về hoàn thiện, tái tạo ảnh/video 18 1.7 Một số trở ngại trong phát hiện đối tượng quảng cáo 19 1.8 Mô hình lượng tử hóa tích đề các 28 1.9 Mô hình nhận dạng hình dạng đối tượng 32 1.10 Ví dụ hoàn thiện ảnh với kỹ thuật video inpainting 34 2.1 Ý tưởng chính của mô hình YOLO 40 2.2 Cách tính IoU 41 2.3 Kiến trúc chi tiết mạng YOLO-Adv 47 2.4 Mô hình trích chọn đặc trưng 48 2.5 Giá trị hàm loss trung bình huấn luyện trên tập Flicrklogos-47 53 2.6 Biểu đồ giá trị IoU huấn luyện trên tập FlicrkLogos-47 54 2.7 Một số hình ảnh phát hiện Logo 57 2.8 Chất lượng mã hóa PSVQ 70 2.9 Tốc độ tìm kiếm ANN trên các tập đặc trưng 72 2.10 Ảnh hưởng của tham số (d,k) trên các tập dữ liệu 74 x Số hiệu Tên hình vẽ Trang hình vẽ 2.11 Hiệu năng thực thi trên các tập đặc trưng 77 Một số kết quả trực quan nhận dạng hình dạng đối tượng 2.1 Mô hình huấn luyện mạng phân vùng ảnh 83 3.2 Ví dụ về làm tinh mặt nạ 85 3.3 Mô hình phân vùng thực thể Mask R-CNN 87 Một số kết quả phân vùng thực thể trực quan trên tập dữ liệu 3.5 Hiệu năng phân lớp trên dữ liệu PASCAL VOC2012 91 3.6 Kiến trúc mô hình video inpainting 3DGated 92 3.7 Kiến trúc mô hình video inpainting V-RBPconv 93 3.8 Kiến trúc mô hình RBPconv 95 3.9 Kiến trúc khối residual cải tiến 96 3.10 Một số mặt nạ minh họa 101 3.11 So sánh trực quan tái tạo, hoàn thiện ảnh của các mô hình 102 3.12 So sánh trực quan của các mô hình video inpainting 103 Chú giải của FlickrLogos-32 (bên trên) và FlickrLogos-47 A.1 122 (bên dưới) được thể hiện trong các bounding box A.2 Một số ảnh ví dụ trong tập dữ liệu Flickrlogos-47 123 1 PHẦN MỞ ĐẦU 1. Tính cấp thiết Với sự phát triển nhanh chóng của các thiết bị có khả năng thu nhận hình ảnh kỹ thuật số, dữ liệu đa phương tiện đã trở nên phổ biến, có mặt ở mọi nơi và ảnh hưởng tới nhiều mặt của cuộc sống. Những dữ liệu này ngày càng được các nhà sản xuất hàng hóa, nhà quảng cáo, nhà tiếp thị sử dụng như một phương tiện truyền thông hiệu quả để quảng bá về sản phẩm, nhãn hiệu, thương hiệu,.

(gọi tắt là đối tượng quảng cáo trong luận án này) đến đông đảo khách hàng, người tiêu dùng.