Luận án tiến sĩ ngành Khoa học Máy tính: Nâng cao hiệu quả tìm kiếm ảnh theo ngữ nghĩa - Nguyễn Thị Uyên Nhi (ĐH Huế, 2021)

ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN THỊ UYÊN NHI NÂNG CAO HIỆU QUẢ TÌM KIẾM DỮ LIỆU ẢNH THEO TIẾP CẬN NGỮ NGHĨA LUẬN ÁN TIẾN SĨ NGÀNH KHOA HỌC MÁY TÍNH HUẾ, NĂM 2021 luan an ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN THỊ UYÊN NHI NÂNG CAO HIỆU QUẢ TÌM KIẾM DỮ LIỆU ẢNH THEO TIẾP CẬN NGỮ NGHĨA NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 9.01 LUẬN ÁN TIẾN SĨ NGÀNH KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC PGS. LÊ MẠNH THẠNH HUẾ, NĂM ii 2021 luan an LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Nội dung tham khảo từ các công trình khác đều được trích dẫn rõ ràng. Các kết quả viết chung với các tác giả khác đều được sự đồng ý trước khi đưa vào luận án.

Các kết quả của luận án là trung thực và chưa được công bố trong các công trình khác ngoài các công trình của tác giả. Tác giả Nguyễn Thị Uyên Nhi i luan an LỜI CÁM ƠN Đầu tiên, em xin chân thành gửi lời cảm ơn đến Thầy PGS. TS Lê Mạnh Thạnh vì sự hướng dẫn tận tình và khoa học. Thầy đã hướng dẫn rất tận tâm về phương pháp nghiên cứu, phương pháp viết bài báo khoa học và phương pháp tổng hợp tri thức trong quá trình học tập, nghiên cứu.

Thầy luôn động viên, khuyên bảo em trên con đường học tập và nghiên cứu khoa học. Em xin chân thành gửi lời cảm ơn đến Phòng Đào tạo Sau Đại học, Ban Giám hiệu của Trường Đại học Khoa học, Đại học Huế đã tạo điều kiện thuận lợi cho em trong suốt quá trình học tập và thực hiện luận án. Tôi xin gửi lời cảm ơn đến các đồng nghiệp là cán bộ, giảng viên Trường Đại học Sài Gòn, Tp.HCM, Đại học Kinh tế - Đại học Đà Nẵng đã cổ vũ động viên và sát cánh bên tôi trong quá trình học tập và nghiên cứu. Tôi xin gửi lời cảm ơn đến tất cả bạn bè và những người xung quanh luôn chia sẻ, động viên trong những lúc khó khăn.

Xin gửi lời cảm ơn và bày tỏ lòng biết ơn vô hạn đến gia đình thân yêu, ba mẹ hai bên, chồng và các con đã hỗ trợ và ủng hộ trong cuộc sống hàng ngày để con/em/mẹ thực hiện quá trình học tập, nghiên cứu. Nguyễn Thị Uyên Nhi ii luan an MỤC LỤC LỜI CAM ĐOAN. ii MỤC LỤC. iii DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT.

v DANH MỤC HÌNH ẢNH. vii DANH MỤC BẢNG BIỂU. ix PHẦN MỞ ĐẦU. TỔNG QUAN TÌM KIẾM ẢNH THEO NGỮ NGHĨA.

Tìm kiếm ảnh dựa theo nội dung. Đặc trưng màu sắc. Đặc trưng kết cấu. Đặc trưng hình dạng.

Trích xuất các đặc trưng kết hợp. Tìm kiếm ảnh theo ngữ nghĩa. Khoảng cách ngữ nghĩa. Tìm kiếm ảnh theo ngữ nghĩa dựa trên kỹ thuật học máy.

Tìm kiếm ảnh theo ngữ nghĩa dựa trên ontology. Kiến trúc chung hệ thống tìm kiếm ảnh theo ngữ nghĩa. Các phương pháp tổ chức thực nghiệm và đánh giá. Môi trường thực nghiệm.

Tập dữ liệu ảnh thực nghiệm. Các giá trị đánh giá hiệu suất. Tiểu kết chương. TÌM KIẾM ẢNH TRÊN CÂY C-TREE.

Cấu trúc cây C-Tree. Các nguyên tắc thực hiện thao tác trên cây C-Tree. Nguyên tắc 1: Thêm phần tử dữ liệu vào cây. Nguyên tắc 2: Tách một nút trên cây.

Nguyên tắc 3: Xóa phần tử hay nút trên cây. Mô hình hệ tìm kiếm ảnh dựa trên cây C-Tree. Thực nghiệm và đánh giá hệ tìm kiếm ảnh SBIR_CT. Thực nghiệm hệ tìm kiếm ảnh SBIR_CT.

35 iii luan an 2. Đánh giá thực nghiệm. Tiểu kết chương. CÁC PHƯƠNG PHÁP CẢI TIẾN CÂY C-TREE.

Đồ thị cụm láng giềng Graph-CTree. Cấu trúc Graph-CTree. Mô hình tìm kiếm ảnh trên Graph-CTree. Mô hình kết hợp SgC-Tree.

Cấu trúc SgC-Tree. Tìm kiếm ảnh trên mô hình kết hợp SgC-Tree. Thực nghiệm và đánh giá hệ tìm kiếm ảnh trên Graph-CTree và SgC-Tree. Đánh giá thực nghiệm.

Tiểu kết chương. TÌM KIẾM ẢNH DỰA VÀO ONTOLOGY. Xây dựng ontology cho dữ liệu ảnh. Mô hình xây dựng khung ontology.

Quy trình xây dựng khung ontology. Xây dựng khung ontology bán tự động cho tập dữ liệu ảnh. Phương pháp bổ sung dữ liệu cho khung ontology. Ứng dụng tạo khung ontology và bổ sung dữ liệu bán tự động.

Hệ tìm kiếm ảnh dựa trên ontology. Mô hình tìm kiếm ảnh dựa trên ontology. Thực nghiệm hệ tìm kiếm ảnh OnSBIR. Đánh giá thực nghiệm.

Tiểu kết chương. 103 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN. 104 DANH MỤC CÁC CÔNG TRÌNH NGHIÊN CỨU CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN. 106 TÀI LIỆU THAM KHẢO.

106 iv luan an DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT Ký hiệu Diễn giải tiếng Anh Diễn giải tiếng Việt ARP Average Retrieval Precision Độ chính xác trung bình AUC Area Under the Curve Diện tích dưới đường cong CBIR Content-Based Image Retrieval Tìm kiếm ảnh theo nội dung CDH Color Difference Histogram Biểu đồ chênh lệch màu CNN Convolutional Neural Network Mạng nơ-ron tích chập CSD Color Structure Descriptor Bộ mô tả cấu trúc màu C-Tree Balanced Clustering Tree Cây phân cụm cân bằng DCD Dominant Color Descriptor Bộ mô tả màu chủ đạo DoG Difference of Gaussian Đạo hàm Gauss DWT Discrete Wavelet Transform Phép biến đổi Wavelet rời rạc EC Element Center Phần tử trọng tâm ED Element Data Phần tử dữ liệu EDH Edge Histogram Descriptor Bộ mô tả biểu đồ biên FGIR Fine-Grained Image Retrieval Tìm kiếm ảnh chi tiết Gray-level co-occurrence GLCM Ma trận đồng xuất hiện mức xám matrix GMM Gaussian Mixture Models Mô hình hỗn hợp Gauss Graph- Neighbor Graph on C-Tree Đồ thị cụm láng giềng trên C-Tree CTree Mô hình kết hợp đồ thị cụm láng grSOM Graph-Self Organizing Map giềng và bản đồ tự tổ chức Histograms of Oriented HOG Biểu đồ định hướng Gradient Gradients LBP Local Binary Patterns Mẫu nhị phân cục bộ LoG Laplace of Gaussian Phép biến đổi Laplace Gauss LPP Locality-Preserving Projection Phép chiếu bảo toàn cục bộ MAP Mean Average Precision Độ chính xác trung bình MPL Multi-layer Perceptron Mạng perceptron nhiều lớp Semantic-Based Image Tìm kiếm ảnh theo ngữ nghĩa dựa OnSBIR Retrieval on ontology trên ontology v luan an Oriented Fast and Rotated Đặc trưng định hướng và xoay ORB BRIEF vòng nhanh OWL Web Ontology Language Ngôn ngữ ontology web Resource Description RDF Khung mô tả tài nguyên Framework Receiver Operating ROC Đồ thị đặc tính Characteristic RF Relevance Feedback Phương pháp phản hồi liên quan Semantic-Based Image SBIR Tìm ảnh theo ngữ nghĩa Retrieval Semantic-Based Image Tìm ảnh theo ngữ nghĩa dựa trên SBIR_CT Retrieval on C-Tree cây C-Tree Semantic-Based Image Tìm ảnh theo ngữ nghĩa dựa trên SBIR_grCT Retrieval on Graph-CTree Graph-CTree Semantic-Based Image Tìm ảnh theo ngữ nghĩa dựa trên SBIR_grCT Retrieval on SgC-Tree SgC-Tree Mô hình kết hợp mạng SOM, đồ SgC-Tree SOM-Graph-CTree thị cụm láng giềng và C-Tree Spatial Dominant Color SDCD Bộ mô tả màu trội không gian Descriptor Scale Invariant Features SIFT Đặt trưng hình ảnh SIFT Transform SOFM Self-Organized Feature Map Bản đồ đặc trưng tự tổ chức SOM Self Organizing Map Bản đồ tự tổ chức SURF Speeded Up Robust Feature Đặc trưng hình ảnh SURF SVM Support Vector Machine Máy vec-tơ hỗ trợ TBIR Text-Based Image Retrieval Tìm kiếm ảnh dựa trên văn bản WWW World Wide Web Mạng toàn cầu WWW vi luan an DANH MỤC HÌNH ẢNH Hình 1. Một ví dụ về trích xuất đặc trưng kết hợp. Kết quả tạo mặt nạ phân vùng ảnh dựa trên độ tương phản. Kết quả phát hiện biên đối tượng dựa trên phương pháp LoG.

Một kết quả dò biên đối tượng dựa trên phép lọc Sobel. Khoảng cách ngữ nghĩa. Phân vùng ảnh theo đối tượng. Ảnh và chú thích liên quan của ảnh.

Kiến trúc hệ thống tìm kiếm ảnh theo ngữ nghĩa. Minh họa cấu trúc cây C-Tree. Thêm một phần tử dữ liệu vào nút lá. Tách một nút không có nút cha.

Tách một nút đã có nút cha. Mô hình hệ tìm kiếm ảnh theo ngữ nghĩa SBIR_CT. Một ví dụ cho tập từ vựng thị giác. Một kết quả tìm kiếm ảnh trên cây C-Tree.

Hiệu suất tìm kiếm ảnh dựa trên C-Tree của tập COREL. Hiệu suất tìm kiếm ảnh dựa trên C-Tree của tập WANG. Hiệu suất tìm kiếm ảnh dựa trên C-Tree của tập ImageCLEF. Hiệu suất tìm kiếm ảnh dựa trên C-Tree của tập Stanford Dogs.

Cấu trúc đồ thị cụm láng giềng Graph–CTree. Ví dụ minh họa của tập tin láng giềng. Ví dụ về đồ thị cụm láng giềng của nút lá Leaf37. Mô hình tìm kiếm ảnh trên đồ thị cụm láng giềng Graph-CTree.

Mô hình kết hợp SgC-Tree. Lắp ghép cụm của Graph-CTree sang grSOM. Mô trình tìm kiếm ảnh trên SgC-Tree. Một kết quả tìm kiếm ảnh của hệ truy vấn SBIR_SgC.

Hiệu suất tìm kiếm dựa trên C-Tree (a), Graph-CTree (b) và SgC-Tree (c) của tập ảnh COREL. Hiệu suất tìm kiếm dựa trên C-Tree (a), Graph-CTree (b) và SgC-Tree (c) của tập ảnh WANG. Hiệu suất tìm kiếm dựa trên Graph-CTree (a) và SgC-Tree (b) của tập ảnh ImageCLEF. Hiệu suất tìm kiếm dựa trên Graph-CTree (a) và SgC-Tree (b) của tập ảnh Stanford Dogs.

Mô hình xây dựng khung ontology. Các phân lớp chính của tập ảnh ImageCLEF. Các lớp và phân cấp lớp của ontology với Protégé cho tập ảnh ImageCLEF78 vii luan an Hình 4. Một ví dụ về thuộc tính dữ liệu trên Protégé.

Một ví dụ về thuộc tính đối tượng trên Protégé. Các cá thể của ontology trên Protégé. Một mô hình dữ liệu ontology. Một ví dụ cho ontology trực quan trên OntoGraf.

Một ontology hiển thị theo RDF/XML. Mô hình xây dựng khung ontology bán tự động. Dữ liệu mẫu cho các lớp và phân cấp lớp của tập ảnh ImageCLEF. Mẫu thuộc tính dữ liệu của ontology cho tập ảnh ImageCLEF.

Quy trình tạo từ điển ngữ nghĩa cho ontology. Một ví dụ về khái niệm từ vựng trong từ điển đồng nghĩa. Mẫu cá thể ảnh theo lớp. Mẫu các literals cho lớp và cá thể lớp.

Các literals của cá thể ảnh. Mô hình bổ sung dữ liệu khung ontology. Chương trình ứng dụng tạo ontology. Ontology theo định dạng N3.

Phân cấp lớp trước (a) và sau (b) khi bổ sung dữ liệu vào ontology. Mô hình hệ tìm kiếm OnSBIR. Tạo tự động câu lệnh SPARQL dựa vào tập từ vựng thị giác. Một kết quả của hệ tìm kiếm OnSBIR từ ảnh đầu vào.

Khái niệm ngữ nghĩa cho lớp. Hiệu suất tìm kiếm dựa trên SBIR_SgC (a) và OnSBIR (b) của tập ảnh COREL. Hiệu suất tìm kiếm dựa trên SBIR_SgC (a) và OnSBIR (b) của tập ảnh WANG .