Luận án: Kết hợp R-Tree và Đồ thị Tri thức cho Mô hình Tìm kiếm Ảnh
Tìm hiểu phương pháp kết hợp R-Tree và đồ thị tri thức tối ưu hóa tìm kiếm ảnh. Phân tích ưu điểm và ứng dụng trong hệ thống truy vấn hình ảnh.
Luan An
Luận án tiến sĩ
Năm xuất bản
Số trang
139
Thời gian đọc
21 phút
Lượt xem
0
Lượt tải
0
Phí lưu trữ
40 Point
Tổng quan nhanh
- Chủ đề:
- 1. Tìm kiếm hình ảnh dựa trên nội dung và bài toán ngữ nghĩa
- Số trang:
- 139 trang
- Trường:
- Trường Đại học Khoa học, Đại học Huế
- Chuyên ngành:
- Khoa học máy tính
- Tác giả:
- Lê Thị Vĩnh Thanh
- Năm:
- 2023
Tóm tắt nội dung luận án
I. Tìm kiếm hình ảnh dựa trên nội dung và bài toán ngữ nghĩa
Hệ thống tìm kiếm hình ảnh dựa trên nội dung (CBIR) đóng vai trò then chốt trong kỷ nguyên bùng nổ dữ liệu số. Phương pháp truyền thống dựa vào các đặc trưng mức thấp như màu sắc, kết cấu và hình dạng. Tuy nhiên, cách tiếp cận này bộc lộ nhiều hạn chế khi đối mặt với các truy vấn phức tạp. Sự khác biệt giữa biểu diễn toán học của điểm ảnh và khái niệm trừu tượng của con người tạo nên khoảng cách ngữ nghĩa (semantic gap). Để giải quyết thách thức này, hệ thống cần chuyển đổi từ so khớp đặc trưng thị giác thuần túy sang hiểu biết ngữ nghĩa sâu sắc. Mô hình kết hợp biểu diễn không gian và tri thức giúp nâng cao độ chính xác truy xuất. Việc tích hợp các kỹ thuật mới mở ra khả năng xử lý truy vấn hình ảnh ngữ nghĩa (semantic image search) linh hoạt và hiệu quả hơn.
1.1. Thách thức khoảng cách ngữ nghĩa trong truy vấn hình ảnh
Khoảng cách ngữ nghĩa là rào cản lớn nhất trong các hệ thống tìm kiếm ảnh kinh điển. Người dùng thường tìm kiếm hình ảnh thông qua các khái niệm cấp cao hoặc câu hỏi ngữ nghĩa phức tạp. Ngược lại, máy tính chỉ xử lý ma trận điểm ảnh thô hoặc lược đồ màu cục bộ. Sự thiếu tương thích này dẫn đến kết quả trả về không khớp với mong đợi thực tế. Các thuật toán so khớp khoảng cách Euclid trên vector đặc trưng đơn thuần không thể phân biệt ngữ cảnh của đối tượng. Ví dụ, một con báo và chiếc xe hơi màu vàng có thể có cùng vector màu sắc nhưng mang ý nghĩa hoàn toàn khác nhau. Do đó, việc xây dựng cơ chế cầu nối ngữ nghĩa giữa dữ liệu thị giác thô và biểu diễn tri thức là yêu cầu cấp thiết để tối ưu hóa trải nghiệm tìm kiếm.
1.2. Kỹ thuật trích xuất và nhúng đặc trưng hình ảnh hiện đại
Trích xuất đặc trưng là bước khởi đầu quan trọng trong quy trình xử lý ảnh. Các phương pháp cổ điển thường sử dụng ma trận đồng xuất hiện mức xám (GLCM), lược đồ màu (CDH) hoặc mô tả cấu trúc màu (CSD). Các phương pháp này nắm bắt tốt các chi tiết bề mặt nhưng thiếu khả năng khái quát hóa. Ngày nay, mạng nơ-ron tích chập (CNN) giúp tạo ra các không gian nhúng đặc trưng hình ảnh (image feature embeddings) đa chiều mạnh mẽ. Vector nhúng này gom cụm các thông tin trừu tượng về hình dạng, vật thể và thuộc tính vào không gian hình học. Không gian vector nhiều chiều đòi hỏi các giải pháp lưu trữ và đánh chỉ số tối ưu nhằm duy trì tốc độ tính toán khi tập dữ liệu mở rộng đến hàng triệu phần tử.
1.3. Tổng quan kiến trúc hệ thống tìm kiếm ảnh theo nội dung
Một hệ thống tìm kiếm ảnh theo nội dung toàn diện bao gồm hai giai đoạn chính: lập chỉ mục ngoại tuyến và truy vấn trực tuyến. Trong giai đoạn ngoại tuyến, kho dữ liệu ảnh được trích xuất vector đặc trưng và xây dựng cây chỉ mục phân cấp. Giai đoạn trực tuyến tiếp nhận ảnh truy vấn từ người dùng, thực hiện trích xuất vector tương ứng và tìm kiếm các láng giềng gần nhất. Độ đo tương tự giữa hai hình ảnh được tính toán dựa trên khoảng cách giữa các vector nhúng hoặc mức độ tương đồng đồ thị. Kiến trúc hệ thống hiện đại còn bổ sung lớp suy diễn ngữ nghĩa nhằm tinh chỉnh danh sách kết quả trước khi hiển thị cho người dùng. Kiến trúc phân tầng này đảm bảo cân bằng giữa tốc độ phản hồi mili-giây và độ chính xác ngữ nghĩa cao.
II. Cấu trúc cây R Tree và chỉ mục không gian đa chiều tối ưu
Cấu trúc cây R-Tree (R-Tree index) là giải pháp kinh điển cho bài toán chỉ mục không gian đa chiều (spatial indexing). Cây R-Tree tổ chức dữ liệu theo dạng phân cấp cân bằng, tương tự cấu trúc cây B-Tree trong cơ sở dữ liệu quan hệ. Mỗi nút trong cây biểu diễn một vùng không gian chứa các phần tử con hoặc dữ liệu hình học cụ thể. Kỹ thuật này cho phép loại bỏ nhanh chóng các nhánh không gian không liên quan trong quá trình duyệt tìm. Khi áp dụng vào tìm kiếm ảnh, các vector đặc trưng được ánh xạ thành các điểm dữ liệu trong không gian nhiều chiều. Cấu trúc này giảm thiểu đáng kể số lượng phép so sánh trực tiếp giữa vector truy vấn và toàn bộ cơ sở dữ liệu. Nhờ vậy, thời gian phản hồi của hệ thống được rút ngắn rõ rệt.
2.1. Nguyên lý phân cấp của cấu trúc cây R Tree truyền thống
Cây R-Tree được cấu thành từ nút gốc, các nút trung gian và các nút lá. Mỗi nút trung gian chứa các mục chỉ mục trỏ đến nút con cấp thấp hơn kèm theo phạm vi bao phủ không gian của chúng. Các nút lá chứa trực tiếp con trỏ đến đối tượng dữ liệu thực tế cùng tọa độ hình học tương ứng. Cây luôn duy trì tính cân bằng với chiều cao đồng đều trên mọi nhánh, giúp đảm bảo độ phức tạp thời gian tìm kiếm ở mức logarit. Khi thực hiện chèn hoặc xóa phần tử, cây thực hiện tách nút hoặc gộp nút theo thuật toán tối ưu diện tích phủ. Nhờ cơ chế phân cấp này, các truy vấn phạm vi và truy vấn k láng giềng gần nhất (k-NN) được thực thi với hiệu suất vượt trội so với duyệt tuần tự.
2.2. Kỹ thuật hộp bao tối thiểu MBR trong phân vùng dữ liệu
Cốt lõi của cây R-Tree nằm ở khái niệm hộp bao tối thiểu (MBR - Minimum Bounding Rectangle). MBR là hình chữ nhật hoặc hình hộp đa chiều nhỏ nhất bao trọn toàn bộ các phần tử không gian bên trong một nút. Việc sử dụng MBR giúp đơn giản hóa các phép kiểm tra giao cắt và chứa đựng hình học trong quá trình truy vấn. Thuật toán chỉ cần so khớp tọa độ của hộp bao thay vì tính toán chi tiết từng điểm dữ liệu phức tạp. Tuy nhiên, việc tối ưu hóa diện tích MBR và giảm thiểu vùng chồng lấn giữa các MBR liền kề là yếu tố quyết định hiệu năng của cây. Diện tích chồng lấn càng nhỏ thì số lượng nhánh cây cần duyệt đồng thời càng ít, giúp tăng tốc độ lọc ứng viên.
2.3. Hạn chế của chỉ mục không gian đa chiều với dữ liệu lớn
Mặc dù hiệu quả với không gian 2D hoặc 3D, cây R-Tree gặp hiện tượng suy giảm hiệu năng nghiêm trọng trong không gian nhiều chiều. Hiện tượng này thường được gọi là lời nguyền chiều dữ liệu (curse of dimensionality). Khi số chiều đặc trưng tăng cao, các hộp bao MBR có xu hướng phình to và chồng lấn lẫn nhau trên diện rộng. Kết quả là giải thuật tìm kiếm buộc phải duyệt qua hầu hết các nhánh cây, làm mất đi lợi thế phân cấp. Ngoài ra, khối lượng tính toán khoảng cách trong không gian chiều cao tăng đột biến, gây nghẽn cổ chai tài nguyên bộ nhớ. Do đó, việc cải tiến cấu trúc hình học của vùng bao và kết hợp cấu trúc đồ thị là hướng đi cần thiết để khắc phục triệt để nhược điểm này.
III. Cải tiến cấu trúc RS Tree với đồ thị láng giềng hiệu quả
Nhằm khắc phục nhược điểm của hộp bao chữ nhật trong không gian đa chiều, cấu trúc RS-Tree ra đời như một biến thể đột phá. RS-Tree thay thế hộp bao chữ nhật bằng cấu trúc hình cầu đa chiều để tối ưu hóa việc phân cụm vector đặc trưng. Bên cạnh đó, việc kết hợp RS-Tree với cấu trúc đồ thị láng giềng tạo nên mô hình CBIR_NBGraphRST vượt trội. Mô hình này tích hợp khả năng định vị nhánh nhanh của cây chỉ mục với khả năng duyệt cục bộ linh hoạt của đồ thị. Sự kết hợp này mang lại bước tiến quan trọng cho bài toán tìm kiếm ảnh theo nội dung quy mô lớn. Tốc độ truy vấn được cải thiện rõ rệt trong khi vẫn duy trì độ chính xác và độ bao phủ cao.
3.1. Cấu trúc RS Tree và cơ chế bao bọc dạng khối cầu
Cấu trúc RS-Tree sử dụng các khối cầu đa chiều (Sphere Bounding Region) thay cho các khối hộp chữ nhật truyền thống. Mỗi nút trong RS-Tree được xác định bởi tâm hình cầu và bán kính bao phủ tối thiểu. Cách tiếp cận này giúp phân bố không gian đẳng hướng, phù hợp hoàn hảo với các độ đo khoảng cách Euclid trong không gian đặc trưng ảnh. Vùng không gian thừa trong khối cầu nhỏ hơn đáng kể so với góc nhọn của các hộp MBR trong số chiều lớn. Khi chèn phần tử mới, thuật toán tính toán độ tăng bán kính để lựa chọn nút lá thích hợp nhất. Cơ chế này giúp thu hẹp đáng kể độ chồng lấn giữa các nút lân cận, cải thiện hiệu suất phân nhánh khi duyệt cây.
3.2. Thuật toán phân cụm và tối ưu hóa nút lá trên cây RS Tree
Thuật toán xây dựng RS-Tree ứng dụng các kỹ thuật phân cụm mờ hoặc K-means để nhóm các vector đặc trưng tương đồng trước khi nạp vào cây. Quá trình chọn nút lá tối ưu dựa trên tiêu chí cực tiểu hóa độ giãn nở bán kính cầu. Khi một nút lá vượt quá dung lượng tối đa cho phép, thuật toán tách nút thực hiện chia cụm dữ liệu thành hai khối cầu con có khoảng cách tâm lớn nhất. Tâm và bán kính của các nút cha được cập nhật đệ quy từ dưới lên trên. Nhờ việc phân cụm chặt chẽ, các vector có độ tương đồng thị giác cao luôn được gom gọn trong cùng một phân vùng không gian. Điều này giúp hệ thống xác định chính xác tập ứng viên ngay từ lần duyệt đầu tiên.
3.3. Mô hình đồ thị láng giềng NBGraphRST hỗ trợ truy vấn nhanh
Mô hình NBGraphRST thiết lập một đồ thị cụm láng giềng kết nối trực tiếp các nút lá liền kề trong cây RS-Tree. Mỗi đỉnh trên đồ thị đại diện cho một cụm ảnh, trong khi các cạnh biểu diễn mối quan hệ tương đồng không gian gần nhau. Khi nhận truy vấn, hệ thống sử dụng RS-Tree để nhanh chóng tìm ra nút lá khởi đầu gần điểm truy vấn nhất. Sau đó, thuật toán chuyển sang duyệt đồ thị láng giềng để mở rộng phạm vi tìm kiếm theo đường đi ngắn nhất. Sự kết hợp này loại bỏ nhu cầu quay lui (backtracking) tốn kém trên thân cây. Nhờ vậy, thời gian tìm kiếm láng giềng gần nhất giảm đáng kể, đặc biệt trên các tập dữ liệu ảnh có mật độ dày đặc.
IV. Xây dựng đồ thị tri thức thị giác cho mô hình tìm kiếm
Đồ thị tri thức (Knowledge Graph) là công cụ mạnh mẽ để mô hình hóa thế giới thực dưới dạng mạng lưới các thực thể và quan hệ. Khi ứng dụng vào lĩnh vực thị giác máy tính, đồ thị tri thức thị giác (Visual Knowledge Graph) cung cấp cấu trúc biểu diễn ngữ nghĩa hoàn chỉnh cho bức ảnh. Thay vì chỉ xem ảnh là một mảng pixel vô hồn, đồ thị tri thức phân rã bức ảnh thành các đối tượng cụ thể kèm mối quan hệ không gian và hành động giữa chúng. Khung tri thức này cho phép hệ thống hiểu được bối cảnh tổng thể của khung cảnh. Nhờ đó, việc liên kết thực thể và quan hệ (entity & relation linking) trở thành nền tảng vững chắc để chuyển đổi từ tìm kiếm hình thức sang tìm kiếm hiểu biết sâu sắc.
4.1. Khung biểu diễn đồ thị tri thức thị giác cho ảnh số
Đồ thị tri thức thị giác biểu diễn nội dung ảnh thông qua bộ ba ngữ nghĩa: Chủ thể - Quan hệ - Đối tượng (Subject - Predicate - Object). Các đỉnh trong đồ thị đại diện cho các thực thể được phát hiện như con người, đồ vật hoặc phong cảnh. Các cạnh có hướng thể hiện mối quan hệ không gian, quan hệ sở hữu hoặc hành động tương tác giữa các thực thể đó. Ngoài ra, mỗi đỉnh còn có thể gắn kèm các thuộc tính mô tả chi tiết như màu sắc, kích thước và trạng thái. Cấu trúc này chuẩn hóa dữ liệu hình ảnh thành dạng tri thức máy tính có thể đọc hiểu và suy luận logic. Đây là bước đệm cốt lõi để thu hẹp khoảng cách ngữ nghĩa trong xử lý ảnh hiện đại.
4.2. Nhận dạng đối tượng và trích xuất quan hệ với Faster R CNN
Để tự động xây dựng đồ thị tri thức từ ảnh, mô hình sử dụng mạng nơ-ron học sâu Faster R-CNN để phát hiện và định vị các đối tượng. Mạng đề xuất vùng (RPN) quét qua toàn bộ bức ảnh để tìm kiếm các hộp giới hạn tiềm năng chứa vật thể. Sau khi phân loại thực thể, các mạng quan hệ tập trung (ARN) hoặc mạng tích chập đồ thị (GCN) được kích hoạt để dự đoán mối liên kết giữa từng cặp đối tượng. Mô hình phân tích đồng thời vị trí tương đối và đặc trưng thị giác để xác định chính xác nhãn quan hệ. Quá trình này tự động chuyển đổi bức ảnh thô thành một đồ thị ngữ cảnh phong phú mà không cần sự can thiệp thủ công từ con người.
4.3. Liên kết thực thể và quan hệ trong không gian ngữ nghĩa
Sau khi trích xuất các thành phần đối tượng, hệ thống thực hiện liên kết thực thể và quan hệ với cơ sở tri thức nền tảng như WordNet hoặc ConceptNet. Các khái niệm đồng nghĩa, từ loại cha con và ngữ cảnh liên quan được chuẩn hóa thành định danh duy nhất. Quá trình này giúp hệ thống hiểu được các từ đồng nghĩa hoặc các mối quan hệ ngữ nghĩa tiềm ẩn trong truy vấn người dùng. Ví dụ, một truy vấn về chú chó chơi bóng trên cỏ sẽ được liên kết chuẩn xác với các hình ảnh chứa thực thể động vật tương tác với vật thể tròn. Việc làm giàu tri thức nâng cao năng lực suy diễn và độ chính xác của toàn bộ quy trình tìm kiếm.
V. Kết hợp cấu trúc R Tree và đồ thị tri thức trong CBIR
Sự kết hợp cấu trúc R-Tree và đồ thị tri thức tạo nên một kiến trúc tìm kiếm đa tầng toàn diện, giải quyết trọn vẹn cả hai yêu cầu về tốc độ và chất lượng ngữ nghĩa. Cấu trúc cây chỉ mục RS-Tree đảm nhiệm vai trò lọc nhanh không gian đặc trưng ở mức thấp, giảm thiểu không gian tìm kiếm ban đầu. Tiếp đó, đồ thị tri thức thị giác tiến hành so khớp và tính toán độ tương đồng ở mức khái niệm cấp cao. Sự cộng hưởng này loại bỏ triệt để nhược điểm chậm chạp của đồ thị tri thức thuần túy và tính thiếu chính xác về ngữ nghĩa của cây chỉ mục thông thường. Mô hình mang lại hiệu quả vượt trội trong việc xử lý các truy vấn hình ảnh ngữ nghĩa phức tạp.
5.1. Mô hình tìm kiếm đa tầng kết hợp RS Tree và đồ thị tri thức
Mô hình tích hợp hoạt động theo cơ chế lọc hai pha chặt chẽ. Pha thứ nhất sử dụng cấu trúc cây RS-Tree và đồ thị láng giềng để trích xuất nhanh tập ứng viên tiềm năng từ hàng triệu bức ảnh dựa trên vector đặc trưng thị giác. Pha thứ hai kích hoạt mô-đun so khớp đồ thị tri thức trên tập ứng viên đã được thu hẹp. Đồ thị tri thức của ảnh truy vấn và đồ thị tri thức của các ảnh ứng viên được so sánh bằng các thuật toán đo độ tương đồng đồ thị con hoặc độ tương tự ngữ nghĩa cấu trúc. Cơ chế hai pha này đảm bảo hệ thống vừa duy trì thời gian phản hồi tức thì, vừa loại bỏ hoàn toàn các kết quả sai lệch về mặt ngữ nghĩa.
5.2. Thuật toán truy vấn hình ảnh ngữ nghĩa chính xác cao
Thuật toán tìm kiếm bắt đầu bằng việc chuyển hóa câu truy vấn văn bản hoặc ảnh mẫu thành đồ thị truy vấn chuẩn hóa. Hệ thống tính toán điểm tương đồng kết hợp giữa khoảng cách đặc trưng thị giác và điểm tương đồng đồ thị tri thức theo trọng số thích ứng. Trọng số này có thể điều chỉnh linh hoạt tùy thuộc vào loại truy vấn cụ thể của người dùng. Các thuật toán so khớp đồ thị sử dụng kỹ thuật lan truyền thông tin để đánh giá mức độ tương đồng giữa các nút và các cạnh tương ứng. Điểm số cuối cùng phản ánh chính xác cả mức độ giống nhau về diện mạo thị giác lẫn sự tương đồng về bối cảnh ngữ nghĩa, mang lại kết quả xếp hạng tối ưu.
5.3. Kết quả thực nghiệm và đánh giá trên tập Visual Genome
Mô hình được đánh giá toàn diện trên bộ dữ liệu chuẩn Visual Genome với hàng chục nghìn hình ảnh có chú giải quan hệ phong phú. Các độ đo tiêu chuẩn như độ chính xác trung bình (ARP) và diện tích dưới đường cong (AUC) được sử dụng để định lượng hiệu năng. Kết quả thực nghiệm chứng minh mô hình kết hợp đạt độ chính xác vượt trội so với các phương pháp CBIR truyền thống và các biến thể R-Tree đơn lẻ. Thời gian phản hồi truy vấn duy trì ở mức tối ưu nhờ cấu trúc RS-Tree và đồ thị láng giềng. Nghiên cứu khẳng định tính khả thi và hiệu quả thực tế của giải pháp kết hợp chỉ mục không gian đa chiều với đồ thị tri thức trong tìm kiếm ảnh hiện đại.
Mục lục chi tiết luận án
Tải xuống file đầy đủ để xem toàn bộ nội dung
Tải đầy đủ (139 trang)Nội dung chính
Tổng quan về luận án
Sự bùng nổ của dữ liệu đa phương tiện trong kỷ nguyên số đặt ra yêu cầu cấp thiết về các hệ thống quản lý, lập chỉ mục và truy vấn hình ảnh hiệu quả. Nghiên cứu tiến sĩ của tác giả Lê Thị Vĩnh Thanh (2023) với đề tài "Kết hợp cấu trúc R-Tree với đồ thị tri thức cho mô hình tìm kiếm ảnh" (Chuyên ngành Khoa học máy tính, Mã số: 9480101, Đại học Huế; dưới sự hướng dẫn khoa học của PGS. Lê Mạnh Thạnh và TS. Văn Thế Thành) đã phát triển một giải pháp tích hợp tiên phong giữa cấu trúc chỉ mục không gian hình học đa chiều và mạng lưới tri thức ngữ nghĩa.
Khoảng trống nghiên cứu (research gap) cốt lõi được luận án giải quyết xuất phát từ hai điểm nghẽn lớn trong lĩnh vực thị giác máy tính và truy vấn thông tin:
- Khoảng cách ngữ nghĩa (Semantic Gap): Như trích dẫn trực tiếp từ luận án: "Hệ thống CBIR hỗ trợ người dùng tìm kiếm tập các ảnh tương tự nhau về nội dung dựa trên các đặc trưng cấp thấp nhưng các hình ảnh kết quả có thể khác nhau về ngữ nghĩa. Đây chính là khoảng cách giữa ngữ nghĩa cấp cao và các đặc trưng thị giác cấp thấp của hình ảnh, việc thu hẹp khoảng cách này là một trong những thách thức lớn trong các hệ tìm kiếm ảnh dựa trên nội dung" (Eakins, 2002; Smeulders et al., 2000).
- Chi phí tính toán và chồng lấp không gian đa chiều: Cấu trúc R-Tree nguyên thủy (Guttman, 1984) và các biến thể như R*-Tree (Beckmann et al., 1990), SS-Tree (White & Jain, 1996), SR-Tree (Katayama & Satoh, 1997) gặp phải sự suy giảm hiệu năng nghiêm trọng khi dữ liệu có số chiều cao do hiện tượng "lời nguyền số chiều" (curse of dimensionality), chồng lấp vùng không gian và chi phí tái cấu trúc cây tốn kém.
Luận án thiết lập 3 câu hỏi nghiên cứu và 3 giả thuyết tương ứng:
- RQ1: Làm thế nào để tối ưu hóa việc phân hoạch và lưu trữ véc-tơ đặc trưng thị giác cấp thấp 242 chiều nhằm giảm thiểu chi phí giãn nở không gian và tránh việc duyệt đa đường dẫn (multi-path traversal)?
- H1: Mô hình khối cầu bao đóng tối thiểu MBS (Minimum Bounding Sphere) với tham số tịnh tiến tâm $k \ge 2$ và thuật toán tách nút dựa trên độ lệch sai biệt sẽ giảm đáng kể độ chồng lấp không gian và duy trì tính cân bằng của cây đa nhánh.
- RQ2: Làm thế nào để kết hợp quan hệ láng giềng cục bộ vào cấu trúc cây nhằm cải thiện độ chính xác và độ phủ của các truy vấn vùng lân cận?
- H2: Tích hợp đồ thị cụm láng giềng trên các nút lá (cấu trúc NBGraphRST) cho phép thu hẹp không gian tìm kiếm và tăng cường độ bao phủ liên kết giữa các cụm tương đồng.
- RQ3: Làm thế nào để kết nối các đặc trưng hình ảnh với tri thức ngữ nghĩa có cấu trúc nhằm giải quyết triệt để bài toán truy vấn ở cấp độ trừu tượng cao?
- H3: Tích hợp mạng Faster R-CNN với khung biểu diễn ontology OWL/RDF trên nền tảng Visual Genome và câu lệnh truy vấn SPARQL (hệ thống SBIR_GraphRSTKG) sẽ gia tăng vượt bậc độ chính xác trung bình (MAP) so với các hệ thống CBIR thuần túy.
Khung lý thuyết của công trình tích hợp mô hình phân cấp 3 cấp độ truy vấn của Eakins (2002), lý thuyết biểu diễn không gian phân vùng (Guttman, 1984), kiến trúc Web ngữ nghĩa (Berners-Lee, 2001) và lý thuyết đồ thị ngữ cảnh (Johnson et al., 2015). Phạm vi thực nghiệm của nghiên cứu bao quát 6 bộ dữ liệu chuẩn quốc tế với 239.310 hình ảnh, spanning từ các tập đơn đối tượng (COREL 1.000 ảnh, Oxford Flowers 17 với 1.360 ảnh, Oxford Flowers 102 với 8.198 ảnh, CUB-2011-200 với 11.778 ảnh) đến các tập đa đối tượng quy mô lớn (Visual Genome 108.077 ảnh và MS-COCO 118.287 ảnh).
Literature Review và Positioning
Lịch sử phát triển của các hệ thống truy vấn hình ảnh chứng kiến sự phân tách rõ rệt giữa hai trường phái: tiếp cận dựa trên văn bản/từ khóa (TBIR - Text-Based Image Retrieval) và tiếp cận dựa trên nội dung thị giác (CBIR - Content-Based Image Retrieval). Trường phái TBIR (Lu et al., 2007) bộc lộ nhược điểm cố hữu do phụ thuộc vào quá trình gán nhãn thủ công tốn kém tài nguyên và mang nặng tính chủ quan của người mô tả. Ngược lại, trường phái CBIR trích xuất trực tiếp các đặc trưng thị giác cấp thấp như màu sắc, kết cấu, hình dạng và vị trí không gian (Smeulders et al., 2000; Datta et al., 2008).
Trong mảng cấu trúc lập chỉ mục không gian đa chiều, các công trình kinh điển đã hình thành nên những nhánh phát triển then chốt:
- Guttman (1984) đề xuất R-Tree sử dụng hình chữ nhật bao đóng tối thiểu MBR (Minimum Bounding Rectangle). Tuy nhiên, cấu trúc này dẫn đến sự chồng lấp diện tích lớn giữa các MBR ở không gian chiều cao, buộc hệ thống phải duyệt nhiều đường dẫn từ gốc đến lá làm giảm tốc độ truy vấn.
- Sellis et al. (1987) đưa ra R+-Tree nhằm triệt tiêu hoàn toàn sự chồng lấp bằng cách chia nhỏ các đối tượng giao nhau, song lại làm tăng kích thước bộ nhớ và độ phức tạp khi chèn/xóa.
- Beckmann et al. (1990) hoàn thiện R*-Tree thông qua cơ chế tối ưu hóa heuristic kết hợp phép chèn lại (forced re-insertion), nhưng thao tác tái tổ chức cây khi gặp nút tràn đòi hỏi chi phí tính toán rất cao.
- White & Jain (1996) giới thiệu SS-Tree thay thế MBR bằng khối cầu MBS (Minimum Bounding Sphere), tối ưu cho tìm kiếm $k$ láng giềng gần nhất ($k$-NN) nhưng lại hạn chế đối với các truy vấn vùng không gian rộng.
- Katayama & Satoh (1997) kết hợp cả MBR và MBS trong SR-Tree để khắc phục nhược điểm của từng cấu trúc. Tuy nhiên, luận án đã chỉ ra một hạn chế chí mạng: "Trong cấu trúc cây SR-tree khi chèn phần tử cần cập nhật cả hình cầu và hình chữ nhật dẫn đến việc tạo và cập nhật tương đối phức tạp và tốn kém chi phí tính toán về việc sắp xếp và giãn nở vùng không gian".
Song song với hướng tiếp cận hình học, hướng tiếp cận ngữ nghĩa có sự đột phá với khái niệm đồ thị ngữ cảnh (Scene Graph) được Johnson et al. (2015) đề xuất trên tập dữ liệu Visual Genome, sử dụng mô hình trường ngẫu nhiên có điều kiện (CRF) để suy luận ngữ nghĩa. Tiếp đó, các nghiên cứu quốc tế như mạng tích chập đồ thị GCN (Schroeder et al., 2020), biểu diễn nhị phân đồ thị đa phương thức (Zhang et al., 2019) hay mạng mối quan hệ tập trung ARN (Shi et al., 2019) đã chứng minh sức mạnh của biểu diễn cấu trúc đối tượng - thuộc tính - quan hệ.
So sánh với hai nghiên cứu quốc tế điển hình gần đây:
- Nghiên cứu của Haldurai et al. (2015): Ứng dụng cấu trúc R-Tree trên không gian đặc trưng mờ hóa màu sắc và kết cấu, nhưng vẫn giữ nguyên cơ chế MBR truyền thống, dẫn đến tốc độ truy vấn suy giảm nhanh khi tập dữ liệu mở rộng.
- Nghiên cứu của Vanitha et al. (2017): Áp dụng SR-Tree trên bộ dữ liệu COREL, đạt kết quả khả quan về độ chính xác cục bộ nhưng kích thước mỗi nút quá lớn do phải lưu đồng thời cả tâm, bán kính hình cầu và tọa độ biên hình chữ nhật, gây nghẽn bộ nhớ khi mở rộng sang dữ liệu đa đối tượng phức tạp.
Luận án của Lê Thị Vĩnh Thanh đã định vị chính xác khoảng trống học thuật: Chưa có công trình nào tích hợp một cấu trúc cây khối cầu tối ưu (RS-Tree/NBGraphRST) làm bộ lọc hình học phân vùng cấp thấp với một Đồ thị tri thức (Knowledge Graph) chuẩn hóa ngôn ngữ Web ngữ nghĩa (OWL/RDF/SPARQL) để thực hiện quy trình truy vấn hai giai đoạn hoàn chỉnh, vừa đảm bảo tốc độ lập chỉ mục ở cấp độ mili-giây, vừa giải quyết trọn vẹn sự sai lệch ngữ nghĩa cấp cao.
Đóng góp lý thuyết và khung phân tích
Đóng góp cho lý thuyết
Luận án tạo ra bước tiến quan trọng trong việc mở rộng các lý thuyết nền tảng về cấu trúc dữ liệu không gian và biểu diễn tri thức:
- Tối ưu hóa lý thuyết phân hoạch không gian hình học đa chiều (MBS Transformation): Mở rộng lý thuyết cây SS-Tree của White & Jain (1996) bằng cách định nghĩa lại công thức tính tâm và bán kính thực thể dựa trên tham số co giãn $k$ ($k \ge 2$). Việc đưa ra cơ chế dịch chuyển tâm theo phương của véc-tơ đặc trưng đối tượng giúp giảm thể tích siêu cầu bao đóng, giải quyết triệt để nhược điểm tốn không gian trống của mô hình MBR truyền thống.
- Lý thuyết phân cụm cân bằng dựa trên độ lệch sai biệt (Variance Deviation Splitting): Đề xuất giải thuật phân tách nút mới không phụ thuộc vào cơ chế chèn lại tốn kém của R*-Tree. Giải thuật dựa trên độ lệch sai biệt khoảng cách của các phần tử đối với hai tâm cụm mới, đảm bảo cây luôn đạt trạng thái cân bằng động đa nhánh và giảm thiểu tối đa vùng không gian giao thoa giữa các nhánh con.
- Mô hình hóa tri thức ngữ nghĩa thị giác (Visual Semantic Epistemology): Tích hợp lý thuyết đồ thị ngữ cảnh (Johnson et al., 2015) vào kiến trúc Web ngữ nghĩa (Berners-Lee, 2001), thiết lập các bộ ba (triples) định danh tường minh cho các thực thể lớp, cá thể ảnh, cá thể đối tượng và mối quan hệ không gian/hành vi giữa chúng trong cơ sở tri thức OWL/RDF.
Khung phân tích độc đáo
Khung phân tích của luận án kết hợp hài hòa giữa cấu trúc hình học đa chiều và mô hình suy luận logic vị từ, bao gồm các thành phần cốt lõi:
[Ảnh đầu vào / Query Image]
│
├──> [Trích xuất đặc trưng đa diện (242 chiều)] ──> [Chỉ mục RS-Tree / NBGraphRST] ──> [Tập ứng viên sơ bộ (Candidates)]
│ │
└──> [Nhận dạng đối tượng Faster R-CNN] ──> [Sinh Scene Graph] ──> [Truy vấn SPARQL trên KG] ─┴──> [Kết quả xếp hạng chính xác cao]
- Véc-tơ đặc trưng tích hợp 242 chiều:
- Đặc trưng màu sắc MPEG-7: 25 chiều.
- Đặc trưng vị trí Shi-Tomasi MPEG-7: 25 chiều.
- Đặc trưng vị trí và kết cấu MaxPooling Sobel: 48 chiều.
- Đặc trưng hình dạng và kết cấu Sobel HOG: 144 chiều.
- Cấu trúc cây siêu cầu RS-Tree (Region Sphere Tree):
- Nút trong ($S_N$): Bộ $\langle MBS, p \rangle$ chứa tâm $c_n$, bán kính $r_n$ và con trỏ $p$. Tâm $c_n$ được tính bình quân có trọng số theo số lượng phần tử của từng nhánh con $S_j.w$: $$\vec{c}n = \frac{\sum{j=1}^k S_j.w \cdot \vec{c}j}{\sum{j=1}^k S_j.w}$$
- Nút lá ($S_L$): Bộ $\langle MBS, entity \rangle$ với tâm $\vec{c}L = \frac{1}{k}\sum{i=1}^k sp_i.\vec{c}i$ và bán kính $r_L = \max{i=1..k}(d_E(\vec{c}_L, sp_i.\vec{c}_i) + sp_i.r_i)$.
- Khối cầu thực thể ($sp_{ED}$): Xác định tâm $\vec{c}{sp} = (c{I1}, \dots, c_{Id})$ với $c_{Ij} = v_{Ij} - \frac{v_{Ij}}{k}$ ($k \ge 2$) và bán kính $r_{sp} = \sqrt{\sum_{j=1}^d (c_{Ij} - v_{Ij})^2}$.
- Cấu trúc đồ thị cụm láng giềng NBGraphRST: Xây dựng đồ thị liên kết giữa các nút lá có vùng không gian chồng lấp hoặc khoảng cách tiệm cận dựa trên ngưỡng $\theta$, biến cấu trúc cây phân cấp tĩnh thành mạng lưới láng giềng linh hoạt, loại bỏ nguy cơ bỏ sót các điểm dữ liệu biên.
- Đồ thị tri thức Knowledge Graph và Ngôn ngữ truy vấn SPARQL: Mô hình hóa toàn bộ thực thể từ Visual Genome thành các lớp bản thể học OWL, cho phép truy vấn chính xác theo ngữ cảnh logic (ví dụ: tìm ảnh có "người đội mũ bảo hiểm đang lái xe máy trên đường").
Phương pháp nghiên cứu tiên tiến
Thiết kế nghiên cứu
Luận án tuân thủ thế giới quan thực chứng (Positivism Paradigm) kết hợp phương pháp nghiên cứu thực nghiệm định lượng nghiêm ngặt (Quantitative Experimental Design). Thiết kế nghiên cứu đa tầng được tổ chức qua ba pha liên hoàn:
- Pha 1 (Lập mô hình toán học và chỉ mục không gian): Xây dựng cấu trúc RS-Tree và NBGraphRST trên không gian đặc trưng 242 chiều, kiểm soát các điều kiện biên về tham số co giãn bán kính $k$, dung lượng nút tối thiểu $m$ ($1 < m \le M/2$) và tối đa $M$.
- Pha 2 (Khai phá tri thức ngữ nghĩa và Ontology hóa): Sử dụng mạng nơ-ron học sâu Faster R-CNN trích xuất vùng đối tượng, kết hợp đồ thị ngữ cảnh Scene Graph để xây dựng cơ sở tri thức OWL/RDF trên tập dữ liệu chuẩn Visual Genome.
- Pha 3 (Tích hợp và đánh giá hiệu năng): Thiết lập hệ thống truy vấn lai SBIR_GraphRSTKG, thực hiện đối chuẩn chéo (cross-benchmark) với các mô hình kinh điển và hiện đại trên 6 bộ dữ liệu chuẩn.
Quy trình nghiên cứu rigorous
Quy trình thu thập, xử lý và kiểm định dữ liệu được chuẩn hóa cao độ:
- Chuẩn hóa dữ liệu đặc trưng: Toàn bộ véc-tơ 242 chiều sau khi trích xuất được chuẩn hóa Min-Max về đoạn không gian Euclid đơn vị $[0, 1]$, đảm bảo khoảng cách tính toán không bị thiên lệch bởi các đặc trưng có thang đo lớn.
- Giao thức đo độ tương đồng: Sử dụng khoảng cách Euclid chuẩn hóa: $$D_{Eu}(I, J) = \sqrt{\sum_{i=1}^m (v_{Ii} - v_{Ji})^2}$$
- Kiểm soát độ tin cậy và tính hợp lệ: Độ chính xác được đánh giá đa chiều thông qua bộ 4 chỉ số tiêu chuẩn quốc tế: Độ chính xác (Precision), Độ phủ (Recall), Độ đo dung hòa (F-measure) và Độ chính xác trung bình (Mean Average Precision - MAP): $$\text{Precision} = \frac{|\text{Ảnh liên quan} \cap \text{Ảnh tìm thấy}|}{|\text{Ảnh tìm thấy}|}, \quad \text{Recall} = \frac{|\text{Ảnh liên quan} \cap \text{Ảnh tìm thấy}|}{|\text{Ảnh liên quan}|}$$ $$\text{F-measure} = 2 \cdot \frac{\text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}}, \quad \text{MAP} = \frac{1}{n}\sum_{i=1}^n P_i$$
- Đường cong đặc tính hiệu năng: Sử dụng đường cong PR (Precision-Recall curve) và đường cong ROC (Receiver Operating Characteristic) cùng diện tích dưới đường cong AUC (Area Under Curve) để kiểm định tính ổn định trên các tập dữ liệu mất cân bằng.
Data và phân tích
Toàn bộ 6 tập dữ liệu thực nghiệm được đặc tả chi tiết với các thông số thống kê chính xác:
- COREL: 1.000 ảnh, 10 lớp ngữ niệm (mỗi lớp chính xác 100 ảnh), kích thước lưu trữ 30,3 MB.
- Oxford Flowers 17 (OF17): 1.360 ảnh, 17 loài hoa (mỗi lớp 80 ảnh), dung lượng 60,5 MB.
- Oxford Flowers 102 (OF102): 8.198 ảnh (theo danh mục mở rộng đạt 8.788 ảnh), 102 loài hoa chi tiết, dung lượng 1,09 GB.
- CUB-2011-200: 11.778 ảnh, 200 loài chim chuyên biệt, gán nhãn chi tiết về đường bao và thuộc tính cục bộ.
- Visual Genome (VG): 108.077 ảnh, dung lượng 14,47 GB. Theo trích dẫn từ luận án: "Tập dữ liệu Visual Genome bao gồm 108.077 hình ảnh, trung bình 35 đối tượng, 50 vùng, 26 thuộc tính và 21 mối quan hệ giữa các cặp đối tượng trên mỗi hình ảnh".
- MS-COCO: 118.287 ảnh, 80 lớp đối tượng thực tế hàng ngày, dung lượng 17,9 GB.
Môi trường phần cứng và phần mềm triển khai:
- Hệ thống phát triển: Ngôn ngữ lập trình C#, nền tảng .NET Framework 4.8. Phân tích thống kê và vẽ đồ thị ROC/PR trên Matlab 2015b.
- Phần cứng tiền xử lý: PC CPU 2.3 GHz 8-core 9th-generation Intel Core i9, 16 GB DDR4 2666 MHz RAM, 1 TB SSD.
- Phần cứng thử nghiệm truy vấn thời gian thực: PC CPU Intel Core i7-6500U @ 2.50 GHz, 2.0 GB RAM hữu dụng kiểm thử, Windows 10 Pro 64-bit.
Phát hiện đột phá và implications
Những phát hiện then chốt
- Hiệu năng vượt trội của cấu trúc khối cầu RS-Tree so với R-Tree và SR-Tree:
- Việc chuyển đổi từ MBR sang MBS kết hợp tham số co cụm $k \ge 2$ giúp giảm hơn 40% chi phí tính toán cập nhật vùng bao bọc khi chèn phần tử mới.
- Không gian bộ nhớ lưu trữ của mỗi nút trong RS-Tree giảm một nửa so với SR-Tree (do loại bỏ việc lưu trữ tọa độ biên hình chữ nhật), giúp tăng số lượng phần tử trên mỗi trang đĩa và hạ thấp chiều cao tổng thể của cây.
- Độ chính xác truy vấn tăng tiến rõ rệt qua các cấu trúc cải tiến:
- Trên tập ảnh COREL (1.000 ảnh), mô hình RS-Tree đơn lẻ (CBIR-RST) đạt độ chính xác trung bình vượt trội so với các công trình dùng R-Tree truyền thống của Haldurai et al. (2015) và R*-Tree của Shama et al. (2015).
- Khi nâng cấp lên cấu trúc đồ thị láng giềng CBIR_NBGraphRST, độ chính xác (Precision) và độ phủ (Recall) tiếp tục tăng từ 3,5% đến 6,8% trên tất cả các tập dữ liệu đơn đối tượng (OF17, OF102, CUB-2011-200), do giải quyết triệt để vấn đề phân mảnh dữ liệu ở biên các cụm lân cận.
- Đột phá thu hẹp khoảng cách ngữ nghĩa với mô hình SBIR_GraphRSTKG:
- Trên các bộ dữ liệu phức tạp đa đối tượng (MS-COCO và Visual Genome), mô hình tích hợp RS-Tree và Đồ thị tri thức đạt diện tích dưới đường cong AUC-ROC tiệm cận mức tối ưu, vượt qua các phương pháp trích xuất đặc trưng thuần túy của Ahmed et al. (2019) và Kumar et al. (2020).
- Truy vấn SPARQL cho phép lọc chính xác các quan hệ ngữ cảnh không gian phức tạp mà không một bộ mô tả đặc trưng cấp thấp đơn lẻ nào có thể phản ánh được.
- Tính ổn định của thời gian truy vấn dưới tải dữ liệu lớn:
- Thời gian tìm kiếm trung bình trên mỗi ảnh truy vấn duy trì ở mức mili-giây trên máy tính cấu hình văn phòng (Intel Core i7-6500U), khẳng định tính khả thi của giải thuật trong các ứng dụng thời gian thực.
Implications đa chiều
- Về mặt lý thuyết: Đặt nền móng cho mô hình lai ghép (Hybrid Semantic-Spatial Indexing Paradigm), chứng minh rằng việc kết hợp biểu diễn không gian liên tục (véc-tơ đa chiều) và biểu diễn biểu tượng rời rạc (đồ thị tri thức bản thể học) là con đường tối ưu để giải quyết triệt để bài toán "Semantic Gap".
- Về mặt phương pháp luận: Cung cấp một quy trình mẫu mực về việc trích xuất và tích hợp đặc trưng đa tầng (242 chiều từ MPEG-7, Shi-Tomasi, MaxPooling Sobel, Sobel HOG) kết hợp mạng học sâu phát hiện đối tượng Faster R-CNN, có khả năng chuyển giao áp dụng cho các dạng dữ liệu đa phương tiện khác như video và mô hình 3D.
- Về mặt thực tiễn ứng dụng:
- Hệ thống an ninh và điều tra hình sự: Nhận dạng đối tượng và phương tiện dựa trên mô tả ngữ cảnh không gian phức tạp.
- Thương mại điện tử: Tìm kiếm sản phẩm thông minh qua hình ảnh kết hợp lọc thuộc tính ngữ nghĩa chi tiết.
- Y tế thông minh: Quản lý và truy vấn hồ sơ bệnh án hình ảnh (X-quang, MRI, CT) theo cả tổn thương thị giác và mối quan hệ bệnh lý giải phẫu học.
- Khuyến nghị chính sách công nghệ: Các cơ quan quản lý và doanh nghiệp số hóa cần chuẩn hóa việc lưu trữ siêu dữ liệu hình ảnh dưới dạng Linked Open Data (LOD) và Resource Description Framework (RDF) để sẵn sàng tích hợp vào các đồ thị tri thức quốc gia.
Limitations và Future Research
Luận án thẳng thắn thừa nhận các giới hạn kỹ thuật cần tiếp tục hoàn thiện:
- Chi phí thời gian xây dựng đồ thị tri thức ban đầu: Việc trích xuất ngữ cảnh và tạo bộ ba RDF từ tập dữ liệu khổng lồ Visual Genome (108.077 ảnh) đòi hỏi năng lực tính toán phần cứng lớn ở pha tiền xử lý.
- Sự phụ thuộc vào độ chính xác của bộ phát hiện đối tượng: Hiệu năng của đồ thị ngữ cảnh chịu ảnh hưởng trực tiếp từ tỷ lệ nhận dạng chính xác của mô hình Faster R-CNN; việc nhận dạng sai nhãn đối tượng có thể dẫn đến sai lệch quan hệ trong đồ thị tri thức.
- Tính động của cây chỉ mục: Cấu trúc RS-Tree hiện tại được tối ưu hóa xuất sắc cho các tác vụ lập chỉ mục tĩnh và truy vấn; thao tác xóa phần tử hàng loạt (batch deletion) và cân bằng động liên tục khi có luồng dữ liệu thời gian thực (data streaming) cần được tối ưu sâu hơn.
Chương trình nghiên cứu 5-10 năm tiếp theo:
- Tích hợp mạng tích chập đồ thị tri thức đa phương thức (Multimodal Knowledge Graph Convolutional Networks) để tự động học biểu diễn nhúng (embedding) cho cả cấu trúc RS-Tree và Knowledge Graph.
- Mở rộng mô hình sang bài toán truy vấn video ngữ cảnh động (Dynamic Video Scene Graph Retrieval).
- Áp dụng các mô hình ngôn ngữ lớn thị giác (Vision-Language Models như CLIP, Flamingo) để tự động sinh ontology mà không cần bước trung gian Faster R-CNN thủ công.
Tác động và ảnh hưởng
- Tác động học thuật: Đóng góp 2 bài báo trên các tạp chí và hội nghị chuyên ngành uy tín thuộc danh mục Scopus/tiêu chuẩn ngành Công nghệ thông tin. Cung cấp một khung tham chiếu chuẩn về cấu trúc chỉ mục khối cầu cho cộng đồng nghiên cứu CBIR tại Việt Nam và quốc tế.
- Chuyển đổi công nghiệp số: Giải pháp cung cấp kiến trúc nền tảng cho việc xây dựng các công cụ tìm kiếm nội bộ (Enterprise Visual Search Engine) trong các lĩnh vực thương mại điện tử, lưu trữ bảo tàng số và hệ thống quản lý giao thông thông minh (ITS).
- Lợi ích xã hội: Hỗ trợ việc số hóa di sản văn hóa, quản lý dữ liệu viễn thám tài nguyên môi trường và nâng cao độ chính xác trong chẩn đoán hình ảnh y khoa phục vụ cộng đồng.
Đối tượng hưởng lợi
- Nghiên cứu sinh và học viên cao học: Tiếp cận mã nguồn mở thuật toán, phương pháp luận tích hợp cấu trúc dữ liệu không gian với Web ngữ nghĩa và khung thực nghiệm trên các tập dữ liệu chuẩn.
- Giảng viên và nhà khoa học: Tài liệu tham khảo giá trị về cấu trúc R-Tree cải tiến, đồ thị tri thức OWL/RDF và kỹ thuật kết hợp đặc trưng đa diện.
- Kỹ sư R&D công nghệ: Ứng dụng trực tiếp thuật toán RS-Tree và NBGraphRST bằng C#/.NET vào các sản phẩm thực tế đòi hỏi khả năng xử lý truy vấn dữ liệu lớn thời gian thực.
- Cơ quan quản lý dữ liệu số: Khung kiến trúc mẫu mực để chuẩn hóa hệ thống lưu trữ dữ liệu đa phương tiện theo chuẩn Linked Data quốc tế.
Câu hỏi chuyên sâu
1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và mở rộng lý thuyết nào?
Đóng góp độc đáo nhất là việc mở rộng lý thuyết chỉ mục khối cầu SS-Tree (White & Jain, 1996) thành cấu trúc RS-Tree với tham số co giãn tâm $k \ge 2$, kết hợp cơ chế phân cụm láng giềng NBGraphRST. Khác với SS-Tree thuần túy chỉ tìm kiếm $k$-NN, RS-Tree cho phép thực hiện đồng thời truy vấn vùng không gian và truy vấn láng giềng với thể tích bao bọc nhỏ hơn, triệt tiêu vùng không gian chết mà không phải chịu chi phí tính toán kép như mô hình SR-Tree (Katayama & Satoh, 1997).
2. Sự đổi mới về mặt phương pháp luận so với ít nhất 2 công trình quốc tế tiền nhiệm?
So với Haldurai et al. (2015) (dùng R-Tree truyền thống với MBR) và Vanitha et al. (2017) (dùng SR-Tree với giao MBR-MBS trên tập COREL), luận án đổi mới toàn diện ở 3 điểm: (1) Thay thế hoàn toàn MBR bằng MBS tối ưu hóa dịch chuyển tâm; (2) Thiết lập thuật toán tách nút dựa trên độ lệch sai biệt thay cho phép chèn lại tốn kém của R*-Tree; (3) Thiết kế cầu nối hai giai đoạn giữa cấu trúc chỉ mục hình học cấp thấp và Đồ thị tri thức OWL/RDF thông qua truy vấn SPARQL.
3. Phát hiện bất ngờ nhất từ dữ liệu thực nghiệm là gì?
Phát hiện nổi bật là việc tăng số chiều đặc trưng lên 242 chiều (kết hợp 4 loại bộ mô tả) không làm bùng nổ thời gian truy vấn trên RS-Tree như lý thuyết "lời nguyền số chiều" cảnh báo đối với R-Tree. Ngược lại, nhờ độ lệch sai biệt phân cụm chính xác, cây RS-Tree duy trì độ sâu ổn định và đạt độ chính xác MAP cao hơn hẳn so với việc chỉ dùng đơn lẻ các đặc trưng màu sắc hay kết cấu truyền thống.
4. Luận án có cung cấp giao thức tái lập (Replication Protocol) hoàn chỉnh không?
Hoàn toàn đầy đủ. Luận án đặc tả chi tiết công thức toán học tính tâm/bán kính của 3 cấp nút (thực thể, lá, trong), công thức phân tách nút, danh mục tham số thực nghiệm, môi trường phần cứng máy tính (Intel Core i9 / Core i7-6500U), nền tảng phần mềm (.NET Framework 4.8, C#, Matlab 2015b) và cung cấp đường dẫn 6 tập dữ liệu công khai (COREL, OF17, OF102, CUB, VG, MS-COCO).
5. Kế hoạch nghiên cứu 10 năm tới được phác thảo ra sao?
Kế hoạch 10 năm tập trung vào việc tự động hóa toàn diện quy trình sinh đồ thị tri thức thông qua các mô hình nền tảng đa phương thức (Multimodal Foundation Models), phát triển cấu trúc RS-Tree phân tán trên nền tảng điện toán đám mây để phục vụ các luồng dữ liệu video quy mô hàng tỷ khung hình mỗi giây.
Kết luận
Công trình nghiên cứu tiến sĩ của tác giả Lê Thị Vĩnh Thanh đã giải quyết trọn vẹn và xuất sắc mục tiêu đề ra với 5 đóng góp học thuật cốt lõi:
- Đề xuất cấu trúc chỉ mục siêu cầu RS-Tree tối ưu hóa việc lưu trữ véc-tơ đặc trưng thị giác 242 chiều, giảm thiểu chi phí tính toán cập nhật và loại bỏ hiện tượng duyệt đa đường dẫn.
- Phát triển thuật toán tách nút dựa trên độ lệch sai biệt, đảm bảo tính cân bằng tuyệt đối của cây đa nhánh mà không cần tái cấu trúc tốn kém.
- Sáng tạo cấu trúc đồ thị cụm láng giềng NBGraphRST, tăng cường độ phủ và độ chính xác của các truy vấn biên không gian.
- Xây dựng khung Đồ thị tri thức chuẩn hóa OWL/RDF từ 108.077 ảnh Visual Genome, giải quyết căn bản khoảng cách ngữ nghĩa giữa đặc trưng cấp thấp và nhận thức cấp cao.
- Thiết lập mô hình tìm kiếm tích hợp SBIR_GraphRSTKG, kiểm chứng thành công trên 6 bộ dữ liệu chuẩn quốc tế với 239.310 hình ảnh, mở ra hướng đi mới cho các hệ thống truy vấn đa phương tiện thông minh thế hệ tiếp theo.
Trích đoạn nội dung luận án
Tải xuống để đọc toàn bộĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC LÊ THỊ VĨNH THANH KẾT HỢP CẤU TRÚC R-TREE VỚI ĐỒ THỊ TRI THỨC CHO MÔ HÌNH TÌM KIẾM ẢNH LUẬN ÁN TIẾN SĨ NGÀNH KHOA HỌC MÁY TÍNH HUẾ, NĂM 2023 luan an tien si ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC LÊ THỊ VĨNH THANH KẾT HỢP CẤU TRÚC R-TREE VỚI ĐỒ THỊ TRI THỨC CHO MÔ HÌNH TÌM KIẾM ẢNH NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 9480101 LUẬN ÁN TIẾN SĨ NGÀNH KHOA HỌC MÁY TÍNH TẬP THỂ HƯỚNG DẪN KHOA HỌC PGS. LÊ MẠNH THẠNH TS. VĂN THẾ THÀNH HUẾ, NĂM 2023 luan an tien si LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Nội dung tham khảo từ các công trình khác đều được trích dẫn rõ ràng.
Các kết quả viết chung với các tác giả khác đều được sự đồng ý trước khi đưa vào luận án. Các kết quả của luận án là trung thực và chưa được công bố trong các công trình khác ngoài các công trình của tác giả. Tác giả Lê Thị Vĩnh Thanh i luan an tien si LỜI CÁM ƠN Em xin gửi lời cảm ơn chân thành đến Thầy PGS. TS Lê Mạnh Thạnh và Thầy TS.
Văn Thế Thành đã tận tình hướng dẫn em để thực hiện tốt nhiệm vụ nghiên cứu và hoàn thành luận án này. Em xin gửi lời cảm ơn đến các thầy cô khoa Công nghệ thông tin của trường Đại học Khoa học đã chia sẻ và góp ý xác đáng trong quá trình thực hiện luận án. Em xin gửi lời cảm ơn sâu sắc đến Phòng Đào tạo Sau Đại học, lãnh đạo Trường Đại học Khoa học, lãnh đạo Đại học Huế đã tạo điều kiện thuận lợi cho em trong suốt quá trình học tập và thực hiện luận án. Tôi xin gửi lời cảm ơn đến Ban giám hiệu, các đồng nghiệp là cán bộ, giảng viên Trường Đại học Bà Rịa Vũng Tàu đã tạo mọi điều kiện thuận lợi, đã động viên tôi trong quá trình học tập và nghiên cứu.
Tôi xin gửi lời cảm ơn đến tất cả bạn bè và những người xung quanh luôn chia sẻ, động viên trong những lúc khó khăn. Xin gửi lời cảm ơn và bày tỏ lòng biết ơn vô hạn đến những người thân yêu, ba mẹ, chồng và các con đã hỗ trợ, ủng hộ trong suốt quá trình học tập, nghiên cứu. Tác giả ii luan an tien si MỤC LỤC LỜI CAM ĐOAN. ii DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT .v DANH MỤC HÌNH ẢNH.
vii DANH MỤC BẢNG BIỂU. ix PHẦN MỞ ĐẦU .TỔNG QUAN VỀ TÌM KIẾM ẢNH, CẤU TRÚC R-TREE VÀ ĐỒ THỊ TRI THỨC. Tìm kiếm ảnh theo nội dung. Đặc trưng hình ảnh.
Độ đo tương tự giữa hai hình ảnh. Cấu trúc R-Tree và các biến thể cho tìm kiếm ảnh. Đồ thị tri thức. Đồ thị ngữ cảnh.
Kiến trúc hệ thống tìm kiếm ảnh. Môi trường thực nghiệm và độ đo đánh giá. Tổng kết chương .TÌM KIẾM ẢNH DỰA TRÊN RS-TREE. Cấu trúc RS-Tree.
Mô tả cấu trúc RS-Tree. Xây dựng cấu trúc RS-Tree. Các thao tác trên cấu trúc RS-Tree. Tiêu chí lựa chọn nút lá phù hợp.
Thêm phần tử vào cây. Cập nhật tâm và bán kính khối cầu. Tìm kiếm ảnh theo nội dung dựa trên RS-Tree. Mô hình tìm kiếm ảnh dựa trên RS-Tree.
Thuật toán tìm kiếm ảnh. Thực nghiệm và đánh giá. Tổng kết chương .69 iii luan an tien si CHƯƠNG 3.KẾT HỢP RS-TREE VÀ ĐỒ THỊ TRI THỨC TRONG TÌM KIẾM ẢNH. RS-Tree kết hợp đồ thị láng giềng.
Khái niệm cơ sở. Cấu trúc đồ thị cụm láng giềng. Thuật toán tạo đồ thị láng giềng. Tìm kiếm ảnh theo nội dung dựa trên cấu trúc NBGraphRST.
Khung đồ thị tri thức cho dữ liệu hình ảnh. Quy trình xây dựng đồ thị tri thức. Quá trình xây dựng đồ thị tri thức. Các thuật toán xây dựng đồ thị tri thức.
Tìm kiếm ảnh kết hợp RS-Tree với đồ thị tri thức. Nhận dạng đối tượng bằng Faster-RCNN. Mô hình tìm kiếm ảnh kết hợp RS-Tree và đồ thị tri thức. Thuật toán tìm kiếm ảnh.
Thực nghiệm và đánh giá. Mô tả bộ dữ liệu Visual Genome. Đánh giá thực nghiệm. Tổng kết chương .116 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .118 DANH MỤC CÁC CÔNG TRÌNH NGHIÊN CỨU CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN .120 TÀI LIỆU THAM KHẢO .121 iv luan an tien si DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT Ký hiệu Diễn giải tiếng Anh Diễn giải tiếng Việt ARN Attentive Relational Network Mạng mối quan hệ tập trung ARP Average Retrieval Precision Độ chính xác trung bình AUC Area Under the Curve Diện tích dưới đường cong Content-Based Image CBIR Tìm kiếm ảnh theo nội dung Retrieval Content-based Image Retrieval Tìm ảnh theo nội dung dựa trên CBIR_NBGraphRST on RS-Tree and Neighbor RS-Tree và đồ thị láng giềng Graph Content-Based Image Tìm kiếm ảnh theo nội dung CBIR-RST Retrieval on RS-Tree dựa trên RS-Tree CCM Color Co-occurrence Matrix Ma trận đồng xuất hiện màu CDH Color Difference Histogram Lược đồ màu CNN Convolutional Neural Network Mạng nơ-ron tích chập Trường ngẫu nhiên có điều CRF Conditional Random Field kiện CSD Color Structure Descriptor Bộ mô tả cấu trúc màu DCD Dominant Color Descriptor Bộ mô tả màu chủ đạo DWT Discrete Wavelet Transform Phép biến đổi Wavelet rời rạc EDH Edge Histogram Descriptor Bộ mô tả lược đồ biên FCM Fuzzy C-means Clustering Phân cụm mờ C-means GCN Graph Convolutional Network Mạng tích chập đồ thị Gray-level Co-occurrence Ma trận đồng xuất hiện mức GLCM Matrix xám GMM Gaussian Mixture Models Mô hình hỗn hợp Gauss Histograms of Oriented HOG Lược đồ theo hướng Gradient Gradients KG Knowledge Graph Đồ thị tri thức LBP Local Binary Pattern Mẫu nhị phân cục bộ LD Linked Data Dữ liệu liên kết tài nguyên MAP Mean Average Precision Độ chính xác trung bình v luan an tien si Ký hiệu Diễn giải tiếng Anh Diễn giải tiếng Việt Hình chữ nhật bao đóng tối MBR Minimum Bounding Rectangle thiểu MBS Minimum Bounding Sphere Khối cầu bao đóng tối thiểu MLP Multi-layer Perceptron Mạng Perceptron đa tầng Multi-Resolution Multi- MRMD Đa hướng đa độ phân giải Directional Đồ thị cụm láng giềng trên RS- NBGraphRST Neighbor Graph on RS-Tree Tree OLD Open Linked Data Dữ liệu liên kết mở OWL Web Ontology Language Ngôn ngữ ontology web Resource Description Ngôn ngữ mô tả khung tài RDF Framework nguyên Phương pháp phản hồi liên RF Relevance Feedback quan Receiver Operating ROC Đồ thị mô tả đặc tính Characteristic RS-Tree Region Sphere Tree Cây phân cụm vùng khối cầu Semantic-Based Image SBIR Tìm ảnh theo ngữ nghĩa Retrieval Semantic-based Image Tìm ảnh theo ngữ nghĩa dựa SBIR_GraphRSTKG Retrieval on RS-Tree and trên RS-Tree và đồ thị tri thức Knowledge Graph SG Scene Graph Đồ thị ngữ cảnh Scale Invariant Features SIFT Đặt trưng hình ảnh SIFT Transform SURF Speeded Up Robust Feature Đặc trưng hình ảnh SURF SVM Support Vector Machine Máy vec-tơ hỗ trợ TBIR Text-Based Image Retrieval Tìm kiếm ảnh dựa trên văn bản TTF Tamura Texture Feature Đặc trưng kết cấu Tamura TVG Textual Scene Graph Đồ thị ngữ cảnh theo văn bản Tập dữ liệu ảnh Visual VG Visual Genome Genome VSG Visual Scene Graph Đồ thị ngữ cảnh theo thị giác vi luan an tien si DANH MỤC HÌNH ẢNH Hình 1.
Mô hình tìm kiếm ảnh tương tự theo nội dung. Đặc trưng màu sắc MPEG7. Đặc trưng vị trí Shi-tomasi MPEG7. Đặc trưng vị trí và kết cấu MaxPooling Sobel.
Đặc trưng hình dạng và kết cấu Sobel HOG. Cấu trúc R-Tree dạng phân cấp. Cấu trúc R-Tree dạng phẳng. Ví dụ về đồ thị ngữ cảnh trong bộ dữ liệu VG [28].
Mô hình tìm kiếm ảnh theo nội dung dựa trên cấu trúc RS-Tree. Mô hình tìm kiếm ảnh kết hợp RS-Tree và đồ thị tri thức. Cấu trúc RS-Tree dạng phẳng. Cấu trúc RS-Tree dạng phân cấp.
Mô tả một nút thực thể dạng phẳng trên cấu trúc RS-Tree. Mô tả một nút lá dạng phẳng trên cấu trúc RS-Tree. Mô tả một nút trong dạng phẳng trên RS-Tree. Minh họa quá trình thêm một phần tử vào cấu trúc RS-Tree.
Mô tả thao tác thêm một phần tử vào nút lá. Minh họa sự giãn nở không gian khi thêm mới một phần tử. Minh họa các tiêu chí lựa chọn không gian phân bố phần tử. Mô tả thuật toán tách nút dựa vào độ lệch sai biệt.
Mô hình tìm kiếm ảnh CBIR-RST dựa trên RS-Tree. Giao diện tạo cấu trúc RS-Tree. Giao diện tìm kiếm ảnh dựa trên cấu trúc RS-Tree. Một kết quả tìm kiếm dựa trên cấu trúc RS-Tree.
Thời gian tìm kiếm trung bình của tập ảnh COREL. Thời gian tìm kiếm trung bình của tập ảnh OF17. Thời gian trung bình tìm kiếm của tập ảnh OF102. Thời gian trung bình tìm kiếm của tập ảnh CUB-2011-200.
So sánh hiệu suất giữa các tập dữ liệu ảnh trên cấu trúc RS-Tree. Precision-Recall và ROC của bộ dữ liệu COREL. Precision-Recall và ROC của bộ dữ liệu Oxford Flowers 17. Precision-Recall và ROC của bộ dữ liệu Oxford Flowers 102 (1-51).
Precision-Recall và ROC của bộ dữ liệu Oxford Flowers 102 (52-102) 63 Hình 2. Precision-Recall và ROC của bộ dữ liệu CUB-2011-200 (1-100). Precision-Recall và ROC của bộ dữ liệu CUB-2011-200 (101-200). Tách nút có vùng không gian chồng lấp.
Tách nút có vùng không gian rời nhau. Mô tả tính chất chồng lấp không gian. Minh họa khoảng cách giữa hai nút lá. Mô tả đồ thị láng giềng của một nút lá.
Cấu trúc đồ thị láng giềng NBGraphRST dạng phẳng .76 vii luan an tien si Hình 3. Cấu trúc đồ thị láng giềng NBGraphRST phân cấp. Một đồ thị ngữ cảnh con của ảnh 2371376. Tiến trình xây dựng đồ thị tri thức.
Dữ liệu mẫu các phân lớp ảnh. Mẫu dữ liệu các đối tượng ảnh. Mẫu dữ liệu mối quan hệ giữa các đối tượng ảnh. Mô hình của đồ thị tri thức.
Bộ ba định nghĩa lớp trong đồ thị tri thức. Bộ ba định nghĩa các cá thể trong đồ thị tri thức. Bộ ba thể hiện mối quan hệ của các cá thể. Thuộc tính dữ liệu của cá thể inclass.
Thuộc tính dữ liệu của cá thể OBJ. Thuộc tính dữ liệu của đối tượng OBJ1068652 dưới dạng OWL. Thuộc tính dữ liệu của cá thể IMG1. Thuộc tính dữ liệu của ảnh IMG3 dưới dạng OWL.
Các chú thích của mối quan hệ opREL2. Các đối tượng trong hình ảnh của bộ dữ liệu COCO. Minh họa quá trình phân lớp đối tượng bằng mạng Faster-RCNN. Minh họa trích xuất đặc trưng cho ảnh đầu vào.
Mô hình tìm kiếm ảnh theo ngữ nghĩa kết hợp RS-Tree với KG. Mô hình tìm kiếm ảnh trên CBIR_NBGraphRST. Một kết quả tìm kiếm ảnh trên CBIR-NBGraphRST. Tạo KG cho bộ dữ liệu Visual Genome .
Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ
Trích dẫn luận án này
Lê Thị Vĩnh Thanh (2023). Tìm kiếm ảnh: Kết hợp R-Tree và Đồ thị Tri thức [Luận án tiến sĩ, Trường Đại học Khoa học - Đại học Huế]. LuanAn.net. https://luanan.net/cong-nghe-thong-tin/he-thong-thong-tin/ket-hop-r-tree-do-thi-tri-thuc-tim-kiem-anh
Câu hỏi thường gặp
Luận án "Tìm kiếm ảnh: Kết hợp R-Tree và Đồ thị Tri thức" nghiên cứu về vấn đề gì?
Tìm hiểu phương pháp kết hợp R-Tree và đồ thị tri thức tối ưu hóa tìm kiếm ảnh. Phân tích ưu điểm và ứng dụng trong hệ thống truy vấn hình ảnh.
Luận án "Tìm kiếm ảnh: Kết hợp R-Tree và Đồ thị Tri thức" được bảo vệ tại trường nào?
Luận án này được bảo vệ tại Trường Đại học Khoa học - Đại học Huế. Năm bảo vệ: 2023.
Luận án "Tìm kiếm ảnh: Kết hợp R-Tree và Đồ thị Tri thức" thuộc chuyên ngành gì?
Luận án "Tìm kiếm ảnh: Kết hợp R-Tree và Đồ thị Tri thức" thuộc chuyên ngành Khoa học máy tính. Danh mục: Hệ Thống Thông Tin.
Luận án "Tìm kiếm ảnh: Kết hợp R-Tree và Đồ thị Tri thức" có bao nhiêu trang?
Luận án "Tìm kiếm ảnh: Kết hợp R-Tree và Đồ thị Tri thức" có 139 trang. Bạn có thể xem trước một phần tài liệu ngay trên trang web trước khi tải về.
Cách tải luận án "Tìm kiếm ảnh: Kết hợp R-Tree và Đồ thị Tri thức" về máy như thế nào?
Để tải luận án về máy, bạn nhấn nút "Tải xuống ngay" trên trang này, sau đó hoàn tất thanh toán phí lưu trữ. File sẽ được tải xuống ngay sau khi thanh toán thành công. Hỗ trợ qua Zalo: 0559 297 239.