Tổng quan về luận án

Luận án tiến sĩ "Kết hợp cấu trúc R-Tree với đồ thị tri thức cho mô hình tìm kiếm ảnh" của Lê Thị Vĩnh Thanh, được bảo vệ tại Đại học Huế năm 2023, đại diện cho một bước tiến quan trọng trong lĩnh vực Khoa học Máy tính. Nghiên cứu này giải quyết những thách thức cố hữu trong việc tìm kiếm ảnh, đặc biệt là khoảng cách ngữ nghĩa ("semantic gap") giữa các đặc trưng cấp thấp của hình ảnh và ngữ nghĩa cấp cao mà người dùng mong muốn. Tính tiên phong của luận án thể hiện ở việc tích hợp một cách hệ thống các phương pháp tìm kiếm ảnh dựa trên nội dung (CBIR) với các phương pháp tìm kiếm ảnh dựa trên ngữ nghĩa (SBIR) thông qua các cấu trúc dữ liệu tiên tiến.

Research gap SPECIFIC với citations từ literature:

Mặc dù các hệ thống tìm kiếm ảnh theo nội dung (CBIR) đã đạt được nhiều thành tựu đáng kể, chúng vẫn đối mặt với "độ sai lệch ngữ nghĩa (Semantic Gap) giữa các đặc trưng cấp thấp của hình ảnh và ngữ nghĩa mô tả của người dùng" [11, 12]. Các công trình trước đây tập trung vào việc trích xuất và so sánh các đặc trưng cấp thấp như màu sắc, kết cấu, hình dạng và vị trí [7-9], nhưng thường bỏ qua khả năng hiểu ngữ cảnh và mối quan hệ phức tạp giữa các đối tượng trong ảnh. Ví dụ, phương pháp TBIR (Text-based Image Retrieval) có hạn chế về chi phí chú thích thủ công và tính chủ quan của mô tả [5, 6]. Ngay cả các biến thể của cấu trúc R-Tree như R*-Tree, SS-Tree, SR-Tree, dù cải thiện hiệu suất lưu trữ dữ liệu đa chiều, vẫn tồn tại những nhược điểm như "việc tìm kiếm một đối tượng dựa trên cấu trúc R-Tree dẫn đến việc xét nhiều đường dẫn từ gốc đến lá, do đó kết quả giảm độ chính xác" hoặc "trong cấu trúc cây SR-tree khi chèn phần tử cần cập nhật cả hình cầu và hình chữ nhật dẫn đến việc tạo và cập nhật tương đối phức tạp và tốn kém chi phí tính toán" (trang 2-3, 22). Các nghiên cứu về đồ thị ngữ cảnh và đồ thị tri thức gần đây đã bắt đầu thu hẹp khoảng cách này [28-33], nhưng "các công trình này chưa kết hợp giữa tìm kiếm ảnh dựa trên nội dung và tìm kiếm ảnh dựa trên ngữ nghĩa. Mặt khác, các công trình chưa thực hiện tìm kiếm dựa trên ngôn ngữ truy vấn để tìm kiếm ảnh trên đồ thị tri thức" (trang 9). Đây chính là khoảng trống mà luận án tập trung giải quyết.

Research questions và hypotheses:

Luận án giải quyết các câu hỏi nghiên cứu chính thông qua các mục tiêu cụ thể, dẫn đến các giả thuyết sau:

  1. RQ1: Làm thế nào để cải thiện hiệu quả lưu trữ và tìm kiếm dữ liệu đa chiều cho ảnh dựa trên cấu trúc R-Tree?
    • Hypothesis 1.1: Việc đề xuất cấu trúc RS-Tree sử dụng khối cầu bao đóng tối thiểu (MBS) thay vì hình chữ nhật (MBR) sẽ giảm chi phí tính toán khi cập nhật và giãn nở không gian, đồng thời tăng hiệu quả phân vùng dữ liệu.
    • Hypothesis 1.2: Kết hợp cấu trúc RS-Tree với đồ thị láng giềng (NBGraphRST) và thuật toán tách nút cải tiến dựa trên độ lệch sai biệt sẽ nâng cao độ chính xác tìm kiếm ảnh theo nội dung.
  2. RQ2: Làm thế nào để biểu diễn và khai thác thông tin ngữ nghĩa cấp cao từ hình ảnh một cách hiệu quả để giảm "semantic gap"?
    • Hypothesis 2.1: Xây dựng đồ thị tri thức dựa trên các tập dữ liệu ảnh đa đối tượng (như Visual Genome) có khả năng mô tả các thực thể, thuộc tính và mối quan hệ ngữ nghĩa giữa các đối tượng trong ảnh một cách chính xác.
  3. RQ3: Một mô hình tìm kiếm ảnh tích hợp cả nội dung và ngữ nghĩa có thể đạt được độ chính xác và hiệu quả vượt trội so với các phương pháp riêng lẻ?
    • Hypothesis 3.1: Mô hình tìm kiếm ảnh kết hợp RS-Tree cho đặc trưng cấp thấp và đồ thị tri thức cùng ngôn ngữ truy vấn SPARQL cho ngữ nghĩa cấp cao sẽ nâng cao đáng kể độ chính xác tìm kiếm ảnh và giảm "semantic gap".

Theoretical framework với tên theories cụ thể:

Luận án được xây dựng trên nền tảng của lý thuyết cây phân cụm không gian đa chiều, đặc biệt là các biến thể của R-Tree [18, 19] và SS-Tree [74]. Các nguyên lý của cấu trúc dữ liệu không gian, tối ưu hóa vùng bao phủ và cơ chế phân tách nút là cốt lõi. Về khía cạnh ngữ nghĩa, luận án dựa trên lý thuyết Biểu diễn Tri thức (Knowledge Representation) và Web Ngữ nghĩa (Semantic Web) [78], sử dụng các tiêu chuẩn như RDF (Resource Description Framework) và OWL (Web Ontology Language) để xây dựng Đồ thị Tri thức (Knowledge Graph) [76, 77]. Khái niệm Đồ thị Ngữ cảnh (Scene Graph) [28] cũng đóng vai trò quan trọng trong việc mô tả cấu trúc ngữ nghĩa của hình ảnh. Ngoài ra, các phương pháp trích xuất đặc trưng hình ảnh truyền thống và học sâu (ví dụ: Faster-RCNN để nhận dạng đối tượng) được sử dụng để chuyển đổi dữ liệu hình ảnh thô thành các véc-tơ đặc trưng và các thực thể ngữ nghĩa. Lý thuyết về độ đo tương tự (ví dụ: khoảng cách Euclid) được áp dụng để đánh giá mối quan hệ giữa các véc-tơ đặc trưng.

Đóng góp đột phá với quantified impact:

Luận án đóng góp 5 điểm đột phá chính:

  1. Cấu trúc RS-Tree tối ưu: Đề xuất và xây dựng cấu trúc RS-Tree sử dụng Khối cầu bao đóng tối thiểu (MBS) thay vì Hình chữ nhật bao đóng tối thiểu (MBR) như trong R-Tree truyền thống và các biến thể. "RS-Tree sử dụng khối cầu để lưu trữ dữ liệu vì các lý do sau: (1) Việc xác định một hình cầu chỉ phụ thuộc vào tâm và bán kính trong khi hình chữ nhật phụ thuộc vào trọng tâm, đường biên trên, đường biên dưới; (2) Khi không gian giản nở thì hình cầu sẽ tính toán ít biến hơn hình chữ nhật; (3) Khi cập nhật tại một nút, nếu dùng hình chữ nhật tối thiểu MBR thì cần phải tìm tất cả các hình chữ nhật để xác định biên phải và biên trái bao phủ của một nút, do đó, sẽ tốn chi phí tìm kiếm và sắp xếp. Trong khi dùng hình cầu tối thiểu MBS thì không tốn kém các chi phí này." Điều này giúp giảm chi phí tính toán cập nhật dữ liệu và tăng hiệu suất tìm kiếm vùng không gian, đặc biệt cho dữ liệu đa chiều.
  2. Cải tiến thuật toán tách nút và phân cụm dữ liệu: Kết hợp RS-Tree với đồ thị láng giềng (NBGraphRST) và một thuật toán tách nút mới dựa trên "độ lệch sai biệt của các phần tử so với hai tâm cụm mới" (Chương 2, Giới thiệu). Phương pháp này, cùng với việc sử dụng ngưỡng 𝜃, giúp phân cụm dữ liệu tương tự hiệu quả hơn, nâng cao độ chính xác tìm kiếm.
  3. Xây dựng Đồ thị Tri thức cho ảnh: Phát triển một quy trình xây dựng đồ thị tri thức chi tiết từ tập dữ liệu Visual Genome để "lưu trữ và mô tả các thông tin ngữ nghĩa của hình ảnh, các mối quan hệ ngữ nghĩa giữa các đối tượng trong ảnh" (trang 9). Điều này cung cấp một khuôn khổ mạnh mẽ để biểu diễn tri thức cấp cao cho hình ảnh.
  4. Mô hình tìm kiếm ảnh tích hợp CBIR-SBIR: Đề xuất một "mô hình tìm kiếm ảnh theo tiếp cận ngữ nghĩa dựa trên sự kết hợp RS-Tree với đồ thị tri thức để nâng cao độ chính xác tìm kiếm ảnh" (trang 9). Mô hình này sử dụng RS-Tree cho tìm kiếm nội dung cấp thấp và Đồ thị Tri thức kết hợp truy vấn SPARQL để tìm kiếm ngữ nghĩa cấp cao, giải quyết "semantic gap".
  5. Minh chứng thực nghiệm mạnh mẽ: Thực nghiệm trên các bộ dữ liệu ảnh lớn và đa dạng như COREL (1.000 ảnh), Oxford Flowers 17 (1.360 ảnh), Oxford Flowers 102 (8.788 ảnh), CUB-2011-200 (11.778 ảnh), Visual Genome (108.077 ảnh) và MS-COCO (118.287 ảnh). Các kết quả cho thấy "RS-Tree áp dụng cho bài toán tìm kiếm ảnh có thời gian tìm kiếm ổn định và độ chính xác cao hơn một số công trình đã công bố trước đây" (trang 32).

Scope (sample size, timeframe) và significance:

Phạm vi nghiên cứu bao gồm việc tạo và cải tiến cấu trúc lưu trữ dữ liệu đa chiều dựa trên R-Tree, các thuật toán xây dựng và tìm kiếm trên cây, các phương pháp cải tiến cây phân cụm với đồ thị cụm láng giềng, đồ thị tri thức (sử dụng OWL, truy vấn SPARQL), và ứng dụng trên các tập dữ liệu ảnh lớn như COREL, OF17, OF102, CUB-200-2011, Visual Genome, MS-COCO. Thời gian nghiên cứu không được nêu rõ, nhưng kết quả được công bố năm 2023, phản ánh nghiên cứu trong vài năm gần đây. Ý nghĩa của luận án nằm ở khả năng nâng cao đáng kể hiệu suất và độ chính xác của các hệ thống tìm kiếm ảnh, đặc biệt trong việc thu hẹp "semantic gap", một thách thức lớn trong thị giác máy tính. Các đóng góp này không chỉ mang lại lợi ích học thuật thông qua việc mở rộng lý thuyết cấu trúc dữ liệu không gian và biểu diễn tri thức, mà còn có tiềm năng ứng dụng thực tiễn rộng rãi trong các lĩnh vực như y tế, thương mại điện tử, an ninh và quản lý dữ liệu đa phương tiện.

Literature Review và Positioning

Luận án thực hiện một tổng hợp sâu rộng về các luồng nghiên cứu chính liên quan đến tìm kiếm ảnh, đặc biệt là CBIR và SBIR.

Synthesis của major streams với TÊN TÁC GIẢ và NĂM cụ thể:

  1. Tìm kiếm ảnh theo nội dung (CBIR) và cấu trúc R-Tree: Các nghiên cứu ban đầu của Guttman (1984) [18] đã đặt nền móng cho cấu trúc R-Tree. Sau đó, nhiều biến thể đã được phát triển: R*-Tree [72], SS-Tree [74], SR-Tree [75]. Các công trình ứng dụng bao gồm:

    • Haldurai và cộng sự (2015) đề xuất hệ thống CBIR sử dụng R-Tree kết hợp đặc trưng màu và kết cấu [23].
    • Abd Aziz và cộng sự đã giảm chiều véc-tơ đặc trưng bằng S-Map và tìm kiếm dựa trên R-Tree [20].
    • Vanitha và cộng sự (2017) đề xuất SR-Tree cho CBIR, sử dụng đặc trưng màu sắc và không gian [25].
    • Shama và cộng sự (2015) và Alfarrarjeh và cộng sự (2020) đã ứng dụng R*-Tree cho tìm kiếm ảnh thực vật và ảnh đường phố [22, 24].
    • Các phương pháp trích xuất đặc trưng truyền thống và học sâu cũng được khảo sát, như Ahmed và cộng sự (2019) sử dụng đặc trưng màu và hình dạng [21], hoặc Kumar và cộng sự (2020) sử dụng CNN [27].

  2. Tìm kiếm ảnh theo ngữ nghĩa (SBIR) và Đồ thị tri thức/ngữ cảnh:

    • Khái niệm Đồ thị tri thức (KG) được Google đề xuất năm 2012 và sau đó được áp dụng rộng rãi [76].
    • Đồ thị ngữ cảnh (Scene Graph) được Justin Johnson và cộng sự (2015) giới thiệu, sử dụng CRF (Conditional Random Field) để suy luận về các trường hợp đồ thị ngữ cảnh [28].
    • Các công trình khác của Wang và cộng sự sử dụng VSG và TSG [29], hoặc Chen và cộng sự áp dụng GCN (Graph Convolutional Network) để tìm kiếm dựa trên độ tương tự đồ thị ngữ cảnh [30].
    • Zhu và cộng sự đề xuất khung tìm kiếm ngữ cảnh dựa trên biểu diễn nhị phân và đồ thị ngữ nghĩa [31].
    • Chen và cộng sự mô tả kiến trúc tìm kiếm ngữ nghĩa dựa trên tình huống trực quan của hình ảnh [32].
    • Li và cộng sự (2019) giới thiệu mạng mối quan hệ tập trung (ARN) để tạo đồ thị ngữ cảnh [33].

Contradictions/debates với ít nhất 2 opposing views:

  1. Hiệu suất và chi phí của các biến thể R-Tree:
    • Một mặt, các biến thể như R*-Tree, SS-Tree, SR-Tree được phát triển để nâng cao hiệu suất tìm kiếm và xử lý dữ liệu đa chiều [22, 23, 25]. Ví dụ, R*-Tree tối ưu hóa heuristic vùng không gian để giải quyết chồng lấp [72].
    • Mặt khác, luận án chỉ ra rằng các cấu trúc này vẫn còn hạn chế: R-Tree dẫn đến việc xét nhiều đường dẫn từ gốc đến lá và suy giảm hiệu suất do chồng lấp [19, trang 20]. R*-Tree có chi phí tạo cây tăng do thuật toán chèn lại phần tử khi gặp nút tràn [22, trang 3]. SR-Tree phức tạp và tốn kém chi phí tính toán khi cập nhật cả hình cầu và hình chữ nhật, đồng thời tốn chi phí lưu trữ lớn, ảnh hưởng đến hiệu suất tìm kiếm [25, trang 3, 22].
  2. Phương pháp trích xuất đặc trưng ảnh (truyền thống vs. học sâu):
    • Các kỹ thuật học sâu (Deep Learning) như CNN đã mang lại "hiệu suất tìm kiếm vượt trội" [27].
    • Tuy nhiên, các phương pháp trích xuất đặc trưng truyền thống vẫn được sử dụng rộng rãi vì "hiệu quả tính toán" nhanh hơn, "số lượng dữ liệu có giới hạn" không đủ cho học sâu, và "thực tiễn ứng dụng" dễ hiểu, dễ áp dụng [trang 13]. Thêm vào đó, chúng có thể "kết hợp với các mô hình học sâu để tăng cường hiệu suất" [trang 13].

Positioning trong literature với specific gap identified:

Luận án định vị mình ở giao điểm của hai luồng nghiên cứu chính: tối ưu hóa cấu trúc dữ liệu đa chiều cho CBIR và biểu diễn tri thức cho SBIR. Luận án thẳng thắn chỉ ra rằng "các công trình này [sử dụng đồ thị ngữ cảnh] chưa kết hợp giữa tìm kiếm ảnh dựa trên nội dung và tìm kiếm ảnh dựa trên ngữ nghĩa. Mặt khác, các công trình chưa thực hiện tìm kiếm dựa trên ngôn ngữ truy vấn để tìm kiếm ảnh trên đồ thị tri thức" (trang 9). Điều này tạo ra một khoảng trống quan trọng trong việc xây dựng một hệ thống tìm kiếm ảnh toàn diện, có khả năng xử lý cả đặc trưng thị giác cấp thấp và ngữ nghĩa cấp cao một cách hiệu quả.

How this advances field với concrete contributions:

Nghiên cứu này thúc đẩy lĩnh vực tìm kiếm ảnh bằng cách:

  1. Cung cấp RS-Tree: Một cấu trúc dữ liệu mới, cải tiến từ R-Tree, sử dụng MBS để "nâng cao độ chính xác của việc tìm kiếm ảnh bằng cách kết hợp tìm kiếm láng giềng và vùng không gian gần nhất" (trang 33). Điều này giải quyết các vấn đề về chi phí tính toán và chồng lấp không gian của các biến thể R-Tree trước đó.
  2. Tích hợp đa phương thức: Là một trong những nghiên cứu đầu tiên đề xuất mô hình tích hợp một cách có hệ thống giữa CBIR (dựa trên RS-Tree) và SBIR (dựa trên Đồ thị Tri thức và truy vấn SPARQL), trực tiếp giải quyết "semantic gap".
  3. Khung Đồ thị Tri thức toàn diện: Xây dựng quy trình tạo đồ thị tri thức từ dữ liệu ảnh đa đối tượng (Visual Genome), cung cấp một giải pháp mạnh mẽ cho biểu diễn ngữ nghĩa hình ảnh.

So sánh với ÍT NHẤT 2 international studies:

  1. So sánh với công trình của Vanitha và cộng sự (2017) về SR-Tree [25]: Luận án chỉ ra rằng SR-Tree cần "cập nhật cả hình cầu và hình chữ nhật có giới hạn. Do đó, việc tạo và cập nhật tương đối phức tạp và tốn kém" và "tốn chi phí lưu trữ lớn" [trang 3, 22]. Ngược lại, RS-Tree của luận án chỉ sử dụng khối cầu MBS, giảm chi phí tính toán khi không gian giãn nở và khi cập nhật, đồng thời tối ưu hóa không gian lưu trữ do chỉ phụ thuộc vào tâm và bán kính.
  2. So sánh với công trình của Justin Johnson và cộng sự (2015) về Đồ thị Ngữ cảnh [28]: Công trình của Johnson tập trung vào việc sử dụng đồ thị ngữ cảnh để tìm kiếm ngữ nghĩa, nhưng chưa tích hợp chặt chẽ với tìm kiếm dựa trên nội dung cấp thấp. Luận án này mở rộng bằng cách không chỉ xây dựng đồ thị ngữ cảnh thành đồ thị tri thức đầy đủ hơn mà còn kết hợp nó với cấu trúc RS-Tree cho CBIR, tạo ra một mô hình lai hiệu quả hơn, cho phép "tìm kiếm dựa trên ngôn ngữ truy vấn để tìm kiếm ảnh trên đồ thị tri thức" (trang 9).

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án này đóng góp đáng kể vào các lý thuyết hiện có về cấu trúc dữ liệu không gian và biểu diễn tri thức trong lĩnh vực thị giác máy tính.

  • Extend/challenge WHICH specific theories (name theorists):

    • Mở rộng lý thuyết R-Tree của Guttman (1984) [18] và SS-Tree của White và Jain [74]: Bằng cách đề xuất RS-Tree, luận án mở rộng cách tiếp cận phân cụm dữ liệu đa chiều từ việc sử dụng Hình chữ nhật bao đóng tối thiểu (MBR) hoặc kết hợp MBR và MBS (như SR-Tree của Vanitha và cộng sự [25]) sang việc chỉ sử dụng Khối cầu bao đóng tối thiểu (MBS) một cách độc quyền. Điều này thách thức quan điểm về sự cần thiết của MBR trong các nút cây R-Tree để đạt hiệu suất cao, đặc biệt khi "việc xác định một hình cầu chỉ phụ thuộc vào tâm và bán kính trong khi hình chữ nhật phụ thuộc vào trọng tâm, đường biên trên, đường biên dưới" (trang 34). Cải tiến này giảm độ phức tạp tính toán trong việc cập nhật và giãn nở không gian, đồng thời cho phép phân hoạch dữ liệu hiệu quả hơn.
    • Mở rộng lý thuyết Biểu diễn Tri thức (Knowledge Representation) và Đồ thị Ngữ cảnh (Scene Graph) của Justin Johnson (2015) [28]: Luận án phát triển khái niệm đồ thị ngữ cảnh thành một Đồ thị Tri thức (Knowledge Graph) hoàn chỉnh hơn, được xây dựng từ tập dữ liệu Visual Genome. Nó tích hợp sâu hơn các đối tượng, thuộc tính và mối quan hệ ngữ nghĩa, cho phép truy vấn ngữ nghĩa phức tạp thông qua SPARQL. Điều này mở rộng khả năng của việc mô tả ngữ nghĩa hình ảnh từ việc chỉ nhận diện các đối tượng và mối quan hệ cơ bản sang việc tạo ra một mạng lưới tri thức có cấu trúc, có thể suy luận.

  • Conceptual framework với components và relationships: Khung khái niệm của luận án xoay quanh ba thành phần chính:

    1. Trích xuất đặc trưng và lưu trữ nội dung: Sử dụng các đặc trưng cấp thấp (màu sắc, kết cấu, hình dạng, vị trí, không gian) của hình ảnh để tạo ra các véc-tơ đặc trưng đa chiều. Các véc-tơ này được lưu trữ trong cấu trúc RS-Tree cải tiến, có khả năng phân cụm dữ liệu tương tự hiệu quả.
    2. Biểu diễn tri thức ngữ nghĩa: Sử dụng công nghệ Đồ thị Tri thức (KG) để biểu diễn các thực thể (đối tượng trong ảnh), thuộc tính của chúng và mối quan hệ ngữ nghĩa giữa các thực thể. Quy trình này bao gồm nhận dạng đối tượng (Faster-RCNN), xây dựng đồ thị ngữ cảnh, và sau đó chuyển đổi thành đồ thị tri thức sử dụng OWL/RDF.
    3. Mô hình tìm kiếm ảnh tích hợp: Kết hợp hai thành phần trên. RS-Tree hỗ trợ tìm kiếm ảnh tương tự theo nội dung, trả về một tập ảnh ban đầu. Đồ thị Tri thức sau đó được sử dụng để lọc và tinh chỉnh kết quả dựa trên truy vấn ngữ nghĩa cấp cao (ví dụ, qua SPARQL).

  • Theoretical model với propositions/hypotheses numbered: Mô hình lý thuyết đề xuất có thể được hình dung qua các mệnh đề và giả thuyết sau:

    • Proposition 1: Việc tối ưu hóa cấu trúc dữ liệu không gian bằng Khối cầu bao đóng tối thiểu (MBS) sẽ cải thiện hiệu quả của việc phân cụm và tìm kiếm dữ liệu đa chiều.
      • Hypothesis 1.1: Cấu trúc RS-Tree, với MBS, sẽ có chi phí tính toán cập nhật thấp hơn và khả năng phân vùng tốt hơn so với các cấu trúc dựa trên MBR (R-Tree, R*-Tree).
    • Proposition 2: Tích hợp đồ thị láng giềng và một cơ chế tách nút thông minh vào RS-Tree sẽ nâng cao độ chính xác của tìm kiếm ảnh theo nội dung.
      • Hypothesis 2.1: Cấu trúc NBGraphRST và thuật toán tách nút dựa trên độ lệch sai biệt sẽ cải thiện độ chính xác (Precision) và độ phủ (Recall) so với RS-Tree cơ bản.
    • Proposition 3: Việc xây dựng một Đồ thị Tri thức có cấu trúc từ hình ảnh có thể thu hẹp "semantic gap" trong tìm kiếm ảnh.
      • Hypothesis 3.1: Đồ thị Tri thức được xây dựng từ Visual Genome, với khả năng truy vấn SPARQL, sẽ cho phép tìm kiếm ảnh dựa trên ngữ nghĩa cấp cao với độ chính xác cao.
    • Proposition 4: Mô hình tìm kiếm ảnh kết hợp nội dung và ngữ nghĩa sẽ đạt hiệu suất vượt trội so với các mô hình chỉ dựa trên một trong hai.
      • Hypothesis 4.1: Mô hình SBIR_GraphRSTKG (kết hợp RS-Tree và Đồ thị Tri thức) sẽ có độ chính xác (MAP) và hiệu suất tổng thể (F-measure) cao hơn so với CBIR-RST (chỉ RS-Tree) và các phương pháp chỉ dựa trên đồ thị ngữ cảnh.

  • Paradigm shift với EVIDENCE từ findings: Luận án không đề xuất một sự thay đổi hoàn toàn về mô hình (paradigm shift) mà là một sự tiến hóa và hội tụ các mô hình hiện có. Nó chuyển từ một phương pháp luận "độc lập" (hoặc CBIR, hoặc SBIR) sang một phương pháp luận "tích hợp" và "phụ thuộc lẫn nhau". Bằng chứng từ mô hình đề xuất (Hình 1.9, trang 27) cho thấy sự phụ thuộc lẫn nhau giữa pha tìm kiếm nội dung trên RS-Tree và pha tìm kiếm ngữ nghĩa trên Đồ thị Tri thức, với các kết quả từ pha nội dung được tinh chỉnh bởi pha ngữ nghĩa. Điều này thể hiện một bước chuyển từ việc coi CBIR và SBIR là các bài toán riêng biệt sang việc coi chúng là các thành phần bổ trợ trong một hệ thống tìm kiếm ảnh toàn diện hơn.

Khung phân tích độc đáo

Khung phân tích của luận án là độc đáo bởi sự tích hợp sâu sắc và có hệ thống của nhiều lý thuyết và công nghệ khác nhau để giải quyết bài toán phức tạp của tìm kiếm ảnh.

  • Integration của theories (name 3+ specific theories): Khung phân tích tích hợp:

    1. Lý thuyết cấu trúc dữ liệu không gian (R-Tree, SS-Tree): Cung cấp nền tảng cho việc lưu trữ và phân cụm véc-tơ đặc trưng đa chiều của hình ảnh. RS-Tree là sự cải tiến trực tiếp từ các lý thuyết này.
    2. Lý thuyết Biểu diễn Tri thức (Knowledge Representation) và Web Ngữ nghĩa (RDF, OWL): Cung cấp các công cụ và ngôn ngữ để mô tả các thực thể, thuộc tính và mối quan hệ ngữ nghĩa từ dữ liệu hình ảnh, tạo ra Đồ thị Tri thức có khả năng suy luận.
    3. Lý thuyết Thị giác Máy tính và Học sâu (Object Detection - Faster-RCNN, Feature Extraction): Cung cấp các phương pháp để trích xuất đặc trưng cấp thấp từ hình ảnh và nhận dạng đối tượng, là đầu vào cho việc xây dựng cả RS-Tree và Đồ thị Tri thức.
    4. Lý thuyết Đồ thị Ngữ cảnh (Scene Graph): Cung cấp cấu trúc trung gian để chuyển đổi thông tin trực quan thành biểu diễn ngữ nghĩa.

  • Novel analytical approach với justification: Phương pháp phân tích độc đáo nằm ở việc đề xuất "Mô hình tìm kiếm ảnh kết hợp RS-Tree và đồ thị tri thức" (Hình 1.9, trang 27). Thay vì chỉ sử dụng đồ thị tri thức để tìm kiếm ngữ nghĩa thuần túy, luận án đề xuất một quy trình hai pha:

    1. Pha 1: Tìm kiếm theo nội dung trên RS-Tree (CBIR-RST): Thực hiện tìm kiếm ban đầu dựa trên các đặc trưng cấp thấp, tận dụng hiệu quả của RS-Tree trong việc phân cụm và truy vấn không gian. "Mô hình tìm kiếm ảnh theo nội dung dựa trên cấu trúc RS-Tree" (Hình 1.8, trang 26).
    2. Pha 2: Tinh chỉnh kết quả bằng Đồ thị Tri thức (SBIR_GraphRSTKG): Từ tập ảnh kết quả của Pha 1, trích xuất đồ thị ngữ cảnh và thực hiện tìm kiếm dựa trên Đồ thị Tri thức sử dụng truy vấn SPARQL. Điều này cho phép lọc và xếp hạng lại các kết quả dựa trên ngữ nghĩa cấp cao và các mối quan hệ phức tạp, "nâng cao độ chính xác tìm kiếm ảnh" (trang 27). Sự kết hợp này được biện minh bởi nhu cầu giải quyết "semantic gap" và cung cấp một hệ thống tìm kiếm toàn diện hơn, vừa nhanh chóng ở cấp độ đặc trưng, vừa chính xác ở cấp độ ngữ nghĩa.

  • Conceptual contributions với definitions:

    • RS-Tree (Region Sphere Tree): Một cấu trúc cây phân cụm dữ liệu đa chiều cải tiến từ R-Tree, trong đó mỗi nút được biểu diễn bằng Khối cầu bao đóng tối thiểu (MBS) thay vì MBR. RS-Tree là "cây đa nhánh cân bằng, mỗi nút trên cây được phân cụm dựa vào độ đo tương tự theo phương pháp phân hoạch và phân cấp" (trang 33-34).
    • NBGraphRST (Neighbor Graph on RS-Tree): Một cấu trúc đồ thị cụm láng giềng được tích hợp vào RS-Tree để nâng cao độ chính xác tìm kiếm ảnh theo nội dung, sử dụng ngưỡng 𝜃 để phân cụm dữ liệu tương tự.
    • Đồ thị Tri thức cho dữ liệu hình ảnh (Image Knowledge Graph): Một biểu diễn tri thức có cấu trúc của hình ảnh, trong đó các đối tượng, thuộc tính và mối quan hệ giữa chúng được mã hóa dưới dạng đồ thị, cho phép truy vấn ngữ nghĩa phức tạp.

  • Boundary conditions explicitly stated:

    • Tính chất của dữ liệu ảnh: Các phương pháp được thiết kế và thực nghiệm chủ yếu trên các tập dữ liệu ảnh thông dụng (COREL, OF17, OF102, CUB-2011-200, Visual Genome, MS-COCO). Hiệu quả có thể thay đổi với các loại ảnh rất đặc biệt hoặc có độ phức tạp ngữ nghĩa cực đoan.
    • Đặc trưng cấp thấp: Hiệu suất của pha CBIR phụ thuộc vào chất lượng của các véc-tơ đặc trưng cấp thấp được trích xuất (màu sắc, kết cấu, hình dạng, vị trí). Các đặc trưng này có "số đặc trưng của hình ảnh được trích xuất là 242 chiều" (Bảng 1, trang 15).
    • Chất lượng Đồ thị Tri thức: Độ chính xác của pha SBIR phụ thuộc vào chất lượng của Đồ thị Tri thức được xây dựng, bao gồm độ chính xác của nhận dạng đối tượng (Faster-RCNN) và mối quan hệ ngữ nghĩa được khai thác.
    • Ngôn ngữ truy vấn: Khả năng truy vấn ngữ nghĩa phụ thuộc vào sự phức tạp và rõ ràng của các truy vấn SPARQL.

Phương pháp nghiên cứu tiên tiến

Phương pháp nghiên cứu trong luận án này thể hiện sự kết hợp chặt chẽ giữa phát triển lý thuyết và thực nghiệm nghiêm ngặt, với việc sử dụng các kỹ thuật tiên tiến trong khoa học máy tính.

Thiết kế nghiên cứu

  • Research philosophy (positivism/interpretivism/critical realism): Luận án tuân theo triết lý nghiên cứu Thực chứng (Positivism). Điều này được thể hiện rõ qua việc "thiết kế các thuật toán bằng ngôn ngữ lập trình cấp cao (C#) và sử dụng các bộ ảnh đã lựa chọn làm đầu vào cho thuật toán" (trang 7). Mục tiêu là định lượng hiệu suất của các mô hình và thuật toán đề xuất thông qua "các giá trị về độ chính xác, độ phủ, thời gian tìm kiếm trung bình" (trang 28) và so sánh khách quan với các công trình đã có trên cùng bộ dữ liệu. Kết quả được trình bày qua các đồ thị và bảng biểu, tập trung vào các số liệu có thể đo lường và kiểm chứng.

  • Mixed methods với SPECIFIC combination rationale: Mặc dù không được định nghĩa rõ ràng là "mixed methods" theo nghĩa xã hội học, luận án thực chất kết hợp phương pháp lý thuyết (theoretical development) và thực nghiệm (empirical evaluation).

    • Rationale: Phương pháp lý thuyết nhằm "tổng hợp các công trình nghiên cứu mới liên quan đến nội dung nghiên cứu và phân tích các ưu và nhược điểm của từng công trình. Từ đó, đề xuất phát triển: cải tiến cấu trúc dữ liệu đa chiều R-Tree và các biến thể của nó; đề xuất các cải tiến trên cơ sở xây dựng các luận cứ chắc chắn, phù hợp cho bài toán tìm kiếm ảnh tương tự; nghiên cứu phương pháp xây dựng đồ thị tri thức để mô tả ngữ nghĩa cho hình ảnh; đề xuất các giải pháp mới cho bài toán tìm kiếm ảnh làm căn cứ cho việc so sánh và đánh giá về độ chính xác với các công trình đã có" (trang 7).
    • Phương pháp thực nghiệm được sử dụng để "kiểm chứng tính đúng đắn của mô hình và thuật toán đề xuất" (Chương 2, trang 8; Chương 3, trang 9), cung cấp bằng chứng định lượng cho các cải tiến lý thuyết.

  • Multi-level design với levels clearly defined: Thiết kế nghiên cứu có thể được xem là đa cấp độ theo nghĩa xử lý dữ liệu và biểu diễn tri thức:

    • Cấp độ 1: Dữ liệu hình ảnh thô: Các tập dữ liệu ảnh nguyên bản (COREL, Visual Genome, MS-COCO).
    • Cấp độ 2: Đặc trưng cấp thấp: Trích xuất "các đặc trưng cấp thấp (low-level features) của các hình ảnh như màu sắc, kết cấu, hình dạng, vị trí" (trang 1). Các đặc trưng này được gom thành "véc-tơ đặc trưng đa chiều" (Bảng 1, trang 15) với tổng cộng 242 chiều (25 chiều màu sắc MPEG7, 25 chiều vị trí Shi-tomasi MPEG7, 48 chiều vị trí và kết cấu MaxPooling Sobel, 144 chiều hình dạng và kết cấu Sobel HOG).
    • Cấp độ 3: Cấu trúc dữ liệu không gian: Tổ chức các véc-tơ đặc trưng thành cấu trúc RS-Tree và NBGraphRST, "lưu trữ và phân cụm dữ liệu áp dụng cho bài toán tìm kiếm ảnh" (trang 32). Các nút được biểu diễn bằng khối cầu MBS, với tâm và bán kính được định nghĩa cụ thể (Công thức 2.1-2.4, trang 37-38).
    • Cấp độ 4: Biểu diễn ngữ nghĩa cấp cao: Nhận dạng đối tượng bằng Faster-RCNN, xây dựng Đồ thị Ngữ cảnh, và sau đó chuyển đổi thành Đồ thị Tri thức bằng các ngôn ngữ OWL/RDF để mô tả ngữ nghĩa và mối quan hệ giữa các đối tượng trong ảnh.

  • Sample size và selection criteria EXACT:

    • COREL: 1.000 ảnh, 10 lớp ảnh. "Mỗi chủ đề của tập ảnh COREL có 100 ảnh tương tự nhau để làm cơ sở cho việc đánh giá hiệu suất tìm kiếm ảnh tương tự" (trang 29). Kích thước 30,3 MB.
    • Oxford Flowers 17 (OF17): 1.360 ảnh, 17 lớp ảnh. "Mỗi chủ đề chứa khoảng 60 hình ảnh về một loài hoa" (trang 29). Kích thước 60,5 MB.
    • Oxford Flowers 102 (OF102): 8.788 ảnh, 102 lớp ảnh (trang 29). Kích thước 1,09 GB.
    • CUB-2011-200 (CUB): 11.778 ảnh, 200 lớp ảnh về các loại chim (trang 29).
    • Visual Genome (VG): 108.077 hình ảnh. "Trung bình 35 đối tượng, 50 vùng, 26 thuộc tính và 21 mối quan hệ giữa các cặp đối tượng trên mỗi hình ảnh" (trang 29). Kích thước 14,47 GB.
    • MS-COCO: 118.287 hình ảnh, 80 đối tượng (trang 29). Kích thước 17,9 GB.
    • Selection criteria: "Các bộ ảnh thực nghiệm là các bộ ảnh đã được sử dụng trong các công trình nghiên cứu liên quan mới nhất, phù hợp với yêu cầu đầu vào của các mô hình và để đối sánh độ chính xác trong tìm kiếm ảnh" (trang 7).

Quy trình nghiên cứu rigorous

  • Sampling strategy với inclusion/exclusion criteria: Chiến lược lấy mẫu được sử dụng là chọn mẫu mục đích (purposive sampling), dựa trên tính phù hợp của bộ dữ liệu cho các nhiệm vụ cụ thể:

    • Inclusion: Các bộ dữ liệu được chọn phải là "các bộ ảnh đã được sử dụng trong các công trình nghiên cứu liên quan mới nhất" để cho phép so sánh hiệu suất trực tiếp. Các bộ ảnh đơn đối tượng (COREL, OF17, OF102, CUB) được chọn để kiểm chứng hiệu quả của RS-Tree trong tìm kiếm ảnh theo nội dung. Các bộ ảnh đa đối tượng giàu ngữ nghĩa (Visual Genome, MS-COCO) được chọn để xây dựng và đánh giá Đồ thị Tri thức và mô hình tìm kiếm ngữ nghĩa.
    • Exclusion: Không có tiêu chí loại trừ rõ ràng, nhưng ngụ ý là các bộ dữ liệu không đáp ứng các yêu cầu về cấu trúc, nội dung hoặc không được sử dụng rộng rãi trong các nghiên cứu liên quan sẽ không được xem xét.

  • Data collection protocols với instruments described:

    1. Trích xuất đặc trưng cấp thấp: Các công cụ và kỹ thuật bao gồm:
      • Đặc trưng màu sắc: MPEG7 (25 chiều).
      • Đặc trưng vị trí: Shi-tomasi MPEG7 (25 chiều).
      • Đặc trưng vị trí và kết cấu: MaxPooling Sobel (48 chiều).
      • Đặc trưng hình dạng và kết cấu: Sobel HOG (144 chiều). Tổng cộng 242 chiều véc-tơ đặc trưng cho mỗi hình ảnh (Bảng 1, trang 15).
    2. Nhận dạng đối tượng: Mạng Faster-RCNN được sử dụng để "nhận dạng đối tượng" trong hình ảnh, cung cấp các thông tin cần thiết để xây dựng Đồ thị Ngữ cảnh (trang 9, Hình 3.12).
    3. Xây dựng Đồ thị Tri thức: Quy trình "xây dựng đồ thị tri thức" (trang 77) bao gồm:
      • Trích xuất đối tượng, thuộc tính, mối quan hệ từ dữ liệu Visual Genome.
      • Chuyển đổi các thông tin này thành các bộ ba (triple) chủ thể-vị ngữ-tân ngữ.
      • Sử dụng OWL (Web Ontology Language) để định nghĩa các lớp (class) và cá thể (individual), và RDF (Resource Description Framework) để biểu diễn tri thức dưới dạng đồ thị (trang 23).
      • Các truy vấn SPARQL được sử dụng để tương tác và tìm kiếm trên Đồ thị Tri thức.

  • Triangulation (data/method/investigator/theory):

    • Data Triangulation: Nghiên cứu sử dụng nhiều tập dữ liệu ảnh khác nhau (COREL, OF17, OF102, CUB, VG, MS-COCO) với các đặc điểm đa dạng (đơn đối tượng, đa đối tượng, các loại chủ đề khác nhau) để kiểm tra tính tổng quát và robust của phương pháp.
    • Method Triangulation: Kết hợp phương pháp CBIR (dựa trên RS-Tree) và SBIR (dựa trên Đồ thị Tri thức) để khắc phục hạn chế của từng phương pháp riêng lẻ, mang lại kết quả tìm kiếm toàn diện và chính xác hơn.
    • Theory Triangulation: Tích hợp các lý thuyết về cấu trúc dữ liệu không gian, biểu diễn tri thức và thị giác máy tính để xây dựng một khung phân tích đa chiều.

  • Validity (construct/internal/external) và reliability (α values):

    • Construct Validity: Các độ đo hiệu suất (Precision, Recall, F-measure, MAP, ROC, AUC, PR curve) được sử dụng là các độ đo tiêu chuẩn và được chấp nhận rộng rãi trong lĩnh vực tìm kiếm thông tin và thị giác máy tính, đảm bảo rằng nghiên cứu đang đo lường những gì nó tuyên bố sẽ đo lường.
    • Internal Validity: Quy trình thực nghiệm được mô tả chi tiết, bao gồm môi trường thực nghiệm (dotNET Framework 4.8, C#, Matlab 2015b), cấu hình phần cứng ("PC CPU 2.3GHz 8-core 9th-generation Intel Core i9, 16GB 2666MHz memory, 1TB flash storage" cho tiền xử lý; "PC CPU Intel Core i7-6500U CPU @ 2.0GB RAM, hệ điều hành Windows 10 Pro 64 bit" cho tìm kiếm), và các tham số thực nghiệm (Bảng 3.3). Việc so sánh "các kết quả thực nghiệm được so sánh, đối chiếu với các kết quả của các công trình nghiên cứu mới trên cùng bộ ảnh" (trang 7) giúp kiểm soát các yếu tố gây nhiễu, tăng tính hợp lệ nội bộ.
    • External Validity: Việc sử dụng các bộ dữ liệu ảnh phổ biến và đa dạng, cùng với so sánh với các nghiên cứu quốc tế, cho phép suy rộng kết quả đến các ngữ cảnh và tập dữ liệu tương tự. Điều kiện tổng quát hóa được quy định bởi tính chất của các tập dữ liệu thực nghiệm (ví dụ: ảnh đơn đối tượng vs. đa đối tượng).
    • Reliability: Mặc dù không có giá trị alpha cụ thể được báo cáo (thường thấy trong các nghiên cứu định tính hoặc tâm lý học), tính lặp lại của nghiên cứu được đảm bảo bằng việc cung cấp chi tiết về thuật toán, mô hình và môi trường thực nghiệm. Bất kỳ nhà nghiên cứu nào khác có thể tái tạo các thực nghiệm này và thu được các kết quả tương tự.

Data và phân tích

  • Sample characteristics với demographics/statistics: Các tập dữ liệu được sử dụng có đặc điểm rất rõ ràng:

    • COREL: 1.000 ảnh, 10 chủ đề, mỗi chủ đề 100 ảnh tương tự.
    • OF17: 1.360 ảnh, 17 chủ đề (loài hoa), mỗi chủ đề khoảng 60 ảnh.
    • OF102: 8.788 ảnh, 102 chủ đề (loài hoa).
    • CUB-2011-200: 11.778 ảnh, 200 chủ đề (loài chim).
    • Visual Genome: 108.077 ảnh, trung bình "35 đối tượng, 50 vùng, 26 thuộc tính và 21 mối quan hệ giữa các cặp đối tượng trên mỗi hình ảnh" (trang 29). Đây là tập dữ liệu rất giàu ngữ nghĩa.
    • MS-COCO: 118.287 ảnh, 80 đối tượng. Tất cả các tập dữ liệu đều được sử dụng rộng rãi trong cộng đồng nghiên cứu thị giác máy tính, đảm bảo tính chuẩn hóa và khả năng so sánh.

  • Advanced techniques (SEM/multilevel/QCA etc.) với software:

    • Cấu trúc dữ liệu và thuật toán tùy chỉnh: Phát triển cấu trúc RS-Tree và NBGraphRST với các thuật toán thêm phần tử, cập nhật tâm và bán kính khối cầu, tách nút dựa vào độ lệch sai biệt (Công thức 2.1-2.4, trang 37-38).
    • Nhận dạng đối tượng: Sử dụng Faster-RCNN, một kiến trúc học sâu tiên tiến cho phát hiện đối tượng.
    • Biểu diễn tri thức: Sử dụng các tiêu chuẩn RDF và OWL để xây dựng Đồ thị Tri thức, và ngôn ngữ SPARQL để truy vấn ngữ nghĩa.
    • Phân tích hiệu suất: Các độ đo Precision, Recall, F-measure, MAP (Mean Average Precision), ROC (Receiver Operating Characteristic) curve, AUC (Area Under the Curve), PR (Precision-Recall) curve được tính toán để đánh giá hiệu suất.
    • Software: Quá trình xây dựng thực nghiệm được tiến hành trên nền tảng dotNET Framework 4.8, ngôn ngữ lập trình C#. Các đồ thị đánh giá được xây dựng trên Matlab 2015b (trang 28).

  • Robustness checks với alternative specifications: Luận án ngụ ý các kiểm tra độ mạnh mẽ thông qua việc thực nghiệm trên nhiều tập dữ liệu khác nhau (đơn đối tượng, đa đối tượng) và so sánh với nhiều phương pháp khác nhau (CBIR-RST so với các phương pháp dựa trên R-Tree khác; SBIR_GraphRSTKG so với CBIR-NBGraphRST và các phương pháp chỉ dựa trên Knowledge Graph). Mặc dù không có "alternative specifications" được định nghĩa rõ ràng về cấu hình tham số, việc sử dụng các "tham số thực nghiệm xây dựng cấu trúc RS-Tree" (Bảng 2.3) và "tham số thực nghiệm tạo cấu trúc NBGraphRST" (Bảng 3.3) ngụ ý rằng các lựa chọn tham số đã được cân nhắc để tối ưu hiệu suất.

  • Effect sizes và confidence intervals reported: Luận án báo cáo các giá trị định lượng như "thời gian tìm kiếm trung bình" (Hình 2.16-2.19) và "hiệu suất tìm kiếm" (Bảng 2.5-2.8) cùng với các đường cong Precision-Recall và ROC (Hình 2.20-2.25) để minh họa hiệu quả. Các chỉ số như "độ chính xác trung bình MAP" (Công thức 1.9) được sử dụng. Tuy nhiên, các khoảng tin cậy (confidence intervals) không được báo cáo trực tiếp trong đoạn trích. Các giá trị p-values và effect sizes cụ thể cho từng kết quả thống kê cũng không được trình bày chi tiết trong văn bản được cung cấp, nhưng các đánh giá "tính đúng đắn" và "tính hiệu quả" được đưa ra dựa trên các giá trị Precision, Recall, và F-measure.

Phát hiện đột phá và implications

Những phát hiện then chốt

Luận án đã đạt được những phát hiện quan trọng, thúc đẩy giới hạn của tìm kiếm ảnh:

  1. Hiệu suất vượt trội của RS-Tree trong CBIR: Cấu trúc RS-Tree, được cải tiến với Khối cầu bao đóng tối thiểu (MBS), cho thấy "thời gian tìm kiếm ổn định và độ chính xác cao hơn một số công trình đã công bố trước đây" (trang 32). Các kết quả thực nghiệm trên các tập ảnh COREL, OF17, OF102, CUB-2011-200 minh chứng cho hiệu quả này. Ví dụ, trên tập ảnh COREL, hiệu suất tìm kiếm của CBIR-RST đạt mức cao (Bảng 2.5).
  2. Tác động của NBGraphRST: Việc kết hợp RS-Tree với đồ thị cụm láng giềng (NBGraphRST) "nâng cao độ chính xác tìm kiếm ảnh theo nội dung" (trang 9). Điều này cho thấy chiến lược phân cụm dựa trên ngưỡng 𝜃 và thuật toán tách nút cải tiến là hiệu quả.
  3. Khả năng biểu diễn ngữ nghĩa của Đồ thị Tri thức: Luận án đã thành công trong việc "xây dựng mô hình đồ thị tri thức từ tập dữ liệu ảnh Visual Genome để mô tả ngữ nghĩa của hình ảnh và các mối quan hệ ngữ nghĩa giữa các đối tượng trong ảnh" (trang 9), tạo ra một biểu diễn tri thức phong phú và có cấu trúc. Ví dụ về đồ thị ngữ cảnh con của ảnh 2371376 (Hình 3.7) và mô hình đồ thị tri thức (Hình 3.10) cung cấp bằng chứng cụ thể.
  4. Hiệu quả của mô hình tích hợp CBIR-SBIR: Mô hình tìm kiếm ảnh kết hợp RS-Tree và Đồ thị Tri thức (SBIR_GraphRSTKG) đạt được độ chính xác cao hơn đáng kể so với các phương pháp riêng lẻ. Điều này được chứng minh qua "kết quả tìm kiếm ảnh trên SBIR-RSTKG" (Hình 3.16) và so sánh độ chính xác trên các tập dữ liệu MS-COCO, Dataset 1-VG, Dataset 2-VG (Hình 3.20-3.22, Bảng 3.7-3.8). Phát hiện này trực tiếp giải quyết vấn đề "semantic gap".
  5. New phenomena/Counter-intuitive results: Mặc dù không có "counter-intuitive results" nổi bật được nêu rõ, nhưng việc chứng minh rằng việc chỉ sử dụng MBS trong RS-Tree có thể vượt trội hơn các cấu trúc phức tạp hơn (như SR-Tree với cả hình cầu và hình chữ nhật) là một phát hiện quan trọng về mặt tối ưu hóa cấu trúc dữ liệu. "Nếu 𝑘 > 2 thì vị trí tâm tịnh tiến theo phương của véc-tơ ⃗⃗⃗⃗⃗⃗𝑂𝐴, tức là tịnh tiến về điểm A, do đó, bán kính khối cầu giảm dẫn đến không gian của cấu trúc RS-Tree giảm. Vì vậy có thể phân hoạch được nhiều vùng dữ liệu." (trang 38). Điều này cho thấy sự đơn giản trong biểu diễn MBS có thể mang lại hiệu quả cao hơn trong một số ngữ cảnh.

Implications đa chiều

  • Theoretical advances với contribution to 2+ theories:

    • Lý thuyết R-Tree và Cấu trúc Dữ liệu Không gian: Luận án mở rộng lý thuyết R-Tree của Guttman [18] và SS-Tree của White và Jain [74] bằng cách đề xuất RS-Tree và NBGraphRST, chứng minh rằng việc sử dụng MBS thuần túy có thể cải thiện hiệu suất.
    • Lý thuyết Biểu diễn Tri thức và Web Ngữ nghĩa: Luận án đóng góp vào việc ứng dụng RDF/OWL trong việc xây dựng Đồ thị Tri thức cho dữ liệu hình ảnh, đặc biệt trong việc thu hẹp "semantic gap" và cho phép truy vấn ngữ nghĩa phức tạp.
    • Lý thuyết Thị giác Máy tính: Đóng góp vào việc phát triển các mô hình tìm kiếm ảnh tích hợp, kết hợp hiệu quả giữa các đặc trưng cấp thấp và biểu diễn ngữ nghĩa cấp cao.

  • Methodological innovations applicable to other contexts:

    • Cấu trúc RS-Tree và thuật toán tách nút: Có thể áp dụng cho các bài toán quản lý và tìm kiếm dữ liệu đa chiều khác ngoài hình ảnh, ví dụ như dữ liệu y tế, dữ liệu địa lý, hoặc dữ liệu cảm biến.
    • Quy trình xây dựng Đồ thị Tri thức từ dữ liệu đa phương tiện: Khung quy trình này có thể được chuyển giao để xây dựng KG cho các loại dữ liệu đa phương tiện khác như video, âm thanh, hoặc văn bản có liên kết trực quan.
    • Mô hình tích hợp CBIR-SBIR: Cách tiếp cận tích hợp này có thể được điều chỉnh cho các hệ thống tìm kiếm đa phương thức khác, nơi cần kết hợp thông tin cấp thấp với ngữ nghĩa cấp cao.

  • Practical applications với specific recommendations:

    • Hệ thống tìm kiếm ảnh chuyên nghiệp: Triển khai các hệ thống tìm kiếm ảnh hiệu quả hơn cho các thư viện ảnh lớn, kho dữ liệu y tế, hệ thống giám sát an ninh hoặc thương mại điện tử.
    • Công cụ chú thích ảnh tự động: Đồ thị Tri thức có thể cung cấp ngữ cảnh để hỗ trợ hoặc tự động hóa quá trình chú thích hình ảnh, giảm chi phí nhân công.
    • Hệ thống đề xuất sản phẩm: Trong thương mại điện tử, có thể tìm kiếm sản phẩm dựa trên cả đặc trưng hình ảnh (màu sắc, hình dạng) và ngữ nghĩa (ví dụ: "áo sơ mi công sở màu xanh có cổ").

  • Policy recommendations với implementation pathway:

    • Chính sách quản lý dữ liệu số: Khuyến nghị các tổ chức và chính phủ đầu tư vào các công nghệ quản lý và tìm kiếm dữ liệu đa phương tiện dựa trên Đồ thị Tri thức để tối ưu hóa việc sử dụng tài nguyên số lớn, đặc biệt là trong các lĩnh vực cần quản lý chặt chẽ như hồ sơ y tế điện tử hoặc tài liệu pháp lý có hình ảnh.
    • Tiêu chuẩn hóa biểu diễn ngữ nghĩa: Khuyến khích việc áp dụng rộng rãi các tiêu chuẩn như RDF và OWL trong các hệ thống dữ liệu hình ảnh để đảm bảo khả năng tương tác và tích hợp giữa các kho dữ liệu khác nhau.
    • Đầu tư vào AI và Thị giác máy tính: Thúc đẩy nghiên cứu và phát triển trong lĩnh vực học sâu và thị giác máy tính để cải thiện chất lượng trích xuất đặc trưng và nhận dạng đối tượng, là nền tảng cho hiệu suất của các hệ thống tìm kiếm ảnh tích hợp.

  • Generalizability conditions clearly specified: Khả năng tổng quát hóa của các phát hiện phụ thuộc vào các điều kiện sau:

    • Tính chất của đặc trưng cấp thấp: Hiệu quả cao nhất khi các đặc trưng được trích xuất (242 chiều) đủ để phân biệt hình ảnh một cách có ý nghĩa.
    • Độ phong phú của ngữ nghĩa: Mô hình SBIR hoạt động tốt nhất trên các tập dữ liệu có ngữ nghĩa phong phú và được chú thích tốt (như Visual Genome).
    • Mức độ phức tạp của mối quan hệ: Khả năng truy vấn ngữ nghĩa phụ thuộc vào độ phức tạp của Đồ thị Tri thức và các mối quan hệ được định nghĩa.
    • Ngữ cảnh ứng dụng: Mặc dù được thử nghiệm trên ảnh tự nhiên, các nguyên tắc có thể được áp dụng cho các lĩnh vực chuyên biệt (y tế, vệ tinh) nếu có đủ dữ liệu để huấn luyện và xây dựng KG chuyên ngành.

Limitations và Future Research

3-4 specific limitations acknowledged

  1. Chi phí huấn luyện Faster-RCNN: "Trong công trình này, nhóm tác giả sử dụng mô hình mạng nơ-ron tích chập để huấn luyện. Do đó, chi phí huấn luyện tương đối lớn về thời gian và không gian bộ nhớ" (trang 4) cho việc nhận dạng đối tượng, mặc dù Faster-RCNN là một phần của quy trình xây dựng Đồ thị Tri thức, chi phí này vẫn là một thách thức.
  2. Độ bao phủ của đặc trưng cấp thấp: Mặc dù sử dụng 242 chiều đặc trưng, việc trích xuất đặc trưng cấp thấp vẫn có thể không bao phủ hết tất cả các khía cạnh thị giác quan trọng, đặc biệt đối với các hình ảnh có ngữ cảnh phức tạp hoặc trừu tượng cao, ảnh hưởng đến pha CBIR.
  3. Thách thức của việc xây dựng Đồ thị Tri thức: Quá trình xây dựng Đồ thị Tri thức (đặc biệt là việc xác định các mối quan hệ ngữ nghĩa) vẫn yêu cầu sự giám sát của con người hoặc các thuật toán suy luận phức tạp, có thể gặp phải lỗi hoặc bỏ sót thông tin, ảnh hưởng đến độ chính xác của tìm kiếm ngữ nghĩa.
  4. Tính tổng quát hóa của ngưỡng 𝜃 và tham số RS-Tree: Các tham số như ngưỡng 𝜃 để phân cụm và giá trị k trong công thức xác định tâm khối cầu thực thể (Công thức 2.1, trang 37) có thể cần được điều chỉnh tối ưu cho từng bộ dữ liệu cụ thể, chưa có một phương pháp tổng quát hóa hoàn toàn cho việc lựa chọn các tham số này.

Boundary conditions về context/sample/time

  • Context: Nghiên cứu tập trung vào tìm kiếm ảnh trong các miền dữ liệu phổ biến như ảnh tự nhiên, hoa, chim, cảnh vật và đối tượng hàng ngày. Hiệu quả có thể thay đổi trong các miền chuyên biệt yêu cầu kiến thức miền sâu (ví dụ: ảnh X-quang, ảnh viễn thám).
  • Sample: Các bộ dữ liệu được sử dụng có kích thước lớn (lên đến 118.287 ảnh) nhưng vẫn là tập con của tổng số ảnh trên internet. Các phát hiện có thể không hoàn toàn áp dụng cho các tập dữ liệu khổng lồ với hàng tỷ ảnh mà không có thêm tối ưu hóa về khả năng mở rộng.
  • Time: Hiệu suất được đánh giá tại thời điểm công bố (2023), và với tốc độ phát triển nhanh chóng của AI, các phương pháp mới có thể xuất hiện, cần phải liên tục cập nhật và so sánh.

Future research agenda với 4-5 concrete directions

  1. Tối ưu hóa chi phí huấn luyện và suy luận của Học sâu: Nghiên cứu các kiến trúc mạng nơ-ron nhẹ hơn hoặc các kỹ thuật học chuyển giao (transfer learning) và học tăng cường (reinforcement learning) để giảm chi phí huấn luyện Faster-RCNN và các mô hình học sâu khác được sử dụng trong quy trình xây dựng Đồ thị Tri thức.
  2. Phát triển RS-Tree động: Cải tiến cấu trúc RS-Tree để hỗ trợ các thao tác cập nhật (thêm/xóa ảnh) động một cách hiệu quả hơn mà không cần tái cấu trúc toàn bộ cây, đồng thời duy trì hiệu suất tìm kiếm.
  3. Tự động hóa xây dựng mối quan hệ ngữ nghĩa: Nghiên cứu các thuật toán Học máy (Machine Learning) tiên tiến hơn để tự động nhận dạng và tạo ra các mối quan hệ ngữ nghĩa phức tạp giữa các đối tượng trong ảnh, giảm thiểu sự phụ thuộc vào chú thích thủ công hoặc các mô hình định sẵn.
  4. Tích hợp với ngôn ngữ tự nhiên: Mở rộng khả năng truy vấn bằng cách tích hợp xử lý ngôn ngữ tự nhiên (NLP) để người dùng có thể truy vấn ảnh bằng các câu hỏi thông thường, thay vì phải sử dụng SPARQL một cách trực tiếp và phức tạp.
  5. Ứng dụng trên các miền dữ liệu mới: Thử nghiệm và điều chỉnh mô hình RS-Tree và Đồ thị Tri thức cho các miền dữ liệu chuyên biệt như ảnh y tế, ảnh vệ tinh, hoặc video, nơi ngữ nghĩa và cấu trúc dữ liệu có thể khác biệt đáng kể.

Methodological improvements suggested

  • Tích hợp học tăng cường để tối ưu hóa tham số: Sử dụng các kỹ thuật học tăng cường để tự động tìm kiếm các giá trị tối ưu cho ngưỡng 𝜃 và các tham số khác của RS-Tree và NBGraphRST, thay vì dựa vào thử nghiệm thủ công.
  • Kiểm định A/B testing cho giao diện người dùng: Khi phát triển giao diện tìm kiếm, thực hiện A/B testing để đánh giá hiệu quả của các cách hiển thị kết quả và tương tác người dùng, đặc biệt là đối với các truy vấn ngữ nghĩa phức tạp.
  • Sử dụng các độ đo dựa trên chi phí: Bổ sung các độ đo đánh giá hiệu quả chi phí (ví dụ: chi phí lưu trữ trên mỗi truy vấn thành công, chi phí tính toán trên mỗi độ chính xác tăng thêm) để cung cấp cái nhìn toàn diện hơn về hiệu suất của hệ thống.

Theoretical extensions proposed

  • Khái niệm về "Đồ thị Tri thức Không gian-Ngữ nghĩa": Phát triển một khung lý thuyết mới để tích hợp chặt chẽ hơn thông tin không gian (từ RS-Tree) và thông tin ngữ nghĩa (từ Đồ thị Tri thức) thành một cấu trúc thống nhất, cho phép suy luận phức tạp hơn về vị trí tương đối và mối quan hệ không gian của các đối tượng ngữ nghĩa.
  • Lý thuyết về Suy luận Ngữ nghĩa Động: Xây dựng lý thuyết về cách Đồ thị Tri thức có thể được cập nhật và suy luận động khi có dữ liệu ảnh mới hoặc khi các mối quan hệ ngữ nghĩa thay đổi, mở rộng khỏi mô hình tĩnh hiện tại.

Tác động và ảnh hưởng

Luận án này mang lại tác động và ảnh hưởng đáng kể trên nhiều khía cạnh, từ học thuật đến thực tiễn.

  • Academic impact với potential citations estimate: Các đóng góp về cấu trúc RS-Tree cải tiến, thuật toán tách nút mới, quy trình xây dựng Đồ thị Tri thức cho hình ảnh và mô hình tìm kiếm tích hợp CBIR-SBIR có tiềm năng trở thành tài liệu tham khảo quan trọng trong các lĩnh vực Khoa học Máy tính, Thị giác Máy tính và Biểu diễn Tri thức. Ước tính, luận án có thể nhận được hàng trăm trích dẫn trong 5-10 năm tới, đặc biệt từ các nhà nghiên cứu làm việc về tìm kiếm ảnh, quản lý dữ liệu đa chiều, và Đồ thị Tri thức. Các bài báo khoa học liên quan của tác giả đã được công bố (trang 118) sẽ là nguồn trích dẫn ban đầu.

  • Industry transformation với specific sectors:

    • Thương mại điện tử: Chuyển đổi cách thức khách hàng tìm kiếm sản phẩm. Thay vì chỉ tìm kiếm bằng từ khóa hoặc hình ảnh đơn giản, người dùng có thể tìm kiếm "áo khoác da màu đen có khóa kéo và cổ lông" hoặc "bàn làm việc gỗ sồi có đèn đọc sách" với độ chính xác cao hơn, dẫn đến trải nghiệm mua sắm cá nhân hóa và hiệu quả hơn.
    • Quản lý dữ liệu lớn và lưu trữ đám mây: Cung cấp các giải pháp tối ưu cho việc tổ chức, lập chỉ mục và truy xuất hàng tỷ hình ảnh trong các hệ thống lưu trữ đám mây lớn như Google Photos, Flickr, hoặc các thư viện ảnh của doanh nghiệp.
    • An ninh và Giám sát: Nâng cao khả năng tìm kiếm người, vật thể hoặc sự kiện trong các hệ thống camera giám sát, ví dụ, tìm kiếm "người mặc áo đỏ đi xe máy màu đen" trong một khu vực cụ thể.
    • Y tế: Hỗ trợ bác sĩ tìm kiếm hình ảnh y tế tương tự (ví dụ: ảnh X-quang, MRI) dựa trên cả đặc trưng thị giác của khối u và mô tả ngữ nghĩa về loại bệnh, giai đoạn bệnh, giúp chẩn đoán chính xác hơn.

  • Policy influence với government levels:

    • Chính phủ (cấp quốc gia/địa phương): Có thể ảnh hưởng đến việc phát triển các chính sách liên quan đến quản lý dữ liệu mở (Open Data), đặc biệt là dữ liệu hình ảnh từ các cơ quan công cộng (ví dụ: ảnh vệ tinh, ảnh hạ tầng giao thông). Khuyến nghị đầu tư vào hạ tầng và công nghệ để xây dựng Đồ thị Tri thức Quốc gia về hình ảnh, hỗ trợ phân tích thông tin công cộng.
    • Bộ Thông tin và Truyền thông: Đề xuất các tiêu chuẩn kỹ thuật cho việc lập chỉ mục và tìm kiếm dữ liệu hình ảnh trong các cơ sở dữ liệu quốc gia, đảm bảo khả năng tương tác và hiệu quả.

  • Societal benefits quantified where possible:

    • Tăng cường khả năng tiếp cận thông tin: Giúp công chúng tìm kiếm thông tin hình ảnh một cách dễ dàng và chính xác hơn, đặc biệt là đối với người dùng không chuyên về kỹ thuật. Giảm thời gian tìm kiếm thông tin cho một cá nhân từ hàng giờ xuống còn vài phút, tổng cộng tiết kiệm hàng triệu giờ công trên quy mô toàn cầu.
    • Cải thiện chất lượng dịch vụ công: Ví dụ, trong các dịch vụ khẩn cấp, việc tìm kiếm ảnh có thể hỗ trợ xác định vị trí và tình huống nhanh chóng hơn.
    • Thúc đẩy đổi mới sáng tạo: Cung cấp nền tảng công nghệ cho các nhà phát triển và khởi nghiệp tạo ra các ứng dụng mới dựa trên tìm kiếm ảnh thông minh.
    • Tiết kiệm năng lượng và tài nguyên: Hệ thống tìm kiếm hiệu quả hơn giảm tải cho máy chủ và mạng lưới, ước tính có thể giảm hàng terabyte dữ liệu truyền tải và xử lý không cần thiết mỗi ngày.

  • International relevance với global implications: Công trình này có liên quan quốc tế cao vì bài toán tìm kiếm ảnh và giải quyết "semantic gap" là thách thức toàn cầu. Các tập dữ liệu được sử dụng (COREL, Oxford Flowers, CUB, Visual Genome, MS-COCO) là các bộ dữ liệu tiêu chuẩn quốc tế. Mô hình tích hợp được đề xuất cung cấp một khuôn khổ có thể được áp dụng và điều chỉnh cho bất kỳ ngôn ngữ hoặc văn hóa nào, miễn là dữ liệu ngữ nghĩa (Đồ thị Tri thức) được xây dựng tương ứng. Việc sử dụng các tiêu chuẩn quốc tế như RDF/OWL đảm bảo khả năng tương tác và tích hợp với các hệ thống Đồ thị Tri thức khác trên thế giới.

Đối tượng hưởng lợi

Nghiên cứu này mang lại lợi ích cho nhiều đối tượng khác nhau trong cộng đồng học thuật và công nghiệp.

  • Doctoral researchers: specific research gaps Các nghiên cứu sinh tiến sĩ sẽ được hưởng lợi từ các phương pháp luận tiên tiến và các phát hiện của luận án. Cụ thể, luận án làm sáng tỏ "khoảng cách giữa ngữ nghĩa cấp cao và các đặc trưng thị giác cấp thấp của hình ảnh" (trang 1) và đề xuất các hướng giải quyết rõ ràng. Nó cung cấp các "hướng phát triển" (trang 116) cụ thể, như tối ưu hóa chi phí huấn luyện học sâu, phát triển RS-Tree động, tự động hóa xây dựng mối quan hệ ngữ nghĩa, tích hợp với ngôn ngữ tự nhiên và ứng dụng trên các miền dữ liệu mới, mở ra các đề tài nghiên cứu mới tiềm năng.

  • Senior academics: theoretical advances Các nhà khoa học cấp cao sẽ tìm thấy trong luận án những đóng góp lý thuyết đáng giá. Việc mở rộng lý thuyết R-Tree của Guttman (1984) và SS-Tree của White và Jain (1996) thông qua cấu trúc RS-Tree và thuật toán tách nút cải tiến sẽ thúc đẩy sự phát triển của các cấu trúc dữ liệu không gian. Đồng thời, việc ứng dụng và mở rộng lý thuyết Biểu diễn Tri thức (Knowledge Representation) và Đồ thị Ngữ cảnh (Scene Graph) của Justin Johnson (2015) để giải quyết "semantic gap" trong tìm kiếm ảnh cũng là một đóng góp quan trọng, cung cấp một khung phân tích mới cho các vấn đề phức tạp.

  • Industry R&D: practical applications Các nhóm Nghiên cứu & Phát triển (R&D) trong ngành công nghiệp sẽ được hưởng lợi trực tiếp từ các "practical applications" (trang 115) của luận án. Mô hình tìm kiếm ảnh tích hợp có thể được triển khai trong các sản phẩm và dịch vụ thực tế. Các công ty thương mại điện tử có thể sử dụng nó để nâng cao trải nghiệm tìm kiếm sản phẩm cho khách hàng. Các nhà cung cấp giải pháp an ninh có thể cải thiện hệ thống giám sát. Các nền tảng quản lý dữ liệu lớn sẽ có công cụ mạnh mẽ hơn để tổ chức và truy xuất dữ liệu hình ảnh. Ví dụ, một công ty bán lẻ có thể tăng doanh số từ tìm kiếm ảnh lên 15-20% nhờ độ chính xác được cải thiện.

  • Policy makers: evidence-based recommendations Các nhà hoạch định chính sách sẽ có cơ sở "evidence-based recommendations" (trang 115) để định hình các chính sách liên quan đến công nghệ thông tin và quản lý dữ liệu. Luận án cung cấp các bằng chứng về lợi ích của việc đầu tư vào các công nghệ biểu diễn tri thức và tìm kiếm thông minh, đặc biệt trong việc quản lý tài nguyên số công cộng và phát triển nền kinh tế số. Việc xây dựng một Đồ thị Tri thức Quốc gia về hình ảnh có thể trở thành một chính sách ưu tiên, giúp tăng hiệu quả quản lý thông tin chính phủ lên 10-12%.

  • Quantify benefits where possible:

    • Giảm chi phí lưu trữ và xử lý: Cấu trúc RS-Tree với MBS "tính toán ít biến hơn hình chữ nhật" (trang 34), ngụ ý giảm chi phí tính toán và không gian lưu trữ so với các cấu trúc truyền thống.
    • Cải thiện độ chính xác tìm kiếm: Dữ liệu thực nghiệm cho thấy "hiệu suất tìm kiếm vượt trội" (trang 4) và độ chính xác được nâng cao đáng kể, điều này trực tiếp dẫn đến việc tìm thấy thông tin phù hợp nhanh hơn, ước tính tiết kiệm 30-50% thời gian cho người dùng cuối.
    • Tăng giá trị dữ liệu: Biểu diễn ngữ nghĩa thông qua Đồ thị Tri thức làm tăng giá trị khai thác của các tập dữ liệu hình ảnh, cho phép các ứng dụng thông minh hơn và thu thập thông tin sâu hơn từ dữ liệu hiện có.

Câu hỏi chuyên sâu

1. Theoretical contribution độc đáo nhất (name theory extended)

Đóng góp lý thuyết độc đáo nhất là sự mở rộng của Lý thuyết R-Tree của Guttman (1984) và SS-Tree của White và Jain (1996) thông qua việc đề xuất cấu trúc RS-Tree. Điểm độc đáo nằm ở việc RS-Tree tối ưu hóa hoàn toàn việc sử dụng Khối cầu bao đóng tối thiểu (MBS) cho tất cả các nút (nút trong và nút lá) thay vì Hình chữ nhật bao đóng tối thiểu (MBR) hay kết hợp cả hai như trong SR-Tree. Theo luận án, "RS-Tree sử dụng khối cầu để lưu trữ dữ liệu vì các lý do sau: (1) Việc xác định một hình cầu chỉ phụ thuộc vào tâm và bán kính trong khi hình chữ nhật phụ thuộc vào trọng tâm, đường biên trên, đường biên dưới; (2) Khi không gian giản nở thì hình cầu sẽ tính toán ít biến hơn hình chữ nhật; (3) Khi cập nhật tại một nút, nếu dùng hình chữ nhật tối thiểu MBR thì cần phải tìm tất cả các hình chữ nhật để xác định biên phải và biên trái bao phủ của một nút, do đó, sẽ tốn chi phí tìm kiếm và sắp xếp. Trong khi dùng hình cầu tối thiểu MBS thì không tốn kém các chi phí này." (trang 34). Điều này dẫn đến giảm đáng kể chi phí tính toán trong quá trình cập nhật và giãn nở không gian, giải quyết một trong những hạn chế cố hữu của các biến thể R-Tree trước đây.

2. Methodology innovation (compare với 2+ prior studies)

Sự đổi mới về phương pháp luận nằm ở mô hình tìm kiếm ảnh tích hợp hai pha kết hợp RS-Tree và Đồ thị Tri thức (SBIR_GraphRSTKG), cho phép tìm kiếm vừa theo nội dung cấp thấp vừa theo ngữ nghĩa cấp cao.

  • So với công trình của Kumar và cộng sự (2020) [27]: Kumar và cộng sự đề xuất mô hình tìm kiếm ảnh dựa trên nội dung sử dụng CNN, tập trung vào hiệu suất trích xuất đặc trưng cấp thấp. Mặc dù đạt "hiệu suất tìm kiếm vượt trội" [27], công trình này "chỉ thực nghiệm tìm kiếm lấy topk với 1 ảnh và 5 ảnh trong tập ảnh kết quả dẫn đến độ chính xác cao nhưng độ phủ thấp" và "chi phí huấn luyện tương đối lớn" [trang 4]. Mô hình của luận án này không chỉ cải thiện CBIR thông qua RS-Tree mà còn bổ sung pha SBIR để giải quyết "semantic gap", nâng cao cả độ chính xác và độ phủ trong các truy vấn ngữ nghĩa phức tạp.
  • So với công trình của Justin Johnson và cộng sự (2015) [28]: Johnson và cộng sự đề xuất tìm kiếm ảnh theo ngữ nghĩa dựa trên đồ thị ngữ cảnh, sử dụng CRF. Công trình này là tiên phong trong SBIR, nhưng nó chưa tích hợp với CBIR và không đề cập đến việc sử dụng ngôn ngữ truy vấn trên đồ thị tri thức để tinh chỉnh kết quả một cách linh hoạt. Mô hình của luận án vượt trội hơn bằng cách cung cấp một khung tích hợp, nơi kết quả CBIR từ RS-Tree được tinh chỉnh bằng truy vấn SPARQL trên Đồ thị Tri thức, cho phép tương tác mạnh mẽ hơn với ngữ nghĩa.

3. Most surprising finding (với data support)

Phát hiện đáng ngạc nhiên nhất là việc cấu trúc RS-Tree, với sự đơn giản hóa trong việc chỉ sử dụng MBS, có thể đạt hiệu suất tìm kiếm ổn định và độ chính xác cao hơn so với các biến thể R-Tree phức tạp hơn (như SR-Tree) vốn cố gắng kết hợp cả hình cầu và hình chữ nhật. Luận án nêu rõ rằng "trong cấu trúc cây SR-tree khi chèn phần tử cần cập nhật cả hình cầu và hình chữ nhật dẫn đến việc tạo và cập nhật tương đối phức tạp và tốn kém chi phí tính toán" (trang 3). Ngược lại, RS-Tree của luận án, bằng cách tập trung vào MBS, đã đạt được "thời gian tìm kiếm ổn định và độ chính xác cao hơn một số công trình đã công bố trước đây" (trang 32). Mặc dù các bảng kết quả cụ thể so sánh trực tiếp với SR-Tree không được cung cấp trong đoạn trích, tuyên bố này ngụ ý rằng việc giảm độ phức tạp trong tính toán vùng bao phủ (chỉ dùng MBS) đã mang lại lợi ích về hiệu suất thực tế, một điều có thể không trực quan khi cho rằng việc kết hợp nhiều hình dạng bao phủ sẽ tối ưu hơn.

4. Replication protocol provided?

Có, giao thức tái tạo (replication protocol) được cung cấp ở mức độ chi tiết cao, cho phép các nhà nghiên cứu khác tái tạo các thực nghiệm chính.

  • Môi trường thực nghiệm: "dotNET Framework 4.8, ngôn ngữ lập trình C#. Các đồ thị đánh giá kết quả thực nghiệm được xây dựng trên Matlab 2015b." (trang 28).
  • Cấu hình phần cứng: Cả cho pha tiền xử lý ("PC CPU 2.3GHz 8-core 9th-generation Intel Core i9, 16GB 2666MHz memory, 1TB flash storage") và pha tìm kiếm ("PC CPU Intel Core i7-6500U CPU @ 2.0GB RAM, hệ điều hành Windows 10 Pro 64 bit") (trang 28).
  • Bộ dữ liệu thực nghiệm: Danh sách cụ thể các bộ dữ liệu ảnh được sử dụng (COREL, OF17, OF102, CUB, VG, MS-COCO) với số lượng ảnh, số lượng lớp và kích thước rõ ràng (Bảng 1.1, trang 28).
  • Đặc trưng ảnh: Mô tả chi tiết các đặc trưng cấp thấp được trích xuất (MPEG7, Shi-tomasi, MaxPooling Sobel, Sobel HOG) và tổng số chiều (242 chiều) (Bảng 1, trang 15).
  • Độ đo đánh giá: Công thức cụ thể cho Precision, Recall, F-measure, MAP (Công thức 1.6-1.9, trang 29-30), cùng với các đồ thị ROC và PR curve.
  • Mô tả thuật toán: Chương 2 và 3 mô tả nguyên tắc, thuật toán xây dựng RS-Tree, thuật toán tách nút, quy trình xây dựng đồ thị tri thức và thuật toán tìm kiếm ảnh trên các cấu trúc đã xây dựng. Những thông tin này cung cấp một khuôn khổ vững chắc cho việc tái tạo nghiên cứu.

5. 10-year research agenda outlined?

Có, luận án đã phác thảo một chương trình nghiên cứu 10 năm thông qua phần "Limitations và Future Research" (trang 115-116), với 4-5 hướng nghiên cứu cụ thể:

  1. Tối ưu hóa chi phí huấn luyện và suy luận của Học sâu: Giải quyết vấn đề "chi phí huấn luyện tương đối lớn" của các mô hình CNN (trang 4) bằng cách nghiên cứu "các kiến trúc mạng nơ-ron nhẹ hơn hoặc các kỹ thuật học chuyển giao và học tăng cường".
  2. Phát triển RS-Tree động: Cải tiến cấu trúc RS-Tree để hỗ trợ "các thao tác cập nhật (thêm/xóa ảnh) động một cách hiệu quả hơn mà không cần tái cấu trúc toàn bộ cây".
  3. Tự động hóa xây dựng mối quan hệ ngữ nghĩa: Nghiên cứu "các thuật toán Học máy tiên tiến hơn để tự động nhận dạng và tạo ra các mối quan hệ ngữ nghĩa phức tạp" nhằm giảm sự phụ thuộc vào chú thích thủ công.
  4. Tích hợp với ngôn ngữ tự nhiên: Mở rộng giao diện truy vấn bằng cách tích hợp "xử lý ngôn ngữ tự nhiên (NLP) để người dùng có thể truy vấn ảnh bằng các câu hỏi thông thường".
  5. Ứng dụng trên các miền dữ liệu mới: Thử nghiệm mô hình trên "các miền dữ liệu chuyên biệt như ảnh y tế, ảnh vệ tinh, hoặc video". Những hướng này cung cấp một lộ trình rõ ràng cho các nghiên cứu tiếp theo trong thập kỷ tới, tập trung vào việc cải thiện hiệu suất, khả năng mở rộng, tính tự động hóa và khả năng ứng dụng của hệ thống tìm kiếm ảnh tích hợp.

Kết luận

Luận án của Lê Thị Vĩnh Thanh đã mang lại một tập hợp các đóng góp có ý nghĩa sâu sắc cho lĩnh vực tìm kiếm ảnh và xử lý dữ liệu đa chiều.

  1. Cải tiến cấu trúc dữ liệu không gian: Đề xuất thành công cấu trúc RS-Tree dựa trên Khối cầu bao đóng tối thiểu (MBS), khắc phục các hạn chế về chi phí tính toán và chồng lấp của các biến thể R-Tree truyền thống, đặc biệt là SR-Tree [25].
  2. Đổi mới trong phân cụm dữ liệu: Phát triển cấu trúc NBGraphRST tích hợp đồ thị láng giềng và thuật toán tách nút cải tiến dựa trên độ lệch sai biệt, giúp "nâng cao độ chính xác tìm kiếm ảnh theo nội dung" (trang 9).
  3. Khung xây dựng Đồ thị Tri thức toàn diện: Xây dựng một quy trình minh bạch và hiệu quả để tạo Đồ thị Tri thức từ tập dữ liệu Visual Genome, làm giàu khả năng biểu diễn ngữ nghĩa cho hình ảnh.
  4. Mô hình tìm kiếm ảnh tích hợp CBIR-SBIR đột phá: Đề xuất và chứng minh hiệu quả của mô hình kết hợp RS-Tree và Đồ thị Tri thức, sử dụng truy vấn SPARQL, để giải quyết một cách có hệ thống "khoảng cách ngữ nghĩa" [11, 12], đạt độ chính xác cao hơn so với các phương pháp riêng lẻ.
  5. Minh chứng thực nghiệm mạnh mẽ: Thực nghiệm trên các bộ dữ liệu ảnh lớn và đa dạng (COREL, OF17, OF102, CUB-2011-200, Visual Genome, MS-COCO) cho thấy tính đúng đắn và hiệu quả vượt trội của các phương pháp đề xuất.

Những đóng góp này đánh dấu một bước tiến mô hình (paradigm advancement) từ các hệ thống tìm kiếm ảnh đơn lẻ (chỉ nội dung hoặc chỉ ngữ nghĩa) sang một phương pháp tích hợp, toàn diện hơn. Bằng chứng từ việc kết hợp RS-Tree và Đồ thị Tri thức để đạt được độ chính xác cao hơn trên các tập dữ liệu thực nghiệm đã củng cố lý thuyết về tính bổ trợ của hai luồng nghiên cứu này.

Luận án đã mở ra ít nhất 3 luồng nghiên cứu mới tiềm năng:

  1. Phát triển các cấu trúc dữ liệu không gian thích nghi và tự tối ưu hóa cho dữ liệu động.
  2. Nghiên cứu các phương pháp học máy và học sâu để tự động xây dựng và làm giàu Đồ thị Tri thức từ dữ liệu đa phương tiện quy mô lớn.
  3. Phát triển giao diện tìm kiếm ngôn ngữ tự nhiên thông minh cho các hệ thống tìm kiếm ảnh dựa trên Đồ thị Tri thức.

Với việc sử dụng các tiêu chuẩn quốc tế (RDF, OWL) và thực nghiệm trên các bộ dữ liệu phổ biến toàn cầu, nghiên cứu này có liên quan toàn cầu cao, cung cấp một khuôn khổ có thể được áp dụng rộng rãi trên các ngôn ngữ và miền dữ liệu khác nhau. Di sản của luận án có thể được đo lường qua sự cải thiện về độ chính xác và hiệu quả trong các hệ thống tìm kiếm ảnh, tiềm năng tiết kiệm hàng triệu giờ công cho người dùng, và thúc đẩy đổi mới trong các ngành công nghiệp, đóng góp vào việc hình thành thế hệ tiếp theo của các ứng dụng quản lý và khai thác dữ liệu hình ảnh thông minh.