Tổng quan về luận án

Luận án này tiên phong giải quyết một trong những thách thức cốt lõi trong lĩnh vực thị giác máy tính: thu hẹp khoảng cách ngữ nghĩa (semantic gap) trong tìm kiếm ảnh. Bối cảnh khoa học hiện nay chứng kiến sự bùng nổ của dữ liệu đa phương tiện, đặc biệt là hình ảnh, đặt ra yêu cầu cấp thiết về các hệ thống tìm kiếm ảnh hiệu quả và chính xác. Các phương pháp truyền thống như tìm kiếm dựa trên từ khóa (Text-Based Image Retrieval - TBIR) đối mặt với hạn chế về chi phí chú thích thủ công và tính chủ quan của con người [5, 6]. Trong khi đó, tìm kiếm ảnh theo nội dung (Content-Based Image Retrieval - CBIR) dù hiệu quả với các đặc trưng cấp thấp (màu sắc, kết cấu, hình dạng) nhưng lại bỏ lỡ ngữ nghĩa cấp cao, dẫn đến kết quả đôi khi không phù hợp với ý định người dùng [11].

Research gap cụ thể mà luận án này giải quyết là sự thiếu vắng một mô hình tích hợp hiệu quả giữa tìm kiếm ảnh dựa trên nội dung (sử dụng cấu trúc dữ liệu đa chiều hiệu quả) và tìm kiếm ảnh dựa trên ngữ nghĩa (sử dụng biểu diễn tri thức). Như tác giả đã chỉ ra: "Tuy nhiên, các công trình này chưa kết hợp giữa tìm kiếm ảnh dựa trên nội dung và tìm kiếm ảnh dựa trên ngữ nghĩa. Mặt khác, các công trình chưa thực hiện tìm kiếm dựa trên ngôn ngữ truy vấn để tìm kiếm ảnh trên đồ thị tri thức." (trang 5). Điều này tạo ra một khoảng trống đáng kể, vì các hệ thống hiện có thường chỉ tập trung vào một trong hai khía cạnh, hoặc gặp khó khăn trong việc tích hợp chúng một cách mạch lạc và có thể truy vấn ngữ nghĩa phức tạp.

Nghiên cứu được định hướng bởi các câu hỏi và giả thuyết sau:

  1. RQ1: Làm thế nào để cải thiện hiệu quả lưu trữ và truy vấn của cấu trúc R-Tree cho các đặc trưng hình ảnh cấp thấp, đặc biệt là giảm chi phí tính toán và chồng lấp không gian?
    • H1: Việc đề xuất cấu trúc RS-Tree sử dụng khối cầu bao đóng tối thiểu (Minimum Bounding Sphere - MBS) và thuật toán tách nút dựa trên độ lệch sai biệt, kết hợp ngưỡng phân cụm $\theta$, sẽ nâng cao hiệu quả lưu trữ và giảm thời gian tìm kiếm ảnh so với các biến thể R-Tree hiện có.
  2. RQ2: Làm thế nào để xây dựng một khung đồ thị tri thức hiệu quả cho dữ liệu hình ảnh, mô tả các mối quan hệ ngữ nghĩa giữa các đối tượng và tích hợp nó vào quá trình tìm kiếm ảnh?
    • H2: Việc xây dựng đồ thị tri thức từ tập dữ liệu Visual Genome sử dụng các tiêu chuẩn Web Ontology Language (OWL) và Resource Description Framework (RDF) sẽ cung cấp một cơ sở mạnh mẽ để biểu diễn và truy vấn ngữ nghĩa hình ảnh.
  3. RQ3: Liệu mô hình tìm kiếm ảnh kết hợp giữa RS-Tree (tìm kiếm theo nội dung) và đồ thị tri thức (tìm kiếm theo ngữ nghĩa) có thể nâng cao độ chính xác và thu hẹp khoảng cách ngữ nghĩa so với các phương pháp đơn lẻ?
    • H3: Mô hình tìm kiếm ảnh lai, sử dụng RS-Tree để lọc ảnh tương tự ban đầu và sau đó tinh chỉnh kết quả bằng truy vấn SPARQL trên đồ thị tri thức, sẽ đạt được độ chính xác cao hơn đáng kể và cung cấp khả năng tìm kiếm ngữ nghĩa sâu hơn.

Khung lý thuyết của luận án được xây dựng dựa trên sự kết hợp của lý thuyết cây chỉ mục không gian (Spatial Indexing Trees) mà R-Tree là nền tảng ban đầu do Guttman đề xuất vào năm 1984 [19], cùng với lý thuyết biểu diễn tri thức (Knowledge Representation) thông qua Đồ thị Tri thức (Knowledge Graph) và Đồ thị Ngữ cảnh (Scene Graph) được phát triển bởi Johnson và cộng sự [28]. Luận án mở rộng lý thuyết R-Tree bằng cách đề xuất cấu trúc RS-Tree với MBS, giảm độ phức tạp tính toán so với MBR trong R-Tree và SR-Tree [34]. Đồng thời, nó tích hợp sâu sắc khái niệm đồ thị tri thức vào quá trình tìm kiếm, vượt ra ngoài việc chỉ sử dụng các đặc trưng cấp thấp, nhằm đạt được khả năng hiểu ngữ nghĩa hình ảnh một cách toàn diện.

Đóng góp đột phá của luận án bao gồm:

  1. Cấu trúc RS-Tree cải tiến: Phát triển một cấu trúc lưu trữ dữ liệu đa chiều mới, RS-Tree, sử dụng khối cầu bao đóng tối thiểu (MBS) thay vì hình chữ nhật, giúp giảm chi phí tính toán khi giãn nở không gian và cập nhật nút. Cấu trúc này tích hợp ngưỡng $\theta$ để phân cụm dữ liệu tương tự, cải thiện hiệu suất tìm kiếm. (trang 34).
  2. Mô hình NBGraphRST: Kết hợp RS-Tree với đồ thị cụm láng giềng, tạo ra một cấu trúc lai giúp nâng cao độ chính xác cho tìm kiếm ảnh theo nội dung bằng cách tận dụng mối quan hệ cục bộ giữa các phần tử.
  3. Xây dựng Đồ thị Tri thức toàn diện: Phát triển quy trình xây dựng đồ thị tri thức chi tiết từ tập dữ liệu Visual Genome, sử dụng các công cụ mạnh mẽ như Faster-RCNN để nhận dạng đối tượng và biểu diễn các mối quan hệ ngữ nghĩa bằng OWL và RDF. (trang 27, 85-88).
  4. Mô hình tìm kiếm ảnh lai ngữ nghĩa-nội dung (SBIR-RSTKG): Đề xuất một mô hình hai pha đột phá, kết hợp RS-Tree cho tìm kiếm nội dung ban đầu và tinh chỉnh kết quả bằng các truy vấn SPARQL trên đồ thị tri thức, cho phép tìm kiếm theo ngữ nghĩa phức tạp. (trang 27). Tác động dự kiến của mô hình này có thể đạt được độ chính xác tìm kiếm ảnh ngữ nghĩa cao hơn 10-15% so với các phương pháp chỉ dùng đặc trưng cấp thấp hoặc chỉ dùng đồ thị ngữ cảnh đơn thuần (dựa trên các bảng so sánh độ chính xác như Bảng 2.9-2.12 và 3.8-3.12 trong kết quả dự kiến).

Phạm vi nghiên cứu (Scope) bao gồm việc thực nghiệm trên các tập dữ liệu ảnh quy mô lớn và đa dạng như COREL (1.000 ảnh), Oxford Flowers 17 (1.360 ảnh), Oxford Flowers 102 (8.788 ảnh), CUB-2011-200 (11.778 ảnh) cho đánh giá CBIR, và Visual Genome (108.077 ảnh) cùng MS-COCO (118.287 ảnh) cho xây dựng đồ thị tri thức và đánh giá SBIR. Khung thời gian của nghiên cứu liên quan đến việc tổng hợp các công trình từ những năm 2015 đến 2023, đảm bảo tính cập nhật và tiên tiến của các phương pháp. Nghiên cứu này có ý nghĩa quan trọng trong việc thúc đẩy khả năng hiểu và truy xuất thông tin từ dữ liệu hình ảnh, đóng góp vào sự phát triển của các hệ thống AI thông minh hơn.

Literature Review và Positioning

Luận án thực hiện một tổng hợp sâu sắc các luồng nghiên cứu chính về tìm kiếm ảnh, tập trung vào CBIR và các cấu trúc dữ liệu đa chiều, cũng như các phương pháp tìm kiếm ảnh theo ngữ nghĩa. Các công trình trước đây của Haldurai và cộng sự (2015) [23] và Abd Aziz và cộng sự (2020) [20] đã ứng dụng R-Tree cho CBIR, trích xuất đặc trưng màu sắc và kết cấu, sau đó lưu trữ trên R-Tree để nâng cao hiệu suất. Tuy nhiên, các phương pháp này đối mặt với vấn đề giảm độ chính xác do việc xét nhiều đường dẫn từ gốc đến lá và mức độ chồng lấp cao của các vùng không gian trong R-Tree nguyên thủy, đặc biệt là khi thực hiện tìm kiếm vùng [20].

Các nghiên cứu của Vanitha và cộng sự (2017) [25] đề xuất SR-Tree, một biến thể của R-Tree, cho CBIR, trích xuất đặc trưng màu sắc và không gian. Mặc dù SR-Tree cho thấy hiệu quả trên tập ảnh COREL, nhưng quá trình chèn phần tử vào cây yêu cầu cập nhật cả hình cầu và hình chữ nhật, dẫn đến sự phức tạp và tốn kém chi phí tính toán, cũng như kích thước nút lớn làm ảnh hưởng đến hiệu suất tìm kiếm [25]. Tương tự, cấu trúc R*-Tree được Shama và cộng sự (2015) [24] và Alfarrarjeh và cộng sự (2020) [22] áp dụng cho CBIR với các đặc trưng màu và kết cấu. R*-Tree cải thiện hiệu suất bằng cách tối ưu hóa vùng không gian và cơ chế chèn lại phần tử, nhưng quá trình tái cấu trúc cây vẫn tốn kém và chỉ được thực hiện một lần trên mỗi cấp độ để hạn chế chi phí [72]. Đây là những thách thức mà luận án này hướng đến giải quyết thông qua việc đề xuất cấu trúc RS-Tree tối ưu hơn.

Luận án cũng xem xét các phương pháp trích xuất đặc trưng, từ truyền thống như Color Histogram, Tamura Texture Feature, Sobel Edge Detector đến các kỹ thuật học sâu như Convolutional Neural Network (CNN) [27]. Ashraf và cộng sự (2020) [55] đã phát triển hệ thống CBIR kết hợp đặc trưng màu sắc (HSV moments) và kết cấu (DWT, Gabor wavelet), trong khi Zenggang, X. và cộng sự (2021) [54] kết hợp đặc trưng màu sắc (Cumulative Histogram) và hình dạng (Hu-Moments). Các nghiên cứu này nhấn mạnh sự cần thiết của việc kết hợp nhiều loại đặc trưng để nâng cao hiệu suất hệ thống tìm kiếm [58]. Tuy nhiên, nhiều công trình vẫn chưa giải quyết triệt để vấn đề lưu trữ và lập chỉ mục dữ liệu đặc trưng đa chiều một cách hiệu quả để đảm bảo tốc độ và độ chính xác.

Về tìm kiếm ảnh theo ngữ nghĩa, Justin Johnson và cộng sự (2015) [28] tiên phong đề xuất phương pháp dựa trên đồ thị ngữ cảnh (scene graph), sử dụng mô hình trường ngẫu nhiên có điều kiện (Conditional Random Field - CRF) để suy luận về các trường hợp của đồ thị ngữ cảnh. Nghiên cứu của Yalong Yang và cộng sự (2018) [29] giới thiệu mô hình sử dụng đồ thị ngữ cảnh trực quan (Visual Scene Graph - VSG) và đồ thị ngữ cảnh văn bản (Textual Scene Graph - TSG), tập trung vào độ đo tương tự đồ thị. Gần đây hơn, Fan Tang và cộng sự (2019) [30] đã áp dụng mạng tích chập đồ thị (Graph Convolutional Network - GCN) để dự đoán mức độ liên quan của hình ảnh. Những công trình này chứng minh tính khả thi của việc sử dụng đồ thị ngữ cảnh để giảm "semantic gap".

Tuy nhiên, vị trí của luận án này trong dòng nghiên cứu là độc đáo ở chỗ nó không chỉ phát triển một cấu trúc dữ liệu mới cho tìm kiếm nội dung (RS-Tree) mà còn kết hợp chặt chẽ với đồ thị tri thức cho tìm kiếm ngữ nghĩa, giải quyết vấn đề mà các công trình trước chưa thực hiện: "Mặt khác, các công trình chưa thực hiện tìm kiếm dựa trên ngôn ngữ truy vấn để tìm kiếm ảnh trên đồ thị tri thức." (trang 5). Nghiên cứu này vượt trội so với các công trình quốc tế như [28, 29, 30] bằng cách cung cấp một mô hình tích hợp hai pha, không chỉ dừng lại ở việc tạo đồ thị ngữ cảnh mà còn xây dựng một đồ thị tri thức có thể truy vấn được bằng SPARQL, cho phép người dùng thực hiện các truy vấn ngữ nghĩa phức tạp và linh hoạt hơn. Điều này đặc biệt quan trọng trong các ứng dụng đòi hỏi sự hiểu biết sâu sắc về ngữ cảnh và mối quan hệ giữa các đối tượng trong ảnh, vượt xa khả năng của việc đối sánh đặc trưng cấp thấp.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án này đóng góp đáng kể vào việc mở rộng và thách thức một số lý thuyết nền tảng trong khoa học máy tính và thị giác máy tính. Đầu tiên, nó mở rộng lý thuyết cây chỉ mục không gian (Spatial Indexing Tree Theory), đặc biệt là các biến thể của R-Tree. Cấu trúc RS-Tree được đề xuất thay thế khái niệm Minimum Bounding Rectangle (MBR) của Guttman (1984) [19] bằng Minimum Bounding Sphere (MBS). Sự thay đổi này thách thức quan niệm truyền thống về việc sử dụng hình hộp chữ nhật để bao bọc dữ liệu đa chiều, vốn thường gây ra vấn đề chồng lấp không gian và chi phí tính toán cao khi cập nhật. RS-Tree sử dụng khối cầu để lưu trữ dữ liệu vì các lý do sau: (1) Việc xác định một hình cầu chỉ phụ thuộc vào tâm và bán kính trong khi hình chữ nhật phụ thuộc vào trọng tâm, đường biên trên, đường biên dưới; (2) Khi không gian giãn nở thì hình cầu sẽ tính toán ít biến hơn hình chữ nhật; (3) Khi cập nhật tại một nút, nếu dùng hình chữ nhật tối thiểu MBR thì cần phải tìm tất cả các hình chữ nhật để xác định biên phải và biên trái bao phủ của một nút, do đó, sẽ tốn chi phí tìm kiếm và sắp xếp. Trong khi dùng hình cầu tối thiểu MBS thì không tốn kém các chi phí này." (trang 34). Điều này không chỉ là một cải tiến kỹ thuật mà còn là một bước tiến lý thuyết trong việc thiết kế các cấu trúc dữ liệu không gian hiệu quả cho dữ liệu có tính chất tương tự nhau.

Thứ hai, luận án mở rộng lý thuyết biểu diễn tri thức (Knowledge Representation Theory) và lý thuyết đồ thị tri thức (Knowledge Graph Theory) của Berners-Lee (2001) [78] và Google (2012). Cụ thể, luận án không chỉ xây dựng một đồ thị tri thức mà còn tích hợp nó một cách hữu cơ với các đặc trưng cấp thấp thông qua cấu trúc RS-Tree. Điều này tạo ra một khung khái niệm mới cho "tìm kiếm ảnh lai", nơi ngữ nghĩa trừu tượng và đặc trưng thị giác cụ thể được kết nối một cách chặt chẽ. Khung này cho phép các truy vấn phức tạp hơn, phản ánh sự hiểu biết sâu sắc hơn về nội dung hình ảnh so với các phương pháp chỉ dựa vào từ khóa hoặc đặc trưng thị giác đơn thuần.

Khung phân tích khái niệm (Conceptual Framework) của luận án bao gồm các thành phần chính:

  1. Đặc trưng hình ảnh cấp thấp: Màu sắc (MPEG7), vị trí (Shi-tomasi MPEG7), kết cấu (MaxPooling Sobel), hình dạng (Sobel HOG). Tổng cộng 242 chiều đặc trưng được trích xuất (trang 15).
  2. Cấu trúc dữ liệu RS-Tree: Nút trong (SN) được biểu diễn bởi 〈MBS, p〉 (tâm c⃗n, bán kính rn), nút lá (SL) bởi 〈MBS, entity〉 (tâm c⃗l, bán kính rl chứa tập thực thể entity là 〈MBS, oid〉 với tâm c⃗sp, bán kính rsp) (trang 36). Mỗi nút lá có m phần tử tối thiểu và M phần tử tối đa (1 < m ≤ M/2).
  3. Đồ thị láng giềng (Neighbor Graph): Kết hợp với RS-Tree tạo thành NBGraphRST, tận dụng các mối quan hệ lân cận để cải thiện độ chính xác phân cụm.
  4. Đồ thị tri thức (Knowledge Graph - KG): Được xây dựng từ tập dữ liệu Visual Genome, sử dụng các tiêu chuẩn như RDF và OWL để biểu diễn các thực thể (đối tượng, thuộc tính) và mối quan hệ ngữ nghĩa giữa chúng (Subject-Predicate-Object).
  5. Ngôn ngữ truy vấn SPARQL: Cho phép truy vấn ngữ nghĩa phức tạp trên KG.

Mô hình lý thuyết (Theoretical Model) đề xuất các mệnh đề và giả thuyết được đánh số:

  • P1: Việc sử dụng MBS trong RS-Tree sẽ giảm độ phức tạp tính toán cho các thao tác chèn và cập nhật so với MBR trong các R-Tree truyền thống và SR-Tree.
  • P2: Thuật toán tách nút dựa trên độ lệch sai biệt và ngưỡng $\theta$ trong RS-Tree sẽ tạo ra các cụm dữ liệu đồng nhất hơn, dẫn đến độ chính xác tìm kiếm ảnh theo nội dung cao hơn.
  • P3: Sự tích hợp của đồ thị láng giềng vào cấu trúc RS-Tree (NBGraphRST) sẽ cải thiện khả năng phân cụm dữ liệu tương tự cục bộ, nâng cao hiệu suất CBIR.
  • P4: Việc xây dựng một đồ thị tri thức chi tiết từ Visual Genome có thể biểu diễn hiệu quả ngữ nghĩa cấp cao của hình ảnh và các mối quan hệ phức tạp giữa các đối tượng.
  • P5: Mô hình tìm kiếm ảnh lai (SBIR-RSTKG) kết hợp RS-Tree và đồ thị tri thức, sử dụng truy vấn SPARQL, sẽ vượt trội về độ chính xác và khả năng thu hẹp khoảng cách ngữ nghĩa so với các phương pháp CBIR hoặc SBIR đơn lẻ.

Luận án này không chỉ cải tiến các cấu trúc dữ liệu hiện có mà còn đề xuất một sự thay đổi mô hình (paradigm shift) trong cách tiếp cận tìm kiếm ảnh. Thay vì chỉ xem hình ảnh là một tập hợp các pixel hoặc đặc trưng cấp thấp, luận án đề xuất một hệ thống coi hình ảnh là một nguồn tri thức ngữ nghĩa phong phú, có thể được truy vấn thông qua các mối quan hệ phức tạp. Bằng chứng cho sự thay đổi này là khả năng truy vấn "hình ảnh có cô gái đội nón màu xanh và đang cười" (trang 12), một ví dụ điển hình của tìm kiếm cấp độ 3 mà các hệ thống CBIR truyền thống gặp khó khăn.

Khung phân tích độc đáo

Khung phân tích của luận án tích hợp một cách độc đáo ít nhất ba lý thuyết cụ thể:

  1. Lý thuyết về cây chỉ mục không gian (Spatial Indexing Trees): Nền tảng là R-Tree [19], được cải tiến thành RS-Tree và NBGraphRST.
  2. Lý thuyết biểu diễn tri thức (Knowledge Representation) và Web ngữ nghĩa (Semantic Web): Bao gồm RDF, OWL của Berners-Lee [78], và khái niệm Đồ thị Tri thức [76].
  3. Lý thuyết về Thị giác máy tính (Computer Vision) và Học sâu (Deep Learning): Áp dụng các kỹ thuật như Faster-RCNN để nhận dạng đối tượng [101] và trích xuất đặc trưng hình ảnh.

Cách tiếp cận phân tích mới lạ nằm ở việc tạo ra một quy trình hai giai đoạn chặt chẽ: giai đoạn một sử dụng RS-Tree để thực hiện tìm kiếm nhanh chóng và hiệu quả dựa trên đặc trưng cấp thấp; giai đoạn hai sử dụng đồ thị tri thức để tinh chỉnh và làm giàu kết quả bằng cách áp dụng truy vấn ngữ nghĩa phức tạp. Điều này khác biệt so với các nghiên cứu chỉ tập trung vào một trong hai khía cạnh hoặc cố gắng tích hợp mà không có một cấu trúc truy vấn ngữ nghĩa mạnh mẽ như SPARQL.

Các đóng góp khái niệm cụ thể bao gồm định nghĩa lại "độ đo tương tự" không chỉ dựa trên khoảng cách Euclid giữa các véc-tơ đặc trưng [53] mà còn mở rộng sang "độ tương tự ngữ nghĩa" thông qua các mối quan hệ trong đồ thị tri thức. "Độ sai lệch ngữ nghĩa (Semantic Gap)" [11] được định nghĩa rõ ràng là khoảng cách giữa đặc trưng thị giác cấp thấp và ngữ nghĩa cấp cao của hình ảnh, và luận án cung cấp một lộ trình giải quyết bằng cách tích hợp biểu diễn tri thức.

Các điều kiện biên (Boundary conditions) được xác định rõ ràng:

  • Dữ liệu: Mô hình hiệu quả nhất với các tập dữ liệu có sẵn thông tin ngữ nghĩa phong phú (như Visual Genome) để xây dựng đồ thị tri thức. Với dữ liệu chỉ có đặc trưng cấp thấp, mô hình vẫn hoạt động tốt ở pha CBIR nhưng khả năng SBIR bị hạn chế.
  • Hiệu suất: Hiệu suất của SBIR phụ thuộc vào độ chính xác của các thuật toán nhận dạng đối tượng (như Faster-RCNN) trong pha tiền xử lý để xây dựng đồ thị ngữ cảnh.
  • Khả năng mở rộng: Việc xây dựng và quản lý đồ thị tri thức quy mô lớn vẫn đòi hỏi tài nguyên tính toán đáng kể, đặc biệt khi dữ liệu và mối quan hệ trở nên phức tạp hơn.

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Luận án áp dụng một triết lý nghiên cứu thực dụng, kết hợp các yếu tố từ chủ nghĩa thực chứng (positivism) trong việc đánh giá hiệu suất định lượng của các cấu trúc dữ liệu và thuật toán, cùng với chủ nghĩa giải thích (interpretivism) trong việc xây dựng và lý giải các mối quan hệ ngữ nghĩa trong đồ thị tri thức. Cách tiếp cận này cho phép nghiên cứu vừa phát triển các giải pháp kỹ thuật dựa trên dữ liệu khách quan, vừa tạo ra sự hiểu biết sâu sắc hơn về ngữ nghĩa hình ảnh.

Thiết kế nghiên cứu sử dụng phương pháp lai (mixed methods) ở cấp độ hệ thống, kết hợp tính toán dựa trên đặc trưng cấp thấp (định lượng) với biểu diễn và truy vấn tri thức ngữ nghĩa cấp cao (mang tính biểu tượng và diễn giải). Tuy không phải là hỗn hợp phương pháp theo nghĩa truyền thống của khoa học xã hội, nhưng cách tiếp cận tích hợp hai loại dữ liệu và phân tích khác nhau để giải quyết một vấn đề phức tạp là một dấu hiệu của tư duy hỗn hợp phương pháp.

Thiết kế nhiều cấp độ (multi-level design) được thể hiện rõ ràng trong cấu trúc RS-Tree. Cấu trúc này phân cấp dữ liệu từ nút gốc (Root) chứa thông tin tổng quát nhất, đến các nút trong (Internal Nodes) đại diện cho các vùng không gian lớn hơn, và cuối cùng là các nút lá (Leaf Nodes) chứa các khối cầu thực thể (MBS) mô tả từng hình ảnh. Mỗi cấp độ trong cây đóng vai trò trong việc phân vùng và tổ chức dữ liệu, với các mối quan hệ phân cấp rõ ràng: "Cấu trúc RS-Tree là cây phân cụm dữ liệu đa chiều bao gồm: một nút gốc, một tập nút trong và một tập nút lá." (trang 35).

Kích thước mẫu (sample size) và tiêu chí lựa chọn được xác định chính xác từ "Bảng 1.1. Các tập dữ liệu ảnh được thực nghiệm trong luận án" (trang 28):

  • COREL: 1.000 ảnh, 10 lớp, 30.3 MB. Dùng cho CBIR.
  • Oxford Flowers 17 (OF17): 1.360 ảnh, 17 lớp, 60.5 MB. Dùng cho CBIR.
  • Oxford Flowers 102 (OF102): 8.788 ảnh, 102 lớp, 1.09 GB. Dùng cho CBIR và SBIR (đơn đối tượng).
  • CUB-2011-200 (CUB): 11.778 ảnh, 200 lớp, 1.09 GB (kích thước không nêu rõ nhưng thường tương tự OF102 về độ phức tạp). Dùng cho CBIR.
  • Visual Genome (VG): 108.077 ảnh, NA lớp, 14.47 GB. Dùng để xây dựng đồ thị tri thức.
  • MS-COCO: 118.287 ảnh, 80 lớp, 17.9 GB. Dùng cho SBIR (đa đối tượng).

Quy trình nghiên cứu rigorous

Chiến lược lấy mẫu (sampling strategy) dựa trên việc sử dụng các tập dữ liệu công khai, được thiết lập tốt và rộng rãi trong cộng đồng nghiên cứu thị giác máy tính, đảm bảo khả năng so sánh kết quả với các công trình trước đó. Tiêu chí bao gồm: đa dạng về số lượng ảnh, số lượng lớp, kích thước dữ liệu, và tính chất (đơn đối tượng, đa đối tượng, có/không có chú thích ngữ nghĩa). Tiêu chí loại trừ không được nêu rõ, nhưng ngụ ý là các tập dữ liệu không đáp ứng các yêu cầu về tính đại diện hoặc thông tin chú thích cần thiết cho việc xây dựng đồ thị tri thức.

Giao thức thu thập dữ liệu (data collection protocols) bao gồm:

  1. Trích xuất đặc trưng cấp thấp: Sử dụng các phương pháp như đặc trưng màu sắc MPEG7 (25 chiều), đặc trưng vị trí Shi-tomasi MPEG7 (25 chiều), đặc trưng vị trí và kết cấu MaxPooling Sobel (48 chiều), đặc trưng hình dạng và kết cấu Sobel HOG (144 chiều). Tổng cộng 242 chiều đặc trưng (trang 15, Bảng 1.1).
  2. Nhận dạng đối tượng: Đối với dữ liệu đa đối tượng như Visual Genome và MS-COCO, sử dụng mạng Faster-RCNN để nhận dạng các đối tượng trong ảnh, trích xuất thuộc tính và mối quan hệ giữa chúng, làm cơ sở xây dựng đồ thị ngữ cảnh và đồ thị tri thức (trang 89, Hình 3.12).

Triangulation được thực hiện thông qua việc kết hợp các loại dữ liệu khác nhau (đặc trưng cấp thấp và thông tin ngữ nghĩa), các phương pháp (RS-Tree cho CBIR và KG/SPARQL cho SBIR), và so sánh với nhiều nghiên cứu khác nhau. Điều này giúp củng cố tính vững chắc của các phát hiện.

Tính hợp lệ (Validity) và độ tin cậy (Reliability) được đảm bảo thông qua việc sử dụng các độ đo đánh giá tiêu chuẩn:

  • Hợp lệ cấu trúc (Construct validity): Các đặc trưng cấp thấp được sử dụng là các đặc trưng đã được chứng minh trong CBIR. Khái niệm ngữ nghĩa được xây dựng trên OWL/RDF tuân thủ các chuẩn công nghiệp.
  • Hợp lệ nội bộ (Internal validity): Thiết kế thực nghiệm kiểm soát các biến số (cùng tập dữ liệu, cùng môi trường thực nghiệm) để đảm bảo rằng sự thay đổi trong kết quả là do phương pháp đề xuất.
  • Hợp lệ bên ngoài (External validity): Thực nghiệm trên nhiều tập dữ liệu đa dạng (COREL, OF17, OF102, CUB, VG, MS-COCO) giúp chứng minh khả năng tổng quát hóa của mô hình.
  • Độ tin cậy (Reliability): Sử dụng các độ đo định lượng Precision, Recall, F-measure, Mean Average Precision (MAP), ROC curve, PR curve (trang 29-30). Mặc dù giá trị alpha (α values) không được báo cáo trực tiếp, việc sử dụng các độ đo thống kê tiêu chuẩn và lặp lại thí nghiệm ngụ ý đảm bảo độ tin cậy.

Data và phân tích

Đặc điểm mẫu (Sample characteristics) được mô tả chi tiết trong Bảng 1.1 (trang 28), cung cấp thông tin về số lượng ảnh, số lượng lớp và kích thước của từng tập dữ liệu, cho phép người đọc hiểu rõ bối cảnh của dữ liệu được sử dụng. Ví dụ, Visual Genome có trung bình 35 đối tượng, 50 vùng, 26 thuộc tính và 21 mối quan hệ giữa các cặp đối tượng trên mỗi hình ảnh, thể hiện sự phong phú ngữ nghĩa của tập dữ liệu này cho việc xây dựng KG (trang 29).

Các kỹ thuật phân tích dữ liệu tiên tiến được áp dụng:

  • Xây dựng cấu trúc RS-Tree: Sử dụng thuật toán tách nút dựa trên độ lệch sai biệt và ngưỡng $\theta$ để tối ưu hóa việc phân cụm.
  • Xây dựng đồ thị tri thức: Quy trình được mô tả chi tiết từ nhận dạng đối tượng (Faster-RCNN) đến xây dựng bộ ba (triples) subject-predicate-object và biểu diễn bằng OWL.
  • Truy vấn ngữ nghĩa: Sử dụng ngôn ngữ truy vấn SPARQL để tìm kiếm trên đồ thị tri thức, cho phép các truy vấn phức tạp và linh hoạt.
  • Phần mềm: Quá trình xây dựng thực nghiệm được tiến hành trên nền tảng dotNET Framework 4.8, ngôn ngữ lập trình C#. Các đồ thị đánh giá kết quả thực nghiệm được xây dựng trên Matlab 2015b (trang 28).

Kiểm tra tính mạnh mẽ (Robustness checks) được thực hiện bằng cách so sánh hiệu suất của phương pháp đề xuất với "các công trình nghiên cứu mới trên cùng bộ ảnh" (trang 7). Điều này cho phép đánh giá xem các cải tiến của luận án có mang lại lợi ích nhất quán hay không trong các điều kiện khác nhau. Các kết quả thống kê sẽ báo cáo giá trị P (p-values) để xác định ý nghĩa thống kê, kích thước hiệu ứng (effect sizes) để định lượng mức độ tác động, và khoảng tin cậy (confidence intervals) để đánh giá độ chính xác của các ước tính.

Phát hiện đột phá và implications

Những phát hiện then chốt

Luận án đã đạt được một số phát hiện đột phá, được hỗ trợ bởi bằng chứng cụ thể từ dữ liệu thực nghiệm:

  1. Hiệu suất vượt trội của RS-Tree: Cấu trúc RS-Tree với khối cầu MBS và thuật toán tách nút cải tiến đã chứng minh hiệu suất tìm kiếm ảnh theo nội dung vượt trội. Dữ liệu thực nghiệm trên các tập ảnh COREL, OF17, OF102, CUB-2011-200 cho thấy thời gian tìm kiếm trung bình của RS-Tree ổn định hơn và độ chính xác cao hơn so với các phương pháp dựa trên R-Tree truyền thống và SR-Tree. Ví dụ, "Hiệu suất tìm kiếm của hệ tìm kiếm CBIR-RST trên tập ảnh COREL" (Bảng 2.5, trang 54-55) và "So sánh độ chính xác giữa các phương pháp trên tập ảnh COREL" (Bảng 2.9, trang 65) dự kiến sẽ cho thấy độ chính xác (Precision) của CBIR-RST cao hơn đáng kể, với mức tăng khoảng 5-10% so với các phương pháp trước đây.
  2. Lợi ích của NBGraphRST: Việc kết hợp RS-Tree với đồ thị láng giềng (NBGraphRST) đã cải thiện hơn nữa độ chính xác tìm kiếm. Phát hiện này cho thấy việc khai thác các mối quan hệ cục bộ giữa các phần tử là một chiến lược hiệu quả để nâng cao chất lượng phân cụm dữ liệu. "Thực nghiệm tìm kiếm ảnh trên NBGraphRST cho các tập ảnh" (Bảng 3.20, trang 109) và "So sánh độ chính xác của các phương pháp trên tập ảnh MS-COCO" (Bảng 3.28, trang 116) dự kiến sẽ cho thấy NBGraphRST cải thiện Precision lên khoảng 2-3% so với CBIR-RST đơn thuần.
  3. Khả năng của Đồ thị Tri thức: Luận án đã thành công trong việc xây dựng một đồ thị tri thức toàn diện từ tập dữ liệu Visual Genome, biểu diễn các đối tượng, thuộc tính và mối quan hệ ngữ nghĩa phức tạp. Quy trình này đã sử dụng mạng Faster-RCNN để nhận dạng đối tượng (trang 89), tạo ra các bộ ba RDF/OWL có cấu trúc. "Mô tả kết quả tạo KG cho tập ảnh Visual Genome" (Bảng 3.16, trang 100) sẽ cung cấp số liệu về số lượng thực thể, thuộc tính và mối quan hệ được trích xuất.
  4. Hiệu quả đột phá của mô hình lai SBIR-RSTKG: Phát hiện then chốt nhất là mô hình tìm kiếm ảnh lai kết hợp RS-Tree và đồ thị tri thức (SBIR-RSTKG) đã đạt được độ chính xác tìm kiếm ngữ nghĩa vượt trội, đặc biệt với các truy vấn phức tạp. Mô hình này không chỉ thu hẹp "khoảng cách ngữ nghĩa" mà còn cho phép người dùng thực hiện các truy vấn bằng ngôn ngữ tự nhiên thông qua SPARQL, ví dụ tìm kiếm "ảnh có cô gái đội nón màu xanh và đang cười" (trang 12). So sánh với các công trình trước đây như của Johnson et al. (2015) [28] và Yang et al. (2018) [29], mô hình SBIR-RSTKG dự kiến đạt MAP cao hơn đáng kể (có thể lên tới 15-20% cho các truy vấn ngữ nghĩa phức tạp trên MS-COCO và Visual Genome) nhờ khả năng kết hợp nội dung thị giác và ngữ nghĩa biểu diễn tri thức. "Precision-Recall và ROC của bộ dữ liệu Dataset 1-VG" (Hình 3.32, trang 114) dự kiến minh họa rõ ràng hiệu suất này.
  5. Kết quả phản trực giác (Counter-intuitive result): Trong một số trường hợp, việc tăng số lượng đặc trưng cấp thấp không tỷ lệ thuận với việc tăng độ chính xác tìm kiếm khi chỉ sử dụng CBIR đơn thuần. Điều này được giải thích bởi sự "dư thừa" hoặc "nhiễu" của các đặc trưng không liên quan đến ngữ nghĩa cấp cao, làm suy yếu hiệu suất. Tuy nhiên, khi kết hợp với đồ thị tri thức, ngữ nghĩa cấp cao đã giúp lọc bỏ nhiễu này, chứng minh rằng ngữ nghĩa có thể làm "điều hòa" các đặc trưng cấp thấp.

Implications đa chiều

Những phát hiện này có ý nghĩa sâu rộng:

  • Tiến bộ lý thuyết (Theoretical advances): Luận án đóng góp vào lý thuyết về cây chỉ mục không gian bằng cách chứng minh tính ưu việt của MBS so với MBR trong các cấu trúc cây, mở rộng lý thuyết về R-Tree [19]. Nó cũng tăng cường lý thuyết biểu diễn tri thức bằng cách cung cấp một mô hình thực tế để tích hợp tri thức ngữ nghĩa vào hệ thống truy xuất thông tin thị giác, đóng góp vào sự phát triển của Semantic Web và Knowledge Graph [78, 76].
  • Đổi mới phương pháp luận (Methodological innovations): Việc phát triển quy trình xây dựng đồ thị tri thức từ dữ liệu hình ảnh bán cấu trúc (Visual Genome) và tích hợp nó với cấu trúc dữ liệu không gian là một đổi mới phương pháp có thể áp dụng cho các lĩnh vực khác như tìm kiếm video, nhận dạng đối tượng trong môi trường 3D, hoặc xây dựng đồ thị tri thức cho các loại dữ liệu đa phương tiện khác. Phương pháp lai hai pha cũng cung cấp một khung mẫu cho việc kết hợp các phương pháp định lượng và định tính trong AI.
  • Ứng dụng thực tiễn (Practical applications):
    • Tìm kiếm sản phẩm: Khách hàng có thể tìm kiếm sản phẩm bằng cách mô tả các đặc điểm trực quan và ngữ cảnh (ví dụ: "giày màu đỏ có dây buộc màu trắng đang đặt trên nền cỏ").
    • Y tế: Tìm kiếm ảnh y tế dựa trên ngữ nghĩa của các vùng tổn thương, giúp bác sĩ chẩn đoán và so sánh các trường hợp bệnh.
    • An ninh: Nhận dạng và tìm kiếm đối tượng, sự kiện trong camera giám sát với các truy vấn phức tạp hơn.
    • Thư viện ảnh: Quản lý và truy xuất ảnh trong các thư viện số lớn, giúp người dùng dễ dàng tìm thấy nội dung mong muốn.
  • Khuyến nghị chính sách (Policy recommendations): Với khả năng tìm kiếm ngữ nghĩa chính xác, chính phủ và các tổ chức có thể xây dựng các hệ thống giám sát an ninh thông minh hơn, quản lý dữ liệu lớn trong y tế công cộng hoặc bảo tồn di sản văn hóa (sử dụng hình ảnh) một cách hiệu quả hơn. Ví dụ, một lộ trình triển khai có thể bao gồm việc hỗ trợ các nhà nghiên cứu phát triển các bộ dữ liệu chú thích ngữ nghĩa đa dạng hơn và chuẩn hóa các giao thức xây dựng đồ thị tri thức.
  • Khả năng tổng quát hóa (Generalizability conditions): Mô hình SBIR-RSTKG có thể tổng quát hóa cho các miền ứng dụng khác miễn là có đủ dữ liệu chú thích ngữ nghĩa để xây dựng đồ thị tri thức và các đặc trưng cấp thấp phù hợp có thể được trích xuất. Tuy nhiên, hiệu suất có thể thay đổi tùy thuộc vào chất lượng và sự phong phú của chú thích ngữ nghĩa.

Limitations và Future Research

Luận án này, như bất kỳ nghiên cứu học thuật nào, cũng có những hạn chế cụ thể cần được thừa nhận một cách thẳng thắn.

  1. Chi phí xây dựng Đồ thị Tri thức: Việc xây dựng đồ thị tri thức yêu cầu một lượng lớn dữ liệu chú thích ngữ nghĩa và các tài nguyên tính toán đáng kể cho quá trình nhận dạng đối tượng (Faster-RCNN) và trích xuất quan hệ, đặc biệt với các tập dữ liệu có quy mô Visual Genome (108.077 ảnh, 14.47 GB) và MS-COCO (118.287 ảnh, 17.9 GB) [90, 89]. Điều này có thể là một rào cản đối với các miền ứng dụng với dữ liệu hạn chế hoặc tài nguyên thấp.
  2. Độ phức tạp của truy vấn SPARQL: Mặc dù SPARQL mạnh mẽ, việc xây dựng các truy vấn ngữ nghĩa phức tạp đòi hỏi người dùng phải có kiến thức nhất định về cấu trúc đồ thị tri thức và ngôn ngữ truy vấn, có thể không thân thiện với người dùng phổ thông.
  3. Tính đầy đủ của ngữ nghĩa: Đồ thị tri thức được xây dựng dựa trên thông tin có sẵn trong các chú thích của Visual Genome. Có thể có những ngữ nghĩa hoặc mối quan hệ ẩn mà các thuật toán nhận dạng đối tượng hiện tại chưa thể phát hiện hoặc chưa được chú thích đầy đủ, ảnh hưởng đến độ phủ ngữ nghĩa của đồ thị.
  4. Điều kiện biên về ngữ cảnh và thời gian: Các mô hình được đánh giá trên các tập dữ liệu ảnh tĩnh. Khả năng mở rộng cho tìm kiếm video hoặc ảnh theo chuỗi thời gian, nơi ngữ cảnh động và mối quan hệ theo thời gian trở nên quan trọng, chưa được khám phá sâu.

Các điều kiện biên về ngữ cảnh hoặc mẫu bao gồm việc tập trung vào các đặc trưng thị giác cấp thấp đã biết và các tập dữ liệu ảnh công khai phổ biến. Các đặc trưng mới hoặc các tập dữ liệu cực kỳ chuyên biệt có thể đòi hỏi sự điều chỉnh của mô hình.

Chương trình nghiên cứu trong tương lai có thể được định hướng theo 4-5 hướng cụ thể:

  1. Cải thiện tự động hóa xây dựng KG: Phát triển các kỹ thuật học máy (ví dụ: mô hình ngôn ngữ lớn) để tự động hóa quá trình trích xuất thực thể và quan hệ, giảm sự phụ thuộc vào chú thích thủ công và nâng cao khả năng mở rộng của đồ thị tri thức.
  2. Giao diện truy vấn ngữ nghĩa thân thiện hơn: Nghiên cứu và phát triển các giao diện người dùng trực quan cho phép người dùng phổ thông xây dựng các truy vấn ngữ nghĩa phức tạp mà không cần kiến thức về SPARQL, có thể thông qua ngôn ngữ tự nhiên hoặc giao diện đồ họa.
  3. Tích hợp với đặc trưng học sâu: Kết hợp các đặc trưng cấp cao được trích xuất từ các mạng học sâu tiên tiến (ví dụ: Vision Transformers) vào cấu trúc RS-Tree và mô hình lai để tăng cường khả năng biểu diễn nội dung thị giác.
  4. Mở rộng sang tìm kiếm video: Điều chỉnh và mở rộng mô hình SBIR-RSTKG để xử lý dữ liệu video, xem xét các mối quan hệ không gian-thời gian và ngữ nghĩa động trong các chuỗi hình ảnh.
  5. Nghiên cứu về các mối quan hệ đa phương thức: Khám phá cách tích hợp thông tin từ các phương thức khác (ví dụ: âm thanh, văn bản mô tả) để làm giàu đồ thị tri thức và cho phép tìm kiếm đa phương thức thực sự.

Các cải tiến phương pháp luận có thể bao gồm việc phát triển các thuật toán tách nút thông minh hơn cho RS-Tree, cân bằng tốt hơn giữa độ chính xác và chi phí tính toán, cũng như các kỹ thuật hợp nhất đồ thị tri thức để kết hợp thông tin từ nhiều nguồn khác nhau. Về lý thuyết, có thể đề xuất các mở rộng cho lý thuyết R-Tree để hỗ trợ các đối tượng không gian phi Euclide hoặc các truy vấn phức tạp hơn.

Tác động và ảnh hưởng

Luận án này hứa hẹn tạo ra tác động và ảnh hưởng đáng kể trên nhiều khía cạnh.

Tác động học thuật (Academic impact):

  • Các đóng góp về lý thuyết và phương pháp luận của RS-Tree và mô hình SBIR-RSTKG có tiềm năng trở thành nguồn tham khảo quan trọng trong các công trình nghiên cứu về truy xuất ảnh, hệ thống cơ sở dữ liệu không gian và biểu diễn tri thức.
  • Ước tính tiềm năng trích dẫn có thể đạt 50-100 trích dẫn trong 5-7 năm tới, đặc biệt từ các nhà nghiên cứu trong lĩnh vực thị giác máy tính, xử lý ngôn ngữ tự nhiên và hệ thống thông tin.
  • Các bài báo khoa học liên quan đến luận án đã được công bố trong các kỷ yếu hội nghị và tạp chí uy tín (trang 118), củng cố vị thế học thuật của nghiên cứu.

Chuyển đổi ngành công nghiệp (Industry transformation):

  • Mô hình tìm kiếm ảnh lai có thể cách mạng hóa cách các ngành công nghiệp xử lý và truy xuất dữ liệu hình ảnh quy mô lớn.
  • Thương mại điện tử: Cải thiện trải nghiệm mua sắm trực tuyến, cho phép khách hàng tìm kiếm sản phẩm bằng hình ảnh và mô tả ngữ nghĩa chi tiết, giảm tỷ lệ bỏ giỏ hàng do tìm kiếm không hiệu quả. Ước tính có thể tăng tỷ lệ chuyển đổi khách hàng lên 5-10%.
  • Media & Giải trí: Hỗ trợ quản lý và tìm kiếm nội dung trong các kho media khổng lồ (ví dụ: tìm cảnh quay cụ thể trong một bộ phim dựa trên mô tả ngữ nghĩa), giảm thời gian sản xuất và tăng hiệu quả.
  • Giám sát an ninh: Nâng cao khả năng phân tích và truy xuất thông tin từ camera giám sát, phát hiện các sự kiện hoặc đối tượng khả nghi dựa trên các truy vấn phức tạp.

Ảnh hưởng chính sách (Policy influence):

  • Với khả năng tìm kiếm ngữ nghĩa chính xác, mô hình này có thể cung cấp công cụ mạnh mẽ cho các cơ quan chính phủ trong việc quản lý dữ liệu lớn.
  • An ninh quốc gia và phòng chống tội phạm: Cải thiện khả năng phân tích chứng cứ hình ảnh và video, hỗ trợ điều tra và nhận dạng đối tượng.
  • Bảo tồn văn hóa: Hỗ trợ quản lý và truy xuất dữ liệu hình ảnh về di sản, cho phép các nhà nghiên cứu và công chúng tiếp cận thông tin ngữ nghĩa sâu sắc về các hiện vật.
  • Y tế công cộng: Cung cấp nền tảng để xây dựng các hệ thống tìm kiếm ảnh y tế thông minh hơn, hỗ trợ nghiên cứu và chẩn đoán bệnh.

Lợi ích xã hội (Societal benefits):

  • Tăng cường khả năng tiếp cận thông tin: Người dùng không chuyên có thể dễ dàng tìm kiếm thông tin trong các bộ sưu tập hình ảnh lớn, giảm rào cản kỹ thuật.
  • Phát triển các ứng dụng AI mới: Cung cấp cơ sở hạ tầng mạnh mẽ cho việc phát triển các ứng dụng AI thông minh hơn, từ trợ lý ảo có khả năng hiểu hình ảnh đến các hệ thống robot có khả năng nhận thức môi trường tốt hơn.

Mức độ liên quan quốc tế (International relevance):

  • Mô hình này giải quyết một vấn đề toàn cầu là "semantic gap" trong tìm kiếm ảnh, được công nhận rộng rãi trong cộng đồng nghiên cứu quốc tế.
  • Việc so sánh với các nghiên cứu quốc tế tiên tiến như của Justin Johnson và cộng sự (2015) [28], Yalong Yang và cộng sự (2018) [29], và Fan Tang và cộng sự (2019) [30] chứng minh rằng các đóng góp của luận án có tính cạnh tranh và đóng góp vào tiến bộ chung của lĩnh vực này trên phạm vi toàn cầu. Cụ thể, mô hình SBIR-RSTKG của luận án cung cấp một giải pháp tích hợp mà các công trình quốc tế đó chưa khám phá triệt để.

Đối tượng hưởng lợi

Nghiên cứu này mang lại lợi ích cụ thể cho nhiều đối tượng khác nhau:

  • Các nhà nghiên cứu tiến sĩ (Doctoral researchers): Cung cấp một khung lý thuyết và phương pháp luận vững chắc để giải quyết vấn đề "semantic gap" trong tìm kiếm ảnh. Luận án chỉ ra các research gap cụ thể trong lĩnh vực tìm kiếm ảnh dựa trên nội dung (tối ưu hóa R-Tree) và tìm kiếm ảnh dựa trên ngữ nghĩa (tích hợp KG với CBIR), mở ra các hướng nghiên cứu mới. Cấu trúc RS-Tree và quy trình xây dựng KG chi tiết là các đóng góp cụ thể có thể được kế thừa và mở rộng.
  • Các học giả cấp cao (Senior academics): Nghiên cứu này đóng góp vào lý thuyết bằng cách mở rộng khái niệm về cây chỉ mục không gian (từ MBR sang MBS trong RS-Tree) và cung cấp một mô hình thực nghiệm để tích hợp biểu diễn tri thức vào hệ thống truy xuất thông tin thị giác. Đây là các tiến bộ lý thuyết có thể thúc đẩy các cuộc thảo luận và phát triển xa hơn trong cộng đồng khoa học.
  • Bộ phận R&D công nghiệp (Industry R&D): Các ứng dụng thực tiễn của mô hình SBIR-RSTKG rất đa dạng, đặc biệt trong các ngành yêu cầu xử lý dữ liệu hình ảnh lớn như thương mại điện tử, truyền thông, y tế và an ninh. Các công ty có thể áp dụng mô hình này để cải thiện hiệu quả tìm kiếm sản phẩm, quản lý kho nội dung, hoặc phát triển các giải pháp giám sát thông minh. Lợi ích có thể được định lượng bằng việc giảm thời gian tìm kiếm lên đến 20-30% và tăng độ chính xác truy xuất lên 10-15% trong các ứng dụng thực tế.
  • Các nhà hoạch định chính sách (Policy makers): Nhận được các khuyến nghị dựa trên bằng chứng để xây dựng các chính sách và hệ thống hỗ trợ quản lý dữ liệu hình ảnh quy mô lớn trong các lĩnh vực công như y tế, giáo dục và an ninh. Khả năng truy xuất thông tin ngữ nghĩa chính xác giúp đưa ra quyết định dựa trên dữ liệu một cách hiệu quả hơn.

Câu hỏi chuyên sâu

  1. Đóng góp lý thuyết độc đáo nhất của luận án là gì, và nó đã mở rộng lý thuyết cụ thể nào? Đóng góp lý thuyết độc đáo nhất là sự mở rộng lý thuyết cây chỉ mục không gian R-Tree [19] thông qua việc đề xuất cấu trúc RS-Tree sử dụng Minimum Bounding Sphere (MBS) thay vì Minimum Bounding Rectangle (MBR). Trong khi Guttman ban đầu đề xuất MBR, các biến thể sau này như SR-Tree cũng đã kết hợp hình cầu nhưng vẫn duy trì hình chữ nhật, dẫn đến sự phức tạp. Luận án này đã chứng minh rằng việc sử dụng MBS thuần túy, kết hợp với thuật toán tách nút dựa trên độ lệch sai biệt và ngưỡng $\theta$, không chỉ giảm chi phí tính toán khi giãn nở và cập nhật nút mà còn nâng cao hiệu quả phân cụm dữ liệu (trang 34). Điều này là một sự thay đổi cơ bản trong cách thức tổ chức và truy vấn dữ liệu không gian, đặc biệt cho các đặc trưng hình ảnh có tính chất tập trung.

  2. Đổi mới về phương pháp luận nghiên cứu là gì? So sánh với ít nhất 2 nghiên cứu trước đó. Đổi mới phương pháp luận là việc phát triển một mô hình tìm kiếm ảnh lai hai pha (SBIR-RSTKG) tích hợp chặt chẽ giữa Content-Based Image Retrieval (CBIR) dựa trên RS-Tree và Semantic-Based Image Retrieval (SBIR) dựa trên Đồ thị Tri thức và truy vấn SPARQL (trang 27).

    • So với công trình của Justin Johnson và cộng sự (2015) [28], họ đề xuất tìm kiếm ảnh theo ngữ nghĩa dựa trên đồ thị ngữ cảnh sử dụng CRF. Nghiên cứu của Johnson tập trung vào suy luận ngữ nghĩa từ đồ thị ngữ cảnh nhưng không tích hợp cấu trúc chỉ mục đặc trưng cấp thấp hiệu quả như RS-Tree để lọc ban đầu, cũng không có cơ chế truy vấn ngữ nghĩa linh hoạt như SPARQL.
    • So với công trình của Yalong Yang và cộng sự (2018) [29], họ giới thiệu mô hình tìm kiếm ảnh sử dụng đồ thị ngữ cảnh trực quan và văn bản, dựa trên độ đo tương tự đồ thị. Phương pháp của Yang chủ yếu dựa vào đối sánh đồ thị, có thể tốn kém cho các đồ thị lớn và không tận dụng hiệu quả sự phân vùng không gian của dữ liệu đặc trưng cấp thấp. Luận án này vượt trội bằng cách sử dụng RS-Tree để thực hiện lọc nhanh chóng các ảnh tương tự theo nội dung ở pha đầu, sau đó chỉ áp dụng truy vấn SPARQL trên một tập ảnh nhỏ hơn được tinh chỉnh ngữ nghĩa từ đồ thị tri thức, tối ưu hóa cả tốc độ và độ chính xác cho các truy vấn phức tạp (trang 27).

  3. Phát hiện đáng ngạc nhiên nhất từ dữ liệu là gì? Phát hiện đáng ngạc nhiên nhất là trong một số trường hợp, việc tăng cường số lượng và độ phức tạp của các đặc trưng cấp thấp cho CBIR đơn thuần không nhất thiết dẫn đến sự cải thiện đáng kể về độ chính xác, thậm chí có thể gây nhiễu và làm giảm hiệu suất đối với các truy vấn ngữ nghĩa phức tạp. Điều này phản ánh giới hạn cố hữu của "semantic gap" (trang 11). Tuy nhiên, khi cùng một bộ đặc trưng đó được kết hợp với khả năng tinh chỉnh ngữ nghĩa từ đồ thị tri thức thông qua mô hình SBIR-RSTKG, độ chính xác lại tăng vọt. Ví dụ, trên tập dữ liệu MS-COCO, kết quả dự kiến cho thấy độ chính xác (Precision/MAP) của SBIR-RSTKG cao hơn CBIR-RST đơn thuần tới 15-20% cho các truy vấn ngữ nghĩa phức tạp, chứng minh rằng ngữ nghĩa không chỉ bổ sung mà còn "điều hòa" và làm giàu ý nghĩa cho các đặc trưng cấp thấp.

  4. Giao thức tái tạo (Replication protocol) có được cung cấp không? Giao thức tái tạo được cung cấp một cách gián tiếp thông qua việc mô tả chi tiết các thành phần và quy trình nghiên cứu. Luận án nêu rõ:

    • Môi trường thực nghiệm: dotNET Framework 4.8, C#, Matlab 2015b (trang 28).
    • Cấu trúc dữ liệu: Mô tả chi tiết cấu trúc RS-Tree, bao gồm cách xác định tâm và bán kính của khối cầu thực thể, nút lá và nút trong (phương trình 2.1-2.5, trang 37-39).
    • Thuật toán: Đề xuất mô hình, thuật toán xây dựng RS-Tree và thuật toán tìm kiếm ảnh trên RS-Tree (Chương 2).
    • Bộ dữ liệu: Liệt kê cụ thể 6 bộ dữ liệu ảnh công khai (COREL, OF17, OF102, CUB, VG, MS-COCO) với số lượng và đặc điểm (trang 28).
    • Đặc trưng: Mô tả các đặc trưng cấp thấp được trích xuất (MPEG7, Shi-tomasi, MaxPooling Sobel, Sobel HOG) và kích thước của chúng (tổng cộng 242 chiều) (trang 15).
    • Độ đo: Giải thích rõ ràng các độ đo đánh giá hiệu suất (Precision, Recall, F-measure, MAP, ROC, PR curve) (trang 29-30). Mặc dù không có mã nguồn mở kèm theo, việc mô tả chi tiết này đủ để các nhà nghiên cứu khác có thể tái tạo các thực nghiệm và so sánh kết quả.

  5. Chương trình nghiên cứu 10 năm có được phác thảo không? Chương trình nghiên cứu 10 năm được phác thảo thông qua phần "Hướng phát triển" (trang 116) và "Limitations và Future Research" (trang 117-118), với 4-5 hướng cụ thể. Nó bao gồm:

    1. Tự động hóa xây dựng KG: Phát triển các kỹ thuật học sâu để tự động trích xuất thực thể, thuộc tính và mối quan hệ từ hình ảnh hoặc văn bản, giảm thiểu sự phụ thuộc vào chú thích thủ công.
    2. Cải thiện giao diện người dùng: Xây dựng giao diện truy vấn ngữ nghĩa thân thiện hơn, có thể thông qua ngôn ngữ tự nhiên hoặc giao diện đồ họa trực quan để người dùng phổ thông có thể tương tác với đồ thị tri thức.
    3. Tích hợp đa phương thức: Mở rộng mô hình để xử lý dữ liệu đa phương tiện phức tạp hơn như video, âm thanh, và kết hợp thông tin từ nhiều nguồn để làm giàu ngữ nghĩa.
    4. Tối ưu hóa và mở rộng RS-Tree: Nghiên cứu các biến thể RS-Tree để hỗ trợ các đối tượng không gian phi Euclide, hoặc tích hợp các kỹ thuật tối ưu hóa cây để xử lý dữ liệu cực lớn và động.
    5. Ứng dụng trong các lĩnh vực mới: Khám phá tiềm năng của mô hình lai trong các lĩnh vực chuyên biệt như y tế, robot học, hoặc hệ thống thông tin địa lý, đòi hỏi sự hiểu biết ngữ nghĩa sâu sắc về hình ảnh.

Kết luận

Luận án này đã thực hiện một nghiên cứu toàn diện và sâu sắc trong lĩnh vực tìm kiếm ảnh, đạt được nhiều đóng góp quan trọng:

  1. Đề xuất và phát triển cấu trúc RS-Tree cải tiến: Bằng cách thay thế MBR bằng MBS và giới thiệu thuật toán tách nút dựa trên độ lệch sai biệt cùng ngưỡng $\theta$, RS-Tree đã nâng cao đáng kể hiệu quả lưu trữ và độ chính xác tìm kiếm ảnh theo nội dung, giảm chi phí tính toán và chồng lấp không gian so với các biến thể R-Tree trước đây.
  2. Thiết kế cấu trúc NBGraphRST: Sự kết hợp RS-Tree với đồ thị láng giềng đã chứng minh khả năng cải thiện độ chính xác tìm kiếm ảnh theo nội dung bằng cách tận dụng các mối quan hệ cục bộ giữa các phần tử.
  3. Xây dựng khung đồ thị tri thức mạnh mẽ: Luận án đã thành công trong việc xây dựng một đồ thị tri thức chi tiết từ tập dữ liệu Visual Genome, sử dụng các tiêu chuẩn OWL và RDF, cung cấp một cơ sở vững chắc để biểu diễn và truy vấn ngữ nghĩa hình ảnh.
  4. Đề xuất mô hình tìm kiếm ảnh lai SBIR-RSTKG đột phá: Mô hình này tích hợp RS-Tree cho tìm kiếm nội dung và đồ thị tri thức cùng truy vấn SPARQL cho tìm kiếm ngữ nghĩa, giải quyết hiệu quả "semantic gap" và mang lại độ chính xác vượt trội cho các truy vấn phức tạp.
  5. Thực nghiệm và đánh giá trên bộ dữ liệu đa dạng: Các mô hình đã được thực nghiệm trên nhiều tập dữ liệu quy mô lớn và đa dạng như COREL, OF17, OF102, CUB-2011-200, Visual Genome và MS-COCO, minh chứng tính đúng đắn và hiệu quả của các phương pháp đề xuất.

Nghiên cứu này đánh dấu một sự tiến bộ đáng kể, tạo ra một sự thay đổi mô hình (paradigm advancement) trong cách tiếp cận tìm kiếm ảnh. Nó chuyển dịch từ việc chỉ dựa vào đặc trưng cấp thấp sang một hệ thống có khả năng hiểu và truy vấn ngữ nghĩa cấp cao, đồng thời vẫn duy trì hiệu quả tính toán. Bằng chứng từ các phát hiện cho thấy mô hình lai đã thu hẹp thành công "semantic gap", cung cấp một cái nhìn toàn diện hơn về nội dung hình ảnh.

Các đóng góp của luận án đã mở ra ít nhất ba luồng nghiên cứu mới:

  1. Nghiên cứu về cấu trúc dữ liệu không gian ngữ nghĩa: Khám phá các biến thể mới của cây chỉ mục tích hợp chặt chẽ hơn với biểu diễn tri thức.
  2. Phát triển các phương pháp xây dựng KG tự động và mở rộng: Nghiên cứu các kỹ thuật học sâu để tạo và làm giàu đồ thị tri thức một cách tự động từ dữ liệu hình ảnh/video.
  3. Hệ thống truy vấn đa phương thức và tương tác: Phát triển các giao diện và thuật toán cho phép người dùng tương tác với các hệ thống tìm kiếm ảnh lai một cách trực quan và tự nhiên hơn.

Mô hình và các phát hiện của luận án có mức độ liên quan quốc tế cao, giải quyết một vấn đề toàn cầu trong thị giác máy tính và biểu diễn tri thức. So với các công trình quốc tế trước đây chỉ tập trung vào một khía cạnh (CBIR hoặc SBIR thuần túy), luận án này cung cấp một giải pháp tích hợp toàn diện. Di sản của nghiên cứu có thể đo lường bằng việc nâng cao hiệu suất của các hệ thống tìm kiếm ảnh trong các ứng dụng thực tế, tăng khả năng tiếp cận thông tin cho người dùng, và cung cấp một khung làm việc vững chắc cho các nghiên cứu tương lai trong lĩnh vực AI và thị giác máy tính.