Tổng quan về luận án

Luận án này tiên phong trong việc phát triển các thuật toán tra cứu ảnh dựa trên ngữ nghĩa (SBIR) để giải quyết "khoảng cách ngữ nghĩa" cố hữu trong các hệ thống tìm kiếm ảnh truyền thống. Bối cảnh khoa học của nghiên cứu được đặt trong sự bùng nổ dữ liệu đa phương tiện, với dự đoán lượng dữ liệu toàn cầu đạt 175 zettabyte vào năm 2025 [4], trong đó hình ảnh chiếm tỷ trọng lớn. Các hệ thống tìm kiếm ảnh hiện tại như Google Image Search hay Bing thường dựa vào thẻ tag văn bản hoặc đặc trưng cấp thấp (màu sắc, kết cấu), dẫn đến hiệu quả tìm kiếm chưa đáp ứng được mong muốn của người dùng về ngữ nghĩa cấp cao.

Research gap chính mà luận án này giải quyết là sự thiếu hụt các cấu trúc chỉ mục hiệu quả để lưu trữ và truy vấn ngữ nghĩa hình ảnh, cùng với sự chưa đồng bộ trong quá trình xây dựng cấu trúc dữ liệu và tìm kiếm ảnh. Cụ thể, "Hầu hết các công trình trên chỉ tập trung vào xây dựng các cấu trúc chỉ mục cho các bài toán tìm kiếm ảnh theo nội dung; chưa tập trung nghiên cứu xây dựng một cấu trúc chỉ mục để lưu trữ ngữ nghĩa hình ảnh nhằm tăng độ chính xác và thời gian truy vấn; chưa áp dụng các kỹ thuật máy học trong quá trình lập chỉ mục hình ảnh; chưa đồng bộ trong quá trình xây xựng cấu trúc dữ liệu hình ảnh và trong quá trình tìm kiếm ảnh." Các phương pháp học máy hiện tại cũng còn hạn chế về tính chủ quan, thiếu mô tả ngữ cảnh và mối quan hệ giữa các đối tượng, trong khi các phương pháp dựa trên ontology thường giới hạn ở tập dữ liệu nhỏ và quy trình xây dựng thủ công [13, 43].

Nghiên cứu này định hướng khắc phục những hạn chế đó thông qua các câu hỏi nghiên cứu sau:

  1. Làm thế nào để phát triển một cấu trúc dữ liệu phân cụm phân cấp (GP-Tree) nhằm tổ chức lưu trữ các véc-tơ đặc trưng của ảnh, tối ưu hóa cho truy vấn ngữ nghĩa?
  2. Làm thế nào để cải tiến cấu trúc GP-Tree bằng cách kết hợp đồ thị cụm lân cận (Graph-GPTree) và mạng tự tổ chức (SgGP-Tree) để nâng cao độ chính xác và hiệu quả tìm kiếm?
  3. Làm thế nào để xây dựng một khung ontology bán tự động và tích hợp ngôn ngữ truy vấn SPARQL nhằm làm giàu ngữ nghĩa và hỗ trợ tìm kiếm ảnh theo ngữ nghĩa cấp cao?
  4. Phương pháp đề xuất có đạt được hiệu suất vượt trội (độ chính xác, độ phủ, F-measure, MAP) so với các hệ thống SBIR hiện đại khác trên các bộ dữ liệu tiêu chuẩn không?

Khung lý thuyết của luận án dựa trên sự kết hợp của lý thuyết phân cụm (clustering theory), lý thuyết đồ thị (graph theory), mạng nơ-ron tự tổ chức (Self-Organizing Maps - SOM) của Teuvo Kohonen, và các nguyên tắc của Ngữ nghĩa học tính toán (Computational Semantics) thông qua ontology và ngôn ngữ truy vấn SPARQL. Nó mở rộng các lý thuyết về tổ chức dữ liệu đa phương tiện để bao gồm các khía cạnh ngữ nghĩa, không chỉ là đặc trưng cấp thấp.

Đóng góp đột phá của luận án nằm ở việc phát triển ba cấu trúc dữ liệu phân cụm phân cấp tiên tiến (GP-Tree, Graph-GPTree, SgGP-Tree) được thiết kế đặc biệt để lập chỉ mục ngữ nghĩa hình ảnh hiệu quả, đồng thời tích hợp một hệ thống ontology làm giàu bán tự động với truy vấn SPARQL. Các thực nghiệm trên các bộ dữ liệu lớn như Wang (10.800 ảnh), ImageCLEF (20.000 ảnh), và MS-COCO (163.957 ảnh) cho thấy hiệu suất tìm kiếm ảnh tăng đáng kể, với cải thiện về độ chính xác trung bình (MAP) lên đến X% (ví dụ, cần dữ liệu cụ thể để điền, giả định X% là một giá trị có ý nghĩa) so với các phương pháp hiện có. Phạm vi nghiên cứu tập trung vào nhận diện ngữ nghĩa ở mức độ vật thể, hành động, và bối cảnh, sử dụng bộ dữ liệu chuẩn đã công bố, và giới hạn phương pháp dựa trên ontology để liên kết ngữ nghĩa và hình ảnh.

Literature Review và Positioning

Các công trình nghiên cứu liên quan về tìm kiếm ảnh được phân loại thành ba luồng chính: tìm kiếm ảnh dựa trên văn bản (TBIR), tìm kiếm ảnh dựa trên nội dung (CBIR), và tìm kiếm ảnh dựa trên ngữ nghĩa (SBIR).

TBIR ban đầu dựa vào chú thích thủ công và từ khóa, như các công cụ Google Image Search hay Yahoo Image Search. Tuy nhiên, phương pháp này có nhược điểm lớn là "chú thích mô tả thường phải được nhập thủ công và việc chú thích này cho tập hình ảnh lớn là không thực tế" [18]. Các nghiên cứu như của [28] đã cố gắng cải thiện TBIR bằng cách khai thác hình ảnh Web được gắn nhãn và học các bộ phân loại SVM mạnh mẽ hơn, nhưng vẫn không thể giải quyết triệt để vấn đề quy mô và tính chủ quan của chú thích văn bản.

CBIR xuất hiện như một giải pháp thay thế, bắt đầu từ công trình của Kato (1992) [19], tập trung vào việc trích xuất các đặc trưng cấp thấp như màu sắc, hình dạng, và kết cấu. Các phương pháp CBIR được phân chia thành đặc trưng toàn cục và cục bộ. Srivastava và cộng sự (2007) [29] đề xuất UFM dựa trên đặc trưng mờ, trong khi Chang và cộng sự (2007) [30] tập trung vào độ tương đồng hình dạng vùng. Các kỹ thuật đặc trưng cục bộ như SIFT [35] được nghiên cứu bởi Alsmadi và cộng sự (2010) [36] và Xu và cộng sự (2012) [37] đã cho thấy cải thiện đáng kể độ chính xác. Kỹ thuật lai như của Kalra và cộng sự (2013) [39] kết hợp cả văn bản và nội dung, nhưng vẫn cần cải thiện hiệu suất với các đặc trưng trực quan phức tạp hơn. Tuy nhiên, CBIR vẫn gặp phải "khoảng cách ngữ nghĩa", tức là sự khác biệt giữa đặc trưng hình ảnh có thể phân biệt và những gì con người nhận thức từ hình ảnh [trích từ văn bản].

SBIR được đề xuất để khắc phục "khoảng cách ngữ nghĩa" bằng cách kết hợp mô tả ngữ nghĩa với CBIR [12, 13]. Hai hướng tiếp cận chính trong SBIR là học máy và ontology.

  • SBIR dựa trên học máy: Các nghiên cứu như Hakan Cevikalp [37] sử dụng graph-cut và cây nhị phân với SVM để phân lớp ảnh, nhưng còn hạn chế về tốc độ truy xuất và chưa phân tích ngữ nghĩa thị giác. Tefas [38] và Xie [41] đã áp dụng CNN để phân lớp ảnh dựa trên đặc trưng cấp thấp và phản hồi liên quan, nhưng chưa tích hợp truy vấn ngữ nghĩa qua ontology. Barz và Denzler (2016) [47] tích hợp mối quan hệ ngữ nghĩa vào học sâu. Tuy nhiên, "phương pháp này vẫn gặp hạn chế: tính chủ quan, thiếu mô tả ngữ cảnh và mối quan hệ giữa các đối tượng. Do đó, việc hiểu ngữ nghĩa cấp cao của ảnh và giảm "khoảng cách ngữ nghĩa" vẫn là thách thức chưa được giải quyết hiệu quả."
  • SBIR dựa trên ontology: Ontology cung cấp một cách có cấu trúc để biểu diễn kiến thức ngữ nghĩa. Fadzli và Setchi (2007) [57] đã đề xuất SDNA từ ontology từ vựng có cấu trúc. Ruan và cộng sự (2008) [58] sử dụng ontology phụ thuộc miền để tìm kiếm ảnh. Các nghiên cứu khác như của Manzoor và cộng sự (2009) [55] và Gowri và Nagara (2011) [59] cũng đã phát triển các hệ thống SBIR dựa trên ontology. Mặc dù vậy, "Các phương pháp này phụ thuộc vào ontology miền, dữ liệu lớn và ngôn ngữ truy vấn, khiến việc xây dựng ontology cho bộ dữ liệu lớn trở thành thách thức lớn. Một số nghiên cứu sử dụng ontology để tìm kiếm ảnh, nhưng chưa tích hợp truy vấn SPARQL hoặc ngôn ngữ tự nhiên để tạo truy vấn này."

Luận án này định vị mình ở giao điểm của các xu hướng này, nhằm cung cấp một giải pháp SBIR toàn diện hơn. Nghiên cứu này không chỉ tiến hành "áp dụng một số phương pháp học máy vào việc tìm kiếm ảnh theo mức độ hai nhằm cải thiện hiệu quả của quá trình tìm kiếm dựa trên cấu trúc dữ liệu lưu trữ đề xuất" mà còn giải quyết các hạn chế của cả hai hướng học máy và ontology bằng cách phát triển các cấu trúc dữ liệu tiên tiến (GP-Tree, Graph-GPTree, SgGP-Tree) để lập chỉ mục ngữ nghĩa hiệu quả và xây dựng một khung ontology làm giàu bán tự động tích hợp SPARQL.

So sánh với các nghiên cứu quốc tế:

  1. So với "Vocabulary Tree" của Nister và Stewenius (2006) [76]: Luận án này mở rộng ý tưởng về cây từ vựng bằng cách đề xuất GP-Tree, không chỉ là một cấu trúc phân cụm phân cấp mà còn có khả năng "phát triển linh hoạt" với các thao tác thêm, tách nút động. Trong khi cây từ vựng truyền thống tập trung vào việc tạo ra các "từ thị giác" để nhận dạng đối tượng, GP-Tree được tối ưu hóa để lưu trữ và truy vấn véc-tơ đặc trưng ngữ nghĩa của hình ảnh, đồng thời cung cấp các cơ chế quản lý dữ liệu động hiệu quả hơn để xử lý sự gia tăng dữ liệu hình ảnh liên tục.
  2. So với các hệ thống CBIR sử dụng Deep Learning như của Wu và Hsu (2011) [44] hay Cao và cộng sự (2017) [48]: Luận án này không chỉ dừng lại ở việc trích xuất đặc trưng thị giác cấp thấp bằng các mô hình học sâu (như Mask R-CNN/ResNet-101-FPN được sử dụng), mà còn tập trung vào việc tổ chức các đặc trưng này trong các cấu trúc dữ liệu tối ưu hóa cho truy vấn ngữ nghĩa. Các phương pháp của Wu và Hsu hay Cao chủ yếu tập trung vào việc ánh xạ đặc trưng thị giác sang từ vựng thị giác hoặc véc-tơ nhị phân, nhưng chưa giải quyết triệt để vấn đề lưu trữ và truy xuất ngữ nghĩa cấp cao một cách hiệu quả và đồng bộ. Luận án này tiến xa hơn bằng cách tạo ra một "khung ontology làm giàu bán tự động" và tích hợp SPARQL để cho phép truy vấn trực tiếp dựa trên các khái niệm ngữ nghĩa phức tạp, vượt qua giới hạn của việc chỉ so khớp đặc trưng cấp thấp hoặc từ khóa đơn lẻ.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án này đưa ra những đóng góp đáng kể cho lý thuyết tìm kiếm ảnh và khoa học máy tính thông qua việc mở rộng và thách thức các lý thuyết hiện có.

  • Mở rộng lý thuyết phân cụm phân cấp và tổ chức dữ liệu: Nghiên cứu này mở rộng các lý thuyết về cây phân cụm (ví dụ, cây K-D, cây R-tree) bằng cách đề xuất GP-Tree (Growing Partitioning Tree). GP-Tree không chỉ là một cấu trúc phân cấp tĩnh mà còn là một cấu trúc động, có khả năng "phát triển linh hoạt" thông qua các nguyên tắc thao tác như thêm, tách, và xóa phần tử. Điều này giải quyết thách thức về xử lý dữ liệu hình ảnh "gia tăng không ngừng" và phân bố hợp lý, một hạn chế mà các cấu trúc cây truyền thống thường không được thiết kế tối ưu để xử lý một cách tự động và hiệu quả. Luận án thách thức giả định về kích thước tập dữ liệu cố định trong nhiều mô hình phân cụm bằng cách cung cấp một cơ chế tự thích ứng.
  • Thách thức và mở rộng lý thuyết về biểu diễn ngữ nghĩa hình ảnh: Các phương pháp tìm kiếm ảnh truyền thống thường chỉ tập trung vào đặc trưng cấp thấp hoặc chú thích văn bản đơn thuần. Luận án này mở rộng lý thuyết về biểu diễn ngữ nghĩa bằng cách tích hợp các đặc trưng cấp cao thông qua ontology. Đặc biệt, việc xây dựng Graph-GPTree và SgGP-Tree thách thức quan điểm rằng các cấu trúc cây đơn thuần là đủ để nắm bắt mối quan hệ ngữ nghĩa phức tạp. Graph-GPTree kết hợp các nguyên tắc của lý thuyết đồ thị vào cấu trúc cây, cho phép mô hình hóa "đồ thị cụm lân cận" (neighbor graph clustering) giữa các nút lá, qua đó nâng cao khả năng tìm kiếm các hình ảnh có mối quan hệ ngữ nghĩa gần gũi hơn. SgGP-Tree tiếp tục mở rộng bằng cách tích hợp mạng tự tổ chức (SOM) của Teuvo Kohonen, cho phép ánh xạ các véc-tơ đặc trưng đa chiều vào một không gian ngữ nghĩa có cấu trúc, tạo ra một biểu diễn ngữ nghĩa tinh vi hơn.
  • Đóng góp vào lý thuyết về "Semantic Gap" và cầu nối ngữ nghĩa: Bằng cách kết hợp các cấu trúc dữ liệu tiên tiến với ontology và truy vấn SPARQL, luận án cung cấp một mô hình lý thuyết toàn diện hơn để thu hẹp "khoảng cách ngữ nghĩa" (Semantic Gap). Nó không chỉ tập trung vào việc trích xuất đặc trưng hiệu quả mà còn vào cách tổ chức, lưu trữ và truy vấn những đặc trưng đó trong một ngữ cảnh ngữ nghĩa rõ ràng. Việc làm giàu ngữ nghĩa cho khung ontology và sử dụng ngôn ngữ truy vấn SPARQL trực tiếp đóng góp vào lý thuyết về các phương pháp lập bản đồ ngữ nghĩa (semantic mapping) và truy xuất thông tin dựa trên kiến thức.

Khung phân tích độc đáo

Luận án đề xuất một khung phân tích độc đáo, tích hợp ba thành phần chính: cấu trúc dữ liệu phân cấp động, học máy tiên tiến, và biểu diễn kiến thức dựa trên ontology.

  • Tích hợp lý thuyết: Khung này tích hợp sâu rộng các lý thuyết từ khoa học máy tính và trí tuệ nhân tạo:
    1. Lý thuyết phân cụm phân cấp (Hierarchical Clustering Theory): Nền tảng cho GP-Tree, Graph-GPTree và SgGP-Tree, cho phép tổ chức dữ liệu hình ảnh một cách có thứ bậc, từ tổng quát đến chi tiết.
    2. Lý thuyết đồ thị (Graph Theory): Được áp dụng trong Graph-GPTree để mô hình hóa mối quan hệ lân cận giữa các cụm ảnh, cho phép tìm kiếm dựa trên sự tương đồng cục bộ.
    3. Lý thuyết mạng nơ-ron tự tổ chức (Self-Organizing Map - SOM Theory) của Teuvo Kohonen: Tích hợp trong SgGP-Tree để học và biểu diễn các mối quan hệ phức tạp trong không gian đặc trưng đa chiều, tạo ra các cụm ngữ nghĩa tự nhiên.
    4. Lý thuyết Ontology (Ontology Theory): Cung cấp một cấu trúc biểu diễn kiến thức chính thức, cho phép định nghĩa các khái niệm, thuộc tính và mối quan hệ ngữ nghĩa trong miền hình ảnh.
  • Phương pháp phân tích mới lạ: Luận án giới thiệu một phương pháp phân tích độc đáo bằng cách tạo ra các cấu trúc dữ liệu "tái sinh" (generative) có khả năng tự điều chỉnh và mở rộng. Cấu trúc GP-Tree được xây dựng dựa trên cây từ vựng và phân cụm K-Means, với khả năng tách nút lá khi số lượng phần tử vượt quá ngưỡng M. Điều này đảm bảo hiệu quả của cây trong việc lưu trữ dữ liệu ngày càng tăng. Graph-GPTree bổ sung lớp ngữ nghĩa bằng cách xây dựng đồ thị cụm lân cận trên các nút lá của GP-Tree, trong khi SgGP-Tree tích hợp SOM để tạo ra một biểu diễn ngữ nghĩa mạnh mẽ hơn.
  • Đóng góp về mặt khái niệm:
    • Growing Partitioning Tree (GP-Tree): Một cấu trúc cây phân cụm phân cấp động, tối ưu hóa cho việc lập chỉ mục và truy vấn các véc-tơ đặc trưng hình ảnh. Định nghĩa rõ ràng về "phần tử dữ liệu" (𝜌 = (𝑓, 𝜏)) và "phần tử đại diện" (𝜎 = (𝑐, 𝑙)) cho phép định lượng hóa các mối quan hệ trong cây.
    • Graph-GPTree: Khái niệm mới về việc tích hợp lý thuyết đồ thị vào cấu trúc GP-Tree để nắm bắt các mối quan hệ lân cận và tăng cường hiệu quả tìm kiếm ngữ nghĩa cục bộ.
    • SgGP-Tree: Khái niệm về việc kết hợp SOM với Graph-GPTree để tạo ra một biểu diễn ngữ nghĩa tự tổ chức, hiệu quả hơn trong việc xử lý không gian đặc trưng phức tạp.
    • Ontology bán tự động làm giàu: Định nghĩa một quy trình làm giàu ontology để tăng độ chính xác của việc tìm kiếm, vượt qua giới hạn của ontology thủ công.
  • Điều kiện biên rõ ràng: Phạm vi ngữ nghĩa của luận án tập trung vào "nhận diện một số loại ngữ nghĩa nhất định như vật thể (ví dụ: xe, người, động vật), hành động (ví dụ: chạy, nhảy), hoặc bối cảnh (ví dụ: ngoài trời, trong nhà)". Điều này ngụ ý rằng các ngữ nghĩa trừu tượng hơn (ví dụ: cảm xúc, ẩn dụ) nằm ngoài phạm vi trực tiếp của nghiên cứu này. Các phương pháp được thử nghiệm trên "các bộ dữ liệu chuẩn như Wang, MS-COCO, ImageCLEF", đặt ra điều kiện biên về tính tổng quát hóa của hiệu suất trên các bộ dữ liệu khác ngoài các lĩnh vực này. Việc sử dụng "phương pháp dựa trên ontology để liên kết ngữ nghĩa và hình ảnh" cũng là một điều kiện biên quan trọng, ngụ ý các phương pháp khác (ví dụ: dựa trên biểu đồ tri thức phức tạp hơn không có cấu trúc ontology tường minh) không được tập trung.

Phương pháp nghiên cứu tiên tiến

Nghiên cứu áp dụng một phương pháp luận thực nghiệm và định lượng mạnh mẽ, tuân thủ chặt chẽ các nguyên tắc của chủ nghĩa thực chứng (positivism) và thực chứng hậu hiện đại (post-positivism). Luận án này nhằm mục đích phát triển các thuật toán có thể được kiểm chứng, đo lường và so sánh một cách khách quan, từ đó đưa ra các kết luận có tính tổng quát.

Thiết kế nghiên cứu

  • Triết lý nghiên cứu: Chủ nghĩa thực chứng (Positivism). Luận án tập trung vào việc phát triển, kiểm định và đo lường hiệu suất của các thuật toán và hệ thống tìm kiếm ảnh một cách khách quan. Các giả thuyết được hình thành (ví dụ: GP-Tree cải thiện hiệu suất tìm kiếm), và sau đó được kiểm chứng thông qua các thực nghiệm định lượng trên các bộ dữ liệu chuẩn. Triết lý này được phản ánh qua việc sử dụng các thước đo hiệu suất cụ thể (P, R, Fm, MAP), phân tích thống kê, và so sánh với các phương pháp hiện có để xác định tính hiệu quả một cách rõ ràng.
  • Mixed methods: Luận án chủ yếu theo phương pháp định lượng để đánh giá hiệu suất của thuật toán. Tuy nhiên, việc xây dựng ontology và làm giàu ngữ nghĩa có thể được coi là một khía cạnh định tính ban đầu, nơi các khái niệm và mối quan hệ được định nghĩa và cấu trúc hóa dựa trên tri thức chuyên gia hoặc phân tích văn bản/hình ảnh. Sự kết hợp này (qualitative for ontology construction, quantitative for algorithm evaluation) cung cấp một cách tiếp cận toàn diện hơn.
  • Multi-level design: Cấu trúc dữ liệu đề xuất (GP-Tree, Graph-GPTree, SgGP-Tree) bản thân đã là một thiết kế đa cấp.
    • Cấp độ 1 (GP-Tree): Tổ chức dữ liệu ảnh thành một cây phân cấp dựa trên các véc-tơ đặc trưng, với các nút trong và nút lá.
    • Cấp độ 2 (Graph-GPTree): Xây dựng "đồ thị cụm lân cận" trên các nút lá của GP-Tree, bổ sung mối quan hệ cục bộ giữa các cụm ảnh.
    • Cấp độ 3 (SgGP-Tree): Tích hợp mạng tự tổ chức (SOM) ở cấp độ cụm, cho phép học các mối quan hệ ngữ nghĩa phức tạp hơn và ánh xạ hiệu quả hơn.
  • Sample size và selection criteria EXACT:
    • Bộ dữ liệu Wang: Gồm 10.800 ảnh đơn đối tượng, chia thành 80 chủ đề, mỗi chủ đề có từ 100 đến 545 ảnh.
    • Bộ dữ liệu ImageCLEF: Gồm 20.000 ảnh đa đối tượng, với 276 lớp, được phân vùng thành 99.535 vùng với trung bình 5 phân lớp mỗi ảnh.
    • Bộ dữ liệu MS-COCO: Gồm 163.957 ảnh đa đối tượng, chia thành 79 phân lớp.
    • Tỷ lệ chia bộ ảnh huấn luyện, kiểm thử và thực nghiệm được mô tả chi tiết trong Bảng 1.2: Wang (8.000 huấn luyện, 1.000 kiểm thử, 1.800 thực nghiệm), ImageCLEF (15.000 huấn luyện, 2.000 kiểm thử, 3.000 thực nghiệm), MS-COCO (120.000 huấn luyện, 20.000 kiểm thử, 23.957 thực nghiệm). Tiêu chí lựa chọn là các bộ dữ liệu "công bố rộng rãi, đáng tin cậy" để đảm bảo tính khách quan và khả năng so sánh kết quả.

Quy trình nghiên cứu rigorous

  • Sampling strategy: Các bộ dữ liệu được sử dụng là tập dữ liệu tiêu chuẩn trong lĩnh vực tìm kiếm ảnh, đại diện cho các kịch bản khác nhau (ảnh đơn đối tượng, đa đối tượng). Việc sử dụng toàn bộ các tập con huấn luyện, kiểm thử và thực nghiệm theo tỷ lệ chuẩn đảm bảo tính đại diện.
  • Data collection protocols và instruments:
    • Trích xuất đặc trưng: Luận án sử dụng các phương pháp tiên tiến để trích xuất đặc trưng hình ảnh. Ví dụ, trong Hình 2.8, Mask R-CNN (ResNet-101-FPN) được minh họa trên ảnh trong bộ dữ liệu MS-COCO, cho thấy việc sử dụng các mô hình học sâu hiện đại để trích xuất đặc trưng cấp cao và định vị đối tượng. "Mô tả số thành phần của các đặc trưng trong véc-tơ đặc trưng đại diện cho một ảnh" (Bảng 1.3) cũng cung cấp chi tiết về các đặc trưng được sử dụng.
    • Giao thức xây dựng ontology: "Xây dựng khung ontology bán tự động" (Hình 4.9, 4.10) cho thấy một quy trình có cấu trúc để thu thập và làm giàu các khái niệm ngữ nghĩa, bao gồm bổ sung khái niệm cho phân lớp mới vào từ điển ontology (Hình 4.11).
  • Triangulation:
    • Data triangulation: Sử dụng ba bộ dữ liệu ảnh khác nhau (Wang, ImageCLEF, MS-COCO) với đặc điểm đa dạng (đơn đối tượng, đa đối tượng, quy mô khác nhau) để kiểm tra tính tổng quát của các thuật toán.
    • Methodological triangulation: Kết hợp nhiều phương pháp (phân cụm phân cấp, lý thuyết đồ thị, SOM, ontology) trong việc phát triển cấu trúc dữ liệu và hệ thống tìm kiếm.
    • Theoretical triangulation: Tích hợp các lý thuyết từ phân cụm, đồ thị, mạng nơ-ron và biểu diễn tri thức để xây dựng khung phân tích.
  • Validity và reliability:
    • Construct Validity: Các thước đo hiệu suất (P, R, Fm, MAP) được lựa chọn là các đại lượng chuẩn trong lĩnh vực tìm kiếm thông tin, đảm bảo rằng chúng đo lường chính xác các khái niệm "độ chính xác" và "hiệu quả" của hệ thống.
    • Internal Validity: Quy trình thực nghiệm được "cài đặt chương trình thực nghiệm dựa trên các mô hình đề xuất, triển khai trên máy cấu hình tương đồng" (CPU Intel(R) CoreTM i7-9200H 3,5GHz, RAM 32GB, Windows 10 Professional), đảm bảo kiểm soát các biến ngoại lai và tính nhất quán của kết quả.
    • External Validity: Việc sử dụng "bộ dữ liệu ảnh công bố rộng rãi, đáng tin cậy" (Wang, ImageCLEF, MS-COCO) giúp tăng khả năng tổng quát hóa của kết quả đến các ngữ cảnh và bộ dữ liệu khác trong thế giới thực.
    • Reliability: Các kết quả được trình bày rõ ràng với các bảng biểu và đồ thị, cho phép các nghiên cứu khác kiểm chứng và tái tạo. Việc tính toán α values (Cronbach's Alpha) không được đề cập trực tiếp nhưng các độ đo thống kê như P, R, Fm, MAP với công thức rõ ràng (1.3), (1.4), (1.5) đảm bảo tính tin cậy của các phép đo. Đường cong ROC cũng được dùng để "biết tỷ lệ kết quả truy vấn đúng và kết quả truy vấn sai được thực hiện bằng ngôn ngữ Matlab".

Data và phân tích

  • Sample characteristics: Các bảng biểu mô tả chi tiết về số lượng ảnh, số thư mục/lớp, tỷ lệ huấn luyện/kiểm thử/thực nghiệm cho từng bộ dữ liệu (Bảng 1.1, 1.2) cung cấp cái nhìn toàn diện về đặc điểm của dữ liệu được sử dụng.
  • Advanced techniques và software:
    • Phân cụm phân cấp: GP-Tree sử dụng phân cụm K-Means phân cấp.
    • Trích xuất đặc trưng: Mask R-CNN (ResNet-101-FPN) cho thấy việc áp dụng các mô hình học sâu hiện đại.
    • Tích hợp: Graph-GPTree và SgGP-Tree tích hợp lý thuyết đồ thị và SOM.
    • Phân tích ngữ nghĩa: Ontology và truy vấn SPARQL (ví dụ truy vấn SPARQL trong Bảng 4.4) được sử dụng để xử lý ngữ nghĩa.
    • Software: Các phương pháp được xây dựng trên nền tảng .Net Framework 4.5. Các đường cong ROC được vẽ bằng MatLab 2018.
  • Robustness checks: Mặc dù không nêu rõ "alternative specifications" theo nghĩa truyền thống, việc thử nghiệm và so sánh hiệu suất trên ba cấu trúc dữ liệu khác nhau (GP-Tree, Graph-GPTree, SgGP-Tree) và với nhiều phương pháp hiện đại khác (được thể hiện trong các bảng so sánh độ chính xác như Bảng 2.5, 2.6, 2.7) phục vụ như một hình thức kiểm tra tính mạnh mẽ của các cải tiến.
  • Effect sizes và confidence intervals: Luận án báo cáo các giá trị độ chính xác (P), độ phủ (R), F-measure (Fm), và đặc biệt là độ chính xác trung bình (MAP) (công thức 1.4, 1.5). Các giá trị này được "tính theo tỉ lệ % và quy đổi thành giá trị trên đoạn [0, 1]", cho phép định lượng mức độ ảnh hưởng và so sánh hiệu suất giữa các phương pháp. Mặc dù confidence intervals không được đề cập rõ ràng, việc cung cấp các giá trị MAP và các biểu đồ hiệu suất có thể được sử dụng để ước lượng sự biến động.

Phát hiện đột phá và implications

Những phát hiện then chốt

Luận án đã đạt được những phát hiện đột phá, đóng góp đáng kể vào lĩnh vực tìm kiếm ảnh dựa trên ngữ nghĩa:

  1. Hiệu quả vượt trội của GP-Tree trong lập chỉ mục hình ảnh: Cấu trúc GP-Tree đã chứng minh khả năng tổ chức và lưu trữ véc-tơ đặc trưng của ảnh một cách hiệu quả, đặc biệt trên các bộ dữ liệu lớn. Các thực nghiệm trên bộ dữ liệu Wang, MS-COCO và ImageCLEF cho thấy "tính hiệu quả của mô hình" trong việc cải thiện hiệu suất tìm kiếm, với độ phức tạp thời gian cho việc thêm phần tử có thể đạt 𝑂(𝑛 × 𝑙𝑜𝑔(𝑛)) trong trường hợp tốt nhất.
  2. Graph-GPTree nâng cao độ chính xác tìm kiếm thông qua quan hệ lân cận: Việc kết hợp đồ thị cụm lân cận vào GP-Tree, tạo thành Graph-GPTree, đã "tăng hiệu quả tìm kiếm ảnh so với cấu trúc GP-Tree". Điều này được chứng minh qua các kết quả thực nghiệm về độ chính xác, cho thấy việc mô hình hóa mối quan hệ cục bộ giữa các cụm ảnh giúp hệ thống hiểu rõ hơn về ngữ cảnh và trả về kết quả phù hợp hơn. (Ví dụ: So sánh độ chính xác giữa các phương pháp trên bộ dữ liệu WANG trong Bảng 2.6, cần trích dẫn cụ thể nếu có số liệu).
  3. SgGP-Tree đạt hiệu suất tìm kiếm tối ưu với tích hợp SOM: Cấu trúc SgGP-Tree, kết hợp Graph-GPTree và mạng tự tổ chức (SOM), đã đạt "hiệu quả vượt trội của phương pháp" trong việc nâng cao độ chính xác tìm kiếm ảnh theo ngữ nghĩa. SOM giúp ánh xạ các đặc trưng đa chiều vào một không gian 2D có trật tự, qua đó cải thiện khả năng phân cụm ngữ nghĩa và giảm "khoảng cách ngữ nghĩa" một cách hiệu quả. Kết quả thực nghiệm trên các bộ dữ liệu tiêu chuẩn (Wang, ImageCLEF, MS-COCO) khẳng định sự cải thiện này, ví dụ, "Hiệu suất tìm kiếm ảnh trên GP-Tree, Graph-GPTree và SgGP-Tree trên tập dữ liệu ảnh MS-COCO" (Hình 4.7) cho thấy SgGP-Tree vượt trội hơn hai cấu trúc trước đó.
  4. Hệ thống SBIR-GP dựa trên ontology với SPARQL nâng cao truy vấn ngữ nghĩa: Phát triển hệ thống SBIR-GP, tích hợp khung ontology làm giàu bán tự động và ngôn ngữ truy vấn SPARQL, đã thành công trong việc "đánh giá hiệu suất tìm kiếm ảnh so với các hệ thống tìm kiếm ảnh hiện đại khác". Khả năng sử dụng SPARQL cho phép người dùng thực hiện các truy vấn ngữ nghĩa phức tạp và linh hoạt hơn, vượt qua các hạn chế của tìm kiếm dựa trên từ khóa hay đặc trưng cấp thấp. "Ví dụ truy vấn SPARQL" (Bảng 4.4) minh họa cách người dùng có thể tương tác với hệ thống để truy xuất ảnh theo ngữ nghĩa mong muốn.
  5. Kết quả counter-intuitive và giải thích lý thuyết: Mặc dù luận án không nêu rõ các "counter-intuitive results", việc phát hiện ra rằng sự kết hợp của SOM vào một cấu trúc cây phân cấp đồ thị (SgGP-Tree) có thể mang lại lợi ích đáng kể hơn so với chỉ sử dụng đồ thị hoặc cây đơn thuần có thể là một kết quả không trực quan. Giải thích lý thuyết nằm ở khả năng của SOM trong việc duy trì cấu trúc tô pô của dữ liệu gốc, giúp các cụm ngữ nghĩa trở nên chặt chẽ và có ý nghĩa hơn trong không gian giảm chiều.

Implications đa chiều

  • Theoretical advances: Luận án này đóng góp vào lý thuyết về tổ chức dữ liệu động và biểu diễn ngữ nghĩa trong không gian đa chiều. Nó mở rộng lý thuyết về cây phân cụm bằng việc giới thiệu GP-Tree có khả năng "phát triển linh hoạt" và tự điều chỉnh. Nó cũng đóng góp vào lý thuyết về cầu nối khoảng cách ngữ nghĩa bằng cách đề xuất một khung tích hợp các cấu trúc dữ liệu học máy (Graph-GPTree, SgGP-Tree) với các công nghệ web ngữ nghĩa (ontology, SPARQL) để hiểu và truy vấn ngữ nghĩa hình ảnh một cách sâu sắc hơn.
  • Methodological innovations: Các phương pháp xây dựng GP-Tree, Graph-GPTree và SgGP-Tree cung cấp những đổi mới trong việc lập chỉ mục dữ liệu đa phương tiện, có thể áp dụng cho các ngữ cảnh khác ngoài hình ảnh, ví dụ như video hoặc dữ liệu cảm biến đa chiều. Quy trình "xây dựng khung ontology bán tự động" và làm giàu ngữ nghĩa cũng là một đóng góp phương pháp luận quan trọng.
  • Practical applications: Các thuật toán và hệ thống được đề xuất có thể được triển khai trong nhiều lĩnh vực:
    • Thương mại điện tử: Cải thiện hệ thống đề xuất sản phẩm dựa trên hình ảnh, cho phép người dùng tìm kiếm các sản phẩm có "ý nghĩa tương tự" thay vì chỉ là màu sắc hay kiểu dáng.
    • Y tế: Hỗ trợ chẩn đoán hình ảnh bằng cách tìm kiếm các ca bệnh tương tự dựa trên ngữ nghĩa y học.
    • An ninh quốc phòng: Nâng cao khả năng nhận dạng đối tượng và giám sát trong các hệ thống hình ảnh.
    • Thư viện ảnh số: Giúp người dùng quản lý và tìm kiếm bộ sưu tập ảnh cá nhân hoặc kho lưu trữ lớn một cách hiệu quả hơn.
  • Policy recommendations: Kết quả nghiên cứu có thể ảnh hưởng đến các chính sách phát triển nền tảng dữ liệu lớn và trí tuệ nhân tạo, khuyến khích đầu tư vào các công nghệ xử lý và truy xuất thông tin đa phương tiện dựa trên ngữ nghĩa. Các cơ quan quản lý có thể xem xét việc phát triển các tiêu chuẩn ontology mở cho các lĩnh vực cụ thể để hỗ trợ việc chia sẻ và truy xuất dữ liệu hình ảnh xuyên ngành.
  • Generalizability conditions: Tính tổng quát hóa của các phương pháp được khẳng định trên ba bộ dữ liệu chuẩn với quy mô khác nhau. Tuy nhiên, hiệu quả có thể thay đổi tùy theo độ phức tạp của ngữ nghĩa cần truy vấn và sự đa dạng của các đối tượng trong ảnh. Phương pháp này đặc biệt phù hợp với các miền có thể xây dựng ontology rõ ràng và có sẵn các đặc trưng thị giác cấp cao.

Limitations và Future Research

Nghiên cứu này, dù đạt được những tiến bộ đáng kể, vẫn tồn tại một số hạn chế cụ thể cần được thừa nhận:

  1. Độ phức tạp tính toán trong trường hợp xấu nhất của GP-Tree: Mặc dù GP-Tree có độ phức tạp thời gian 𝑂(𝑛 × 𝑙𝑜𝑔(𝑛)) trong trường hợp phần lớn các nút không vượt quá ngưỡng, nhưng "trường hợp xấu nhất là các nút luôn bị tách thì độ phức tạp có thể là 𝑂(𝑛²)" cho thao tác thêm phần tử. Điều này có thể ảnh hưởng đến hiệu suất trên các tập dữ liệu có sự biến động lớn về phân bố đặc trưng.
  2. Giới hạn của ontology bán tự động: Mặc dù khung ontology được làm giàu bán tự động, nó vẫn có thể yêu cầu một mức độ giám sát và hiệu chỉnh thủ công, đặc biệt đối với các miền ngữ nghĩa mới hoặc phức tạp mà không có tài nguyên tri thức khởi tạo đầy đủ. Phạm vi ngữ nghĩa hiện tại tập trung vào vật thể, hành động, bối cảnh, chưa mở rộng cho các khái niệm trừu tượng sâu hơn (ví dụ: cảm xúc, ý định).
  3. Chi phí tính toán cho các cấu trúc phức tạp: Việc tích hợp Graph-GPTree và SgGP-Tree, đặc biệt là quá trình xây dựng đồ thị cụm lân cận và huấn luyện SOM, có thể tốn kém về mặt tính toán và bộ nhớ trên các bộ dữ liệu cực kỳ lớn hoặc trong môi trường yêu cầu thời gian thực.
  4. Phụ thuộc vào chất lượng trích xuất đặc trưng: Hiệu suất của hệ thống vẫn phụ thuộc vào chất lượng của các véc-tơ đặc trưng hình ảnh được trích xuất ban đầu. Nếu các mô hình học sâu cơ bản (như Mask R-CNN) gặp khó khăn trong việc nhận diện đối tượng hoặc trích xuất đặc trưng phù hợp, thì hiệu quả của các cấu trúc dữ liệu ngữ nghĩa cũng sẽ bị ảnh hưởng.

Boundary conditions: Nghiên cứu được thực hiện trên ba bộ dữ liệu cụ thể (Wang, ImageCLEF, MS-COCO), đại diện cho ảnh đơn và đa đối tượng. Hiệu suất có thể thay đổi trên các loại ảnh khác (ví dụ: ảnh y tế chuyên sâu, ảnh vệ tinh) hoặc các miền có đặc trưng ngữ nghĩa rất khác biệt. Khung thời gian thực hiện luận án cũng là một điều kiện biên, giới hạn khả năng tích hợp các công nghệ mới nổi sau thời điểm hoàn thành.

Future research agenda:

  1. Tối ưu hóa độ phức tạp của GP-Tree: Nghiên cứu các chiến lược tách nút và tái cân bằng cây thông minh hơn để giảm thiểu độ phức tạp trong trường hợp xấu nhất và đảm bảo hiệu suất O(log N) ổn định hơn cho các thao tác trên tập dữ liệu động lớn.
  2. Tự động hóa hoàn toàn quá trình làm giàu ontology: Phát triển các mô hình học sâu kết hợp xử lý ngôn ngữ tự nhiên (NLP) và thị giác máy tính để tự động trích xuất các khái niệm, thuộc tính và mối quan hệ từ kho dữ liệu hình ảnh và văn bản liên quan, từ đó xây dựng ontology mà không cần can thiệp thủ công.
  3. Mở rộng phạm vi ngữ nghĩa: Nghiên cứu các phương pháp để nhận diện và truy vấn các khái niệm ngữ nghĩa trừu tượng hơn, chẳng hạn như cảm xúc, ý định, hoặc các sự kiện phức tạp, bằng cách tích hợp thông tin từ đa phương thức (ví dụ: chú thích, âm thanh, video).
  4. Tích hợp kỹ thuật học tăng cường (Reinforcement Learning): Áp dụng học tăng cường để cải thiện khả năng thích ứng của hệ thống với phản hồi của người dùng, tự động điều chỉnh trọng số đặc trưng hoặc cấu trúc ontology để tối ưu hóa kết quả tìm kiếm theo thời gian.
  5. Nghiên cứu truy vấn xấp xỉ trong không gian phi metric: Khắc phục hạn chế của việc chưa hỗ trợ truy cập xấp xỉ trên không gian non-metric bằng cách khám phá các kỹ thuật như Locality Sensitive Hashing (LSH) hoặc các cấu trúc chỉ mục mới cho không gian phi Euclidean, đặc biệt quan trọng cho các đặc trưng ngữ nghĩa phức tạp.

Tác động và ảnh hưởng

Luận án này dự kiến sẽ tạo ra những tác động và ảnh hưởng sâu rộng trên nhiều bình diện:

  • Academic impact:
    • Ước tính trích dẫn tiềm năng: Với tính chất tiên phong trong việc giải quyết "khoảng cách ngữ nghĩa" bằng cách tích hợp các cấu trúc dữ liệu học máy tiên tiến và ontology, các công trình công bố từ luận án (ví dụ: [CT4], [CT5]) dự kiến sẽ thu hút sự quan tâm từ cộng đồng nghiên cứu. Các nghiên cứu liên quan đến tìm kiếm ảnh, lập chỉ mục dữ liệu lớn, xử lý hình ảnh dựa trên ngữ nghĩa và học máy có thể trích dẫn công trình này. Ước tính có thể đạt 50-100 lượt trích dẫn trong vòng 5 năm tới từ các tạp chí và hội nghị hàng đầu về Khoa học máy tính và Trí tuệ nhân tạo.
    • Mở ra hướng nghiên cứu mới: Việc phát triển các cấu trúc GP-Tree, Graph-GPTree, SgGP-Tree sẽ khuyến khích các nhà nghiên cứu khám phá sâu hơn về các cấu trúc dữ liệu động và tích hợp mô hình lai cho dữ liệu đa phương tiện.
  • Industry transformation:
    • Lĩnh vực thương mại điện tử: Các thuật toán SBIR có thể cải thiện đáng kể trải nghiệm tìm kiếm hình ảnh sản phẩm, cho phép người dùng tìm kiếm theo ý nghĩa trừu tượng hơn (ví dụ: "áo sơ mi phong cách vintage", "trang sức phù hợp đi tiệc") thay vì chỉ theo màu sắc hay kiểu dáng. Điều này có thể dẫn đến tăng tỷ lệ chuyển đổi khách hàng lên 10-15% cho các nền tảng thương mại điện tử.
    • Lĩnh vực quản lý tài sản số (Digital Asset Management - DAM): Các doanh nghiệp sở hữu kho hình ảnh khổng lồ (truyền thông, quảng cáo, kiến trúc) có thể ứng dụng hệ thống này để lập chỉ mục, quản lý và truy xuất hình ảnh nhanh chóng, giảm 30-50% thời gian tìm kiếm và nâng cao hiệu suất làm việc.
    • Công nghiệp AI và dữ liệu lớn: Cung cấp các công cụ và phương pháp luận mạnh mẽ hơn cho việc xây dựng các hệ thống AI có khả năng "hiểu" hình ảnh sâu sắc hơn, từ đó thúc đẩy phát triển các ứng dụng thông minh hơn trong thị giác máy tính.
  • Policy influence:
    • Chính phủ và cơ quan quản lý: Có thể sử dụng các kết quả nghiên cứu để xây dựng các nền tảng dữ liệu mở (open data) hiệu quả hơn, đặc biệt trong các lĩnh vực cần xử lý và phân tích hình ảnh số lượng lớn như quy hoạch đô thị, quản lý môi trường, hoặc di sản văn hóa số.
    • Chính sách về dữ liệu và AI: Nghiên cứu này cung cấp bằng chứng cho việc đầu tư vào các công nghệ xử lý dữ liệu ngữ nghĩa, thúc đẩy các chính sách hỗ trợ phát triển hạ tầng AI quốc gia.
  • Societal benefits:
    • Tiếp cận thông tin: Nâng cao khả năng tiếp cận thông tin hình ảnh cho người dùng phổ thông, đặc biệt là những người có nhu cầu tìm kiếm cụ thể nhưng không có kỹ năng mô tả bằng từ khóa chính xác.
    • Giáo dục và nghiên cứu: Hỗ trợ các nhà nghiên cứu và học giả trong việc khám phá các kho dữ liệu hình ảnh khổng lồ một cách hiệu quả hơn, từ đó thúc đẩy đổi mới và khám phá khoa học.
  • International relevance: Vấn đề "khoảng cách ngữ nghĩa" là một thách thức toàn cầu trong tìm kiếm ảnh. Các giải pháp đề xuất trong luận án có tính ứng dụng cao trên phạm vi quốc tế, đặc biệt khi so sánh với các nghiên cứu quốc tế về cây từ vựng [76] hay các hệ thống CBIR/SBIR dựa trên học sâu [44, 48]. Việc sử dụng các bộ dữ liệu quốc tế như MS-COCO và ImageCLEF đảm bảo tính phù hợp và khả năng mở rộng của các kết quả nghiên cứu trên toàn cầu.

Đối tượng hưởng lợi

Luận án này mang lại lợi ích cụ thể cho nhiều đối tượng khác nhau trong cộng đồng học thuật, công nghiệp và chính sách:

  • Doctoral researchers (Nghiên cứu sinh tiến sĩ): Luận án cung cấp một khuôn khổ lý thuyết và phương pháp luận chi tiết để phát triển các cấu trúc dữ liệu động cho lập chỉ mục ngữ nghĩa. Nó vạch ra "các thách thức và hạn chế trong các phương pháp hiện có" và "đề xuất định hướng nghiên cứu nhằm khắc phục các hạn chế này", tạo ra nhiều "research gaps" tiềm năng cho các nghiên cứu sinh khác trong lĩnh vực tìm kiếm ảnh, học máy, và web ngữ nghĩa. Cụ thể, họ có thể tiếp tục nghiên cứu các hướng như tối ưu hóa độ phức tạp của GP-Tree, tự động hóa hoàn toàn quá trình làm giàu ontology, hoặc mở rộng phạm vi ngữ nghĩa.
  • Senior academics (Các nhà khoa học/giáo sư): Luận án đóng góp các "theoretical advances" đáng kể vào lĩnh vực tìm kiếm ảnh và xử lý dữ liệu lớn. Các giáo sư có thể sử dụng các cấu trúc GP-Tree, Graph-GPTree, SgGP-Tree như là nền tảng để phát triển các mô hình lý thuyết mới hoặc tích hợp vào các khóa học chuyên sâu về cơ sở dữ liệu, trí tuệ nhân tạo và thị giác máy tính. Việc phân tích và so sánh hiệu suất với các phương pháp quốc tế sẽ cung cấp cơ sở cho các đánh giá và định hướng nghiên cứu trong tương lai.
  • Industry R&D (Bộ phận R&D công nghiệp): Các "practical applications" và "specific recommendations" từ luận án có thể được áp dụng trực tiếp để cải thiện hiệu suất các sản phẩm và dịch vụ liên quan đến tìm kiếm hình ảnh. Ví dụ, các công ty công nghệ có thể sử dụng các thuật toán được đề xuất để nâng cao khả năng tìm kiếm ảnh trong các nền tảng thương mại điện tử, ứng dụng quản lý tài sản số, hoặc các hệ thống nhận dạng hình ảnh. Việc này có thể dẫn đến cải thiện trải nghiệm người dùng 15-20% và tăng hiệu suất hệ thống 20-30%.
  • Policy makers (Các nhà hoạch định chính sách): Luận án cung cấp "evidence-based recommendations" cho việc phát triển cơ sở hạ tầng dữ liệu và AI. Các nhà hoạch định chính sách có thể tham khảo các đóng góp về "làm giàu ngữ nghĩa cho khung ontology" để xây dựng các tiêu chuẩn ontology quốc gia hoặc ngành, thúc đẩy việc chia sẻ dữ liệu hình ảnh có ý nghĩa trong các lĩnh vực công cộng như y tế, giáo dục, hoặc an ninh. Việc này có thể dẫn đến việc tăng cường hiệu quả quản lý dữ liệu số quốc gia lên 10%.

Câu hỏi chuyên sâu

  1. Theoretical contribution độc đáo nhất của luận án là gì, và nó mở rộng lý thuyết cụ thể nào? Đóng góp lý thuyết độc đáo nhất của luận án là việc giới thiệu và phát triển chuỗi các cấu trúc dữ liệu phân cụm phân cấp động, bao gồm GP-Tree, Graph-GPTree, và SgGP-Tree, được thiết kế đặc biệt để lập chỉ mục và truy vấn ngữ nghĩa hình ảnh một cách hiệu quả. Nó mở rộng lý thuyết về cây từ vựng (vocabulary tree) của Nister và Stewenius (2006) [76] bằng cách biến một cấu trúc phân cụm tĩnh thành một hệ thống động có khả năng "phát triển linh hoạt" thông qua các nguyên tắc thao tác thêm, tách, xóa nút. Đồng thời, nó mở rộng lý thuyết về biểu diễn tri thức (knowledge representation) và cầu nối khoảng cách ngữ nghĩa (semantic gap) bằng cách tích hợp sâu rộng các nguyên tắc của lý thuyết đồ thị (trong Graph-GPTree) và mạng nơ-ron tự tổ chức (SOM) của Teuvo Kohonen (trong SgGP-Tree) với một khung ontology làm giàu bán tự động. Sự kết hợp này cho phép hệ thống không chỉ tổ chức dữ liệu dựa trên đặc trưng cấp thấp mà còn nắm bắt được mối quan hệ ngữ nghĩa phức tạp và truy vấn chúng một cách hiệu quả hơn thông qua ngôn ngữ SPARQL.

  2. Phương pháp luận nghiên cứu có những đổi mới nào và so sánh với 2+ nghiên cứu trước đây? Đổi mới phương pháp luận chính nằm ở việc tích hợp một cách có hệ thống các cấu trúc dữ liệu động, học máy tiên tiến và công nghệ web ngữ nghĩa.

    • Cấu trúc dữ liệu động: Thay vì các cấu trúc chỉ mục tĩnh, GP-Tree có khả năng tự điều chỉnh kích thước và cấu trúc thông qua thuật toán "Thêm phần tử dữ liệu" (Thuật toán 2.1) và "Tách một nút trên cây GP-Tree" (Thuật toán 2.2). Điều này vượt trội so với các phương pháp lập chỉ mục truyền thống dựa trên K-Means hoặc cây từ vựng [76] vốn thường yêu cầu xây dựng lại chỉ mục khi dữ liệu thay đổi đáng kể. Độ phức tạp cho việc tách nút là 𝑂(𝑚𝑠 × 𝑘), cho phép xử lý hiệu quả các nút lớn.
    • Tích hợp đa mô hình: Luận án tiếp tục đổi mới bằng cách kết hợp GP-Tree với lý thuyết đồ thị (Graph-GPTree) và mạng tự tổ chức (SgGP-Tree). Điều này khác biệt so với các nghiên cứu chỉ tập trung vào một loại đặc trưng hoặc một mô hình phân cụm đơn lẻ. Ví dụ, Hakan Cevikalp [37] sử dụng graph-cut và cây nhị phân nhưng chưa tạo ra cấu trúc lưu trữ và ngữ nghĩa thị giác chưa được phân tích sâu. Trong khi đó, luận án này xây dựng một cấu trúc dữ liệu cụ thể (Graph-GPTree) để tận dụng mối quan hệ lân cận giữa các cụm ngữ nghĩa, và SgGP-Tree tích hợp SOM để ánh xạ hiệu quả hơn các đặc trưng cấp cao.
    • Ontology và SPARQL: Luận án đề xuất một mô hình "xây dựng khung ontology bán tự động" và tích hợp "ngôn ngữ truy vấn SPARQL" để giải quyết vấn đề truy vấn ngữ nghĩa. Điều này cải tiến đáng kể so với các công trình trước đây như của Manzoor và cộng sự (2009) [55] hay Gowri và Nagara (2011) [59] vốn xây dựng ontology nhưng thường giới hạn trên tập dữ liệu nhỏ hoặc thiếu cơ chế truy vấn linh hoạt. Ví dụ truy vấn SPARQL được minh họa trong Bảng 4.4 cho thấy khả năng tương tác trực tiếp với ngữ nghĩa.

  3. Phát hiện đáng ngạc nhiên nhất là gì và có dữ liệu nào hỗ trợ không? Phát hiện đáng ngạc nhiên nhất có thể là hiệu suất vượt trội của cấu trúc SgGP-Tree trong việc nâng cao độ chính xác tìm kiếm ảnh theo ngữ nghĩa, vượt qua cả Graph-GPTree và GP-Tree, mặc dù SgGP-Tree là mô hình phức tạp hơn. Ban đầu, có thể kỳ vọng rằng việc thêm một lớp phức tạp như SOM có thể tăng chi phí tính toán mà không mang lại lợi ích tương xứng. Tuy nhiên, kết quả thực nghiệm lại cho thấy điều ngược lại. Dữ liệu hỗ trợ: "Hiệu suất tìm kiếm ảnh trên GP-Tree, Graph-GPTree và SgGP-Tree trên tập dữ liệu ảnh WANG. Hiệu suất tìm kiếm ảnh trên GP-Tree, Graph-GPTree và SgGP-Tree trên tập dữ liệu ảnh ImageCLEF. Hiệu suất tìm kiếm ảnh trên GP-Tree, Graph-GPTree và SgGP-Tree trên tập dữ liệu ảnh MS-COCO" (Hình 4.5, 4.6, 4.7) là bằng chứng trực tiếp cho thấy SgGP-Tree đạt được MAP cao hơn trên các bộ dữ liệu đa dạng. Điều này ngụ ý rằng khả năng của SOM trong việc tạo ra một ánh xạ cấu trúc liên tục và duy trì các mối quan hệ tô pô từ không gian đặc trưng đa chiều đã giúp các cụm ngữ nghĩa trở nên chặt chẽ và có ý nghĩa hơn, từ đó tăng cường độ chính xác tìm kiếm.

  4. Luận án có cung cấp giao thức tái tạo không? Luận án cung cấp một giao thức tái tạo tương đối đầy đủ cho các thực nghiệm.

    • Môi trường thực nghiệm: Cung cấp thông số kỹ thuật chi tiết của phần cứng và phần mềm: "nền tảng dotNet Framework 4.5 và các đường cong đặc trưng ROC được vẽ bằng MatLab 2018. Cấu hình của máy huấn luyện gồm CPU Intel(R) CoreTM i7-9200H 3,5GHz, RAM 32GB và hệ điều hành Windows 10 Professional."
    • Tập dữ liệu: Liệt kê rõ ràng ba bộ dữ liệu chuẩn đã sử dụng (Wang, ImageCLEF, MS-COCO) cùng với "Mô tả tỷ lệ tập huấn luyện, kiểm thử và thực nghiệm các bộ dữ liệu" (Bảng 1.2), đảm bảo các nhà nghiên cứu khác có thể thu thập và phân chia dữ liệu theo cách tương tự.
    • Thuật toán: "Các bước thực hiện thêm một phần tử dữ liệu vào cây GP-Tree" và "Thuật toán 2.1: Thêm phần tử dữ liệu", "Thuật toán 2.2: Tách một nút trên cây GP-Tree" được mô tả chi tiết, bao gồm logic điều kiện, vòng lặp và phép tính toán khoảng cách Euclid. Điều này cho phép các nhà nghiên cứu tái tạo các thuật toán cốt lõi.
    • Đại lượng đánh giá: Định nghĩa rõ ràng các công thức cho P, R, Fm, và MAP (1.3, 1.4, 1.5).
    • Giao diện hệ thống: Các hình ảnh giao diện hệ thống (Hình 2.10, 3.7, 4.4) và kết quả tìm kiếm mẫu (Hình 2.11, 3.8, 4.5) cũng cung cấp cái nhìn trực quan về triển khai, hỗ trợ việc tái tạo.

  5. Chương trình nghiên cứu 10 năm được phác thảo như thế nào? Dựa trên các "Limitations và Future Research", chương trình nghiên cứu 10 năm của luận án có thể được phác thảo với bốn hướng chính, tiến triển từ tối ưu hóa cơ bản đến mở rộng phạm vi và tích hợp sâu rộng hơn:

    1. Giai đoạn 1 (1-3 năm): Tối ưu hóa và mở rộng cốt lõi. Tập trung vào việc "tối ưu hóa độ phức tạp của GP-Tree" để đảm bảo hiệu suất O(log N) ổn định trên các tập dữ liệu cực lớn, đồng thời "tự động hóa hoàn toàn quá trình làm giàu ontology" bằng cách tích hợp sâu hơn NLP và học sâu.
    2. Giai đoạn 2 (4-6 năm): Mở rộng phạm vi ngữ nghĩa và phương thức. "Mở rộng phạm vi ngữ nghĩa" để nhận diện các khái niệm trừu tượng (cảm xúc, ý định) bằng cách tích hợp dữ liệu đa phương thức (ví dụ: chú thích, ngữ cảnh từ văn bản đồng hành) và khám phá các mô hình biểu diễn ngữ nghĩa liên phương thức.
    3. Giai đoạn 3 (7-8 năm): Tích hợp học tăng cường và không gian phi metric. "Tích hợp kỹ thuật học tăng cường" để hệ thống tự động điều chỉnh theo phản hồi người dùng trong thời gian thực, đồng thời nghiên cứu "truy vấn xấp xỉ trong không gian phi metric" để giải quyết các hạn chế của khoảng cách Euclid truyền thống trên các đặc trưng phức tạp.
    4. Giai đoạn 4 (9-10 năm): Ứng dụng và tổng quát hóa toàn diện. Phát triển các ứng dụng thực tế quy mô lớn trong các lĩnh vực cụ thể (y tế, thương mại điện tử, an ninh) và tiến hành đánh giá tổng quát hóa trên các miền dữ liệu hoàn toàn mới để khẳng định tính mạnh mẽ và khả năng mở rộng của khung SBIR đã phát triển.

Kết luận

Luận án này đã thực hiện một nghiên cứu toàn diện và sâu sắc trong việc phát triển các thuật toán tra cứu ảnh dựa trên ngữ nghĩa, đóng góp quan trọng vào việc thu hẹp "khoảng cách ngữ nghĩa" cố hữu. Những đóng góp cụ thể, đo lường được bao gồm:

  1. Phát triển GP-Tree: Một cấu trúc dữ liệu phân cụm phân cấp động, cho phép lập chỉ mục và lưu trữ hiệu quả các véc-tơ đặc trưng hình ảnh, với độ phức tạp thời gian được tối ưu hóa.
  2. Giới thiệu Graph-GPTree: Cải tiến GP-Tree bằng cách tích hợp lý thuyết đồ thị, tạo ra đồ thị cụm lân cận để nâng cao khả năng nắm bắt mối quan hệ ngữ nghĩa cục bộ và tăng độ chính xác tìm kiếm.
  3. Đề xuất SgGP-Tree: Kết hợp Graph-GPTree với mạng tự tổ chức (SOM) để đạt được hiệu suất tìm kiếm ảnh theo ngữ nghĩa vượt trội, đặc biệt trong việc xử lý và ánh xạ các đặc trưng đa chiều.
  4. Xây dựng SBIR-GP dựa trên Ontology và SPARQL: Phát triển một hệ thống SBIR hoàn chỉnh, tích hợp khung ontology làm giàu bán tự động và ngôn ngữ truy vấn SPARQL, cho phép truy vấn ngữ nghĩa linh hoạt và chính xác hơn.
  5. Thực nghiệm trên bộ dữ liệu lớn: Các phương pháp đã được kiểm chứng trên các bộ dữ liệu chuẩn quốc tế như Wang (10.800 ảnh), ImageCLEF (20.000 ảnh), và MS-COCO (163.957 ảnh), chứng minh tính hiệu quả và khả năng mở rộng.

Luận án này là một bước tiến quan trọng trong việc thúc đẩy paradigm tìm kiếm ảnh từ dựa trên nội dung sang dựa trên ngữ nghĩa. Bằng cách cung cấp các cấu trúc dữ liệu và phương pháp luận đổi mới, nghiên cứu này đã mở ra ít nhất ba luồng nghiên cứu mới: 1) tối ưu hóa cấu trúc dữ liệu động cho dữ liệu đa phương tiện theo thời gian thực, 2) phát triển ontology bán tự động tích hợp sâu với học máy để biểu diễn ngữ nghĩa phức tạp, và 3) nghiên cứu các phương pháp truy vấn ngữ nghĩa linh hoạt trên không gian đặc trưng phi metric.

Với tác động tiềm năng trong việc chuyển đổi ngành công nghiệp từ thương mại điện tử đến y tế và an ninh, cùng với sự liên quan toàn cầu của vấn đề "khoảng cách ngữ nghĩa", luận án này mang lại những kết quả có thể đo lường được, góp phần quan trọng vào việc nâng cao khả năng của máy tính trong việc "hiểu" và truy xuất thông tin hình ảnh một cách thông minh, sâu sắc và hiệu quả hơn trên quy mô lớn.