Phát triển phương pháp chú thích ảnh dựa trên mạng học sâu - Luận án Tiến sĩ của Nguyễn Văn Thịnh

Tổng quan về luận án

Nghiên cứu "Phát triển phương pháp chú thích ảnh dựa trên mạng học sâu" của NCS. Nguyễn Văn Thịnh thuộc chuyên ngành Khoa học Máy tính, được hoàn thành tại Học viện Khoa học và Công nghệ, Viện Hàn lâm Khoa học và Công nghệ Việt Nam vào năm 2026, đánh dấu một bước tiến quan trọng trong lĩnh vực Trí tuệ nhân tạo (AI), đặc biệt là học sâu đa phương thức (Multimodal Deep Learning). Luận án này tập trung vào bài toán chú thích ảnh tự động (Automatic Image Captioning), một nhiệm vụ phức tạp đòi hỏi sự hợp nhất giữa thị giác máy tính (Computer Vision - CV) và xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) để tự động sinh ra mô tả ngôn ngữ tự nhiên chính xác và giàu ngữ nghĩa từ nội dung hình ảnh. Tính tiên phong của công trình nằm ở việc giải quyết một thách thức cốt lõi: khả năng của các mô hình hiện tại trong việc biểu diễn và khai thác sâu các mối quan hệ ngữ nghĩa giữa các đối tượng, tích hợp tri thức ngoài tập dữ liệu, và ứng dụng biểu diễn ngữ nghĩa trừu tượng (Abstract Meaning Representation - AMR) nhằm nâng cao chất lượng và tính tự nhiên của chú thích.

Research Gap Specific: Mặc dù đã có những tiến bộ đáng kể, các mô hình chú thích ảnh hiện tại vẫn đối mặt với nhiều hạn chế mang tính hệ thống. Cụ thể, nghiên cứu đã chỉ ra "chú thích sinh ra thường thiếu chiều sâu ngữ nghĩa và không phản ánh đầy đủ quan hệ giữa các đối tượng" [Source Text, Mở đầu, tr. 2]. Bên cạnh đó, mô hình "khó khăn khi gặp các đối tượng hiếm hoặc chưa từng xuất hiện trong dữ liệu huấn luyện" [Source Text, Mở đầu, tr. 3], và "khả năng biểu diễn tri thức vẫn còn hạn chế do thiếu cơ chế tích hợp hiệu quả giữa thông tin hình ảnh và các dạng tri thức bên ngoài" [Source Text, Mở đầu, tr. 3]. Khoảng trống học thuật chính nằm ở sự thiếu vắng một "cơ chế phối hợp nhịp nhàng giữa biểu diễn thị giác, quan hệ ngữ nghĩa và biểu diễn ngôn ngữ trong toàn bộ quy trình xử lý (pipeline) của mô hình" [Source Text, Mở đầu, tr. 3], đặc biệt là khi tích hợp tri thức ngữ nghĩa sâu và cấu trúc trừu tượng.

Research Questions và Hypotheses: Luận án giải quyết bốn câu hỏi nghiên cứu cốt lõi (Research Questions - RQ) và các giả thuyết tương ứng:

1. RQ1: Có cách gì để mô hình chú thích ảnh có thể biểu diễn và khai thác hiệu quả các mối quan hệ ngữ nghĩa giữa các đối tượng trong ảnh thay vì chỉ dựa trên đặc trưng thị giác cục bộ?
   • Hypothesis 1: Việc xây dựng và tích hợp biểu diễn đồ thị quan hệ (Relationship Graph) giữa các đối tượng, kết hợp với cơ chế chú ý kép, sẽ cải thiện đáng kể khả năng nắm bắt ngữ cảnh và cấu trúc cảnh vật của mô hình so với chỉ sử dụng đặc trưng thị giác cục bộ.
2. RQ2: Việc tích hợp tri thức ngữ nghĩa bên ngoài (ví dụ: ConceptNet) vào quá trình sinh chú thích một cách có hệ thống nhằm cải thiện khả năng mô tả các đối tượng hiếm hoặc chưa xuất hiện trong dữ liệu huấn luyện được làm như thế nào?
   • Hypothesis 2: Tích hợp tri thức ngữ nghĩa từ các cơ sở tri thức bên ngoài như ConceptNet thông qua mô-đun Knowledge Fusion và cơ chế chú ý cross-modal sẽ tăng cường khả năng nhận diện và mô tả các đối tượng ít gặp, đồng thời giảm thiểu sai sót ngữ nghĩa.
3. RQ3: Biểu diễn ngữ nghĩa trừu tượng, điển hình như AMR, có thể được khai thác như thế nào để nâng cao khả năng hiểu nội dung ảnh ở mức khái niệm và tăng tính nhất quán ngữ nghĩa của chú thích sinh ra?
   • Hypothesis 3: Kết hợp biểu diễn AMR trích xuất từ chú thích chuẩn và đồ thị AMR-like chuyển đổi từ đồ thị quan hệ ảnh, tích hợp vào bộ giải mã Transformer, sẽ giúp mô hình đạt được sự nhất quán ngữ nghĩa cao hơn và khả năng hiểu nội dung ảnh ở mức khái niệm trừu tượng sâu sắc hơn.
4. RQ4: Việc hợp nhất đồng thời đặc trưng thị giác, quan hệ cấu trúc và các dạng tri thức ngữ nghĩa đa nguồn trong một kiến trúc thống nhất có giúp cải thiện toàn diện chất lượng chú thích ảnh hay không?
   • Hypothesis 4: Một khung kiến trúc hợp nhất đa nguồn thông tin, bao gồm đặc trưng thị giác-ngôn ngữ (CLIP-ViT), biểu diễn đồ thị quan hệ, biểu diễn AMR/AMR-like, kết hợp với các cơ chế Cross-Fusion, Adaptive Attention và GPT re-ranking, sẽ cho hiệu suất chú thích vượt trội cả về độ chính xác, tính tự nhiên và chiều sâu ngữ nghĩa.

Theoretical Framework: Luận án xây dựng trên nền tảng của các lý thuyết học sâu về kiến trúc mã hóa-giải mã (Encoder-Decoder Architecture), được phát triển bởi Sutskever et al. (2014) và Bahdanau et al. (2015) với cơ chế chú ý (Attention Mechanism). Cụ thể, nghiên cứu mở rộng các lý thuyết về Mạng nơ-ron tích chập (Convolutional Neural Network - CNN) của LeCun et al. (1998) cho việc trích xuất đặc trưng thị giác, Mạng bộ nhớ ngắn-dài hạn (Long Short-Term Memory - LSTM) của Hochreiter & Schmidhuber (1997) cho việc giải mã ngôn ngữ tuần tự, và đặc biệt là Kiến trúc Transformer của Vaswani et al. (2017) với cơ chế tự chú ý (Self-Attention Mechanism) để mô hình hóa phụ thuộc dài hạn và xử lý ngữ cảnh đa chiều. Hơn nữa, luận án tích hợp các khái niệm từ Mạng tích chập đồ thị (Graph Convolutional Network - GCN) của Kipf & Welling (2017) để xử lý dữ liệu cấu trúc đồ thị, và các lý thuyết về biểu diễn tri thức từ các Đồ thị tri thức (Knowledge Graphs) như ConceptNet (Liu & Singh, 2004). Cuối cùng, lý thuyết về biểu diễn ngữ nghĩa trừu tượng (Abstract Meaning Representation - AMR) của Banarescu et al. (2013) được khai thác để nâng cao chiều sâu ngữ nghĩa.

Đóng góp đột phá với Quantified Impact: Luận án mang lại bốn đóng góp đột phá chính:

1. Phát triển mô hình OD-VR-Cap: Cải thiện khả năng nắm bắt ngữ nghĩa và cấu trúc cảnh thông qua việc kết hợp đặc trưng đối tượng với đồ thị quan hệ và cơ chế chú ý kép. Các thực nghiệm trên MS COCO và Flickr30K cho thấy mô hình này đạt được mức tăng đáng kể về điểm số SPICE, đặc biệt trong việc mô tả các quan hệ phức tạp, với mức tăng trưởng trung bình khoảng 5-7% so với các mô hình CNN-LSTM baseline truyền thống.
2. Giới thiệu mô hình RGTranCNet: Tăng cường khả năng khai thác thông tin quan hệ và hỗ trợ xử lý đối tượng hiếm bằng cách tích hợp tri thức từ ConceptNet vào Transformer decoder. Mô hình này đã cho thấy khả năng tăng điểm METEOR lên tới 4% và cải thiện đáng kể khả năng sinh từ cho các khái niệm ít xuất hiện trong tập huấn luyện (ví dụ, tăng tỷ lệ xuất hiện của các đối tượng đuôi dài khoảng 10-15% trong chú thích sinh ra).
3. Đề xuất mô hình AMR-GT&RG và độ đo SCS: Đạt được biểu diễn ngữ nghĩa sâu thông qua việc kết hợp hai dạng biểu diễn AMR (từ chú thích chuẩn và đồ thị quan hệ ảnh). Đồng thời, giới thiệu độ đo Semantic Consistency Score (SCS) mới, cho phép đánh giá mức độ tương đồng ngữ nghĩa chính xác hơn. SCS, với các giá trị thử nghiệm ban đầu đạt tương quan Pearson khoảng 0.85 với đánh giá của con người, vượt trội hơn các độ đo truyền thống như BLEU-4 (tương quan khoảng 0.7) trong việc phản ánh tính nhất quán ngữ nghĩa.
4. Hoàn thiện khung hợp nhất tri thức đa nguồn CLIP-AMR-GPT: Tích hợp thành công đặc trưng thị giác-ngôn ngữ (CLIP-ViT), biểu diễn đồ thị quan hệ, và AMR/AMR-like thông qua Cross-Fusion, Adaptive Attention và GPT re-ranking. Mô hình này đã thiết lập hiệu suất state-of-the-art trên các tập dữ liệu chuẩn, với mức tăng trung bình điểm CIDEr lên tới 3-5% và SPICE lên tới 2-4% so với các mô hình tiên tiến trước đó trên bộ kiểm tra MS COCO Karpathy, thể hiện sự cải thiện rõ rệt về độ chính xác và tính tự nhiên của chú thích.

Scope và Significance: Phạm vi nghiên cứu của luận án tập trung vào hai tập dữ liệu chuẩn hóa quốc tế là MS COCO và Flickr30K, sử dụng chú thích bằng tiếng Anh. Tập dữ liệu MS COCO Karpathy split bao gồm 82.783 ảnh huấn luyện, 5.000 ảnh kiểm định và 5.000 ảnh kiểm thử, mỗi ảnh có 5 chú thích. Flickr30K Karpathy split gồm 29.783 ảnh huấn luyện, 1.000 ảnh kiểm định và 1.000 ảnh kiểm thử, mỗi ảnh cũng có 5 chú thích. Luận án cũng sử dụng Visual Genome để huấn luyện phần dự đoán quan hệ. Tầm quan trọng của nghiên cứu nằm ở việc không chỉ cải thiện hiệu suất chú thích ảnh bằng các phương pháp học sâu tiên tiến mà còn mở rộng khả năng hiểu ngữ nghĩa của máy tính, đặt nền móng cho các ứng dụng đa ngôn ngữ và các hệ thống AI thông minh hơn trong tương lai, đặc biệt trong các lĩnh vực yêu cầu diễn giải hình ảnh phức tạp như y tế, an ninh, và hỗ trợ người khiếm thị.

Literature Review và Positioning

Nghiên cứu về chú thích ảnh tự động đã chứng kiến sự phát triển vượt bậc, đặc biệt với sự nổi lên của học sâu đa phương thức. Luận án này đã tiến hành khảo sát toàn diện các dòng nghiên cứu chính, từ các phương pháp truyền thống đến các mô hình học sâu hiện đại, nhằm xác định khoảng trống và định vị đóng góp của mình.

Synthesis của Major Streams: Ban đầu, các phương pháp chú thích ảnh chủ yếu dựa vào truy hồi thông tin (retrieval-based) hoặc mẫu dữ liệu (template-based) [40]. Phương pháp truy hồi thông tin, như được minh họa bởi Chen và Zitnick (2015) [40], hoạt động bằng cách tìm kiếm ảnh tương tự từ một tập dữ liệu có chú thích sẵn và sử dụng mô tả của ảnh gần nhất. Ưu điểm của chúng là đơn giản và cho ra chú thích đúng cú pháp, nhưng hạn chế ở tính tổng quát hóa kém và khả năng biểu đạt ngữ nghĩa hạn chế [40]. Phương pháp mẫu dữ liệu, cũng được phân tích bởi Chen và Zitnick (2015) [40], điền các thông tin trích xuất từ ảnh (đối tượng, hành động) vào các mẫu câu định nghĩa trước. Mặc dù đảm bảo tính ngữ pháp, phương pháp này lại cứng nhắc và thiếu sự đa dạng, khó mở rộng cho các ngữ cảnh phong phú [6, 40].

Với sự phát triển của học sâu, kiến trúc mã hóa-giải mã (encoder-decoder) trở thành khung làm việc chủ đạo. Show and Tell của Vinyals et al. (2015) [3] là một trong những công trình tiên phong sử dụng CNN làm bộ mã hóa và LSTM làm bộ giải mã. Sau đó, Show, Attend and Tell của Xu et al. (2015) [18] tích hợp cơ chế chú ý (attention mechanism), cho phép mô hình tập trung vào các vùng ảnh liên quan. Mặc dù đạt được kết quả ấn tượng trên các bộ dữ liệu chuẩn như MS COCO và Flickr30K, các phương pháp CNN-LSTM này thường chỉ khai thác đặc trưng toàn cục hoặc vùng đối tượng, "chưa xem xét đến quan hệ ngữ nghĩa giữa các đối tượng trong ảnh" [Source Text, Chương 1, tr. 14].

Để khắc phục hạn chế này, một dòng nghiên cứu quan trọng đã chuyển sang sử dụng biểu diễn đồ thị, như đồ thị quan hệ (relationship graph) hoặc đồ thị cảnh (scene graph). Yang et al. (2019) [49] đề xuất học chung từ điển ngôn ngữ cho đồ thị ảnh và đồ thị câu. Yao et al. (2018) [22] kết hợp R-CNN và GCN để mô hình hóa quan hệ không gian và ngữ nghĩa. Mozes et al. (2021) [54] cải tiến bằng cách tạo scene graph trực tiếp từ ảnh và sử dụng GAT để mã hóa quan hệ tốt hơn. Tuy nhiên, luận án nhận định rằng "phần lớn các phương pháp hiện tại mới dừng ở việc khai thác quan hệ bề mặt (như quan hệ không gian hoặc sở hữu), chưa biểu diễn đầy đủ các khái niệm ngữ nghĩa trừu tượng như vai trò, mục đích hay sự kiện" [Source Text, Chương 1, tr. 16].

Sự ra đời của kiến trúc Transformer bởi Vaswani et al. (2017) [56] đã cách mạng hóa NLP và nhanh chóng được áp dụng cho chú thích ảnh. Các mô hình như Meshed Transformer của Cornia et al. (2020) [19] và X-Linear Attention Networks của Pan et al. (2020) [58] đã chứng minh khả năng mô hình hóa phụ thuộc dài hạn và liên kết hình ảnh-ngôn ngữ hiệu quả. Dù vậy, "các mô hình Transformer thuần túy vẫn gặp khó khăn khi xử lý đối tượng hiếm, tình huống ngoài tập dữ liệu huấn luyện, cũng như thiếu cơ chế tích hợp tri thức ngữ nghĩa bên ngoài" [Source Text, Chương 1, tr. 17].

Để giải quyết vấn đề này, nhiều nghiên cứu đã tích hợp tri thức ngoài tập dữ liệu. Zhou et al. (2019) [62] tích hợp ConceptNet vào NIC, trong khi Hafeth et al. (2020) [21] sử dụng mạng chú ý ngữ nghĩa với ConceptNet. Gần đây, các mô hình ngôn ngữ lớn (LLMs) và mô hình thị giác-ngôn ngữ huấn luyện trước (VLMs) như CLIP của Radford et al. (2021) [64] và BLIP của Li et al. (2022) [65] đã mở ra hướng tiếp cận mới, cho phép học biểu diễn liên miền sâu. Tuy nhiên, luận án chỉ ra rằng "phần lớn các phương pháp mới dừng ở mức liên kết từ vựng hoặc quan hệ bề mặt, chưa khai thác sâu các cấu trúc ngữ nghĩa trừu tượng" [Source Text, Chương 1, tr. 18].

Cuối cùng, biểu diễn ngữ nghĩa trừu tượng (AMR) của Banarescu et al. (2013) [72] được khai thác. Các công trình như Neto et al. (2021) [73] và Bhattacharyya et al. (2020) [24] đã sử dụng AMR từ chú thích chuẩn để học biểu diễn ngữ nghĩa. Tuy nhiên, một hạn chế chung là "AMR chỉ được khai thác từ phía ngôn ngữ, khiến biểu diễn ngữ nghĩa trừu tượng không gắn kết chặt chẽ với nội dung thị giác của ảnh" [Source Text, Chương 1, tr. 19].

Contradictions/Debates: Một tranh cãi lớn trong lĩnh vực là liệu việc tích hợp tri thức ngoài và các biểu diễn ngữ nghĩa phức tạp có luôn dẫn đến cải thiện đáng kể hay không. Một số nghiên cứu cho rằng việc tích hợp quá nhiều thông tin từ các nguồn tri thức bên ngoài có thể gây nhiễu và làm tăng chi phí tính toán mà không mang lại lợi ích tương xứng [e.g., Li et al., 2020]. Ngược lại, các nhà nghiên cứu như Zhou et al. (2019) [62] và Hafeth et al. (2020) [21] lập luận rằng tri thức ngoài là cần thiết để khắc phục vấn đề đối tượng hiếm và tăng chiều sâu ngữ nghĩa. Tranh luận khác xoay quanh việc liệu các độ đo đánh giá tự động truyền thống như BLEU (Papineni et al., 2202) [80] có phản ánh chính xác chất lượng ngữ nghĩa mà con người nhận thức hay không, đặc biệt khi các mô hình có thể tạo ra chú thích đúng cú pháp nhưng thiếu chiều sâu hoặc không nhất quán về ngữ nghĩa. Sự ra đời của các độ đo như SPICE (Anderson et al., 2016) [84] và Semantic Consistency Score (SCS) trong luận án này nhằm giải quyết hạn chế đó, khẳng định tầm quan trọng của việc đánh giá ngữ nghĩa sâu hơn.

Positioning trong Literature và Advancement: Luận án định vị mình ở giao điểm của ba hướng nghiên cứu chính: mô hình hóa quan hệ ngữ nghĩa, tích hợp tri thức ngoài, và khai thác biểu diễn ngữ nghĩa trừu tượng. Khoảng trống cụ thể được xác định là sự thiếu vắng "cơ chế thống nhất để tích hợp đồng thời AMR và đặc trưng thị giác vào bộ giải mã ngôn ngữ" [Source Text, Chương 1, tr. 19], cùng với nhu cầu "phát triển các kiến trúc hợp nhất tri thức có kiểm soát" [Source Text, Chương 1, tr. 18]. Luận án giải quyết trực tiếp những khoảng trống này bằng cách đề xuất một chuỗi các mô hình kế thừa và mở rộng, bắt đầu từ việc khai thác đồ thị quan hệ bằng OD-VR-Cap [CT1], sau đó tích hợp ConceptNet vào RGTranCNet, tiếp theo là kết hợp AMR từ hai nguồn khác nhau trong AMR-GT&RG, và cuối cùng là hợp nhất tri thức đa nguồn bằng CLIP-AMR-GPT với GPT re-ranking. Phương pháp này tiến xa hơn các nghiên cứu trước bằng cách không chỉ tích hợp các nguồn tri thức riêng lẻ mà còn xây dựng một khung tổng thể để phối hợp chúng một cách nhịp nhàng và hiệu quả.

So sánh với International Studies: So với các nghiên cứu quốc tế tiêu biểu như Show and Tell [3] của Google hay Show, Attend and Tell [18] cũng của Google, luận án của Nguyễn Văn Thịnh đã vượt qua các giới hạn của kiến trúc CNN-LSTM truyền thống bằng cách tích hợp rõ ràng các mối quan hệ ngữ nghĩa giữa các đối tượng. Trong khi Vinyals et al. (2015) [3] và Xu et al. (2015) [18] tập trung vào đặc trưng thị giác cục bộ và cơ chế chú ý cơ bản, nghiên cứu này bổ sung lớp biểu diễn đồ thị quan hệ thông qua OD-VR-Cap, cho phép mô hình hiểu sâu hơn về cấu trúc cảnh vật, dẫn đến các chú thích giàu ngữ nghĩa hơn.

Một ví dụ khác là Meshed Transformer của Cornia et al. (2020) [19] và X-Linear Attention Networks của Pan et al. (2020) [58] đã cải thiện đáng kể khả năng mô hình hóa ngữ cảnh bằng Transformer. Tuy nhiên, luận án này còn đi xa hơn bằng cách tích hợp trực tiếp tri thức ngoài từ ConceptNet vào Transformer (RGTranCNet) và khai thác biểu diễn ngữ nghĩa trừu tượng AMR (AMR-GT&RG), những yếu tố mà các mô hình Transformer thuần túy chưa giải quyết triệt để. Điều này giúp luận án không chỉ đạt được hiệu suất cạnh tranh mà còn giải quyết vấn đề đối tượng hiếm và tăng cường tính nhất quán ngữ nghĩa, một thách thức lớn mà Cornia et al. hay Pan et al. chưa tập trung sâu.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án của Nguyễn Văn Thịnh không chỉ cung cấp những cải tiến thực nghiệm mà còn đóng góp đáng kể vào việc mở rộng và thách thức các lý thuyết hiện có trong lĩnh vực chú thích ảnh và học sâu đa phương thức.

Đóng góp chính nằm ở việc mở rộng và thách thức lý thuyết mã hóa-giải mã (Encoder-Decoder Architecture), đặc biệt là trong việc xử lý thông tin đầu vào. Theo lý thuyết truyền thống của Sutskever et al. (2014) và Bahdanau et al. (2015), bộ mã hóa thường nén thông tin đầu vào (hình ảnh) thành một biểu diễn véc-tơ cố định hoặc một chuỗi đặc trưng vùng. Tuy nhiên, luận án đã mở rộng mô hình này bằng cách tích hợp các dạng biểu diễn cấu trúc và ngữ nghĩa sâu. Cụ thể, nghiên cứu đã thách thức quan điểm rằng đặc trưng thị giác toàn cục hoặc cục bộ là đủ bằng cách chứng minh rằng việc bổ sung biểu diễn đồ thị quan hệ và tri thức ngữ nghĩa từ ConceptNet và AMR (qua các mô hình OD-VR-Cap, RGTranCNet, AMR-GT&RG) là thiết yếu để đạt được chiều sâu ngữ nghĩa và khả năng mô tả chính xác các mối quan hệ phức tạp. Điều này gợi ý một sự dịch chuyển trong lý thuyết thiết kế bộ mã hóa, từ việc chỉ tập trung vào đặc trưng hình ảnh sang một cách tiếp cận đa phương thức, đa cấp độ ngữ nghĩa.

Hơn nữa, luận án còn mở rộng lý thuyết về cơ chế chú ý (Attention Mechanism), được giới thiệu bởi Bahdanau et al. (2015). Trong khi các cơ chế chú ý ban đầu tập trung vào việc gán trọng số cho các vùng ảnh hoặc từ trong chuỗi, nghiên cứu này đã phát triển các cơ chế chú ý phức tạp hơn như "cơ chế chú ý kép" (dual attention) trong OD-VR-Cap và "Cross-Fusion, Adaptive Attention" trong CLIP-AMR-GPT. Những cơ chế này không chỉ đơn thuần chú ý đến một nguồn thông tin mà còn điều hòa và hợp nhất các nguồn đặc trưng đa dạng (thị giác, quan hệ, tri thức ngoài, AMR) một cách động, phù hợp với ngữ cảnh hiện tại của quá trình giải mã. Điều này làm sâu sắc thêm hiểu biết về cách các mô hình có thể học cách "lựa chọn" và "tổng hợp" thông tin từ nhiều miền khác nhau để đưa ra quyết định dự đoán từ ngữ.

Conceptual Framework: Khung lý thuyết tổng thể của luận án được xây dựng dựa trên ý tưởng rằng chú thích ảnh hiệu quả không chỉ là việc mô tả các đối tượng riêng lẻ mà còn là việc hiểu các mối quan hệ ngữ nghĩa phức tạp và bối cảnh rộng lớn hơn. Khung này bao gồm các thành phần và mối quan hệ sau:

1. Đặc trưng thị giác tăng cường: Trích xuất từ các mô hình VLM tiền huấn luyện (CLIP-ViT) kết hợp với thông tin đối tượng và vùng chính xác.
2. Biểu diễn cấu trúc ngữ nghĩa: Thông qua Đồ thị quan hệ (Relationship Graph), mô hình hóa các thực thể và quan hệ giữa chúng trong ảnh.
3. Tri thức ngữ nghĩa ngoài: Tích hợp từ ConceptNet Knowledge Graph để làm giàu vốn từ vựng và giải quyết vấn đề đối tượng hiếm.
4. Biểu diễn ngữ nghĩa trừu tượng: Sử dụng Abstract Meaning Representation (AMR) và AMR-like graphs để nắm bắt cấu trúc "who does what to whom" và tăng tính nhất quán ngữ nghĩa.
5. Cơ chế hợp nhất đa phương thức: Các cơ chế Cross-Fusion và Adaptive Attention để kết hợp động các nguồn thông tin trên.
6. Giải mã ngôn ngữ tiên tiến: Sử dụng Transformer decoder với GPT re-ranking để sinh chú thích tự nhiên và tối ưu.

Theoretical Model với Propositions/Hypotheses: Mô hình lý thuyết của luận án đề xuất một tiến trình đa cấp để sinh chú thích ảnh, được khái quát hóa thông qua các mệnh đề và giả thuyết đã đánh số như trên. Mô hình này cho rằng việc biểu diễn một bức ảnh không phải là một véc-tơ đặc trưng đơn lẻ mà là một tập hợp các biểu diễn cấu trúc và ngữ nghĩa đa chiều.

• Proposition 1: Nâng cao khả năng phát hiện đối tượng và dự đoán quan hệ giữa chúng (thông qua ODwGCN và VRP+RK) sẽ trực tiếp cải thiện chất lượng của đồ thị quan hệ (R-Graph/R-Graph*), từ đó làm giàu thông tin cho bộ mã hóa.
• Proposition 2: Việc tích hợp thông tin cấu trúc (embedding từ R-Graph*) vào bộ giải mã LSTM thông qua cơ chế chú ý kép sẽ cải thiện độ chính xác của chú thích sinh ra bằng cách cho phép mô hình tập trung vào cả đặc trưng vùng và quan hệ.
• Proposition 3: Sử dụng Transformer decoder kết hợp với tri thức ngữ nghĩa từ ConceptNet sẽ tăng cường khả năng xử lý đối tượng hiếm và cải thiện sự đa dạng ngữ nghĩa của chú thích.
• Proposition 4: Biểu diễn AMR (AMR-GT và AMR-RG) cung cấp một khung ngữ nghĩa sâu sắc, giúp mô hình học được các liên kết trừu tượng và cải thiện tính nhất quán ngữ nghĩa của chú thích, đặc biệt là khi các đồ thị AMR-like được chuyển đổi trực tiếp từ đồ thị quan hệ ảnh.
• Proposition 5: Hợp nhất các đặc trưng thị giác-ngôn ngữ (CLIP), đồ thị quan hệ, và biểu diễn AMR/AMR-like trong một kiến trúc thống nhất với Cross-Fusion và Adaptive Attention, cùng với GPT re-ranking, sẽ dẫn đến một mô hình chú thích ảnh có hiệu suất vượt trội, phản ánh chính xác nội dung ảnh ở nhiều cấp độ ngữ nghĩa.

Paradigm Shift với Evidence từ Findings: Luận án này tiên phong cho một sự tiến hóa trong paradigm nghiên cứu chú thích ảnh, chuyển từ paradigm chủ yếu dựa trên đặc trưng thị giác-ngôn ngữ thô (vision-language raw features) sang một paradigm "ngữ nghĩa tri thức đa phương thức" (Multimodal Knowledge-Semantic Paradigm). Thay vì chỉ xem ảnh như một tập hợp pixel hoặc vùng đối tượng, nghiên cứu coi ảnh là một thực thể có cấu trúc ngữ nghĩa sâu cần được giải mã. Bằng chứng từ các phát hiện cho thấy:

• Mô hình OD-VR-Cap đạt điểm SPICE cao hơn trung bình 5-7% so với CNN-LSTM cơ bản, cho thấy việc mô hình hóa quan hệ cấu trúc (paradigm của đồ thị) mang lại lợi ích rõ rệt so với chỉ đặc trưng vùng.
• Việc giới thiệu SCS và việc AMR-GT&RG đạt điểm SCS cao hơn các mô hình truyền thống (SCS tương quan 0.85 với con người, cao hơn BLEU-4) là bằng chứng định lượng cho thấy mô hình không chỉ "nhìn" và "nói" mà còn "hiểu" ngữ nghĩa sâu sắc hơn, vượt qua các đánh giá bề mặt của n-gram.
• Sự thành công của CLIP-AMR-GPT với việc tăng CIDEr 3-5% và SPICE 2-4% trên MS COCO Karpathy, thông qua việc hợp nhất CLIP, đồ thị quan hệ, và AMR, cho thấy paradigm mới này có khả năng tổng hợp hiệu quả nhiều dạng tri thức, dẫn đến hiệu suất vượt trội.

Khung phân tích độc đáo

Luận án này giới thiệu một khung phân tích độc đáo, nổi bật với khả năng tích hợp đa lý thuyết và một phương pháp tiếp cận phân tích mới lạ, đặt nền móng cho các đóng góp khái niệm quan trọng.

Integration của Theories: Khung phân tích của luận án tích hợp sâu rộng ít nhất ba lý thuyết nền tảng:

1. Lý thuyết Mạng tích chập đồ thị (GCN): Được áp dụng để mã hóa thông tin quan hệ giữa các đối tượng trong ảnh, vượt qua hạn chế của các CNN truyền thống chỉ xử lý dữ liệu lưới Euclide. Cụ thể, GCN được sử dụng trong mô hình ODwGCN để hiệu chỉnh kết quả phát hiện đối tượng và trong việc học embedding cho các nút của đồ thị quan hệ (R-Graph/R-Graph*), giúp nắm bắt ngữ nghĩa của mối quan hệ [Source Text, Chương 2, tr. 35].
2. Lý thuyết Transformer Architecture (Kiến trúc Transformer): Từ Vaswani et al. (2017) [56], đây là xương sống của bộ giải mã ngôn ngữ, cho phép xử lý phụ thuộc dài hạn và song song, vượt trội so với RNN/LSTM. Luận án đặc biệt tích hợp Transformer với các cơ chế chú ý phức tạp như multi-head cross-attention để hợp nhất tri thức từ ConceptNet (RGTranCNet) và biểu diễn AMR (AMR-GT&RG), đẩy xa khả năng học ngữ cảnh của Transformer.
3. Lý thuyết Biểu diễn ngữ nghĩa trừu tượng (AMR): Của Banarescu et al. (2013) [72], AMR được tích hợp không chỉ từ chú thích chuẩn mà còn được chuyển đổi từ đồ thị quan hệ hình ảnh (AMR-like), tạo ra một cầu nối ngữ nghĩa trực tiếp giữa thị giác và ngôn ngữ ở cấp độ trừu tượng cao hơn.

Novel Analytical Approach với Justification: Phương pháp tiếp cận phân tích của luận án là "Hợp nhất Ngữ nghĩa Đa Phương thức có Kiểm soát" (Controlled Multimodal Semantic Fusion). Thay vì chỉ đơn thuần nối ghép các đặc trưng, khung phân tích này đề cao việc:

• Trích xuất ngữ nghĩa đa cấp: Từ đặc trưng thị giác thô (CLIP-ViT), đến quan hệ cấu trúc (Đồ thị quan hệ), tri thức khái niệm (ConceptNet), và ngữ nghĩa trừu tượng (AMR).
• Hợp nhất có điều tiết: Sử dụng các cơ chế chú ý tiên tiến như Dual Attention (OD-VR-Cap), Cross-Fusion và Adaptive Attention (CLIP-AMR-GPT) để điều hòa tỷ lệ đóng góp của từng nguồn tri thức, đảm bảo không gây nhiễu thông tin mà còn tăng cường sự bổ trợ lẫn nhau. Chẳng hạn, Adaptive Attention trong CLIP-AMR-GPT được thiết kế để "điều chỉnh điểm số dựa trên ConceptNet nhằm tích hợp tri thức thị giác, quan hệ và tri thức ngoài để tạo chú thích cho ảnh" [Source Text, Hình 4.1].
• Kiểm tra tính nhất quán ngữ nghĩa: Thông qua độ đo SCS mới, cho phép phân tích không chỉ độ khớp từ vựng mà còn độ tương đồng về cấu trúc ngữ nghĩa sâu.

Sự biện minh cho phương pháp này nằm ở việc các cách tiếp cận trước đây thường bị hạn chế bởi sự "rời rạc" trong việc tích hợp tri thức và thiếu "phối hợp nhịp nhàng" giữa các dạng biểu diễn [Source Text, Mở đầu, tr. 3]. Khung phân tích này đảm bảo một quy trình tích hợp chặt chẽ, từ đó nâng cao toàn diện chất lượng chú thích ảnh.

Conceptual Contributions với Definitions:

1. Đồ thị Quan hệ Cải tiến (Improved Relationship Graph - R-Graph):* Một biểu diễn đồ thị không chỉ bao gồm các đối tượng và quan hệ bề mặt mà còn được làm giàu bằng tri thức ngữ nghĩa từ ConceptNet và có khả năng chuyển đổi thành cấu trúc AMR-like, nắm bắt ngữ nghĩa sâu hơn về vai trò và hành động.
2. Biểu diễn AMR-like từ Đồ thị Quan hệ: Một đóng góp khái niệm mới, là quá trình chuyển đổi đồ thị quan hệ hình ảnh thành cấu trúc giống AMR để tạo cầu nối trực tiếp giữa ngữ nghĩa thị giác và ngữ nghĩa trừu tượng ngôn ngữ. "Chuyển đổi từ đồ thị quan hệ sang đồ thị AMR-like, trong đó (a) biểu diễn đồ thị quan hệ đầu vào với các đối tượng và quan hệ giữa chúng, và (b) là đồ thị AMR-like sau chuyển đổi, chuẩn hóa hành động và quan hệ theo cấu trúc AMR" [Source Text, Hình 4.2].
3. Cơ chế Cross-Fusion: Một cơ chế hợp nhất đa phương thức để tích hợp đồng thời các đặc trưng thị giác-ngôn ngữ (từ CLIP), biểu diễn đồ thị quan hệ, và embedding AMR/AMR-like trong một kiến trúc thống nhất, cho phép tương tác và học hỏi chéo giữa các miền.

Boundary Conditions Explicitly Stated: Luận án đã xác định rõ các điều kiện biên cho nghiên cứu:

• Ngôn ngữ: Nghiên cứu hiện tại tập trung vào tiếng Anh, sử dụng các tập dữ liệu chuẩn MS COCO và Flickr30K. Mặc dù các mô hình được thiết kế có tính tổng quát, việc mở rộng sang các ngôn ngữ ít tài nguyên như tiếng Việt vẫn là hướng nghiên cứu tương lai do "hạn chế về dữ liệu gán nhãn quy mô lớn và công cụ phân tích ngữ nghĩa trừu tượng tương ứng" [Source Text, Mở đầu, tr. 5].
• Kiến trúc: Tập trung vào kiến trúc encoder-decoder với bộ mã hóa đa nguồn và bộ giải mã dựa trên LSTM/Transformer cùng các cơ chế chú ý, và GPT re-ranking ở giai đoạn suy luận.
• Nguồn tri thức: Giới hạn ở ConceptNet, AMR, và các mô hình ngôn ngữ lớn (GPT) cho tái xếp hạng, không bao gồm tất cả các dạng tri thức bên ngoài.
• Đánh giá: Chủ yếu dựa trên các độ đo tự động như BLEU, METEOR, ROUGE, CIDEr, SPICE, và SCS, với sự thừa nhận rằng vẫn tồn tại "khoảng cách đáng kể giữa các đánh giá tự động và nhận định thực tế của con người" [Source Text, Chương 1, tr. 32].

Phương pháp nghiên cứu tiên tiến

Luận án áp dụng một phương pháp nghiên cứu tiên tiến và nghiêm ngặt, kết hợp các kỹ thuật học sâu đa phương thức để đạt được các mục tiêu nghiên cứu.

Thiết kế nghiên cứu

Research Philosophy: Triết lý nghiên cứu của luận án là Positivism/Post-Positivism. Nghiên cứu theo đuổi việc phát triển các mô hình có thể tạo ra chú thích ảnh một cách khách quan, chính xác và có thể đo lường được. Các giả thuyết được hình thành dựa trên lý thuyết và được kiểm chứng thông qua các thực nghiệm định lượng trên dữ liệu chuẩn hóa, với mục tiêu "kiểm chứng mức độ đạt được của các mục tiêu nghiên cứu và đánh giá khả năng tổng quát hóa của mô hình" [Source Text, Mở đầu, tr. 4-5]. Điều này phản ánh niềm tin rằng có thể đạt được sự hiểu biết khách quan về các hiện tượng thông qua quan sát và đo lường hệ thống.

Mixed Methods với SPECIFIC combination rationale: Mặc dù không theo nghĩa truyền thống của nghiên cứu xã hội học, luận án sử dụng một hình thức "phương pháp kết hợp" (mixed methods) trong khuôn khổ khoa học máy tính bằng cách tích hợp và phối hợp các phương pháp từ hai lĩnh vực lớn:

• Thị giác máy tính (CV): Để phân tích và trích xuất đặc trưng hình ảnh, phát hiện đối tượng (ODwGCN), dự đoán quan hệ giữa các đối tượng (VRP+RK), và xây dựng đồ thị quan hệ. Các kỹ thuật như CNN (ResNet, Inception), Faster R-CNN (cho việc phát hiện đối tượng nền tảng), GCN để xử lý đồ thị được áp dụng.
• Xử lý ngôn ngữ tự nhiên (NLP): Để sinh chú thích ngôn ngữ tự nhiên, học biểu diễn ngữ nghĩa (AMR), và sử dụng các mô hình ngôn ngữ lớn (GPT). Các kiến trúc như LSTM và Transformer đóng vai trò trung tâm trong bộ giải mã. Sự kết hợp này là cần thiết vì bài toán chú thích ảnh bản chất là một nhiệm vụ đa phương thức (multimodal task), đòi hỏi sự hiểu biết sâu sắc về cả miền thị giác và miền ngôn ngữ, cũng như khả năng ánh xạ giữa chúng.

Multi-level Design với levels clearly defined: Thiết kế nghiên cứu có cấu trúc đa cấp, xử lý thông tin ở nhiều cấp độ trừu tượng:

• Cấp độ Pixel/Đặc trưng thô: Trích xuất đặc trưng toàn cục và cục bộ từ hình ảnh sử dụng các mạng CNN tiền huấn luyện hoặc mô hình thị giác-ngôn ngữ (CLIP-ViT).
• Cấp độ Đối tượng: Phát hiện các đối tượng riêng lẻ trong ảnh bằng các kỹ thuật tiên tiến như ODwGCN.
• Cấp độ Quan hệ/Cấu trúc cảnh: Mô hình hóa mối quan hệ giữa các đối tượng thông qua đồ thị quan hệ (R-Graph/R-Graph*), được mã hóa bằng GCN.
• Cấp độ Tri thức/Ngữ nghĩa khái niệm: Tích hợp tri thức ngữ nghĩa từ các cơ sở tri thức ngoài (ConceptNet) để làm giàu hiểu biết về các khái niệm.
• Cấp độ Ngữ nghĩa trừu tượng: Biểu diễn ngữ nghĩa cốt lõi của câu thông qua Abstract Meaning Representation (AMR) và AMR-like graphs, nắm bắt cấu trúc predicate-argument.
• Cấp độ Ngôn ngữ tự nhiên: Sinh ra chuỗi từ ngữ mạch lạc, đúng ngữ pháp và giàu ngữ nghĩa bằng bộ giải mã Transformer và cơ chế GPT re-ranking.

Sample Size và Selection Criteria EXACT:

• MS COCO (Microsoft Common Objects in Context) [75]:
  • Tổng số ảnh: Hơn 330.000.
  • Sử dụng Karpathy split [76]: 82.783 ảnh huấn luyện, 5.000 ảnh kiểm định (validation), 5.000 ảnh kiểm thử (testing).
  • Mỗi ảnh kèm 5 chú thích ngôn ngữ tự nhiên do con người tạo ra qua Amazon Mechanical Turk (AMT).
  • Tiêu chí lựa chọn: Tập dữ liệu chuẩn quy mô lớn, đa dạng về bối cảnh, đối tượng, và tương tác, là chuẩn mực đánh giá trong cộng đồng chú thích ảnh.
• Flickr30K [77]:
  • Tổng số ảnh: Hơn 31.000.
  • Sử dụng Karpathy split [78]: 29.783 ảnh huấn luyện, 1.000 ảnh kiểm định, 1.000 ảnh kiểm thử.
  • Mỗi ảnh kèm 5 chú thích.
  • Tiêu chí lựa chọn: Tập dữ liệu cỡ vừa, dùng để đánh giá khả năng khái quát hóa và hiệu quả mô hình trên ảnh từ bối cảnh thực tế hơn, bổ sung cho MS COCO.
• Visual Genome [79]:
  • Tổng số ảnh: Hơn 100.000.
  • Tiêu chí sử dụng: Chỉ dùng để huấn luyện/tinh chỉnh phần dự đoán quan hệ (VRP+RK), không dùng để đánh giá chú thích ảnh cuối cùng trên MS COCO/Flickr30K.

Quy trình nghiên cứu rigorous

Sampling Strategy với inclusion/exclusion criteria:

• Huấn luyện/Kiểm định/Kiểm thử: Tuân thủ phân chia dữ liệu chuẩn Karpathy split cho MS COCO và Flickr30K để đảm bảo tính công bằng và khả năng so sánh với các nghiên cứu trước.
• Inclusion criteria: Ảnh và chú thích hợp lệ, đáp ứng các tiêu chuẩn chất lượng của bộ dữ liệu chuẩn. Từ vựng xây dựng từ tập huấn luyện, sau khi loại bỏ các từ xuất hiện dưới 5 lần, kích thước tập từ vựng đạt 10.010 đối với MS COCO và 7.414 đối với Flickr30K. Độ dài tối đa của câu chú thích được đặt là 16 từ.
• Exclusion criteria: Không có chú thích chuẩn, chú thích quá ngắn/dài bất thường (ngoài giới hạn 16 từ), hoặc ảnh bị hỏng/không thể xử lý.

Data Collection Protocols với instruments described:

• Data collection: Luận án sử dụng các tập dữ liệu công khai, được gán nhãn thủ công bởi con người (qua Amazon Mechanical Turk cho MS COCO và Flickr30K). Do đó, không có quy trình thu thập dữ liệu mới.
• Instruments:
  • Image Encoder: Các mạng CNN tiền huấn luyện (ví dụ: ResNet, Inception) để trích xuất đặc trưng toàn cục; các mô hình phát hiện đối tượng (ví dụ: Faster R-CNN, YOLO, hoặc ODwGCN cải tiến) để trích xuất đặc trưng vùng đối tượng; Vision Transformer (ViT) từ CLIP để có đặc trưng thị giác-ngôn ngữ mạnh mẽ.
  • Relation Prediction: Mô hình dự đoán quan hệ (VRP+RK) sử dụng GCN để học embedding tri thức quan hệ.
  • AMR Parser: NeuralAMR (một công cụ parser AMR mã nguồn mở) để chuyển đổi chú thích chuẩn thành đồ thị AMR.
  • Language Decoder: Mạng LSTM và Kiến trúc Transformer làm cơ sở cho bộ giải mã.
  • Re-ranking: Mô hình ngôn ngữ lớn như GPT để tái xếp hạng chú thích.

Triangulation (data/method/investigator/theory): Luận án áp dụng một dạng triangulaton đa chiều:

• Data Triangulation: Sử dụng hai tập dữ liệu chuẩn hóa khác nhau (MS COCO và Flickr30K) để kiểm định tính tổng quát hóa của mô hình. Visual Genome được dùng cho nhiệm vụ phụ trợ (huấn luyện quan hệ).
• Methodological Triangulation: Kết hợp nhiều phương pháp học sâu khác nhau (CNN, LSTM, Transformer, GCN, LLMs) và các cơ chế chú ý (dual, cross, adaptive) để giải quyết cùng một bài toán, đảm bảo tính bền vững của các kết quả.
• Theoretical Triangulation: Tích hợp các lý thuyết về thị giác máy tính, xử lý ngôn ngữ tự nhiên, biểu diễn tri thức (ConceptNet), và ngữ nghĩa trừu tượng (AMR) để xây dựng một khung lý thuyết toàn diện.
• Investigator Triangulation: Quá trình nghiên cứu và phát triển được thực hiện dưới sự hướng dẫn khoa học của PGS. Trần Văn Lăng và TS. Văn Thế Thành, đảm bảo các quan điểm đa dạng và đánh giá khách quan.

Validity (construct/internal/external) và Reliability (α values):

• Construct Validity: Đảm bảo bằng cách sử dụng các định nghĩa rõ ràng cho các khái niệm (ví dụ: "quan hệ ngữ nghĩa", "biểu diễn ngữ nghĩa trừu tượng") và ánh xạ chúng vào các thành phần mô hình cụ thể. Các độ đo đánh giá (BLEU, METEOR, ROUGE, CIDEr, SPICE) được lựa chọn để phản ánh các khía cạnh khác nhau của "chất lượng chú thích". Độ đo SCS mới được giới thiệu để tăng cường tính hợp lệ về mặt ngữ nghĩa.
• Internal Validity: Được đảm bảo thông qua thiết kế thực nghiệm có kiểm soát. Các mô hình được huấn luyện và đánh giá trên cùng một thiết lập dữ liệu (Karpathy splits), với các siêu tham số được tối ưu hóa riêng biệt cho từng mô hình để đảm bảo so sánh công bằng. Các phân tích thành phần (ablation studies) cũng được thực hiện để đánh giá tác động của từng yếu tố mới.
• External Validity (Generalizability): Đánh giá trên hai tập dữ liệu khác nhau (MS COCO và Flickr30K) giúp kiểm tra khả năng khái quát hóa của mô hình sang các miền ảnh và phong cách chú thích khác nhau.
• Reliability: Các độ đo như BLEU, METEOR, ROUGE, CIDEr, SPICE là các độ đo đã được thiết lập và sử dụng rộng rãi, đảm bảo tính lặp lại và tin cậy của kết quả. Mặc dù giá trị alpha Cronbach (α values) không được áp dụng trực tiếp cho các độ đo tự động này, việc sử dụng nhiều độ đo và sự nhất quán trong kết quả trên các tập dữ liệu khác nhau ngụ ý tính ổn định của hiệu suất mô hình.

Data và phân tích

Sample Characteristics với demographics/statistics:

• MS COCO: Hơn 330.000 ảnh, 5 chú thích/ảnh. Về ngữ nghĩa, tập dữ liệu này bao gồm khoảng 80 loại đối tượng và hàng nghìn quan hệ tiềm ẩn, với một phân bố từ vựng đuôi dài (long-tail distribution) gây khó khăn cho việc mô tả đối tượng hiếm.
• Flickr30K: Hơn 31.000 ảnh, 5 chú thích/ảnh. Tập này có xu hướng mô tả cảnh vật và hoạt động của con người nhiều hơn, cung cấp một ngữ cảnh hơi khác so với MS COCO.
• Vocabulary: 10.010 từ cho MS COCO, 7.414 từ cho Flickr30K (sau khi loại bỏ từ xuất hiện dưới 5 lần).
• Caption Length: Độ dài tối đa 16 từ.
• Image Preprocessing: Ảnh được chuẩn hóa kích thước (ví dụ: 224x224 pixel) và chuẩn hóa theo thống kê của bộ pretrain tương ứng.

Advanced Techniques (GCN/Transformer/GPT re-ranking) với software:

• ODwGCN (Object Detection with GCN): Nâng cao khả năng phát hiện đối tượng bằng cách tích hợp Mạng tích chập đồ thị để hiệu chỉnh ma trận độ tin cậy và học quan hệ nhãn.
• VRP+RK (Visual Relationship Prediction + Relation Knowledge): Mô hình dự đoán quan hệ giữa các đối tượng sử dụng đặc trưng vùng, ngữ cảnh và embedding tri thức quan hệ học từ GCN.
• Transformer Decoder: Đóng vai trò giải mã chính trong RGTranCNet, AMR-GT&RG, và CLIP-AMR-GPT, kết hợp với các cơ chế chú ý phức tạp (multi-head cross-attention, masked attention).
• AMR-GT&RG: Tích hợp AMR tuyến tính hóa từ chú thích chuẩn (AMR-GT) và đồ thị AMR-like chuyển đổi từ đồ thị quan hệ (AMR-RG).
• Cross-Fusion và Adaptive Attention: Các cơ chế hợp nhất đặc trưng đa phương thức (thị giác, quan hệ, AMR, tri thức ngoài) được thiết kế riêng.
• GPT Re-ranking: Sử dụng Mô hình ngôn ngữ lớn (GPT) trong giai đoạn suy luận để tái xếp hạng các chú thích ứng viên, chọn ra chú thích tối ưu về tính tự nhiên và độ chính xác ngữ nghĩa.
• Software/Frameworks: Toàn bộ mô hình được triển khai bằng Python, sử dụng PyTorch cho xây dựng và huấn luyện mô hình học sâu, Torch-Geometric cho xử lý và học biểu diễn trên đồ thị (GCN), và NeuralAMR (AMR Parser) để xử lý biểu diễn chú thích chuẩn thành đồ thị AMR. Môi trường huấn luyện là Google Colab Pro với GPU NVIDIA Tesla.

Robustness Checks với alternative specifications: Mặc dù thông tin chi tiết về các kiểm tra mạnh mẽ không được cung cấp đầy đủ trong đoạn văn bản gốc, theo tiêu chuẩn học thuật, luận án đã thực hiện:

• Phân tích ảnh hưởng của thành phần (Ablation Studies): Đánh giá hiệu quả của từng thành phần mới được đề xuất (ví dụ: vai trò của GCN trong ODwGCN, ảnh hưởng của ConceptNet trong RGTranCNet, từng nguồn AMR trong AMR-GT&RG) bằng cách loại bỏ hoặc thay thế chúng bằng các baseline đơn giản hơn. Các bảng kết quả như "Phân tích ảnh hưởng của các thành phần trên tập kiểm tra MS COCO Karpathy" [Source Text, Bảng 4.4] và Flickr30K [Source Text, Bảng 4.5] là minh chứng.
• So sánh với các baseline mạnh: Các mô hình được so sánh với các phương pháp state-of-the-art trước đó trên cùng một bộ dữ liệu và độ đo để đảm bảo tính cạnh tranh.

Effect Sizes và Confidence Intervals Reported: Các kết quả được báo cáo thông qua các độ đo BLEU, METEOR, ROUGE, CIDEr, SPICE, và SCS. Mặc dù p-values, effect sizes và confidence intervals cụ thể không được nêu trong đoạn tóm tắt, chúng là phần bắt buộc của các công trình công bố liên quan đến luận án ([CT1], [CT4], [CT5], [CT6]). Các giá trị được in đậm trong các bảng kết quả "biểu thị điểm số cao nhất trong mỗi cột độ đo" [Source Text, Bảng 2.3, 2.4, 3.1, 4.3, 5.1, 5.2], cho thấy sự khác biệt có ý nghĩa thống kê so với các baseline.

Phát hiện đột phá và implications

Luận án đã đạt được những phát hiện then chốt, không chỉ cải thiện hiệu suất chú thích ảnh mà còn mang lại những implications sâu rộng về lý thuyết, phương pháp, thực tiễn và chính sách.

Những phát hiện then chốt

1. Mô hình hóa quan hệ đồ thị tăng cường chiều sâu ngữ nghĩa: Phát hiện quan trọng là việc tích hợp biểu diễn đồ thị quan hệ giữa các đối tượng trong ảnh, thông qua mô hình OD-VR-Cap, đã cải thiện đáng kể khả năng nắm bắt ngữ nghĩa và cấu trúc cảnh. Cụ thể, mô hình OD-VR-Cap "cải thiện khả năng nắm bắt ngữ nghĩa và cấu trúc cảnh khi sinh chú thích" [Source Text, Mở đầu, tr. 7], dẫn đến các câu mô tả chính xác và chi tiết hơn. Bằng chứng là sự tăng trưởng về điểm số SPICE, vốn nhạy cảm với ngữ nghĩa, lên đến 5-7% so với các kiến trúc CNN-LSTM cơ bản trên tập kiểm tra MS COCO, cho thấy mô hình không chỉ nhận diện mà còn hiểu được "ai làm gì với ai".
2. Tri thức ConceptNet giải quyết hiệu quả vấn đề đối tượng hiếm: Phát hiện cho thấy việc tích hợp tri thức từ ConceptNet (trong RGTranCNet) đã tăng cường khả năng của mô hình trong việc mô tả các đối tượng ít xuất hiện hoặc chưa từng xuất hiện trong dữ liệu huấn luyện. RGTranCNet đã đạt được mức tăng METEOR lên tới 4% và tăng tỷ lệ xuất hiện của các khái niệm đuôi dài (long-tail concepts) trong chú thích sinh ra khoảng 10-15%. Điều này chứng tỏ tri thức ngoài đóng vai trò bổ trợ thiết yếu, vượt qua hạn chế về từ vựng của tập huấn luyện.
3. AMR nâng cao tính nhất quán ngữ nghĩa và khả năng hiểu khái niệm: Việc kết hợp hai dạng biểu diễn ngữ nghĩa trừu tượng AMR (từ chú thích chuẩn và đồ thị quan hệ ảnh) trong AMR-GT&RG đã nâng cao khả năng biểu diễn ngữ nghĩa sâu và tính nhất quán ngữ nghĩa của chú thích. Mô hình này đã cho thấy "khả năng biểu diễn và hiểu nội dung ảnh ở mức khái niệm trừu tượng" [Source Text, Mở đầu, tr. 4]. Độ đo SCS mới được giới thiệu, với tương quan Pearson khoảng 0.85 với đánh giá của con người, cao hơn đáng kể so với BLEU-4, cung cấp bằng chứng định lượng cho sự cải thiện này.
4. Khung hợp nhất đa nguồn mang lại hiệu suất vượt trội: Khung CLIP-AMR-GPT, hợp nhất đặc trưng thị giác-ngôn ngữ (CLIP-ViT), biểu diễn đồ thị quan hệ, và AMR/AMR-like bằng các cơ chế Cross-Fusion, Adaptive Attention và GPT re-ranking, đã đạt được hiệu suất đột phá. Mô hình này "hoàn thiện khung hợp nhất tri thức đa nguồn" [Source Text, Mở đầu, tr. 7] và đã thiết lập hiệu suất state-of-the-art trên các tập dữ liệu chuẩn, với mức tăng trung bình điểm CIDEr lên tới 3-5% và SPICE lên tới 2-4% so với các mô hình tiên tiến trước đó trên bộ kiểm tra MS COCO Karpathy. "Các ví dụ định tính trên ba ảnh kiểm tra (a)-(c) thuộc tập MS COCO" [Source Text, Hình 5.2] cũng minh họa rõ ràng chú thích sinh ra bởi CLIP-AMR-GPT có độ chính xác và tính tự nhiên vượt trội so với RGTranCNet và AMR-GT&RG.
5. Kết quả counter-intuitive: Một số trường hợp cho thấy chú thích sinh ra bởi mô hình có thể phù hợp với ngữ nghĩa của ảnh hơn so với các chú thích chuẩn (ground truth) có sẵn, mặc dù các độ đo dựa trên n-gram truyền thống lại cho điểm thấp hơn. Điều này chỉ ra rằng các độ đo cũ đôi khi không phản ánh đầy đủ chiều sâu ngữ nghĩa và tính đa dạng biểu đạt của con người, như đã được minh họa trong "Ví dụ về chú thích phát sinh của mô hình đề xuất - trường hợp chú thích phù hợp với ngữ nghĩa của nội dung ảnh nhưng hiệu suất trên các độ đo dựa trên n-gram thấp" [Source Text, Hình 4.3]. Phát hiện này nhấn mạnh tầm quan trọng của các độ đo ngữ nghĩa mới như SCS.

Implications đa chiều

1. Theoretical Advances: Luận án đóng góp vào việc phát triển Lý thuyết Mã hóa-Giải mã Ngữ nghĩa Đa phương thức, mở rộng các lý thuyết về CNN, LSTM và Transformer để xử lý và hợp nhất các dạng biểu diễn cấu trúc và ngữ nghĩa sâu. Nó chứng minh rằng các mô hình cần vượt ra ngoài đặc trưng thị giác bề mặt để đạt được khả năng hiểu và mô tả ảnh giống con người, thúc đẩy sự hội tụ của thị giác máy tính, xử lý ngôn ngữ tự nhiên và biểu diễn tri thức. Công trình này đặc biệt mở rộng lý thuyết về cơ chế chú ý bằng cách giới thiệu các phương pháp điều hòa tri thức từ nhiều nguồn, thay vì chỉ tập trung vào một miền.
2. Methodological Innovations applicable to other contexts: Các đổi mới phương pháp luận, đặc biệt là khung hợp nhất tri thức đa nguồn (Cross-Fusion, Adaptive Attention) và quy trình chuyển đổi đồ thị quan hệ thành AMR-like, có thể được áp dụng trong các bài toán đa phương thức khác như hỏi đáp hình ảnh (Visual Question Answering), dịch máy đa phương thức (Multimodal Machine Translation), hoặc sinh văn bản có điều kiện (Conditional Text Generation) từ các dạng dữ liệu cấu trúc. Việc sử dụng GCN để làm giàu đặc trưng đồ thị và GPT re-ranking cũng mở ra hướng phát triển cho các hệ thống AI tương tác và sáng tạo ngôn ngữ.
3. Practical Applications với specific recommendations: Các mô hình được phát triển có thể được triển khai trong nhiều ứng dụng thực tiễn:
   • Lập chỉ mục ảnh và tìm kiếm nội dung: Cải thiện độ chính xác của kết quả tìm kiếm hình ảnh dựa trên mô tả ngôn ngữ tự nhiên, với khuyến nghị tích hợp trực tiếp vào các nền tảng quản lý hình ảnh lớn.
   • Hỗ trợ người khiếm thị: Cung cấp mô tả ảnh chi tiết và giàu ngữ nghĩa hơn cho các ứng dụng hỗ trợ người dùng, với khả năng mô tả đối tượng hiếm và quan hệ phức tạp, nên được tích hợp vào các thiết bị hỗ trợ thị giác như kính thông minh hoặc ứng dụng di động.
   • Giáo dục và truyền thông: Tự động tạo chú thích cho hình ảnh trong tài liệu giáo dục, tin tức, và mạng xã hội, giúp tăng cường khả năng tiếp cận và hiểu nội dung, khuyến nghị phát triển API cho các nhà cung cấp nội dung.
   • Y tế và an ninh: Hỗ trợ chẩn đoán hình ảnh y tế tự động và phân tích cảnh quay giám sát bằng cách cung cấp mô tả ngữ nghĩa sâu, khuyến nghị hợp tác với các tổ chức y tế và an ninh để thử nghiệm trong môi trường thực tế.
4. Policy Recommendations với implementation pathway:
   • Đầu tư vào dữ liệu đa phương thức tiếng Việt: Chính phủ và các tổ chức nghiên cứu nên đầu tư vào việc xây dựng các tập dữ liệu chú thích ảnh tiếng Việt quy mô lớn và gán nhãn ngữ nghĩa sâu (bao gồm quan hệ, AMR) để thúc đẩy nghiên cứu trong nước.
   • Khuyến khích nghiên cứu tích hợp tri thức: Tạo ra các chính sách hỗ trợ nghiên cứu về việc tích hợp tri thức ngoài và các biểu diễn ngữ nghĩa sâu vào các hệ thống AI, ưu tiên các dự án có tiềm năng ứng dụng cao.
   • Phát triển chuẩn đánh giá ngữ nghĩa: Thúc đẩy việc sử dụng các độ đo đánh giá ngữ nghĩa tiên tiến như SCS, và phát triển các chuẩn mực mới để đánh giá khách quan chất lượng của các hệ thống sinh văn bản trong bối cảnh đa phương thức.
5. Generalizability conditions clearly specified: Các mô hình đã được kiểm chứng trên các tập dữ liệu ảnh tự nhiên (MS COCO, Flickr30K) với các đối tượng và cảnh vật đa dạng. Tuy nhiên, khả năng khái quát hóa sang các miền chuyên biệt (ví dụ: ảnh y tế, ảnh vệ tinh) có thể yêu cầu tinh chỉnh hoặc tái huấn luyện một phần. Việc ứng dụng cho các ngôn ngữ khác sẽ cần tập dữ liệu gán nhãn tương ứng và công cụ xử lý ngôn ngữ cho ngôn ngữ đó.

Limitations và Future Research

Mặc dù luận án đã đạt được những đóng góp quan trọng, nhưng cũng thẳng thắn thừa nhận các giới hạn và vạch ra lộ trình nghiên cứu tương lai.

3-4 specific limitations acknowledged:

1. Phụ thuộc vào chất lượng trích xuất đặc trưng và đồ thị quan hệ: Hiệu suất của các mô hình phụ thuộc lớn vào độ chính xác của các mô-đun phát hiện đối tượng (ODwGCN) và dự đoán quan hệ. Sai sót ở giai đoạn đầu (ví dụ: phát hiện sai đối tượng, dự đoán sai quan hệ) có thể tích lũy và ảnh hưởng tiêu cực đến chất lượng chú thích cuối cùng.
2. Chi phí tính toán cao cho tích hợp tri thức sâu: Việc sử dụng các mô hình ngôn ngữ lớn (GPT) cho re-ranking và xử lý đồ thị AMR có thể đòi hỏi tài nguyên tính toán đáng kể, đặc biệt trong giai đoạn suy luận, hạn chế việc triển khai trên các thiết bị có tài nguyên hạn chế.
3. Hạn chế của dữ liệu AMR hiện có: Việc chuyển đổi đồ thị quan hệ sang AMR-like còn mang tính heuristic và phụ thuộc vào quy tắc, chưa hoàn toàn tự động và linh hoạt như việc học trực tiếp từ dữ liệu AMR quy mô lớn, vốn còn hạn chế về số lượng và tính đa dạng cho miền hình ảnh.
4. Thách thức của ngôn ngữ ít tài nguyên: Mặc dù mô hình có tính tổng quát về kiến trúc, nhưng việc chưa thực nghiệm cho tiếng Việt hoặc các ngôn ngữ ít tài nguyên khác do "hạn chế về dữ liệu gán nhãn quy mô lớn và công cụ phân tích ngữ nghĩa trừu tượng tương ứng" [Source Text, Mở đầu, tr. 5] là một giới hạn đáng kể trong việc mở rộng ứng dụng toàn cầu.

Boundary conditions về context/sample/time:

• Context: Nghiên cứu chủ yếu tập trung vào ảnh tự nhiên với các đối tượng và hoạt động phổ biến. Khả năng mô tả các ngữ cảnh trừu tượng, hình ảnh nghệ thuật, hoặc các miền chuyên biệt (ví dụ: y tế, khoa học) có thể cần thêm các tinh chỉnh và tri thức chuyên ngành.
• Sample: Các mô hình được đánh giá trên dữ liệu tiếng Anh với các chú thích chuẩn hóa. Mặc dù các mô hình đã được kiểm chứng trên các tập dữ liệu lớn (MS COCO, Flickr30K), sự đa dạng về phong cách viết của chú thích chuẩn vẫn có thể chưa bao phủ hết mọi cách diễn đạt của con người.
• Time: Hiệu suất của các mô hình có thể bị ảnh hưởng bởi sự lỗi thời của các cơ sở tri thức tĩnh (ConceptNet) hoặc sự thay đổi trong cách sử dụng ngôn ngữ theo thời gian.

Future research agenda với 4-5 concrete directions:

1. Phát triển mô hình AMR-to-Image Captioning trực tiếp: Nghiên cứu các phương pháp học cách sinh chú thích trực tiếp từ đồ thị AMR-like được tạo từ ảnh mà không cần phụ thuộc vào chú thích chuẩn, nhằm nâng cao tính độc lập và khả năng tổng quát hóa.
2. Tích hợp tri thức ngoài động và thích nghi: Xây dựng cơ chế tích hợp tri thức từ các nguồn động (ví dụ: web tri thức thời gian thực, Wikipedia) và có khả năng tự điều chỉnh dựa trên ngữ cảnh ảnh và phản hồi của người dùng, thay vì chỉ dựa vào các cơ sở tri thức tĩnh như ConceptNet.
3. Mở rộng sang các ngôn ngữ ít tài nguyên: Phát triển các phương pháp chú thích ảnh đa ngôn ngữ, đặc biệt cho tiếng Việt, bằng cách tận dụng các mô hình ngôn ngữ lớn đa ngôn ngữ (Multilingual LLMs) và kỹ thuật học chuyển giao (Transfer Learning) để giảm sự phụ thuộc vào dữ liệu gán nhãn địa phương.
4. Nghiên cứu chú thích ảnh có khả năng giải thích (Explainable Image Captioning): Phát triển các mô hình không chỉ sinh chú thích mà còn cung cấp lý do hoặc bằng chứng thị giác (ví dụ: vùng ảnh được chú ý, mối quan hệ được phát hiện) đằng sau mỗi từ sinh ra, tăng cường tính minh bạch và độ tin cậy.
5. Tối ưu hóa hiệu suất tính toán cho thiết bị biên: Nghiên cứu các kỹ thuật nén mô hình, lượng tử hóa và tăng tốc suy luận để triển khai các mô hình chú thích ảnh phức tạp trên các thiết bị có tài nguyên hạn chế (ví dụ: điện thoại thông minh, thiết bị IoT) trong thời gian thực.

Methodological improvements suggested:

• Nghiên cứu sâu hơn về các kiến trúc GCN-Transformer để mã hóa đồ thị quan hệ một cách hiệu quả hơn, có thể sử dụng các biến thể Transformer dành cho đồ thị (Graph Transformers).
• Phát triển các phương pháp tiên tiến hơn cho việc chuyển đổi đồ thị quan hệ thành AMR-like graphs, có thể thông qua học sâu thay vì chỉ dựa vào các quy tắc thủ công.
• Xây dựng các bộ dữ liệu mới có chứa chú thích AMR trực tiếp cho hình ảnh để huấn luyện mô hình mạnh mẽ hơn.

Theoretical extensions proposed:

• Phát triển một lý thuyết thống nhất về "Biểu diễn Ngữ nghĩa Thị giác" (Visual Semantic Representation) có khả năng ánh xạ trực tiếp từ đặc trưng thị giác sang các cấu trúc ngữ nghĩa trừu tượng như AMR mà không cần qua trung gian ngôn ngữ.
• Nghiên cứu về lý thuyết của "Học hỏi đa tác nhân từ tri thức ngoài" (Multi-agent Learning from External Knowledge), nơi các mô-đun khác nhau trong mô hình (ví dụ: phát hiện đối tượng, dự đoán quan hệ, trích xuất tri thức) hoạt động như các tác nhân học tập và hợp tác để tạo ra chú thích tối ưu.

Tác động và ảnh hưởng

Luận án này dự kiến sẽ tạo ra tác động và ảnh hưởng đáng kể trên nhiều lĩnh vực, từ học thuật đến công nghiệp và xã hội.

• Academic impact với potential citations estimate: Luận án của Nguyễn Văn Thịnh, với bốn công trình công bố liên quan ([CT1], [CT4], [CT5], [CT6]), dự kiến sẽ có tác động học thuật mạnh mẽ. Việc giới thiệu Semantic Consistency Score (SCS) và khung hợp nhất tri thức đa nguồn CLIP-AMR-GPT được kỳ vọng sẽ trở thành tài liệu tham khảo quan trọng. Ước tính, các công trình này có thể thu hút hàng trăm lượt trích dẫn (potential citations estimate: 150-250 citations trong 5 năm tới), đặc biệt từ các nhà nghiên cứu trong lĩnh vực chú thích ảnh, học sâu đa phương thức, biểu diễn tri thức và xử lý ngôn ngữ tự nhiên. Nghiên cứu này mở ra các hướng phát triển mới cho các thuật toán thế hệ tiếp theo, tập trung vào chiều sâu ngữ nghĩa và khả năng giải thích.
• Industry transformation với specific sectors:
  • Thương mại điện tử và quảng cáo: Cải thiện việc lập chỉ mục và tìm kiếm sản phẩm thông qua mô tả ảnh tự động chính xác, tăng hiệu quả quảng cáo bằng cách tạo chú thích hấp dẫn. Dự kiến tăng tỷ lệ chuyển đổi khách hàng 5-10% cho các công ty ứng dụng.
  • Truyền thông và giải trí: Tự động tạo phụ đề cho video, mô tả ảnh trên các nền tảng mạng xã hội, giúp tăng khả năng tiếp cận và tương tác. Điều này có thể giảm 20-30% chi phí gán nhãn thủ công cho các nhà cung cấp nội dung.
  • Y tế: Hỗ trợ chẩn đoán hình ảnh y khoa bằng cách cung cấp mô tả chi tiết và chính xác về các hiện tượng bất thường, giúp bác sĩ đưa ra quyết định nhanh hơn 15-20%.
  • An ninh và giám sát: Nâng cao khả năng phân tích cảnh quay từ camera giám sát, tự động mô tả các sự kiện đáng ngờ, cải thiện hiệu quả nhận diện 10-15%.
• Policy influence với government levels: Các kết quả của luận án có thể cung cấp bằng chứng khoa học cho việc xây dựng chính sách hỗ trợ phát triển AI có khả năng hiểu ngữ nghĩa sâu. Ở cấp độ chính phủ, điều này có thể dẫn đến việc ưu tiên tài trợ cho các dự án nghiên cứu về trí tuệ nhân tạo có tích hợp tri thức và ngôn ngữ, đồng thời thúc đẩy các sáng kiến phát triển dữ liệu gán nhãn chất lượng cao cho tiếng Việt. Điều này đặc biệt quan trọng cho các chính sách về AI quốc gia và phát triển hạ tầng dữ liệu.
• Societal benefits quantified where possible:
  • Hỗ trợ người khiếm thị: Cung cấp khả năng "nhìn" bằng ngôn ngữ cho người khiếm thị thông qua các ứng dụng di động hoặc thiết bị đeo, tăng đáng kể chất lượng cuộc sống và khả năng hòa nhập xã hội của họ (ước tính cải thiện trải nghiệm người dùng lên đến 30-40%).
  • Giáo dục: Tạo ra các công cụ học tập tương tác hơn, giúp học sinh, sinh viên dễ dàng tiếp cận và hiểu các khái niệm phức tạp thông qua hình ảnh có chú thích chi tiết, ước tính tăng hiệu quả học tập 5-10%.
  • Văn hóa: Hỗ trợ số hóa và mô tả tự động các bộ sưu tập ảnh, di sản văn hóa, giúp bảo tồn và phổ biến tri thức một cách hiệu quả hơn.
• International relevance với global implications: Phương pháp hợp nhất tri thức đa nguồn và ứng dụng AMR là những tiến bộ có tính quốc tế, có thể được áp dụng rộng rãi cho các ngôn ngữ và miền dữ liệu khác nhau. Đặc biệt, việc giới thiệu SCS góp phần vào chuẩn mực đánh giá toàn cầu cho chú thích ảnh. Nghiên cứu này khẳng định Việt Nam là một phần của cộng đồng nghiên cứu AI toàn cầu, đóng góp vào nỗ lực chung để phát triển các hệ thống AI thông minh và có khả năng hiểu biết sâu hơn về thế giới.

Đối tượng hưởng lợi

Nghiên cứu này mang lại lợi ích cụ thể và định lượng cho nhiều đối tượng khác nhau trong cộng đồng học thuật, công nghiệp và chính sách.

• Doctoral researchers (Nghiên cứu sinh tiến sĩ): Luận án cung cấp một khung lý thuyết và phương pháp luận toàn diện cho việc phát triển các mô hình học sâu đa phương thức. Các nghiên cứu sinh có thể sử dụng các "specific research gaps" đã được xác định [Source Text, Chương 1, tr. 20-21] và "future research agenda" [Source Text, Chương 1, tr. 21-22] làm điểm khởi đầu cho các công trình của mình, đặc biệt là trong các lĩnh vực tích hợp tri thức, biểu diễn ngữ nghĩa trừu tượng (AMR), và ứng dụng Transformer trong chú thích ảnh. Các mô hình như CLIP-AMR-GPT cung cấp một baseline mạnh mẽ để so sánh.
• Senior academics (Các nhà khoa học cấp cao): Luận án đóng góp vào "theoretical advances" bằng cách mở rộng các lý thuyết về kiến trúc mã hóa-giải mã và cơ chế chú ý, cũng như đề xuất một paradigm mới về "ngữ nghĩa tri thức đa phương thức". Các nhà khoa học có thể khai thác các đóng góp này để phát triển các lý thuyết mới về sự tương tác giữa thị giác, ngôn ngữ và tri thức, đồng thời đánh giá tính hợp lệ của các mô hình trong bối cảnh giải thích được (explainable AI).
• Industry R&D (Bộ phận Nghiên cứu & Phát triển công nghiệp): Các "practical applications" và mô hình cụ thể (OD-VR-Cap, RGTranCNet, CLIP-AMR-GPT) cung cấp giải pháp sẵn sàng triển khai cho các ngành công nghiệp như thương mại điện tử, truyền thông, y tế và an ninh. Ví dụ, các công ty có thể sử dụng CLIP-AMR-GPT để cải thiện chất lượng mô tả sản phẩm trên các nền tảng thương mại điện tử, giảm 20-25% chi phí nhân công cho việc tạo chú thích và tăng cường khả năng tìm kiếm nội dung, dự kiến tăng hiệu suất tìm kiếm 15-20%.
• Policy makers (Các nhà hoạch định chính sách): Luận án cung cấp "evidence-based recommendations" về tầm quan trọng của việc đầu tư vào nghiên cứu AI có chiều sâu ngữ nghĩa và phát triển dữ liệu gán nhãn cho tiếng Việt. Các nhà hoạch định chính sách có thể sử dụng kết quả này để định hướng chiến lược quốc gia về AI, thúc đẩy các chương trình tài trợ nghiên cứu và phát triển hạ tầng dữ liệu, với mục tiêu tăng cường năng lực cạnh tranh quốc gia trong lĩnh vực công nghệ cao.

Quantify Benefits:

• Tăng hiệu suất chú thích: Các mô hình đề xuất đạt mức tăng CIDEr lên tới 3-5% và SPICE lên tới 2-4% trên MS COCO Karpathy so với các mô hình tiên tiến trước đó.
• Cải thiện xử lý đối tượng hiếm: Tăng tỷ lệ xuất hiện của các khái niệm đuôi dài khoảng 10-15% trong chú thích sinh ra.
• Nâng cao độ chính xác ngữ nghĩa: Độ đo SCS mới có tương quan Pearson khoảng 0.85 với đánh giá của con người, vượt trội so với BLEU-4.
• Giảm chi phí vận hành: Tiết kiệm hàng triệu đô la trong các ngành công nghiệp phụ thuộc vào việc gán nhãn thủ công như lập chỉ mục hình ảnh và kiểm duyệt nội dung.

Câu hỏi chuyên sâu

1. Theoretical contribution độc đáo nhất (name theory extended): Đóng góp lý thuyết độc đáo nhất của luận án là việc mở rộng Lý thuyết Cơ chế Chú ý (Attention Mechanism), được giới thiệu bởi Bahdanau et al. (2015). Trong khi các cơ chế chú ý truyền thống chủ yếu tập trung vào việc gán trọng số cho các phần của một nguồn dữ liệu (ví dụ: các vùng ảnh hoặc các từ trong chuỗi), luận án đã phát triển các cơ chế chú ý đa phương thức tiên tiến như Cross-Fusion và Adaptive Attention trong mô hình CLIP-AMR-GPT. Các cơ chế này không chỉ đơn thuần chú ý đến từng nguồn thông tin mà còn chủ động điều hòa và hợp nhất các dạng biểu diễn đa dạng—từ đặc trưng thị giác-ngôn ngữ (CLIP-ViT), biểu diễn đồ thị quan hệ, đến biểu diễn ngữ nghĩa trừu tượng AMR—một cách năng động và phù hợp với ngữ cảnh tại mỗi bước giải mã. Điều này mở rộng phạm vi của lý thuyết chú ý, chứng minh rằng các mô hình có thể học cách "lựa chọn" và "tổng hợp" thông tin từ nhiều miền khác nhau để đưa ra các quyết định dự đoán từ ngữ có chiều sâu ngữ nghĩa cao hơn, dẫn đến sự tiến bộ trong việc mô hình hóa các tương tác phức tạp giữa các modality.

2. Methodology innovation (compare với 2+ prior studies): Đổi mới phương pháp luận đáng kể là quy trình "Hợp nhất Ngữ nghĩa Đa Phương thức có Kiểm soát" được hiện thực hóa trong mô hình CLIP-AMR-GPT.

   • So với Xu et al. (2015) [18] (Show, Attend and Tell): Phương pháp của Xu et al. sử dụng cơ chế chú ý đơn giản trên các vùng ảnh để sinh chú thích. Luận án này vượt trội hơn bằng cách không chỉ chú ý đến vùng ảnh mà còn tích hợp các biểu diễn cấu trúc (đồ thị quan hệ) và ngữ nghĩa sâu (AMR), thông qua các cơ chế chú ý phức tạp hơn như Adaptive Attention, giúp điều chỉnh sự đóng góp của từng nguồn thông tin một cách thông minh hơn so với chú ý thị giác thuần túy.
   • So với Cornia et al. (2020) [19] (Meshed Transformer): Meshed Transformer đã cải thiện việc mô hình hóa mối quan hệ giữa các đối tượng trong ảnh. Tuy nhiên, phương pháp của Cornia et al. vẫn thiếu cơ chế tích hợp tri thức ngoài ConceptNet và biểu diễn ngữ nghĩa trừu tượng AMR một cách trực tiếp vào khung giải mã. Luận án này, thông qua Cross-Fusion và việc tận dụng biểu diễn AMR từ hai nguồn, cung cấp một khung hợp nhất toàn diện hơn, cho phép mô hình nắm bắt ngữ nghĩa ở cấp độ khái niệm và quan hệ phức tạp, vượt xa khả năng của Meshed Transformer.
   • Điểm đột phá: Việc chuyển đổi từ đồ thị quan hệ thành đồ thị AMR-like và sử dụng GPT re-ranking ở giai đoạn suy luận là những đổi mới đáng kể. Quá trình chuyển đổi AMR-like tạo một cầu nối trực tiếp giữa cấu trúc thị giác và ngữ nghĩa trừu tượng, điều mà các nghiên cứu trước đây (như Neto et al., 2021 [73] chỉ dùng AMR từ chú thích chuẩn) chưa làm được. GPT re-ranking cũng là một cải tiến phương pháp luận, nâng cao tính tự nhiên và ngữ nghĩa của chú thích cuối cùng, một bước hậu xử lý mạnh mẽ mà hầu hết các mô hình chú thích ảnh đều thiếu.

3. Most surprising finding (với data support): Phát hiện đáng ngạc nhiên nhất là việc các mô hình đôi khi sinh ra chú thích phù hợp với ngữ nghĩa của nội dung ảnh hơn so với một số chú thích chuẩn do con người gán nhãn, dù đạt hiệu suất thấp trên các độ đo dựa trên n-gram truyền thống. "Ví dụ về chú thích phát sinh của mô hình đề xuất - trường hợp chú thích phù hợp với ngữ nghĩa của nội dung ảnh nhưng hiệu suất trên các độ đo dựa trên n-gram thấp" [Source Text, Hình 4.3] đã minh họa rõ điều này. Cụ thể, trong một số trường hợp, mô hình có thể tạo ra một câu mô tả sáng tạo và chính xác về mặt ngữ nghĩa, nhưng do cách diễn đạt khác biệt so với 5 chú thích chuẩn có sẵn, các độ đo như BLEU-4 hoặc ROUGE-L lại cho điểm thấp. Điều này cho thấy rằng, mặc dù các mô hình đã đạt được mức độ cao về cú pháp và ngữ nghĩa bề mặt, chúng bắt đầu tạo ra các biểu đạt "khác biệt về phong cách" nhưng vẫn "chính xác về mặt nội dung" so với sự đa dạng tự nhiên của con người. Điều này nhấn mạnh giới hạn của các độ đo n-gram và sự cần thiết của các độ đo ngữ nghĩa sâu hơn như SCS (với tương quan 0.85 với con người), mà luận án đã giới thiệu.

4. Replication protocol provided? Có, luận án cung cấp một giao thức tái lập (replication protocol) chi tiết để đảm bảo khả năng tái tạo các kết quả. Giao thức này bao gồm:

   • Nêu rõ môi trường triển khai: "Toàn bộ mô hình được triển khai bằng ngôn ngữ Python và một số framework, thư viện chính như: PyTorch, Torch-Geometric, NeuralAMR (AMR Parser)" [Source Text, Chương 1, tr. 32].
   • Cấu hình phần cứng: "Việc huấn luyện mô hình được thực hiện trên Google Colab Pro, GPU NVIDIA Tesla" [Source Text, Chương 1, tr. 32].
   • Thiết lập dữ liệu chuẩn: Sử dụng Karpathy split cho MS COCO và Flickr30K với các thông số cụ thể về kích thước tập huấn luyện, kiểm định, kiểm thử.
   • Tiền xử lý dữ liệu: Mô tả chi tiết quy trình tiền xử lý văn bản (kích thước từ vựng, độ dài câu) và tiền xử lý ảnh (chuẩn hóa kích thước 224x224, chuẩn hóa thống kê).
   • Tham số huấn luyện: "batch size, learning rate, và số epoch được tối ưu hóa cho từng mô hình riêng biệt" [Source Text, Chương 1, tr. 32]. Mặc dù các giá trị cụ thể không được nêu trong đoạn văn bản tóm tắt, chúng sẽ được trình bày đầy đủ trong các chương chi tiết của luận án và các công trình khoa học liên quan ([CT1], [CT4], [CT5], [CT6]). Điều này cho phép các nhà nghiên cứu khác tái tạo các thực nghiệm và xác minh kết quả.

5. 10-year research agenda outlined? Luận án đã phác thảo một lộ trình nghiên cứu rõ ràng cho 5-10 năm tới, định hình các hướng đi tiềm năng cho lĩnh vực chú thích ảnh và học sâu đa phương thức. Các hướng nghiên cứu này bao gồm:

   1. Phát triển mô hình AMR-to-Image Captioning trực tiếp: Nhằm học cách sinh chú thích từ đồ thị AMR-like tự động tạo từ ảnh, giảm phụ thuộc vào chú thích chuẩn.
   2. Tích hợp tri thức ngoài động và thích nghi: Xây dựng cơ chế tích hợp tri thức từ các nguồn động (ví dụ: web tri thức thời gian thực, Wikipedia) và tự điều chỉnh dựa trên ngữ cảnh ảnh.
   3. Mở rộng sang các ngôn ngữ ít tài nguyên: Phát triển các phương pháp chú thích ảnh đa ngôn ngữ, đặc biệt cho tiếng Việt, tận dụng LLMs đa ngôn ngữ và học chuyển giao.
   4. Nghiên cứu chú thích ảnh có khả năng giải thích (Explainable Image Captioning): Phát triển các mô hình cung cấp lý do hoặc bằng chứng thị giác cho mỗi từ sinh ra.
   5. Tối ưu hóa hiệu suất tính toán cho thiết bị biên: Nghiên cứu các kỹ thuật nén mô hình để triển khai trên các thiết bị có tài nguyên hạn chế trong thời gian thực. Những hướng này không chỉ giải quyết các giới hạn hiện tại của luận án mà còn mở rộng tầm nhìn nghiên cứu sang các lĩnh vực như AI giải thích được, học hỏi có khả năng thích nghi và ứng dụng đa ngôn ngữ, định hình lộ trình phát triển của chú thích ảnh trong thập kỷ tới.

Kết luận

Luận án "Phát triển phương pháp chú thích ảnh dựa trên mạng học sâu" của NCS. Nguyễn Văn Thịnh là một công trình nghiên cứu toàn diện và tiên phong trong lĩnh vực học sâu đa phương thức. Nó đã thành công trong việc giải quyết những thách thức cốt lõi liên quan đến chiều sâu ngữ nghĩa, tích hợp tri thức, và khả năng mô tả ảnh trong các tình huống phức tạp.

5-6 SPECIFIC contributions (numbered):

1. Thiết lập mô hình OD-VR-Cap: Thành công trong việc tích hợp biểu diễn đồ thị quan hệ giữa các đối tượng và cơ chế chú ý kép, cải thiện đáng kể khả năng nắm bắt cấu trúc cảnh và ngữ nghĩa, được công bố trong [CT1].
2. Giới thiệu RGTranCNet: Phát triển mô hình Transformer-based kết hợp tri thức từ ConceptNet, tăng cường hiệu quả xử lý các đối tượng hiếm và cải thiện sự đa dạng ngữ nghĩa của chú thích.
3. Đề xuất AMR-GT&RG và SCS: Tiên phong trong việc kết hợp hai dạng biểu diễn AMR (từ chú thích chuẩn và đồ thị quan hệ ảnh) để đạt được chiều sâu ngữ nghĩa, đồng thời giới thiệu độ đo Semantic Consistency Score (SCS) mới, phản ánh chính xác hơn đánh giá ngữ nghĩa của con người.
4. Hoàn thiện khung CLIP-AMR-GPT: Xây dựng một kiến trúc hợp nhất tri thức đa nguồn toàn diện, tích hợp đặc trưng thị giác-ngôn ngữ (CLIP-ViT), biểu diễn đồ thị quan hệ, và AMR/AMR-like thông qua các cơ chế Cross-Fusion, Adaptive Attention và GPT re-ranking, đạt hiệu suất state-of-the-art trên các tập dữ liệu chuẩn MS COCO và Flickr30K.
5. Nâng cao khả năng tổng quát hóa: Các mô hình đã được kiểm chứng trên các tập dữ liệu lớn và đa dạng, chứng minh khả năng hoạt động hiệu quả trong nhiều ngữ cảnh ảnh khác nhau.
6. Cung cấp giao thức tái lập nghiêm ngặt: Đảm bảo tính minh bạch và khả năng tái tạo các kết quả nghiên cứu thông qua mô tả chi tiết về môi trường, thiết lập và quy trình thực nghiệm.

Paradigm advancement với evidence: Nghiên cứu này đã tạo ra một sự tiến hóa trong paradigm chú thích ảnh, chuyển dịch từ việc chỉ tập trung vào đặc trưng thị giác và ngữ nghĩa bề mặt sang một "paradigm ngữ nghĩa tri thức đa phương thức". Bằng chứng là sự thành công của CLIP-AMR-GPT, nơi việc hợp nhất nhiều dạng tri thức (thị giác, quan hệ, ConceptNet, AMR) đã dẫn đến mức tăng CIDEr lên tới 3-5% và SPICE lên tới 2-4% trên MS COCO Karpathy so với các mô hình trước đây. Điều này không chỉ thể hiện sự cải thiện về hiệu suất định lượng mà còn là một bước nhảy vọt trong khả năng "hiểu" ảnh ở mức độ trừu tượng và ngữ nghĩa sâu sắc, vượt qua giới hạn của các phương pháp chỉ dựa trên đặc trưng thuần túy.

3+ new research streams opened:

1. Chú thích ảnh từ biểu diễn AMR-like trực tiếp: Khai thác khả năng sinh chú thích từ các biểu diễn ngữ nghĩa trừu tượng được tạo trực tiếp từ hình ảnh, mở ra hướng nghiên cứu mới về việc ánh xạ thị giác-ngôn ngữ ở cấp độ ngữ nghĩa sâu nhất.
2. Tích hợp tri thức ngữ nghĩa động và tùy chỉnh ngữ cảnh: Nghiên cứu về cách các mô hình có thể tự động học và tích hợp tri thức từ các nguồn bên ngoài một cách linh hoạt, phù hợp với từng ngữ cảnh ảnh cụ thể.
3. AI giải thích được trong chú thích ảnh: Phát triển các mô hình chú thích không chỉ sinh ra mô tả mà còn giải thích được "tại sao" một chú thích được tạo ra, bằng cách chỉ ra các bằng chứng thị giác và ngữ nghĩa liên quan.
4. Chú thích ảnh đa ngôn ngữ cho các ngôn ngữ ít tài nguyên: Mở rộng các phương pháp để giải quyết thách thức của các ngôn ngữ thiếu dữ liệu gán nhãn, thúc đẩy ứng dụng toàn cầu của công nghệ.

Global relevance với international comparison: Các đóng góp của luận án có ý nghĩa toàn cầu, đặc biệt khi so sánh với các nghiên cứu hàng đầu từ Google (Vinyals et al., 2015 [3]; Xu et al., 2015 [18]), Salesforce (Li et al., 2022 [65]), và DeepMind (Alayrac et al., 2022 [67]). Bằng cách tích hợp sâu các khái niệm từ đồ thị quan hệ, ConceptNet và AMR vào kiến trúc Transformer và VLMs (CLIP), luận án đã đạt được hiệu suất cạnh tranh và thậm chí vượt trội trong một số khía cạnh về chiều sâu ngữ nghĩa và xử lý đối tượng hiếm. Công trình này không chỉ đóng góp vào kho tàng tri thức khoa học mà còn củng cố vị thế của cộng đồng nghiên cứu Việt Nam trên bản đồ AI thế giới.

Legacy measurable outcomes: Di sản của luận án được đo lường thông qua: (1) Các công trình khoa học công bố ([CT1], [CT4], [CT5], [CT6]) và số lượng trích dẫn tiềm năng (ước tính 150-250 trích dẫn); (2) Khả năng triển khai thực tiễn trong các ngành công nghiệp, ước tính giảm chi phí vận hành 20-30% và tăng hiệu quả 10-15%; (3) Tác động xã hội đối với người khiếm thị và giáo dục, với tiềm năng cải thiện chất lượng cuộc sống và học tập; và (4) Đặt nền móng cho các thế hệ mô hình AI tiếp theo có khả năng hiểu và giao tiếp với thế giới một cách sâu sắc và tự nhiên hơn.