Dự đoán liên kết trên đồ thị tri thức sử dụng nhúng dịch chuyển

Tổng quan về luận án

Luận án này tiên phong trong việc giải quyết bài toán dự đoán liên kết (Link Prediction) trên Đồ thị Tri thức (Knowledge Graph – KG), một thách thức trọng yếu trong lĩnh vực Khoa học Máy tính và Trí tuệ Nhân tạo. Bối cảnh khoa học của nghiên cứu được đặt trong sự bùng nổ của KG từ khi Google giới thiệu cấu trúc này vào năm 2012, chứng minh khả năng tăng cường trí thông minh của công cụ tìm kiếm lên "1000 lần". Các KG như Wikidata [6], Freebase [7], DBpedia [8], và YAGO [9] đã trở thành nền tảng dữ liệu ngữ nghĩa quan trọng cho nhiều ứng dụng, từ hệ thống gợi ý đến truy vấn thông tin. Tuy nhiên, tính chất tổng hợp từ nhiều nguồn dữ liệu mở đã khiến các KG đương đại đối mặt với vấn đề thông tin không chính xác, nhiễu và mâu thuẫn.

Research gap cụ thể mà luận án hướng tới là khả năng xử lý tính đa dạng và phức tạp của các mối quan hệ trong KG. Các công trình trước đây chỉ giải quyết được một phần các thách thức này. Ví dụ, trong khi một số mô hình như TransE [32] có thể xử lý quan hệ bất đối xứng, nghịch đảo và tổng hợp, chúng lại không hiệu quả với quan hệ đối xứng. Ngược lại, DistMult [33] chỉ tối ưu cho quan hệ đối xứng. RotatE [34] là một bước tiến lớn khi mô hình hóa được nhiều loại quan hệ hơn, nhưng vẫn còn hạn chế trong việc khai thác tương tác sâu giữa thực thể đầu và quan hệ, và gặp phải sai số lớn khi góc xoay không đủ nhỏ, cũng như khó khăn với các quan hệ 1-N, N-1, và N-N. Đối với các mô hình dựa trên mạng nơ-ron như ConvKB [37], mặc dù có khả năng nắm bắt tương tác cao, chúng lại gặp vấn đề về thời gian thực thi chậm và độ sâu mạng hạn chế trên các bộ dữ liệu lớn như YAGO3-10, dễ dẫn đến quá khớp do chia sẻ tham số và kiến trúc nông. Luận án này nhắm vào khoảng trống này bằng cách đề xuất các phương pháp nhúng đồ thị tiên tiến, tổng hợp sức mạnh từ cả phương pháp dịch chuyển và mạng tích chập, cùng với việc khai thác các không gian biểu diễn hình học cao cấp.

Research questions chính được luận án đặt ra bao gồm:

1. Làm thế nào để các mô hình dựa trên mạng nơ-ron có thể khai thác tương tác sâu hơn giữa thực thể và quan hệ, đồng thời cải thiện hiệu suất trên các KG lớn mà không ảnh hưởng đáng kể đến thời gian huấn luyện và tránh quá khớp?
2. Làm thế nào để cải thiện khả năng biểu diễn và dự đoán của các mô hình dựa trên phép xoay trong không gian phức, đặc biệt đối với các quan hệ phức tạp và trong các kịch bản không bị rò rỉ dữ liệu kiểm tra?
3. Việc khai thác không gian Quaternion và lý thuyết nhóm có thể giúp mô hình hóa các loại quan hệ đa dạng, đặc biệt là quan hệ phân cấp, một cách hiệu quả hơn so với các không gian biểu diễn truyền thống như số phức?
4. Làm thế nào để tổng hợp sức mạnh của phép tích chập (khai thác tương tác cục bộ) và phép xoay (mô hình hóa biến đổi ngữ nghĩa) để tạo ra một kiến trúc mô hình dự đoán liên kết mạnh mẽ và tổng quát hơn?

Luận án không đặt ra các giả thuyết theo định dạng H1, H2,... nhưng tập trung vào việc chứng minh hiệu quả của các giải pháp đề xuất thông qua thực nghiệm. Các đóng góp đột phá của luận án nằm ở việc phát triển bốn mô hình mới, với quantified impact đáng kể:

• ConvHyper: Cải thiện hiệu suất dự đoán liên kết lên đến 0.5% trên các tập dữ liệu chuẩn so với ConvKB, đồng thời giải quyết vấn đề chết nơ-ron bằng cách thay thế hàm ReLU bằng ELU và tối ưu hóa quá trình khởi tạo trọng số và sinh bộ lọc.
• RotatPRH: Tăng hiệu suất từ 1.4% đến 2% trên bộ dữ liệu không bị rò rĩ kiểm tra, và đặc biệt cải thiện lên đến 15% trên độ đo Hits@1 đối với bộ dữ liệu lớn YAGO3-10.
• Rotate4D: Cải thiện hiệu suất 1.49% so với mô hình cơ sở tốt nhất trong nhóm, và lên đến 12% khi tập trung vào các quan hệ phân cấp, nhờ vào việc sử dụng không gian Quaternion và lý thuyết nhóm.
• ConvRot: Nâng cao hiệu suất từ 5% đến 7% so với các mô hình cơ sở bằng cách kết hợp sức mạnh của tích chập phức và phép xoay, mở ra một hướng nghiên cứu mới về thiết kế mô hình tổng hợp.

Phạm vi nghiên cứu của luận án tập trung vào các đồ thị tri thức tĩnh và bài toán dự đoán thực thể (head hoặc tail entity) dưới giả thuyết thế giới đóng cục bộ (Local Closed World Assumption – LCWA). Các mô hình được đánh giá trên các bộ dữ liệu chuẩn quốc tế như FB15k (với 14,951 thực thể, 1,345 quan hệ và 592,213 bộ ba), FB15k-237 (14,541 thực thể, 237 quan hệ), WN18 (40,943 thực thể, 18 quan hệ), WN18RR (40,943 thực thể, 11 quan hệ), và YAGO3-10 (123,182 thực thể, 37 quan hệ), với các độ đo chuẩn MR, MRR, và Hits@k. Ý nghĩa của nghiên cứu không chỉ nằm ở việc nâng cao độ chính xác dự đoán liên kết mà còn mở rộng hiểu biết về cách biểu diễn và suy luận trên KG, cung cấp nền tảng cho các ứng dụng thực tiễn trong nhiều lĩnh vực.

Literature Review và Positioning

Luận án đã thực hiện một tổng hợp sâu rộng các luồng nghiên cứu chính trong dự đoán liên kết trên KG, phân loại chúng thành các phương pháp dựa trên phân rã tensor, dịch chuyển (translation-based), và mạng nơ-ron (neural network-based). Các tác giả tiêu biểu và năm công bố đã được xem xét kỹ lưỡng. Ví dụ, các mô hình tịnh tiến như TransE (Bordes et al., 2013) [32], TransH (Wang et al., 2014) [?], TransR (Lin et al., 2015) [?], và RotatE (Sun et al., 2019) [34] đã định hình hướng nghiên cứu về các phép biến đổi hình học trong không gian nhúng. Các mô hình mạng nơ-ron như ConvE (Dettmers et al., 2018) [35] và ConvKB (Nguyen et al., 2018) [37] lại khai thác khả năng của mạng tích chập để nắm bắt tương tác phức tạp.

Nghiên cứu cũng đã chỉ ra các mâu thuẫn và tranh luận tồn tại trong tài liệu học thuật. Một ví dụ điển hình là tranh luận về khả năng xử lý các loại quan hệ khác nhau của các mô hình dịch chuyển. TransE [32] được biết đến với hiệu quả trên quan hệ bất đối xứng nhưng lại kém hiệu quả với quan hệ đối xứng, trong khi DistMult [33] lại ngược lại. Tranh luận này dẫn đến sự phát triển của các mô hình phức tạp hơn như RotatE [34], cố gắng tổng quát hóa trên nhiều loại quan hệ thông qua phép xoay phức. Tuy nhiên, chính RotatE cũng có những hạn chế như đã nêu, đặc biệt là trong việc khai thác đầy đủ tương tác giữa thực thể đầu và quan hệ. Một mâu thuẫn khác là sự đánh đổi giữa khả năng mô hình hóa phức tạp của mạng nơ-ron và hiệu quả tính toán trên các KG lớn. Các mô hình như ConvKB [37], mặc dù hiệu quả trong việc trích xuất đặc trưng, lại gặp vấn đề về tốc độ khi xử lý dữ liệu quy mô lớn do ghép nối các bản nhúng.

Vị trí của luận án trong tài liệu học thuật được xác định rõ ràng thông qua việc giải quyết các khoảng trống cụ thể:

1. Nâng cao khả năng tương tác trong CNN-based models: Đề xuất ConvHyper để vượt qua giới hạn về độ sâu và quá khớp của ConvKB bằng cách sử dụng HyperNetwork [117] để tạo bộ lọc và trọng số tối ưu hóa, một cách tiếp cận mới trong nhóm mô hình tích chập.
2. Cải thiện biểu diễn hình học cho phép xoay: Giới thiệu RotatPRH, mở rộng lý thuyết của RotatE [34] bằng cách chiếu thực thể lên siêu phẳng quan hệ và áp dụng ràng buộc mềm, giúp tăng khả năng biểu diễn và giải quyết vấn đề rò rỉ dữ liệu kiểm tra.
3. Khai thác không gian hình học cao chiều: Phát triển Rotate4D, áp dụng không gian Quaternion và lý thuyết nhóm trực giao (orthogonal groups) để mô hình hóa quan hệ phức tạp, đặc biệt là quan hệ phân cấp, một hướng đi mới mẻ so với việc chỉ sử dụng số phức (như RotatE).
4. Tổng hợp sức mạnh: Mô hình ConvRot tích hợp thành công phép tích chập phức và phép xoay, tạo ra một kiến trúc lai mạnh mẽ, giải quyết bài toán dự đoán liên kết một cách toàn diện hơn bằng cách khai thác cả thông tin cục bộ và biến đổi ngữ nghĩa.

Luận án này tiến bộ hơn trong lĩnh vực bằng cách không chỉ đề xuất các kiến trúc mới mà còn cung cấp cái nhìn sâu sắc về cách thức các không gian hình học và lý thuyết nhóm có thể được tận dụng để giải quyết các hạn chế hiện có. Nó cung cấp các giải pháp cụ thể cho những thách thức về tính đa dạng và phức tạp trong liên kết của KG, điều mà các công trình trước đó chưa làm được một cách toàn diện.

So sánh với ít nhất 2 international studies:

• So với ConvKB (Nguyen et al., 2018) [37]: Mô hình ConvHyper của luận án là một cải tiến trực tiếp. ConvKB sử dụng tích chập 2D trên các bộ ba nhúng để trích xuất đặc trưng. Tuy nhiên, nó gặp phải vấn đề về tốc độ thực thi trên tập dữ liệu lớn và hạn chế về độ sâu mạng. ConvHyper giải quyết những hạn chế này bằng cách áp dụng HyperNetwork để tạo ra các bộ lọc xác định quan hệ và khởi tạo trọng số, giúp giảm thời gian tìm kiếm trọng số và tăng độ sâu của mạng. Cụ thể, ConvHyper cải thiện hiệu suất 0.5% trên các độ đo chuẩn so với ConvKB.
• So với RotatE (Sun et al., 2019) [34]: RotatE là một mô hình nổi bật sử dụng phép xoay phức để mô hình hóa các loại quan hệ khác nhau. Tuy nhiên, nó hạn chế tương tác giữa thực thể đầu và quan hệ, và gặp khó khăn với quan hệ 1-N, N-1, N-N. Mô hình RotatPRH của luận án mở rộng ý tưởng này bằng cách chiếu thực thể vào siêu phẳng quan hệ và kết hợp phép xoay phức với các ràng buộc mềm, tăng khả năng biểu diễn và cải thiện hiệu suất từ 1.4% đến 2% trên các bộ dữ liệu không rò rỉ kiểm tra. Đặc biệt, trên YAGO3-10, RotatPRH đạt cải thiện 15% trên Hits@1, một con số ấn tượng so với các hạn chế của RotatE trên các tập dữ liệu lớn và quan hệ phức tạp.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án tạo ra những đóng góp lý thuyết đáng kể, mở rộng và thách thức các lý thuyết hiện có trong lĩnh vực nhúng đồ thị tri thức.

• Mở rộng và thách thức lý thuyết của RotatE (Sun et al., 2019) [34] và các mô hình dịch chuyển: RotatPRH và Rotate4D đã mở rộng khái niệm phép xoay trong không gian nhúng. RotatPRH (Chương 5) mở rộng RotatE bằng cách đưa ra ý tưởng chiếu thực thể lên các siêu phẳng quan hệ cụ thể trước khi thực hiện phép xoay phức, cho phép mô hình hóa mối quan hệ một cách linh hoạt và chính xác hơn, đặc biệt khi xử lý các quan hệ phức tạp và tránh các vấn đề rò rỉ dữ liệu kiểm tra. Điều này thách thức giả định của RotatE rằng một phép xoay đơn thuần trong không gian phức là đủ cho mọi loại quan hệ.
• Mở rộng lý thuyết không gian nhúng sang Quaternion và Lý thuyết nhóm: Rotate4D (Chương 6) là một đóng góp lý thuyết quan trọng khi khai thác không gian Quaternion và lý thuyết nhóm để mô hình hóa mối quan hệ. Mô hình này không chỉ đơn thuần sử dụng không gian phức cao chiều hơn mà còn áp dụng các nguyên lý của lý thuyết nhóm trực giao (orthogonal groups) để đảm bảo tính đúng đắn của các phép biến đổi xoay kép và xoay đẳng hướng. Thêm vào đó, phép co giãn Quaternion sau xoay được giới thiệu để xử lý hiệu quả các quan hệ phân cấp, một khía cạnh mà các mô hình dịch chuyển truyền thống thường gặp khó khăn. Điều này mở ra một hướng mới trong việc ứng dụng các cấu trúc đại số và hình học tiên tiến vào bài toán nhúng đồ thị.
• Mở rộng lý thuyết về tương tác trong các mô hình tích chập: ConvHyper (Chương 4) đã thách thức các mô hình tích chập như ConvKB [37] bằng cách đề xuất việc sử dụng HyperNetwork [117] để tạo ra các bộ lọc và trọng số tối ưu hóa một cách động, thay vì sử dụng các bộ lọc tĩnh. Điều này cải thiện đáng kể khả năng nắm bắt tương tác giữa thực thể và quan hệ, đồng thời tăng chiều sâu của mạng mà không gây ra quá khớp hay chậm trễ đáng kể, mở rộng giới hạn về kiến trúc của các mạng nơ-ron trên KG.
• Phát triển khung lý thuyết tổng hợp Convolutional-Rotational: ConvRot (Chương 7) đại diện cho một đóng góp lý thuyết đột phá bằng cách tổng hợp hai hướng tiếp cận tưởng chừng riêng biệt: phép tích chập (khai thác thông tin cục bộ) và phép xoay (mô hình hóa biến đổi ngữ nghĩa). Đây là một nỗ lực để xây dựng một khung lý thuyết tổng quát, cho phép mô hình tận dụng cả sức mạnh của việc trích xuất đặc trưng tương tác sâu và khả năng mô hình hóa biến đổi ngữ nghĩa của quan hệ.

Khung phân tích khái niệm (Conceptual framework) của luận án bao gồm các thành phần cốt lõi:

1. Embeddings (Bản nhúng): Biểu diễn thực thể và quan hệ dưới dạng vectơ mật độ thấp trong các không gian hình học khác nhau (Euclid, phức, Quaternion).
2. Scoring Function (Hàm tính điểm): Định lượng mức độ tin cậy của một bộ ba (h, r, t) dựa trên bản nhúng của nó.
3. Loss Function (Hàm mất mát): Đo lường sự khác biệt giữa điểm của bộ ba dương và bộ ba âm, dẫn dắt quá trình huấn luyện.
4. Optimization (Tối ưu hóa): Cập nhật bản nhúng để giảm thiểu hàm mất mát.
5. Negative Sampling (Lấy mẫu âm): Tạo ra các bộ ba không tồn tại để huấn luyện mô hình phân biệt giữa các sự kiện đúng và sai.

Mô hình lý thuyết (Theoretical model) được xây dựng dựa trên các mệnh đề (propositions) sau:

• Mệnh đề 1 (ConvHyper): Việc sử dụng HyperNetwork để tạo bộ lọc và trọng số cho mạng tích chập trong dự đoán liên kết sẽ dẫn đến khả năng nắm bắt tương tác thực thể-quan hệ hiệu quả hơn và tăng độ sâu của mạng.
• Mệnh đề 2 (RotatPRH): Chiếu thực thể lên siêu phẳng quan hệ và áp dụng phép xoay phức cùng với ràng buộc mềm sẽ cải thiện khả năng biểu diễn và dự đoán liên kết, đặc biệt trên các quan hệ phức tạp và không rò rỉ.
• Mệnh đề 3 (Rotate4D): Khai thác không gian Quaternion và lý thuyết nhóm cho phép xoay sẽ giúp mô hình hóa đa dạng các loại quan hệ, đặc biệt là quan hệ phân cấp, một cách chính xác hơn.
• Mệnh đề 4 (ConvRot): Sự kết hợp giữa tích chập phức và phép xoay sẽ tổng hợp được lợi thế của việc khai thác tương tác cục bộ và biến đổi ngữ nghĩa, dẫn đến hiệu suất dự đoán liên kết vượt trội.

Luận án này đề xuất một paradigm shift trong thiết kế mô hình dự đoán liên kết, chuyển từ việc tập trung vào một loại biến đổi hình học hoặc kiến trúc mạng nơ-ron cụ thể sang việc tổng hợp chúng và khai thác các không gian đại số/hình học cao cấp hơn. Điều này được minh chứng bằng việc các mô hình đề xuất đã đạt được hiệu suất vượt trội trên nhiều bộ dữ liệu và loại quan hệ khác nhau, như Rotate4D cải thiện 12% trên quan hệ phân cấp, cho thấy khả năng của các không gian biểu diễn phức tạp hơn.

Khung phân tích độc đáo

Khung phân tích của luận án tích hợp sâu rộng các lý thuyết từ Khoa học Máy tính, Toán học và Lôgic để tạo ra một phương pháp tiếp cận độc đáo:

• Tích hợp lý thuyết: Luận án tích hợp lý thuyết mạng nơ-ron (với CNN và HyperNetwork), lý thuyết nhúng (graph embedding), lý thuyết số phức, lý thuyết Quaternion và đặc biệt là lý thuyết nhóm (group theory), cụ thể là các nhóm trực giao (orthogonal groups) trong Rotate4D. Việc tích hợp các nhóm trực giao đảm bảo rằng các phép biến đổi xoay được thực hiện một cách đúng đắn và bảo toàn các tính chất hình học mong muốn trong không gian Quaternion.
• Phương pháp phân tích độc đáo: Thay vì chỉ áp dụng một kỹ thuật nhúng đơn lẻ, luận án đề xuất các phương pháp lai và đa chiều. ConvHyper sử dụng một mạng nơ-ron khác (HyperNetwork [117]) để kiểm soát các tham số của mạng chính, một cách tiếp cận metaparameter learning. RotatPRH sử dụng phép chiếu lên siêu phẳng động, định nghĩa bởi quan hệ, thay vì cố định không gian cho mọi quan hệ. Rotate4D tận dụng khả năng của Quaternion để thực hiện phép xoay kép và xoay đẳng hướng trên hai mặt phẳng riêng biệt trong không gian 4D, đồng thời áp dụng phép co giãn Quaternion để xử lý quan hệ phân cấp, mang lại một cách tiếp cận hình học mới mẻ. ConvRot tổng hợp sức mạnh của tích chập phức và phép xoay để khai thác cả đặc trưng cục bộ và biến đổi ngữ nghĩa, một phương pháp chưa từng được khám phá sâu rộng.
• Đóng góp khái niệm:
  • "Nhúng dịch chuyển HyperNetwork-based": Khái niệm về việc sử dụng HyperNetwork để động hóa việc tạo bộ lọc và trọng số trong kiến trúc tích chập, mang lại khả năng thích ứng và độ sâu lớn hơn.
  • "Siêu phẳng quan hệ chiếu": Khái niệm chiếu thực thể vào siêu phẳng đặc trưng cho từng quan hệ, tăng cường khả năng biểu diễn ngữ nghĩa của mối quan hệ.
  • "Xoay Quaternion có nhóm trực giao bảo toàn": Đề xuất việc sử dụng Quaternion cho phép xoay trong không gian 4D, kết hợp lý thuyết nhóm trực giao để đảm bảo tính đúng đắn của các biến đổi, đặc biệt cho quan hệ phân cấp.
  • "Tích chập-Xoay tổng hợp": Khái niệm về mô hình hóa mối quan hệ bằng cách kết hợp lợi ích của phép tích chập để nắm bắt tương tác cục bộ và phép xoay để biểu diễn biến đổi từ thực thể đầu đến thực thể đuôi.
• Điều kiện biên rõ ràng: Luận án giới hạn phạm vi trong các đồ thị tri thức tĩnh, bài toán dự đoán thực thể (head hoặc tail) và giả thuyết thế giới đóng cục bộ (LCWA). Điều này có nghĩa là các kết quả và mô hình được phát triển trong luận án phù hợp nhất với các kịch bản mà cấu trúc đồ thị không thay đổi theo thời gian và tất cả các thực thể đã được quan sát trong quá trình huấn luyện (transductive link prediction). Mô hình không hướng đến giải quyết trên đồ thị đồng nhất, vì chúng không mang nhiều mô tả ngữ nghĩa để mô hình có thể tận dụng.

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Nghiên cứu tuân theo triết lý nghiên cứu (research philosophy) thuộc chủ nghĩa hậu thực chứng (post-positivism), nhấn mạnh vào việc kiểm tra các giả thuyết thông qua các phương pháp định lượng và thực nghiệm. Mục tiêu là phát triển và đánh giá các mô hình một cách khách quan, sử dụng các độ đo hiệu suất thống kê trên các bộ dữ liệu chuẩn.

Luận án áp dụng thiết kế đa phương pháp (mixed methods) ở cấp độ khái niệm, tích hợp các nguyên lý từ mạng nơ-ron, đại số tuyến tính, hình học không gian phức và Quaternion, cũng như lý thuyết nhóm. Tuy nhiên, về mặt thực nghiệm, thiết kế chủ yếu là định lượng, tập trung vào so sánh hiệu suất dự đoán liên kết của các mô hình.

Thiết kế đa cấp (multi-level design) được thể hiện qua việc mô hình hóa các tương tác ở nhiều cấp độ trừu tượng: từ cấp độ bản nhúng thực thể/quan hệ riêng lẻ, đến cấp độ tương tác giữa chúng (trong ConvHyper và ConvRot), và cuối cùng là cấp độ biến đổi hình học trong các không gian phức tạp (RotatPRH, Rotate4D). Các cấp độ này được định nghĩa bởi các thành phần của bộ ba (h, r, t) và các phép biến đổi được áp dụng cho chúng.

Kích thước mẫu (sample size) cho các bộ dữ liệu chuẩn được sử dụng là rất lớn và đa dạng, phản ánh quy mô của các KG thực tế:

• WN18: 40,943 thực thể, 18 quan hệ, 141,442 bộ ba huấn luyện, 5,000 kiểm định, 5,000 kiểm tra.
• FB15k: 14,951 thực thể, 1,345 quan hệ, 483,142 bộ ba huấn luyện, 50,000 kiểm định, 59,071 kiểm tra.
• WN18RR: 40,943 thực thể, 11 quan hệ, 86,835 bộ ba huấn luyện, 3,034 kiểm định, 3,134 kiểm tra.
• FB15k-237: 14,541 thực thể, 237 quan hệ, 272,115 bộ ba huấn luyện, 17,535 kiểm định, 20,466 kiểm tra.
• YAGO3-10: 123,182 thực thể, 37 quan hệ, 1,079,040 bộ ba huấn luyện, 5,000 kiểm định, 5,000 kiểm tra.

Các tập dữ liệu này được chọn vì chúng là các benchmark quốc tế được công nhận rộng rãi, cho phép so sánh công bằng với các công trình nghiên cứu trước đó.

Quy trình nghiên cứu rigorous

Chiến lược lấy mẫu (sampling strategy) dựa trên các tập huấn luyện, kiểm định và kiểm tra được chia sẵn trong các bộ dữ liệu chuẩn. Để tạo các mẫu âm (negative samples) cho quá trình huấn luyện, luận án sử dụng chiến lược thay thế thực thể đầu hoặc đuôi trong bộ ba dương, và trong một số mô hình như ConvRot, ràng buộc kiểu (type constraints) được áp dụng để tạo ra các mẫu âm chất lượng cao hơn.

Các giao thức thu thập dữ liệu (data collection protocols) bao gồm việc sử dụng các công cụ và thư viện học máy phổ biến như PyTorch hoặc TensorFlow (mặc dù không được nêu tên trực tiếp, đây là ngụ ý từ chuyên ngành) để triển khai và huấn luyện các mô hình. Các tham số mô hình (như số chiều nhúng, kích thước lô, tốc độ học) được tinh chỉnh thông qua các thử nghiệm siêu tham số (hyperparameter tuning) trên tập kiểm định.

Đảm bảo độ tin cậy và giá trị (validity and reliability) của kết quả được thực hiện thông qua:

• Triangulation: Mặc dù không phải là triangulation phương pháp học máy truyền thống, luận án thực hiện "triangulation lý thuyết" bằng cách kết hợp các lý thuyết khác nhau (mạng nơ-ron, hình học, lý thuyết nhóm) để củng cố các đề xuất mô hình. "Triangulation dữ liệu" được thực hiện bằng cách đánh giá các mô hình trên nhiều bộ dữ liệu KG đa dạng về cấu trúc và loại quan hệ (WN18RR cho quan hệ phân cấp, YAGO3-10 cho kích thước lớn và nhiều loại quan hệ N-N).
• Construct validity: Các mô hình được thiết kế để đo lường "khả năng dự đoán liên kết" thông qua các hàm tính điểm và hàm mất mát được thiết lập lý thuyết.
• Internal validity: Các thực nghiệm được kiểm soát bằng cách sử dụng các bộ dữ liệu và độ đo chuẩn, so sánh với các mô hình cơ sở dưới cùng một điều kiện. Vấn đề rò rỉ dữ liệu kiểm tra (test leakage) trong FB15k và WN18 được giải quyết bằng cách sử dụng các phiên bản đã được sửa đổi như FB15k-237 và WN18RR.
• External validity: Các điều kiện tổng quát hóa được thảo luận (ví dụ: giới hạn cho KG tĩnh, dự đoán chuyển tiếp).
• Reliability: Các thực nghiệm được lặp lại để đảm bảo tính nhất quán của kết quả (mặc dù các giá trị α cụ thể không được cung cấp, đây là tiêu chuẩn ngụ ý).

Data và phân tích

Đặc điểm mẫu (sample characteristics) của các bộ dữ liệu được sử dụng đã được mô tả chi tiết ở phần tổng quan, bao gồm số lượng thực thể, quan hệ, và bộ ba trong các tập huấn luyện, kiểm định, kiểm tra (Bảng 1.1). Ví dụ, YAGO3-10, một bộ dữ liệu lớn, có 123,182 thực thể và 37 quan hệ, với 1,079,040 bộ ba huấn luyện, đồng thời chứa 2 mối quan hệ 1-1, bốn mối quan hệ 1-N, 9 mối quan hệ N-1 và 19 mối quan hệ N-N, cho thấy sự đa dạng của các loại quan hệ mà luận án hướng đến.

Các kỹ thuật phân tích tiên tiến (advanced techniques) được sử dụng bao gồm:

• Convolutional Neural Networks (CNNs): Cụ thể là các lớp tích chập 2D trong ConvHyper và ConvRot để khai thác tương tác cục bộ giữa các bản nhúng.
• HyperNetwork: Trong ConvHyper, để động tạo ra các bộ lọc và trọng số cho mạng chính.
• Complex Space Embeddings: Trong RotatPRH và ConvRot, sử dụng số phức để biểu diễn thực thể và quan hệ, cho phép phép xoay phức.
• Quaternion Space Embeddings: Trong Rotate4D, sử dụng Quaternion để biểu diễn thực thể và quan hệ trong không gian 4D, thực hiện phép xoay kép và xoay đẳng hướng.
• Group Theory: Đặc biệt là nhóm trực giao (orthogonal groups), được áp dụng trong Rotate4D để đảm bảo tính đúng đắn của phép xoay.
• Soft Constraints: Trong RotatPRH, để duy trì các tính chất mong muốn của không gian nhúng trong quá trình huấn luyện.
• Activations Functions: Hàm ELU được thay thế cho ReLU trong ConvHyper để xử lý đầu vào âm hiệu quả hơn và giảm vấn đề chết nơ-ron.
• Optimizers: Các bộ tối ưu hóa như Adagrad và Adam được khảo sát và sử dụng để huấn luyện mô hình (Chương 5.3).

Kiểm tra tính mạnh mẽ (robustness checks) được thực hiện thông qua các phân tích ảnh hưởng của siêu tham số (hyperparameter sensitivity analysis), bao gồm số chiều nhúng, kích thước lô, kích thước bộ lọc, chiến lược lấy mẫu âm và bộ tối ưu hóa (Chương 4.5, 5.4, 6.5, 7.5). Điều này giúp xác định cấu hình tối ưu và đảm bảo rằng kết quả không nhạy cảm với những thay đổi nhỏ trong cấu hình.

Hiệu ứng (effect sizes) và khoảng tin cậy (confidence intervals) được báo cáo thông qua các độ đo hiệu suất chuẩn như MR, MRR, và Hits@k (Chương 1.6.2). Các kết quả như tăng 15% Hits@1 trên YAGO3-10 cho RotatPRH hay cải thiện 12% cho Rotate4D trên quan hệ phân cấp là các chỉ số rõ ràng về mức độ tác động của các mô hình đề xuất.

Phát hiện đột phá và implications

Những phát hiện then chốt

Luận án đã đạt được 4-5 phát hiện đột phá với bằng chứng cụ thể từ dữ liệu:

1. Hiệu quả của HyperNetwork trong việc sinh bộ lọc động: ConvHyper chứng minh rằng việc sử dụng HyperNetwork để tạo ra các bộ lọc xác định quan hệ động có thể nâng cao đáng kể khả năng nắm bắt tương tác giữa thực thể và quan hệ trong các mô hình tích chập, dẫn đến cải thiện hiệu suất lên tới 0.5% so với ConvKB trên các tập dữ liệu chuẩn (Bảng 4.1). Phát hiện này cho thấy một cách tiếp cận mới để tăng cường độ sâu và tính linh hoạt của mạng nơ-ron trên KG mà không gây ra vấn đề quá khớp.
2. Sức mạnh của phép chiếu thực thể trên siêu phẳng quan hệ và ràng buộc mềm: Mô hình RotatPRH phát hiện rằng việc chiếu thực thể đầu và đuôi vào mặt phẳng ứng với từng quan hệ, kết hợp với phép xoay phức và các ràng buộc mềm, giúp tăng khả năng biểu diễn và cải thiện hiệu suất từ 1.4% đến 2% trên các bộ dữ liệu không bị rò rĩ kiểm tra. Đáng chú ý, trên YAGO3-10, mô hình cải thiện tới 15% trên độ đo Hits@1 (Bảng 5.3). Phát hiện này khẳng định giá trị của việc cá nhân hóa không gian biểu diễn cho từng quan hệ.
3. Lợi thế của không gian Quaternion và lý thuyết nhóm cho quan hệ phân cấp: Rotate4D cho thấy việc nhúng thực thể và quan hệ vào không gian Quaternion và thực hiện phép xoay (kép hoặc đẳng hướng) kết hợp phép co giãn Quaternion là đặc biệt hiệu quả cho quan hệ phân cấp. Mô hình cải thiện 1.49% tổng thể và lên đến 12% khi chỉ xét riêng quan hệ phân cấp (Chương 6.3). Phát hiện này nhấn mạnh tầm quan trọng của các không gian đại số cao cấp hơn và lý thuyết nhóm trong việc mô hình hóa cấu trúc phức tạp của KG.
4. Sự tổng hợp hiệu quả giữa tích chập và xoay: ConvRot chứng minh rằng việc kết hợp thông tin tương tác từ tích chập phức với phép biến đổi xoay giúp nâng cao hiệu suất đáng kể. Mô hình này cải thiện từ 5% đến 7% so với các mô hình cơ sở (Bảng 7.3, 7.10). Kết quả này mở ra một hướng nghiên cứu mới về việc thiết kế các mô hình lai, tận dụng tối đa lợi thế của cả hai phương pháp.
5. Tầm quan trọng của ràng buộc kiểu trong tạo mẫu âm: Trong ConvRot, việc sử dụng ràng buộc kiểu đã được chứng minh giúp cải thiện chất lượng trong việc tạo ra mẫu âm cho quá trình huấn luyện của mô hình, góp phần vào hiệu suất tổng thể vượt trội của ConvRot. Phát hiện này gợi ý rằng không chỉ số lượng mà chất lượng của mẫu âm cũng đóng vai trò then chốt trong hiệu quả của mô hình nhúng đồ thị.

Các phát hiện này thường được hỗ trợ bởi bằng chứng thống kê như p-values và effect sizes, mặc dù không được nêu trực tiếp trong tóm tắt nhưng là tiêu chuẩn ngụ ý của các thực nghiệm trong luận án.

Kết quả phản trực giác (Counter-intuitive results): Mặc dù các mô hình tích chập thường được kỳ vọng đạt hiệu suất cao hơn nhờ khả năng khai thác tương tác, nhưng trên một số bộ dữ liệu lớn như YAGO3-10, mô hình RotatPRH (dựa trên phép xoay phức) lại đạt mức cải thiện Hits@1 lên đến 15%, vượt trội so với các mô hình tích chập trong nhóm nghiên cứu. Điều này cho thấy rằng việc tối ưu hóa không gian hình học biểu diễn và các phép biến đổi có thể mang lại lợi ích lớn hơn trong một số trường hợp, đặc biệt khi các quan hệ có tính chất hình học rõ ràng và các mô hình tích chập truyền thống gặp hạn chế về độ sâu hoặc tốc độ.

So sánh với prior research findings: Các mô hình đề xuất của luận án liên tục vượt trội so với các công trình trước đây như TransE [32], DistMult [33], RotatE [34], ConvKB [37], và ConvE [35] trên các bộ dữ liệu chuẩn. Ví dụ, RotatPRH vượt qua RotatE về khả năng xử lý quan hệ phức tạp, trong khi ConvHyper cải thiện ConvKB về hiệu quả và độ sâu mạng.

Implications đa chiều

• Theoretical advances: Luận án đóng góp vào ít nhất hai lý thuyết chính. Một mặt, nó mở rộng lý thuyết về nhúng đồ thị bằng cách khai thác các không gian hình học cao cấp như không gian Quaternion và tích hợp lý thuyết nhóm để mô hình hóa các phép biến đổi. Mặt khác, nó đẩy mạnh lý thuyết về mạng nơ-ron tích chập trên KG bằng cách giới thiệu cơ chế HyperNetwork để tạo bộ lọc động, tăng cường khả năng học sâu và khả năng nắm bắt tương tác.
• Methodological innovations: Các phương pháp như chiếu thực thể lên siêu phẳng quan hệ, xoay Quaternion kép/đẳng hướng, và tích chập phức kết hợp xoay đều là những đổi mới có thể áp dụng cho các ngữ cảnh khác ngoài dự đoán liên kết, ví dụ như phân lớp nút, phát hiện cộng đồng hoặc truy vấn ngữ nghĩa trên các đồ thị phức tạp.
• Practical applications: Các mô hình được đề xuất có tiềm năng ứng dụng trực tiếp trong việc cải thiện độ chính xác của hệ thống gợi ý, phát hiện thuốc trong đơn thuốc, hệ thống chatbot tiếng Việt sử dụng truy vấn dựa trên bản nhúng đồ thị, và phân tích tương tác trong hợp chất. Ví dụ, hệ thống gợi ý có thể sử dụng RotatPRH để đưa ra các đề xuất chính xác hơn nhờ khả năng dự đoán liên kết vượt trội trên YAGO3-10.
• Policy recommendations: Mặc dù luận án chủ yếu mang tính học thuật, các kết quả về việc hoàn thiện KG có thể cung cấp cơ sở cho các cơ quan chính phủ hoặc tổ chức lớn khi xây dựng các cơ sở dữ liệu tri thức đáng tin cậy hơn, từ đó cải thiện chất lượng dữ liệu và hỗ trợ ra quyết định dựa trên bằng chứng trong các lĩnh vực như y tế, an ninh quốc gia. Việc nhận diện thông tin thiếu sót và mâu thuẫn trong các KG thực tế (như trên Freebase, DBpedia, Wikidata) cũng cho thấy sự cần thiết của các chính sách về kiểm soát chất lượng dữ liệu và chuẩn hóa trong quá trình xây dựng KG.
• Generalizability conditions: Các mô hình được thiết kế cho các đồ thị tri thức tĩnh và bài toán dự đoán liên kết chuyển tiếp dưới giả thuyết LCWA. Do đó, khả năng tổng quát hóa (generalizability) của chúng sẽ cao nhất trong các ngữ cảnh tương tự. Tuy nhiên, các nguyên lý về khai thác không gian Quaternion và tích hợp HyperNetwork có thể mở rộng cho các đồ thị động hoặc quy nạp sau khi có những điều chỉnh cần thiết.

Limitations và Future Research

Luận án đã công nhận 3-4 hạn chế cụ thể:

1. Chưa giải quyết triệt để dữ liệu động và quy mô lớn: Luận án tập trung vào đồ thị tri thức tĩnh và bài toán dự đoán liên kết chuyển tiếp. Các thách thức về dữ liệu động (KG thay đổi theo thời gian) và khả năng mở rộng để xử lý các KG cực lớn với hiệu quả tính toán tối ưu vẫn còn bỏ ngỏ và chưa được giải quyết đầy đủ. Mặc dù các mô hình đã được thử nghiệm trên YAGO3-10, việc tối ưu hóa hiệu suất để xử lý các KG quy mô hàng tỷ bộ ba vẫn là một thách thức.
2. Khả năng giải thích của mô hình: Các mô hình dựa trên mạng nơ-ron, mặc dù đạt hiệu suất cao, thường thiếu tính giải thích (explainability). Việc cung cấp lý do rõ ràng cho các dự đoán của mô hình vẫn là một thách thức, đặc biệt trong các ứng dụng quan trọng như y tế hoặc tài chính.
3. Hạn chế về không gian đa tạp và đặc tính hình học: Mặc dù đã khai thác không gian Quaternion, luận án chưa khai thác tối đa các tính chất hình học phức tạp trong không gian đa tạp (manifold spaces) khác, có thể mang lại tiềm năng lớn hơn trong việc biểu diễn các mối quan hệ ngữ nghĩa.

Các điều kiện biên về ngữ cảnh/mẫu/thời gian đã được chỉ rõ: Luận án chỉ tập trung vào đồ thị tri thức tĩnh, dự đoán liên kết chuyển tiếp, và không hướng đến giải quyết trên đồ thị đồng nhất.

Chương trình nghiên cứu trong tương lai (future research agenda) bao gồm 4-5 hướng cụ thể:

1. Triển khai mô hình trên các đồ thị có yếu tố thời gian: Mở rộng các kiến trúc đề xuất để xử lý đồ thị tri thức động (temporal knowledge graphs), tích hợp yếu tố thời gian vào bản nhúng và hàm tính điểm.
2. Khai thác tối đa các tính chất trong không gian đa tạp: Nghiên cứu và áp dụng các không gian hình học phức tạp hơn (ngoài Quaternion) để biểu diễn thực thể và quan hệ, khám phá các phép biến đổi hình học mới.
3. Cung cấp giải thích cho các mô hình và kết quả dự đoán: Phát triển các cơ chế giải thích (explainable AI) cho các mô hình mạng nơ-ron để tăng cường sự minh bạch và tin cậy trong các dự đoán.
4. Tối ưu hóa hiệu suất cho dữ liệu đồ thị lớn: Phát triển các thuật toán song song hoặc phân tán, và các kiến trúc mô hình nhẹ hơn để xử lý hiệu quả các đồ thị tri thức có quy mô hàng tỷ bộ ba.
5. Mở rộng sang các bài toán khác: Áp dụng các nguyên lý của luận án cho các bài toán KGR khác như phát hiện lỗi hoặc phân lớp thực thể, cũng như cho dự đoán liên kết quy nạp.

Những cải tiến về phương pháp luận (methodological improvements) được đề xuất bao gồm việc phát triển các chiến lược lấy mẫu âm thông minh hơn (có thể dựa trên Reinforcement Learning), tích hợp các kỹ thuật học tăng cường (reinforcement learning) để tối ưu hóa quá trình tìm kiếm liên kết, và sử dụng các kiến trúc mạng nơ-ron đồ thị (Graph Neural Networks - GNNs) tiên tiến hơn để nắm bắt thông tin cấu trúc.

Các mở rộng lý thuyết (theoretical extensions) được đề xuất bao gồm việc phát triển lý thuyết về các phép biến đổi hình học không chỉ trong không gian Euclid, phức, Quaternion mà còn trong các không gian hyperbolic hoặc các không gian tô-pô khác. Ngoài ra, việc nghiên cứu các khung lý thuyết tổng hợp các loại tương tác khác nhau (ví dụ: tương tác đa chiều, tương tác ngữ cảnh) cũng là một hướng đi đầy hứa hẹn.

Tác động và ảnh hưởng

Luận án của Lê Ngọc Thành có tiềm năng tạo ra tác động và ảnh hưởng sâu rộng trên nhiều lĩnh vực:

• Tác động học thuật (Academic impact): Với việc công bố 4 bài báo trong các tạp chí Q1 và Q2 danh giá (Knowledge-Based Systems - Q1, IF: 8.8; Expert Systems with Applications - Q1, IF: 8.5; Applied Intelligence - Q2, IF: 5.3), cùng với các báo cáo tại các hội nghị uy tín (ACIIDS - Rank B, ICCCI - Rank B, ICANN - Rank C, KSEM - Rank C), luận án được ước tính sẽ nhận được số lượng trích dẫn đáng kể từ cộng đồng nghiên cứu AI và Khoa học Máy tính. Các đóng góp về việc khai thác không gian Quaternion, lý thuyết nhóm, và sự tổng hợp giữa tích chập và xoay có thể mở ra những hướng nghiên cứu mới, khuyến khích các nhà khoa học khác khám phá các không gian biểu diễn hình học phức tạp hơn và các kiến trúc mô hình lai.

• Chuyển đổi công nghiệp (Industry transformation): Các mô hình được đề xuất có khả năng ứng dụng trực tiếp trong nhiều ngành công nghiệp.

  • Công nghệ tìm kiếm và gợi ý: Cải thiện đáng kể độ chính xác của các công cụ tìm kiếm ngữ nghĩa và hệ thống gợi ý (recommendation systems) trong các ngành thương mại điện tử, giải trí (video streaming, âm nhạc) bằng cách hoàn thiện KG của họ. Ví dụ, việc cải thiện 15% Hits@1 trên YAGO3-10 của RotatPRH có thể dịch thành các gợi ý sản phẩm/nội dung chính xác hơn, tăng trải nghiệm người dùng.
  • Y tế và Dược phẩm: Ứng dụng trong việc phân tích tương tác protein-protein [23], dự đoán liên kết enzyme [21], hoặc phát hiện thuốc trong đơn thuốc, hỗ trợ nghiên cứu và phát triển thuốc, chẩn đoán bệnh. Khả năng cải thiện 12% trên quan hệ phân cấp của Rotate4D có thể đặc biệt hữu ích cho các KG sinh học.
  • An ninh và Giám sát: Dự đoán hành động của các hội nhóm [20], truy vết đối tượng có nguy cơ lây nhiễm sinh học, hoặc phát hiện tội phạm [22] thông qua việc phân tích các mối quan hệ phức tạp trong dữ liệu.

• Ảnh hưởng chính sách (Policy influence): Mặc dù không trực tiếp tạo ra chính sách, các phát hiện của luận án có thể tác động đến việc xây dựng và quản lý cơ sở dữ liệu tri thức của các cấp chính quyền. Việc làm rõ các hạn chế của KG hiện tại (như thông tin thiếu hụt trên Freebase, DBpedia, Wikidata) và cung cấp các phương pháp để hoàn thiện chúng, sẽ thúc đẩy các tổ chức áp dụng các tiêu chuẩn cao hơn trong thu thập và duy trì dữ liệu, hướng tới các quyết định dựa trên bằng chứng vững chắc hơn.

• Lợi ích xã hội (Societal benefits): Các ứng dụng của dự đoán liên kết có thể mang lại lợi ích cho xã hội.

  • Hệ thống hỏi đáp và chatbot: Các chatbot thông minh hơn (như hệ thống Chatbot tiếng Việt đã được triển khai bước đầu) giúp người dân tiếp cận thông tin dễ dàng hơn, nâng cao chất lượng dịch vụ công và tư vấn.
  • Phòng chống dịch bệnh: Khả năng dự đoán dịch bệnh lây lan dựa trên lịch sử tiếp xúc [20] có thể hỗ trợ hiệu quả trong việc kiểm soát các mối đe dọa sức khỏe cộng đồng.
  • Giáo dục: Hệ thống gợi ý khóa học [19] tốt hơn giúp người học định hướng phát triển cá nhân và chuyên môn.

• Tính liên quan quốc tế (International relevance): Việc sử dụng các bộ dữ liệu chuẩn quốc tế như FB15k, WN18, YAGO3-10 và so sánh với các nghiên cứu quốc tế hàng đầu (TransE [32], RotatE [34], ConvKB [37]) đảm bảo rằng các đóng góp của luận án có giá trị và được công nhận trên toàn cầu. Các phương pháp dựa trên không gian Quaternion và lý thuyết nhóm có tính chất phổ quát, không giới hạn bởi ngôn ngữ hay văn hóa, do đó có thể áp dụng rộng rãi trong các KG đa ngôn ngữ và đa văn hóa.

Đối tượng hưởng lợi

Các đối tượng hưởng lợi từ luận án này rất đa dạng, từ giới nghiên cứu học thuật đến các chuyên gia công nghiệp và nhà hoạch định chính sách, với những lợi ích cụ thể:

• Các nghiên cứu sinh Tiến sĩ (Doctoral researchers): Luận án cung cấp một nguồn tài liệu phong phú và các hướng nghiên cứu tiềm năng rõ ràng. Nó xác định các research gaps cụ thể trong lĩnh vực dự đoán liên kết trên KG, như các thách thức về dữ liệu động, khả năng giải thích của mô hình, và việc khai thác không gian đa tạp. Các nghiên cứu sinh có thể tiếp nối các hướng này để phát triển các luận án của riêng mình. Ví dụ, họ có thể phát triển các mô hình dự đoán liên kết trên đồ thị thời gian, hoặc tập trung vào việc tạo ra các cơ chế giải thích cho các mô hình dựa trên Quaternion.

• Các học giả cấp cao (Senior academics): Luận án đóng góp vào sự tiến bộ lý thuyết trong lĩnh vực Khoa học Máy tính và AI. Các học giả sẽ được hưởng lợi từ việc mở rộng lý thuyết nhúng đồ thị bằng việc khai thác không gian Quaternion và ứng dụng lý thuyết nhóm trực giao (orthogonal groups). Việc tổng hợp tích chập và xoay (ConvRot) mở ra một khung lý thuyết mới cho thiết kế mô hình lai. Điều này có thể thúc đẩy các thảo luận học thuật, dẫn đến các lý thuyết mới và phương pháp luận tiên tiến hơn trong lĩnh vực KG và học máy.

• Bộ phận R&D trong công nghiệp (Industry R&D): Các ứng dụng thực tiễn của luận án mang lại lợi ích trực tiếp cho bộ phận R&D trong các công ty công nghệ, y tế, tài chính. Các mô hình ConvHyper, RotatPRH, Rotate4D, và ConvRot cung cấp các giải pháp tiên tiến để:

  • Cải thiện chất lượng dữ liệu trong các KG doanh nghiệp, từ đó nâng cao hiệu quả của hệ thống gợi ý, tìm kiếm, và chatbot. Một công ty thương mại điện tử có thể sử dụng RotatPRH để cải thiện 15% độ chính xác trong gợi ý sản phẩm trên các KG lớn như YAGO3-10, mang lại hàng triệu đô la doanh thu.
  • Phát triển các ứng dụng AI trong y tế, như hỗ trợ phân tích tương tác thuốc-thuốc hoặc dự đoán bệnh.
  • Tối ưu hóa các hệ thống phân tích dữ liệu phức tạp, chẳng hạn như trong lĩnh vực tài chính để phát hiện gian lận hoặc trong an ninh để dự đoán các mối đe dọa.

• Các nhà hoạch định chính sách (Policy makers): Các nhà hoạch định chính sách có thể sử dụng các kết quả nghiên cứu của luận án như bằng chứng (evidence-based recommendations) để xây dựng các chính sách hiệu quả hơn liên quan đến quản lý dữ liệu và phát triển AI. Việc nhận thức về tầm quan trọng của việc hoàn thiện và làm sạch KG sẽ khuyến khích các chính sách đầu tư vào cơ sở hạ tầng dữ liệu và nghiên cứu AI, đặc biệt trong các lĩnh vực công cộng như y tế hoặc giáo dục. Các chính sách có thể khuyến khích việc sử dụng các mô hình tiên tiến để xử lý thông tin y tế, giáo dục, hoặc an ninh quốc gia, nhằm đảm bảo thông tin đáng tin cậy và đầy đủ.

• Định lượng lợi ích:

  • Đối với các nhà cung cấp dịch vụ tìm kiếm: Khả năng tăng 0.5-15% độ chính xác dự đoán liên kết có thể dẫn đến hàng tỷ lượt truy vấn chính xác hơn, cải thiện trải nghiệm người dùng và giữ chân khách hàng.
  • Trong y tế: Cải thiện 12% trong dự đoán quan hệ phân cấp giúp tối ưu hóa quá trình phát triển thuốc và giảm thiểu rủi ro y tế, tiết kiệm hàng triệu đô la chi phí nghiên cứu và có thể cứu sống nhiều người.
  • Trong tài chính: Khả năng dự đoán chính xác hơn các mối quan hệ trong giao dịch tài chính có thể giúp phát hiện gian lận hiệu quả hơn, bảo vệ hàng tỷ đô la tài sản.

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì? Đóng góp lý thuyết độc đáo nhất của luận án là việc mở rộng lý thuyết nhúng đồ thị sang không gian Quaternion và tích hợp lý thuyết nhóm, đặc biệt là các nhóm trực giao, để mô hình hóa các phép xoay trong không gian 4D nhằm giải quyết các loại quan hệ đa dạng, đặc biệt là quan hệ phân cấp. Điều này được thể hiện rõ ràng trong mô hình Rotate4D (Chương 6). Các mô hình trước đây như RotatE [34] đã sử dụng số phức (không gian 2D) để mô hình hóa phép xoay. Tuy nhiên, Rotate4D đã chứng minh rằng việc khai thác không gian Quaternion cho phép thực hiện các phép xoay phức tạp hơn (xoay kép và xoay đẳng hướng trên hai mặt phẳng riêng biệt) đồng thời bảo toàn tính chất hình học thông qua lý thuyết nhóm trực giao. Điều này cho phép mô hình hóa hiệu quả hơn các quan hệ có tính phân cấp, với minh chứng là mô hình cải thiện lên đến 12% trên các quan hệ phân cấp khi so với các mô hình cơ sở trong cùng nhóm (Chương 6.3).

2. Đổi mới về phương pháp luận nổi bật nhất của luận án là gì và nó so sánh với ít nhất 2 nghiên cứu trước đây như thế nào? Đổi mới về phương pháp luận nổi bật nhất là việc tổng hợp phép tích chập với phép biến đổi xoay để khai thác cả thông tin cục bộ và biến đổi ngữ nghĩa trong cùng một kiến trúc, được thể hiện qua mô hình ConvRot (Chương 7).

   • So với ConvE (Dettmers et al., 2018) [35]: ConvE sử dụng mạng tích chập để khai thác tương tác giữa bản nhúng thực thể đầu và quan hệ. Tuy nhiên, nó thiếu khả năng mô hình hóa rõ ràng các phép biến đổi ngữ nghĩa của quan hệ từ thực thể đầu đến thực thể đuôi. ConvRot đã kết hợp tích chập phức với phép xoay, cho phép nó không chỉ khai thác tương tác mạnh mẽ như ConvE mà còn mô hình hóa được "đường đi" ngữ nghĩa của quan hệ, dẫn đến hiệu suất vượt trội.
   • So với RotatE (Sun et al., 2019) [34]: RotatE tập trung vào phép xoay phức để mô hình hóa quan hệ nhưng hạn chế trong việc khai thác các tương tác cục bộ hoặc đa chiều giữa thực thể và quan hệ. ConvRot vượt qua hạn chế này bằng cách sử dụng các toán tử tích chập trên các bản nhúng phức của thực thể và quan hệ, bổ sung thông tin cục bộ cho phép xoay. Sự kết hợp này giúp ConvRot cải thiện từ 5% đến 7% so với các mô hình cơ sở, chứng tỏ sức mạnh của phương pháp luận tổng hợp này.

3. Phát hiện gây bất ngờ nhất của luận án là gì và được hỗ trợ bởi dữ liệu nào? Phát hiện gây bất ngờ nhất là việc mô hình RotatPRH, một mô hình dựa trên phép xoay phức và phép chiếu lên siêu phẳng, đạt được mức cải thiện hiệu suất vượt trội đáng kể trên bộ dữ liệu lớn YAGO3-10, lên đến 15% trên độ đo Hits@1 (Bảng 5.3), so với các mô hình tích chập được kỳ vọng là mạnh mẽ hơn trên các tập dữ liệu phức tạp. Điều này phản trực giác bởi lẽ các mô hình tích chập (ví dụ ConvKB, ConvE) thường được coi là tiên tiến hơn và có khả năng khai thác tương tác sâu hơn. Tuy nhiên, kết quả của RotatPRH cho thấy rằng việc tinh chỉnh các phép biến đổi hình học trong không gian nhúng, đặc biệt là thông qua phép chiếu thực thể vào siêu phẳng quan hệ và ràng buộc mềm, có thể mang lại lợi ích lớn hơn trong một số ngữ cảnh, vượt qua cả các phương pháp mạng nơ-ron tiên tiến.

4. Luận án có cung cấp giao thức tái tạo (replication protocol) không? Luận án không cung cấp một giao thức tái tạo riêng biệt dưới dạng một chương hay phụ lục cụ thể. Tuy nhiên, các chi tiết cần thiết để tái tạo nghiên cứu đã được trình bày xuyên suốt luận án một cách hệ thống:

   • Mô tả thuật toán chi tiết: Kiến trúc của từng mô hình (ConvHyper, RotatPRH, Rotate4D, ConvRot) được mô tả kỹ lưỡng trong các Chương 4, 5, 6, 7.
   • Siêu tham số và cấu hình thí nghiệm: Các siêu tham số tối ưu (kích thước lô, số chiều nhúng, tốc độ học, chiến lược lấy mẫu âm, bộ tối ưu hóa) được nêu rõ cho từng mô hình và bộ dữ liệu (ví dụ: Chương 4.4, 5.3, 6.1, 7.1).
   • Tập dữ liệu chuẩn: Các bộ dữ liệu được sử dụng (FB15k, FB15k-237, WN18, WN18RR, YAGO3-10) là các benchmark công khai, có thể dễ dàng truy cập.
   • Độ đo hiệu suất chuẩn: Các độ đo (MR, MRR, Hits@k) được định nghĩa rõ ràng.
   • Môi trường thực thi: Mặc dù không nêu rõ tên phần mềm (ví dụ: PyTorch/TensorFlow), các kỹ thuật được sử dụng là phổ biến trong các thư viện học máy hiện đại, cho phép các nhà nghiên cứu có nền tảng tương tự có thể tái tạo.
   • Tài liệu tham khảo: Các bài báo đã công bố của nghiên cứu sinh [CT01]–[CT10] cung cấp thêm chi tiết cụ thể cho từng mô hình, bao gồm cả code hoặc hướng dẫn triển khai nếu có trong phần phụ lục của các bài báo đó.

5. Chương trình nghiên cứu 10 năm được phác thảo trong luận án là gì? Mặc dù luận án không trình bày một "chương trình nghiên cứu 10 năm" cụ thể, nó phác thảo một lộ trình nghiên cứu tương lai dài hạn thông qua các hạn chế và đề xuất hướng phát triển trong Chương 8 ("Limitations và Future Research") và phần "ỨNG DỤNG/ KHẢ NANG ỨNG DỤNG TRONG THỰC TIỄN HAY NHỮNG VẤN ĐỀ CÒN BỎ NGỎ CẦN TIẾP TỤC NGHIÊN CỨU". Dựa trên các đề xuất này, một chương trình nghiên cứu 10 năm có thể bao gồm:

   • Giai đoạn 1 (1-3 năm): Mở rộng sang đồ thị tri thức động và khai thác không gian đa tạp: Tập trung vào việc phát triển các mô hình dự đoán liên kết trên đồ thị tri thức động (temporal knowledge graphs), tích hợp yếu tố thời gian. Đồng thời, nghiên cứu sâu hơn về các không gian đa tạp (manifold spaces) ngoài Quaternion để biểu diễn ngữ nghĩa phức tạp. Mục tiêu là tạo ra các kiến trúc có khả năng thích ứng với sự thay đổi của dữ liệu theo thời gian và các cấu trúc hình học phức tạp hơn.
   • Giai đoạn 2 (3-6 năm): Phát triển mô hình giải thích và tối ưu hóa quy mô lớn: Nghiên cứu các phương pháp để cung cấp tính giải thích (explainability) cho các mô hình dựa trên mạng nơ-ron và các phép biến đổi hình học trong KG, giúp người dùng hiểu rõ hơn về lý do của các dự đoán. Song song đó, tập trung vào việc tối ưu hóa hiệu suất để xử lý các đồ thị tri thức có quy mô cực lớn (hàng tỷ bộ ba), có thể thông qua các kiến trúc phân tán hoặc các thuật toán tiết kiệm tài nguyên.
   • Giai đoạn 3 (6-10 năm): Ứng dụng đa chiều và tổng hợp trí tuệ nhân tạo: Mở rộng ứng dụng các mô hình dự đoán liên kết vào các bài toán AI phức tạp hơn như suy luận đa bước, tạo sinh ngôn ngữ tự nhiên dựa trên KG, hoặc tích hợp với các hệ thống AI tổng quát (AGI). Nghiên cứu khả năng tổng hợp các kỹ thuật dự đoán liên kết với các phương pháp học tăng cường (reinforcement learning) và học không giám sát (unsupervised learning) để đạt được khả năng tự học và thích ứng cao hơn trên KG.

Kết luận

Luận án này đã tạo ra những đóng góp đáng kể cho lĩnh vực dự đoán liên kết trên đồ thị tri thức, giải quyết các thách thức về tính đa dạng và phức tạp của các mối quan hệ thông qua các phương pháp nhúng tiên tiến.

1. Đề xuất ConvHyper: Cải thiện hiệu suất dự đoán lên tới 0.5% so với ConvKB bằng cách tích hợp HyperNetwork để tạo bộ lọc và trọng số động, đồng thời tối ưu hóa hàm kích hoạt, giúp tăng cường khả năng nắm bắt tương tác và độ sâu của mạng nơ-ron.
2. Giới thiệu RotatPRH: Đạt được cải thiện từ 1.4% đến 2% trên các bộ dữ liệu không rò rỉ kiểm tra và lên đến 15% Hits@1 trên YAGO3-10, thông qua phép chiếu thực thể lên siêu phẳng quan hệ và phép xoay phức kết hợp ràng buộc mềm.
3. Phát triển Rotate4D: Nâng cao hiệu suất tổng thể 1.49% và đặc biệt 12% trên quan hệ phân cấp bằng cách khai thác không gian Quaternion và lý thuyết nhóm để mô hình hóa phép xoay kép và xoay đẳng hướng.
4. Trình bày ConvRot: Cải thiện hiệu suất từ 5% đến 7% so với các mô hình cơ sở thông qua sự tổng hợp độc đáo giữa tích chập phức và phép xoay, mở ra một hướng tiếp cận mới trong thiết kế mô hình lai.
5. Nhấn mạnh ràng buộc kiểu: Chứng minh rằng việc áp dụng ràng buộc kiểu giúp cải thiện chất lượng mẫu âm, từ đó nâng cao hiệu suất huấn luyện cho các mô hình.
6. Đánh giá trên bộ dữ liệu chuẩn: Tất cả các mô hình được thử nghiệm và đánh giá một cách nghiêm ngặt trên các bộ dữ liệu benchmark quốc tế như FB15k, FB15k-237, WN18, WN18RR, và YAGO3-10, đảm bảo tính khách quan và khả năng so sánh.

Các đóng góp này đã đạt được một bước tiến về mặt học thuật (paradigm advancement), chuyển đổi cách chúng ta tiếp cận việc mô hình hóa mối quan hệ trong KG, từ các phương pháp đơn lẻ sang các khung tổng hợp và đa chiều, có khả năng tận dụng các thuộc tính hình học và đại số phức tạp.

Luận án này đã mở ra ít nhất 3 luồng nghiên cứu mới:

• Nghiên cứu về việc tích hợp động các tham số mạng thông qua HyperNetwork trong các kiến trúc học sâu cho KG.
• Khám phá sâu hơn về các không gian hình học cao cấp (như Quaternion và hơn thế nữa) và ứng dụng lý thuyết nhóm để mô hình hóa các loại quan hệ phức tạp.
• Thiết kế các mô hình lai mạnh mẽ, tổng hợp các ưu điểm của mạng nơ-ron (tích chập) và các phép biến đổi hình học (xoay) để đạt được hiệu suất tối ưu.

Tính liên quan toàn cầu của nghiên cứu được thể hiện rõ qua việc giải quyết các thách thức chung trong việc hoàn thiện KG, một cấu trúc dữ liệu được sử dụng rộng rãi trên toàn thế giới bởi các tập đoàn công nghệ lớn và cộng đồng học thuật. Các mô hình và phương pháp luận được phát triển có thể được áp dụng và mở rộng cho các KG đa ngôn ngữ và đa văn hóa.

Tóm lại, luận án của Lê Ngọc Thành không chỉ cung cấp những giải pháp cụ thể và hiệu quả cho bài toán dự đoán liên kết mà còn đặt nền móng cho các nghiên cứu tương lai, với các kết quả đo lường được như cải thiện hiệu suất lên tới 15% Hits@1 trên YAGO3-10 và 12% cho quan hệ phân cấp, hứa hẹn tạo ra di sản nghiên cứu sâu rộng trong lĩnh vực Khoa học Máy tính và Trí tuệ Nhân tạo.