Tổng quan về luận án

Xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) trong kỷ nguyên học sâu đã đạt được những bước tiến vượt bậc thông qua các mô hình biểu diễn không gian vector và mạng nơ-ron đa tầng. Tuy nhiên, các kiến trúc hiện đại vẫn đối mặt với rào cản căn bản khi xử lý ngữ liệu hạn chế, dữ liệu nhiễu và các hiện tượng ngữ nghĩa phức tạp như hoán dụ, ẩn dụ. Trong bối cảnh đó, bài toán Tự động xác định quan hệ ngữ nghĩa của từ vựng (Lexical Semantic Relation Determination - LSRD) giữ vai trò then chốt nhằm thiết lập nền tảng tri thức cho các hệ thống dịch máy, hỏi đáp tự động và xây dựng bản thể học (Ontology). Đối với tiếng Việt — một ngôn ngữ đơn lập, không biến hình từ và có cấu trúc từ ghép phong phú — việc xác định quan hệ ngữ nghĩa chủ yếu dừng lại ở góc độ ngôn ngữ học miêu tả thuần túy, thiếu vắng các mô hình tính toán chuẩn hóa trên quy mô lớn.

Khoảng trống nghiên cứu (Research Gap) cốt lõi xuất phát từ sự hạn chế của các mô hình nhúng từ tổng quát (như Word2Vec, GloVe, fastText). Các mô hình này được huấn luyện thuần túy trên giả thuyết phân phối (Distributional Hypothesis), dẫn đến việc hòa trộn toàn bộ các mối quan hệ ngữ nghĩa khác biệt vào một không gian vector duy nhất. Hiện tượng này làm mất đi tính phân biệt giữa quan hệ bao thuộc bất đối xứng và các quan hệ đối xứng như đồng nghĩa, trái nghĩa hay tương đồng phân loại.

Luận án thiết lập 3 câu hỏi nghiên cứu (Research Questions - RQ) và 3 giả thuyết tương ứng:

  • RQ1: Làm thế nào để phân tách và nhận diện quan hệ bao thuộc bất đối xứng (Hypernymy) khi các từ không nhất thiết phải đồng xuất hiện thường xuyên trong văn bản?
    • Hypothesis 1 (H1): Việc tích hợp các đặc trưng cấu trúc hình thái dưới từ (Subword Semantic Features) kết hợp với không gian nhúng từ chuyên biệt hóa (Specialized Word Embeddings) sẽ giúp phân biệt vượt trội từ bao và từ thuộc so với các mô hình nhúng từ tổng quát.
  • RQ2: Làm thế nào để giải quyết nghịch lý phân phối giữa cặp từ đồng nghĩa và trái nghĩa — vốn có ngữ cảnh xuất hiện gần như trùng khớp?
    • Hypothesis 2 (H2): Mô hình hóa ngữ cảnh đồng xuất hiện qua mạng nơ-ron hồi quy kết hợp các đặc trưng cấu trúc từ tiếng Việt và thông tin tương hỗ (PMI/LMI) sẽ phân lập chính xác ranh giới giữa quan hệ đồng nghĩa và trái nghĩa.
  • RQ3: Phương pháp nào tối ưu hóa độ chính xác khi định lượng độ tương tự ngữ nghĩa (Word Similarity) trong điều kiện tài nguyên tri thức tiếng Việt còn hạn chế?
    • Hypothesis 3 (H3): Kết hợp thông tin định nghĩa mở rộng (Extended Glosses) và tối ưu hóa khoảng cách đường đi ngắn nhất trên đồ thị phân cấp ngữ nghĩa sẽ gia tăng đáng kể hệ số tương quan với đánh giá của con người.

Khung lý thuyết của công trình được định vị trên nền tảng Ngữ nghĩa học phân phối (Distributional Semantics), Giả thuyết tập quan hệ ngữ nghĩa (Semantic Relation Set Hypothesis) do chính tác giả đề xuất, cùng hệ thống các nguyên lý kế thừa từ vựng (Lexical Entailment). Công trình tạo đột phá với việc xây dựng và công bố 4 bộ dữ liệu chuẩn cho tiếng Việt: VLE-999, ViAS-1000, VSimLex-999 và VESim-1000, đồng thời giải quyết bài toán trên phạm vi ngữ liệu quy mô hàng trăm triệu từ tố, tạo bước ngoặt học thuật vững chắc cho NLP tiếng Việt.

Literature Review và Positioning

Nghiên cứu về biểu diễn ngữ nghĩa từ vựng trong lịch sử ngôn ngữ học tính toán phát triển qua ba dòng chảy chính:

  1. Dòng tiếp cận ngữ nghĩa hình thức và cấu trúc: Khởi xướng từ các nghiên cứu kinh điển của Harris (1954) và Firth (1957) với giả thuyết phân phối ("chúng ta có thể biết nghĩa của một từ thông qua những từ đi kèm với nó"). Dòng nghiên cứu này đặt nền móng cho các mô hình không gian vector (Vector Space Models - VSM) và phân tích ngữ nghĩa tiềm ẩn (LSA) của Landauer và Dumais (1997), mô hình HAL của Lund và Burgess (1996), cùng các cơ sở tri thức thủ công như WordNet của Miller (1995).
  2. Dòng tiếp cận dựa trên mẫu mẫu cú pháp - từ vựng (Pattern-based Approach): Tiêu biểu là công trình của Hearst (1992) khai thác các mẫu đường dẫn (lexico-syntactic patterns) để rút trích quan hệ IS-A, sau đó được phát triển bởi Lin và Pantel (2001) với Giả thuyết phân phối mở rộng (Extended Distributional Hypothesis) và Turney & Littman (2005) với Giả thuyết quan hệ tiềm ẩn (Latent Relation Hypothesis).
  3. Dòng tiếp cận nhúng từ phân phối chuyên biệt (Distributional Specialization & Contextualized Representations): Giai đoạn bùng nổ của mạng nơ-ron với Word2Vec (Mikolov et al., 2013), GloVe (Pennington et al., 2014), fastText (Bojanowski et al., 2017) và gần đây là các mô hình nhúng theo ngữ cảnh như Context2Vec (Melamud et al., 2016), ELMo (Peters et al., 2018), BERT (Devlin et al., 2019).
                      ┌───────────────────────────────────────────────┐
                      │    LỊCH SỬ PHÁT TRIỂN BIỂU DIỄN NGỮ NGHĨA     │
                      └──────────────────────┬────────────────────────┘
                                             │
         ┌───────────────────────────────────┼───────────────────────────────────┐
         ▼                                   ▼                                   ▼
┌──────────────────┐               ┌───────────────────┐               ┌───────────────────┐
│ Ngữ nghĩa hình   │               │ Mẫu cú pháp -     │               │ Nhúng từ & Học    │
│ thức / Cấu trúc  │               │ từ vựng           │               │ sâu chuyên biệt   │
├──────────────────┤               ├───────────────────┤               ├───────────────────┤
│ • Harris (1954)  │               │ • Hearst (1992)   │               │ • Mikolov (2013)  │
│ • Firth (1957)   │               │ • Lin & Pantel    │               │ • Pennington(2014)│
│ • Miller (1995)  │               │   (2001)          │               │ • Mrkšić (2016)   │
│ • Landauer (1997)│               │ • Turney (2005)   │               │ • Devlin (2019)   │
└────────┬─────────┘               └─────────┬─────────┘               └─────────┬─────────┘
         │                                   │                                   │
         └───────────────────────────────────┼───────────────────────────────────┘
                                             │
                                             ▼
                      ┌───────────────────────────────────────────────┐
                      │     POSITIONING CỦA LUẬN ÁN (EDWN/DVASNet)    │
                      │  Tích hợp Ngữ nghĩa phân phối + Cấu trúc từ   │
                      │  đơn lập tiếng Việt + Ràng buộc tri thức hình │
                      │  thức nhằm giải quyết triệt để bài toán LSRD  │
                      └───────────────────────────────────────────────┘

Trong bức tranh tổng quan đó tồn tại cuộc tranh luận học thuật sâu sắc giữa hai trường phái:

  • Trường phái phân phối thuần túy (Distributional Representation) cho rằng toàn bộ ngữ nghĩa có thể học được không giám sát từ kho ngữ liệu khổng lồ thông qua cửa sổ ngữ cảnh (Mikolov et al., 2013).
  • Trường phái ràng buộc tri thức (Retrofitting / Knowledge-based Specialization) do Mrkšić và cộng sự (2016) với mô hình ATTRACT-REPEL, hay Ono và cộng sự (2015) bảo vệ, chỉ ra rằng phân phối thống kê thuần túy không thể phân biệt được các cặp từ trái nghĩa vốn có cùng ngữ cảnh xuất hiện (ví dụ: lớn - nhỏ, tăng - giảm).

Định vị của luận án (Positioning): Luận án không đi theo hướng nhúng ngữ cảnh phụ thuộc văn cảnh đơn thuần như Soler (2019), mà tập trung giải quyết bài toán biểu diễn ngữ nghĩa bản thể độc lập ngữ cảnh nhưng chuyên biệt hóa cho từng loại quan hệ ngữ nghĩa vựng. So với nghiên cứu quốc tế của Anh Tuan Luu và cộng sự (2016) về mạng nơ-ron trọng số động (DWN) trên tiếng Anh, luận án đã mở rộng mô hình thành EDWN (Extended DWN) kết hợp với các đặc trưng ngữ nghĩa mức dưới từ (Subword Semantic Features - SSF). So sánh với mô hình dLCE của Kim Anh Nguyen và cộng sự (2016), giải pháp DVASNet trong luận án vượt trội nhờ việc kết hợp đồng thời cấu trúc nội tại của từ ghép tiếng Việt với thông tin ngữ cảnh phụ thuộc đường dẫn cú pháp ngắn nhất (SDP) mã hóa bằng biLSTM.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án mở rộng và đóng góp trực tiếp vào hệ thống lý thuyết ngôn ngữ học tính toán thông qua việc phát triển Giả thuyết tập quan hệ ngữ nghĩa (Semantic Relation Set Hypothesis). Luận án khẳng định nguyên lý: "Quan hệ ngữ nghĩa giữa hai từ có thể được định vị thông qua mối quan hệ giữa các từ có quan hệ với chúng". Luận án bổ sung và hoàn thiện các lý thuyết nền tảng:

  1. Giả thuyết bao thuộc phân phối (Distributional Inclusion Hypothesis - Geffet & Dagan, 2005): Được chuẩn hóa bằng việc chứng minh rằng không gian vector của từ bao không chỉ chứa các đặc trưng của từ thuộc, mà cần được điều chỉnh thông qua cơ chế chú ý động (Dynamic Attention Mechanism) để loại bỏ các đặc trưng chung chung quá mức theo Giả thuyết thông tin phân phối (Distributional Informativeness Hypothesis - Santus et al., 2014).
  2. Giả thuyết kết hợp ngữ cảnh (Context Combination Hypothesis - Baroni et al., 2012): Mở rộng từ việc kết hợp vector tuyến tính đơn giản sang việc tích hợp có trọng số giữa biểu diễn vector ngữ cảnh chuyên biệt và ma trận biến đổi dưới từ.
  3. Lý thuyết cấu trúc ngữ nghĩa từ vựng tiếng Việt (Nguyễn Thiện Giáp, 2008; Đỗ Hữu Châu, 2007): Luận án cụ thể hóa khái niệm "thế tương liên toàn diện về nội dung và hình thức" thành các phép toán vector và mẫu cấu trúc từ (Word-Structure Patterns - WSP) có khả năng định lượng tự động trong không gian nhiều chiều.

Khung phân tích độc đáo

Khung phân tích của luận án tích hợp đa tầng ba lý thuyết nền tảng: Lý thuyết ngữ nghĩa phân phối, Lý thuyết đồ thị tri thức từ vựng và Hình thái học tính toán cho ngôn ngữ đơn lập.

                                  KHUNG PHÂN TÍCH ĐA TẦNG CỦA LUẬN ÁN
    ┌─────────────────────────────────────────────────────────────────────────────────────────────┐
    │                                TẦNG 1: DỮ LIỆU ĐẦU VÀO VÀ TIỀN XỬ LÝ                        │
    │   • Ngữ liệu thô (Vcorpus)   • Từ điển VCL/WordNet   • Mẫu cú pháp Hearst   • Ngữ cảnh cửa sổ   │
    └──────────────────────────────────────────────┬──────────────────────────────────────────────┘
                                                   │
         ┌─────────────────────────────────────────┼─────────────────────────────────────────┐
         ▼                                         ▼                                         ▼
┌──────────────────────────────┐ ┌──────────────────────────────┐ ┌──────────────────────────────┐
│     BÀI TOÁN 1: BAO THUỘC    │ │   BÀI TOÁN 2: ĐỒNG/TRÁI NGHĨA│ │   BÀI TOÁN 3: ĐỘ TƯƠNG TỰ    │
│            (HR)              │ │            (ASC)             │ │            (WSM)             │
├──────────────────────────────┤ ├──────────────────────────────┤ ├──────────────────────────────┤
│ • Mô hình mạng EDWN          │ │ • Trích xuất WSP & biLSTM SDP│ │ • Thuật toán ExtLeskSim      │
│ • Trích chọn đặc trưng SSF   │ │ • Tính chỉ số PMI & LMI      │ │ • Lược đồ mạng GraphSim      │
│ • Thuật toán FeatExt         │ │ • Kiến trúc DVASNet          │ │ • Floyd-Warshall trên đồ thị │
│ • Bộ phân lớp SVM (LERC)     │ │ • Retrofitting không gian nhúng││ • Mô hình song ngữ WEWD     │
└──────────────┬───────────────┘ └──────────────┬───────────────┘ └──────────────┬───────────────┘
               │                                │                                │
               └────────────────────────────────┼────────────────────────────────┘
                                                │
                                                ▼
    ┌─────────────────────────────────────────────────────────────────────────────────────────────┐
    │                                  TẦNG 3: ĐÁNH GIÁ VÀ ĐẦU RA                                 │
    │   • Đánh giá định tính & định lượng trên: VLE-999, ViAS-1000, VSimLex-999, VESim-1000       │
    │   • Metric: Accuracy, Precision, Recall, Macro-F1, Hệ số tương quan Pearson & Spearman      │
    └─────────────────────────────────────────────────────────────────────────────────────────────┘

Khung phân tích thiết lập 3 khái niệm cốt lõi:

  • Đặc trưng ngữ nghĩa mức dưới từ (Subword Semantic Feature - SSF): Vector mã hóa quan hệ ngữ nghĩa giữa các hình vị/tiếng cấu thành từ phức kèm theo thông tin vị trí không gian của chúng.
  • Mẫu ngữ nghĩa mức dưới từ (Subword Semantic Pattern - SSP): Tập hợp các quy tắc kết hợp hình thái phản ánh quan hệ bao thuộc hoặc tương phản giữa các thành tố từ vựng.
  • Biểu diễn nhúng chuyên biệt hóa (Specialized Embeddings): Không gian vector được tối ưu hóa thông qua các hàm mất mát có ràng buộc đối kháng (Attract-Repel constraints), kéo các từ cùng quan hệ lại gần và đẩy các từ có quan hệ đối lập ra xa.

Điều kiện biên (Boundary Conditions): Khung phân tích áp dụng tối ưu cho các từ đơn, từ phức, thuật ngữ khoa học danh từ/động từ/tính từ trong các ngôn ngữ có tính chất đơn lập (tiếng Việt) và phân tích tính (tiếng Anh). Khung phân tích không bao hàm các đơn vị thành ngữ cố định dài, quán ngữ tự do hoặc văn bản biến dạng nghiêm trọng về mặt cú pháp.

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Nghiên cứu được thiết kế theo trường phái Thực chứng luận (Positivism) kết hợp với Chủ nghĩa kinh nghiệm tính toán (Computational Empiricism). Luận án triển khai thiết kế phương pháp hỗn hợp định lượng đa cấp độ (Multi-level Quantitative Design):

  • Cấp độ 1 (Subword/Morphological Level): Khai thác cấu trúc hình thái nội tại của từ tố thông qua thuật toán trích chọn vector đặc trưng dưới từ FeatExt (Thuật toán 1 trong luận án).
  • Cấp độ 2 (Distributional Context Level): Khai thác phân phối đồng xuất hiện toàn cục (Global Corpus Distribution) và ngữ cảnh cục bộ qua cửa sổ $\pm k$ từ bằng các kiến trúc Skip-Gram và mạng hồi quy biLSTM.
  • Cấp độ 3 (Relational/Taxonomic Level): Khai thác cấu trúc phân cấp mạng từ (WordNet taxonomy) và định nghĩa từ điển bằng lý thuyết đồ thị và độ đo mở rộng.

Quy trình nghiên cứu rigorous

Quy trình nghiên cứu bao gồm 4 giai đoạn nghiêm ngặt:

┌─────────────────┐     ┌─────────────────┐     ┌─────────────────┐     ┌─────────────────┐
│ GIAI ĐOẠN 1     │     │ GIAI ĐOẠN 2     │     │ GIAI ĐOẠN 3     │     │ GIAI ĐOẠN 4     │
│ Thu thập & Xử   │────▶│ Trích xuất đặc  │────▶│ Huấn luyện mô   │────▶│ Đánh giá & Kiểm │
│ lý ngữ liệu     │     │ trưng đa tầng   │     │ hình chuyên biệt│     │ định thống kê   │
└─────────────────┘     └─────────────────┘     └─────────────────┘     └─────────────────┘
  1. Thu thập và tiền xử lý ngữ liệu: Sử dụng kho ngữ liệu đơn ngữ tiếng Việt Vcorpus (hơn 100 triệu từ tố) và tiếng Anh BNC/Wikipedia, kết hợp Từ điển tiếng Việt cho máy tính (VCL) và cơ sở dữ liệu WordNet.
  2. Trích xuất đặc trưng:
    • Mã hóa ngữ cảnh đồng xuất hiện thông qua các bộ ba (từ bao, từ thuộc, ngữ cảnh).
    • Xác định mẫu cấu trúc từ và tính toán các trọng số thông tin tương hỗ $PMI(u, v)$ và $LMI(u, v) = f(u, v) \times PMI(u, v)$.
  3. Huấn luyện mô hình: Huấn luyện mạng nơ-ron trọng số động EDWN với 5 lược đồ tính trọng số chú ý, tối ưu hóa siêu tham số $\beta$ qua 30 chu kỳ lặp (iterations); kết hợp mô hình phân lớp Support Vector Machine (SVM) trong kiến trúc LERC.
  4. Kiểm định độ tin cậy và giá trị:
    • Độ giá trị khái niệm (Construct Validity): Đảm bảo các chỉ số đo lường phản ánh chính xác các khái niệm ngôn ngữ học thông qua việc gán nhãn chéo giữa các chuyên gia ngôn ngữ.
    • Độ tin cậy (Reliability): Tính toán hệ số nhất quán Fleiss' Kappa ($\kappa > 0.82$) và Cronbach's Alpha trong quá trình xây dựng các tập dữ liệu VLE-999, ViAS-1000, VSimLex-999.

Data và phân tích

Tên bộ dữ liệu Ngôn ngữ Số lượng mẫu Mục đích nghiên cứu Cấu trúc phân lớp / Thang đo
VLE-999 (Dt/Dr/Det) Tiếng Việt 999 cặp từ Xác định quan hệ bao thuộc (HR) 3 tập con: Phát hiện, Chiều, Cả hai
ViAS-1000 Tiếng Việt 1.000 cặp từ Phân tách đồng nghĩa - trái nghĩa (ASC) 500 cặp Đồng nghĩa / 500 cặp Trái nghĩa
VSimLex-999 Tiếng Việt 999 cặp từ Đo độ tương tự ngữ nghĩa (WSM) Thang điểm tương tự liên tục [0 - 10]
VESim-1000 Song ngữ Việt-Anh 1.000 cặp từ Đo độ tương tự song ngữ Thang điểm tương tự liên tục [0 - 10]
BLESS / WBLESS Tiếng Anh 26.554 / 1.662 cặp Chuẩn so sánh quốc tế HR Quan hệ Hypernym, Coord, Random...

Các công cụ phần mềm và thư viện tiên tiến được sử dụng: Python, TensorFlow/PyTorch cho kiến trúc học sâu, LibSVM/Scikit-learn cho mô hình phân lớp SVM, thư viện xử lý tiếng Việt VnCoreNLP, thuật toán tìm đường đi ngắn nhất Floyd-Warshall. Các kiểm định thống kê sử dụng Hệ số tương quan Pearson ($r$) và Spearman ($\rho$) với khoảng tin cậy 95% ($p < 0.001$).

Phát hiện đột phá và implications

Những phát hiện then chốt

  1. Vượt trội của mô hình EDWN và LERC trong xác định quan hệ bao thuộc: Mô hình LERC kết hợp vector nhúng EDWN với đặc trưng ngữ nghĩa dưới từ SSF đạt độ chính xác (Accuracy) vượt trội trên cả 3 bộ dữ liệu tiếng Việt (DtVLE-999, DrVLE-999, DetVLE-999) và các bộ dữ liệu tiếng Anh (BLESS, WBLESS, BiBLESS). Việc bổ sung đặc trưng SSF tạo bước nhảy hiệu năng từ 3.2% đến 7.8% so với mô hình cơ sở DWN của Anh Tuan Luu et al. (2016).
  2. Đột phá của DVASNet trong việc giải quyết nghịch lý đồng nghĩa - trái nghĩa: DVASNet giải quyết triệt để ranh giới nhập nhằng giữa từ đồng nghĩa và trái nghĩa. "Theo độ đo hồi tưởng (Recall), hiệu năng của mô hình DVASNet cao hơn các mô hình cơ sở từ 22% đến 32% trên bộ dữ liệu ViCon và từ 33% đến 66% trên bộ dữ liệu ViAS-1000; theo độ đo F1, hiệu năng của mô hình DVASNet vượt trội các mô hình cơ sở từ 8% đến 15% trên bộ dữ liệu ViCon và từ 29% đến 33% trên bộ dữ liệu ViAS-1000".
  3. Phát hiện phản trực giác về thông tin phân phối dưới từ: Trong các cặp từ trái nghĩa tiếng Việt, các thành tố hình thái có xu hướng đối lập cục bộ nhưng liên kết cú pháp cực kỳ chặt chẽ (giá trị PMI/LMI trung bình của các cặp từ trái nghĩa đạt mức cao đột biến so với các cặp từ ngẫu nhiên). Điều này giải thích tại sao các mô hình nhúng từ độc lập ngữ cảnh luôn phân loại nhầm từ trái nghĩa thành từ tương tự ngữ nghĩa nếu không có sự tham gia của các mẫu cấu trúc WSP.
  4. Hiệu năng của lược đồ GraphSim và ExtLeskSim: Lược đồ GraphSim áp dụng thuật toán Floyd-Warshall trên đồ thị phân cấp WordNet cải thiện độ tương quan Pearson lên hơn 12% so với các độ đo nguyên bản của Wu & Palmer, Resnik hay Lin trên bộ dữ liệu VSimLex-999 và SimLex-999.
       SO SÁNH ĐỘ ĐO F1 GIỮA DVASNet VÀ CÁC MÔ HÌNH CƠ SỞ TRÊN ViAS-1000
    100% ┌─────────────────────────────────────────────────────────────┐
         │                                                            │
     80% │                                                 ┌────────┐ │
         │                                                 │DVASNet │ │
     60% │                                                 │ 86.4%  │ │
         │                                  ┌────────┐     │        │ │
     40% │     ┌────────┐     ┌────────┐    │  dLCE   │     │        │ │
         │     │Word2Vec│     │ fastText│   │ 57.1%  │     │        │ │
     20% │     │ 53.4%  │     │ 54.2%  │    │        │     │        │ │
         │     │        │     │        │    │        │     │        │ │
      0% └─────┴────────┴─────┴────────┴────┴────────┴─────┴────────┴─┘

Implications đa chiều

  • Về mặt lý thuyết: Đóng góp minh chứng thực nghiệm khẳng định Giả thuyết tập quan hệ ngữ nghĩa; cung cấp phương pháp luận mới để mô hình hóa ngữ nghĩa cho các ngôn ngữ đơn lập không sử dụng dấu cách phân tách từ và giàu cấu trúc từ ghép như tiếng Việt, tiếng Trung, tiếng Thái.
  • Về mặt phương pháp luận: Thiết lập quy trình chuẩn trích xuất đặc trưng hình thái dưới từ (SSF/SSP) có khả năng chuyển giao cho các bài toán phân loại thực thể (NER), phân tích quan điểm (Sentiment Analysis), và phát hiện tin giả (Fake News Detection).
  • Về mặt thực tiễn ứng dụng:
    • Tích hợp trực tiếp vào các công cụ tìm kiếm ngữ nghĩa tiếng Việt, giúp mở rộng truy vấn chính xác (Query Expansion) bằng cách phân biệt rõ quan hệ bao thuộc và tương đương.
    • Ứng dụng trong các hệ sinh thái Chatbot doanh nghiệp và Trợ lý ảo nhằm hạn chế hiện tượng ảo giác (hallucination) khi sinh từ trái nghĩa hoặc nhận định sai thứ bậc phân loại.
  • Về mặt chính sách và phát triển dữ liệu: Cung cấp 4 bộ dữ liệu chuẩn mã nguồn mở, tạo tiền đề để các cơ quan nghiên cứu quốc gia xây dựng Bộ Bản thể học Tiếng Việt chuẩn hóa (National Vietnamese Ontology) phục vụ chuyển đổi số và phát triển chủ quyền công nghệ AI.

Limitations và Future Research

Luận án thẳng thắn chỉ ra 4 giới hạn nghiên cứu cụ thể:

┌─────────────────────────────────────────────────────────────────────────────────────────────┐
│                                   GIỚI HẠN VÀ KHÔNG GIAN BẢN BIÊN                           │
├──────────────────────────────┬──────────────────────────────┬──────────────────────────────┤
│ 1. Độ bao phủ tri thức       │ 2. Khả năng đa nghĩa         │ 3. Mô hình Transformer lớn   │
│ Phụ thuộc độ hoàn thiện của  │ Chưa tách biệt triệt để ngữ  │ Chưa tích hợp trực tiếp cơ chế│
│ WordNet tiếng Việt & VCL     │ cảnh động đa nghĩa phức tạp  │ Attention tự huấn luyện lớn  │
└──────────────────────────────┴──────────────────────────────┴──────────────────────────────┘
  1. Phụ thuộc vào chất lượng tài nguyên từ điển: Độ bao phủ của mô hình ExtLeskSim và GraphSim còn chịu giới hạn bởi độ phong phú của cơ sở tri thức WordNet tiếng Việt vốn có quy mô nhỏ hơn nhiều so với WordNet tiếng Anh của Đại học Princeton.
  2. Xử lý hiện tượng đa nghĩa (Polysemy): Các vector biểu diễn chuyên biệt vẫn gắn mỗi hình thức từ với một điểm duy nhất trong không gian vector tĩnh, chưa phân lập hoàn toàn các nghĩa thành phần (Sense Embeddings) khi từ chuyển nghĩa theo các ngữ cảnh chuyên ngành hẹp.
  3. Phạm vi loại từ: Nghiên cứu chủ yếu tập trung vào danh từ, động từ và tính từ; các hư từ và liên từ ngữ pháp chưa được mô hình hóa trong không gian ngữ nghĩa phân phối.

Chương trình nghiên cứu 10 năm tiếp theo (Future Research Agenda):

  • Tích hợp các ràng buộc quan hệ ngữ nghĩa trực tiếp vào quá trình Tiền huấn luyện (Pre-training) của các mô hình Ngôn ngữ lớn (LLMs) tiếng Việt như PhoBERT, ViBERT, GPT-architecture.
  • Xây dựng mạng nơ-ron học biểu diễn đồ thị tri thức đa phương thức (Multimodal Knowledge Graph Neural Networks) kết hợp hình ảnh và văn bản để xác định quan hệ ngữ nghĩa trừu tượng.
  • Mở rộng quy mô bộ dữ liệu đánh giá lên hàng chục nghìn thực thể và tự động hóa quá trình làm giàu bản thể học từ vựng tiếng Việt.

Tác động và ảnh hưởng

Công trình tạo ra những tác động học thuật và thực tiễn rõ nét:

  • Tác động học thuật: Các công bố khoa học từ luận án (bao gồm các bài báo trên các tạp chí và hội thảo uy tín chuyên ngành như [CT1] đến [CT12]) đã định hình phương pháp luận xử lý ngữ nghĩa từ vựng cho tiếng Việt, ước tính tạo lập hàng trăm trích dẫn trong các nghiên cứu kế thừa về xử lý ngôn ngữ đơn lập.
  • Chuyển đổi công nghiệp: Cung cấp thuật toán tối ưu hóa cho các hệ thống tìm kiếm thông tin doanh nghiệp, các nền tảng thương mại điện tử (phân loại danh mục hàng hóa theo cây quan hệ bao thuộc) và các hệ thống phân tích cảm xúc khách hàng (Sentiment Analysis).
  • Lợi ích xã hội: Góp phần bảo tồn và phát triển tiếng Việt trên không gian số, tạo công cụ chuẩn xác cho các hệ thống dịch thuật tự động Việt - Anh, hỗ trợ người khiếm thính và khiếm thị thông qua các ứng dụng hiểu ngữ nghĩa ngôn ngữ chính xác.

Đối tượng hưởng lợi

  • Nghiên cứu sinh và Giới học thuật chuyên sâu: Tiếp cận 4 bộ dữ liệu chuẩn (VLE-999, ViAS-1000, VSimLex-999, VESim-1000) cùng mã nguồn thuật toán để tái lập và phát triển các mô hình ngôn ngữ mới.
  • Bộ phận R&D Trí tuệ nhân tạo tại các Tập đoàn Công nghệ: Ứng dụng mô hình EDWN và DVASNet vào hệ thống phân tích dữ liệu văn bản lớn, trích xuất thực thể và lọc quan hệ tự động.
  • Các tổ chức giáo dục và dịch thuật: Sử dụng mô hình đo độ tương tự ngữ nghĩa ExtLeskSim và WEWD để xây dựng từ điển thông minh, phần mềm chấm điểm tự động và công cụ tra cứu ngữ nghĩa tương tác.
  • Nhà hoạch định chính sách công nghệ: Có cơ sở khoa học để định hình các tiêu chuẩn đánh giá tài nguyên số và đầu tư cho các dự án xây dựng hạ tầng ngôn ngữ số quốc gia.

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và đã mở rộng lý thuyết nào?
Đóng góp độc đáo nhất là việc đề xuất Giả thuyết tập quan hệ ngữ nghĩa (Semantic Relation Set Hypothesis). Luận án đã mở rộng căn bản Giả thuyết bao thuộc phân phối (Geffet & Dagan, 2005) và Giả thuyết kết hợp ngữ cảnh (Baroni et al., 2012) bằng cách chứng minh rằng mối quan hệ ngữ nghĩa giữa hai từ không chỉ phụ thuộc vào ngữ cảnh bề mặt mà có thể được xác định chính xác thông qua mối liên kết cấu trúc giữa các từ có quan hệ trực tiếp với chúng kết hợp với đặc trưng hình thái dưới từ (SSF).

2. Đột phá phương pháp luận của luận án khi so sánh với các nghiên cứu quốc tế tiêu biểu?
So với mô hình DWN của Anh Tuan Luu et al. (2016) và ATTRACT-REPEL của Mrkšić et al. (2016), luận án tạo ra bước đột phá bằng việc tích hợp cơ chế mạng nơ-ron trọng số động cải tiến (EDWN) với thuật toán trích xuất đặc trưng dưới từ FeatExt. Phương pháp này khắc phục nhược điểm mất thông tin hình thái của các mô hình phương Tây khi áp dụng vào ngôn ngữ đơn lập không biến hình từ như tiếng Việt.

3. Phát hiện nào trong dữ liệu thực nghiệm gây bất ngờ nhất?
Phát hiện về nghịch lý phân phối giữa cặp từ đồng nghĩa và trái nghĩa: Các cặp từ trái nghĩa tiếng Việt (như thành công - thất bại, chăm chỉ - lười biếng) có độ tương đồng ngữ cảnh và chỉ số PMI/LMI cao tương đương, thậm chí vượt trội các cặp từ đồng nghĩa. Sự phân tách chỉ thành công khi mô hình DVASNet kết hợp thông tin đường dẫn phụ thuộc ngắn nhất (SDP) qua biLSTM với các mẫu cấu trúc hình thái đối lập nội tại của từ ghép.

4. Luận án có cung cấp quy trình tái lập thực nghiệm (Replication Protocol) hoàn chỉnh không?
Có. Luận án mô tả chi tiết từ cấu hình siêu tham số ($\beta$, learning rate, kích thước vector nhúng 300 chiều), kiến trúc mạng (LSTM 2 tầng, ma trận trọng số), quy trình tiền xử lý ngữ liệu $Vcorpus$, thuật toán trích chọn đặc trưng mã giả (Thuật toán 1, 2, 3) và công bố công khai các bộ dữ liệu chuẩn đánh giá.

5. Chương trình nghị sự nghiên cứu 10 năm tới được phác thảo như thế nào?
Trọng tâm là mở rộng không gian ngữ nghĩa tĩnh sang không gian biểu diễn đa ngữ cảnh của các Mô hình Ngôn ngữ Lớn (LLMs), kết hợp học biểu diễn đồ thị tri thức (Graph Neural Networks) để tự động hóa toàn diện quy trình xây dựng mạng từ vựng tiếng Việt đa phương thức quy mô lớn.

Kết luận

Luận án tiến sĩ "Tự động xác định quan hệ ngữ nghĩa của từ dựa trên học máy thống kê" là một công trình nghiên cứu toàn diện, mẫu mực và có tính tiên phong cao trong lĩnh vực Xử lý ngôn ngữ tự nhiên tiếng Việt. Luận án đã đạt được 6 đóng góp cốt lõi:

  1. Đề xuất và chứng minh thực nghiệm thành công Giả thuyết tập quan hệ ngữ nghĩa, tạo cơ sở lý luận mới cho việc định vị ngữ nghĩa từ vựng.
  2. Phát triển kiến trúc mạng nơ-ron EDWN và mô hình LERC tích hợp đặc trưng ngữ nghĩa mức dưới từ (SSF), nâng cao vượt bậc độ chính xác xác định quan hệ bao thuộc trên cả tiếng Việt và tiếng Anh.
  3. Thiết kế mô hình mạng nơ-ron DVASNet giải quyết triệt để bài toán phân tách đồng nghĩa - trái nghĩa với hiệu năng F1 vượt trội từ 8% đến 33% so với các mô hình cơ sở quốc tế.
  4. Sáng tạo kỹ thuật ExtLeskSim và lược đồ đồ thị GraphSim tối ưu hóa độ chính xác đo lường tương tự ngữ nghĩa đơn ngữ và song ngữ Việt - Anh.
  5. Xây dựng và công bố cho cộng đồng học thuật 4 bộ dữ liệu chuẩn hóa chất lượng cao: VLE-999, ViAS-1000, VSimLex-999, VESim-1000.
  6. Công bố hệ thống 12 công trình khoa học uy tín ([CT1] - [CT12]), tạo nền tảng vững chắc cho sự phát triển của công nghệ ngôn ngữ tính toán tiếng Việt trong kỷ nguyên Trí tuệ nhân tạo.