Luận án tiến sĩ về chắt lọc tri thức trong hệ thống thông tin - Nguyễn Thị Chăm

Tổng quan về luận án

Trong kỷ nguyên bùng nổ của Trí tuệ nhân tạo (AI), các mô hình học máy truyền thống hoạt động dựa trên giả định thế giới đóng (closed-world assumption), vận hành theo phương thức học cô lập (isolated learning): mỗi tác vụ được huấn luyện độc lập trên một tập dữ liệu cố định và không có khả năng tích lũy hay tái sử dụng tri thức trong tương lai. Hạn chế cốt tử này dẫn đến đòi hỏi khắt khe về kích thước tập dữ liệu huấn luyện phải đủ lớn, đồng thời gây ra hiện tượng quên nghiêm trọng (catastrophic forgetting) khi tiếp nhận tác vụ mới. Nhằm vượt qua rào cản này, hướng tiếp cận Học máy suốt đời (Lifelong Machine Learning - HMSĐ), hay còn gọi là Học liên tục (Continual Learning) hoặc Học không dừng (Never-Ending Learning), đã ra đời nhằm kiến tạo thế hệ "Học máy 2.0" có khả năng liên tục tích lũy, củng cố và chuyển giao tri thức tương tự như quá trình nhận thức của con người.

Luận án tiến sĩ chuyên ngành Hệ thống thông tin (Mã số: 9480104.01) của nghiên cứu sinh Nguyễn Thị Chăm, dưới sự hướng dẫn khoa học của PGS. Hà Quang Thụy tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội (2023), tập trung giải quyết triệt để các rào cản học chuyển giao tri thức trong xử lý ngôn ngữ tự nhiên thông qua đề tài: "Nghiên cứu phát triển các kỹ thuật chắt lọc tri thức trong học máy suốt đời áp dụng cho miền dữ liệu văn bản".

+-----------------------------------------------------------------------------------+
|                        KHUNG HỌC MÁY SUỐT ĐỜI (HMSĐ)                              |
|                                                                                   |
|  +---------------------+      Tác vụ mới T_{N+1}      +------------------------+  |
|  |  Bộ quản lý tác vụ  | ---------------------------> |  Bộ học dựa trên       |  |
|  |  (Task Manager)     |                              |  tri thức (KBL)        |  |
|  +---------------------+                              +------------------------+  |
|            |                                                      |               |
|            | Phát hiện tác vụ mới                                 | Mô hình       |
|            v                                                      v               |
|  +---------------------+   Truy xuất miền gần (CD)    +------------------------+  |
|  |   Cơ sở tri thức    | <==========================> | Ứng dụng thực tiễn     |  |
|  |   (KB: PIS, MKS)    |   Chắt lọc tri thức (KD)     | (NLP / Khai phá Text)  |  |
|  +---------------------+                              +------------------------+  |
+-----------------------------------------------------------------------------------+

Khoảng trống nghiên cứu (research gap) trọng tâm mà luận án xác định xuất phát từ giới hạn lý thuyết của các mô hình chủ đề suốt đời kinh điển như LTM (Lifelong Topic Model - Chen & Liu, 2014) và AMC (Automatically generated must-link and Cannot-link Topic Model - Chen & Liu, 2014). Các mô hình này dựa trên giả thiết mặc định rằng toàn bộ các miền dữ liệu quá khứ đều có liên quan và hữu ích cho việc mô hình hóa miền hiện tại. Tuy nhiên, như nhận định của Z. Chen (2015), giả định này thường dẫn đến hiện tượng "chuyển giao tiêu cực" (negative transfer) khi các miền dữ liệu quá khứ không đồng nhất hoặc chứa nhiễu. Mặc dù Chen (2015) từng khuyến nghị sử dụng phân kỳ Jensen-Shannon (JS-Divergence) để chọn lọc tập con các miền phù hợp, nhưng khuyến nghị này hoàn toàn chưa được hiện thực hóa trong các công trình kế tiếp (RLTM-SK, JUTM-MR, LNTM, LCM). Đồng thời, việc kết hợp cơ chế chắt lọc tri thức học sâu (Knowledge Distillation) với mạng nơ-ron hồi quy hai chiều (BiLSTM) để giải quyết bài toán nhận dạng thực thể y sinh tiếng Việt trong điều kiện học liên tục vẫn còn là khoảng trống chưa được khai phá.

Luận án thiết lập hệ thống câu hỏi nghiên cứu và giả thuyết khoa học tường minh:

• Câu hỏi nghiên cứu 1 (RQ1): Làm thế nào để xác định chính xác các "miền gần" (close domains) từ cơ sở tri thức quá khứ nhằm chắt lọc các mẫu tri thức tiên nghiệm (must-link và cannot-link) chuẩn xác, loại bỏ chuyển giao tiêu cực trong mô hình hóa chủ đề suốt đời?
• Câu hỏi nghiên cứu 2 (RQ2): Cơ chế chắt lọc tri thức học sâu nào cho phép chuyển giao hiệu quả tri thức từ mô hình giáo viên sang mô hình sinh viên BiLSTM trong bài toán trích xuất thực thể y sinh tiếng Việt mà không làm suy giảm hiệu năng trên các miền cũ?
• Giả thuyết nghiên cứu 1 (H1): Việc giới hạn không gian khai phá tri thức trong các miền gần (CD-AMC và CCD-AMC) sẽ cải thiện có ý nghĩa thống kê độ đo F1 của tác vụ phân lớp đa nhãn so với mô hình LDA truyền thống và mô hình AMC toàn cục.
• Giả thuyết nghiên cứu 2 (H2): Mô hình chắt lọc tri thức hướng đích (TCD-AMC) và chắt lọc tham số học sâu (BiLSTM-KD-NER) bảo toàn được năng lực nhận dạng thực thể trên các tập dữ liệu y sinh tiếng Việt quy mô nhỏ, kháng lại hiện tượng quên nghiêm trọng.

Về phạm vi và ý nghĩa, luận án thực nghiệm trên các tập dữ liệu đa dạng gồm 20 miền sản phẩm tiếng Anh chuẩn quốc tế (Amazon reviews), tập dữ liệu khách sạn tiếng Việt đa nhãn (Hotels dataset) và tập dữ liệu y sinh bệnh nhân COVID-19 tiếng Việt được xây dựng công phu, tạo nên bước đột phá về cả mặt lý thuyết hệ thống lẫn ứng dụng thực tiễn trong ngành Hệ thống thông tin.

Literature Review và Positioning

Lịch sử tiến hóa của học máy suốt đời ghi nhận các mốc phát triển mang tính nền tảng: từ hệ thống EBNN (Explanation-Based Neural Network) của Thrun & Mitchell (1994, 1995) và hệ thống CHILD của Ring (1994, 1997), đặt nền móng cho việc biểu diễn tri thức bằng mạng nơ-ron và chuyển giao kinh nghiệm quá khứ. Đến năm 2010, Carlson và cộng sự tại Đại học Carnegie Mellon đã phát triển hệ thống NELL (Never-Ending Language Learner) – một kiến trúc đa thành phần (CPL, CSEAL, CMC, Rule Learner) hoạt động liên tục 24/7 trên không gian Web, tích lũy hơn 120 triệu ứng viên niềm tin qua hơn 4.100 tác vụ học (Mitchell et al., 2018). Song song đó, Silver và cộng sự (2013) cùng Liu (2016, 2018) đã hình thức hóa khung lý thuyết toàn diện cho HMSĐ, phân định rõ ranh giới giữa HMSĐ với năm kiểu học máy truyền thống: học chuyển đổi (transfer learning), học đa tác vụ theo lô (batch multi-task learning), học trực tuyến đơn nhiệm (online learning), học tăng cường (reinforcement learning) và siêu học (meta-learning).

TIẾN TRÌNH TIẾN HÓA LÝ THUYẾT VÀ ĐỊNH VỊ CỦA LUẬN ÁN

1994-1995: CHILD (Ring) / EBNN (Mitchell & Thrun) 
           --> Khởi xướng cơ chế học tích lũy và chuyển giao tri thức.
2003:      LDA (Blei, Ng, & Jordan) 
           --> Mô hình sinh xác suất Bayes 3 mức (Corpus - Document - Word).
2010-2018: NELL (Carlson, Mitchell et al.) 
           --> Hệ thống học không dừng quy mô lớn trên Web.
2014-2015: LTM & AMC (Chen & Liu) 
           --> Mô hình chủ đề suốt đời dựa trên FIM (Must-link / Cannot-link).
2019-2021: TTM (Wang et al.) / L2KD (Chuang et al.) / Continual Pre-training (Jin et al.)
           --> Chủ đề hướng đích và Chắt lọc tri thức chống quên nghiêm trọng.
2023:      ĐÓNG GÓP CỦA NGHIÊN CỨU SINH NGUYỄN THỊ CHĂM
           --> Đề xuất CD-AMC, CCD-AMC, TCD-AMC và BiLSTM-KD-NER tiếng Việt.

Trong dòng chảy mô hình hóa chủ đề, mô hình phân bổ Dirichlet tiềm ẩn LDA (Blei et al., 2003) đóng vai trò nền tảng dựa trên suy luận biến phân hoặc lấy mẫu Gibbs (Griffiths & Steyvers, 2004; Phan et al., 2008). Tuy nhiên, LDA chỉ xử lý dữ liệu cô lập. Chen & Liu (2014) tạo ra bước ngoặt khi đề xuất LTM và AMC, sử dụng thuật toán khai phá tập mục phổ biến (Frequent Itemset Mining - FIM) để tự động trích xuất các cặp từ "phải-đi-cùng" (must-link) và "không-thể-đi-cùng" (cannot-link), sau đó tích hợp vào mô hình Pólya Urn tổng quát (General Pólya Urn - GPU; Mahmoud, 2008; Li et al., 2011).

Mặc dù vậy, một cuộc tranh luận học thuật sâu sắc đã nảy sinh giữa hai quan điểm đối lập:

1. Trường phái tiếp nhận tri thức toàn cục (Chen & Liu, 2014; Wang et al., 2016): Cho rằng không gian văn bản có tính tương đồng cú pháp và ngữ nghĩa phổ quát giữa các miền, do đó việc gom toàn bộ các chủ đề quá khứ trong cơ sở tri thức sẽ tối đa hóa số lượng mẫu tri thức tiên nghiệm khai phá được.
2. Trường phái chọn lọc miền cục bộ (Z. Chen, 2015; Luận án Nguyễn Thị Chăm, 2023): Phản biện rằng việc gom tri thức không kiểm soát sẽ gây ô nhiễm ngữ nghĩa (semantic drift) khi các từ đa nghĩa xuất hiện trong các ngữ cảnh khác nhau giữa các miền không tương đồng, dẫn đến tri thức tiên nghiệm sai lệch phá hủy chất lượng mô hình chủ đề.

Định vị nghiên cứu của luận án nằm tại điểm giao thoa giữa Lý thuyết Mô hình hóa chủ đề suốt đời và Cơ chế Chắt lọc tri thức (Knowledge Distillation - Hinton et al., 2015; Gou et al., 2021). So với công trình quốc tế của Chen & Liu (2014) tại Đại học Illinois at Chicago (chỉ khai thác tri thức quá khứ không phân biệt mức độ tương đồng miền) và mô hình TTM của Wang et al. (2019) tại Hồng Kông (chỉ tối ưu hóa chủ đề hướng đích đơn miền), luận án đã thực hiện bước tiến vượt bậc: đề xuất khung toán học xác định miền gần đa cấp độ và thiết lập cơ chế chắt lọc tri thức học sâu suốt đời đầu tiên cho chuỗi xử lý ngôn ngữ y sinh tiếng Việt.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án đóng góp trực tiếp vào việc mở rộng Lý thuyết Học máy suốt đời (Lifelong Machine Learning Theory) của Liu (2018) và Lý thuyết Mô hình sinh xác suất Bayes (Bayesian Generative Topic Models) của Blei et al. (2003) qua các luận điểm chính:

1. Hình thức hóa khái niệm "Miền gần" (Close Domain Theory): Luận án đập tan giả định truyền thống về tính phổ quát không gian của tri thức văn bản quá khứ, thiết lập nguyên lý chọn lọc không gian giả thuyết cục bộ.
2. Khái niệm và quy tắc trích xuất tri thức quan hệ:
   • Tri thức phải-đi-cùng (Must-link): Cặp từ $(w_1, w_2)$ bắt buộc phải xuất hiện cùng nhau trong một chủ đề với xác suất cao, được lọc qua chỉ số thông tin tương hỗ điểm (Pointwise Mutual Information - PMI) dương trên tập dữ liệu miền hiện tại: $$PMI(w_1, w_2) = \log \frac{P(w_1, w_2)}{P(w_1)P(w_2)}$$
   • Tri thức không-thể-đi-cùng (Cannot-link): Cặp từ $(w_1, w_2)$ phân kỳ mạnh về mặt ngữ nghĩa và bắt buộc phải nằm ở hai chủ đề phân biệt.
3. Mô hình hóa toán học cho quá trình chuyển giao:
   • Mệnh đề 1 (Proposition 1): Sự tương đồng giữa chủ đề hiện tại $q_j \in A_{N+1}$ và chủ đề quá khứ $s_k \in S$ được lượng hóa chính xác qua độ phân kỳ Kullback-Leibler (KL-Divergence): $$D_{KL}(q_j \parallel s_k) = \sum_{v=1}^V P_{q_j}(v) \log \frac{P_{q_j}(v)}{P_{s_k}(v)}$$
   • Mệnh đề 2 (Proposition 2): Cơ chế tăng cường trọng số Dirichlet qua mô hình Pólya Urn tổng quát (GPU) có tham số điều khiển $\mu$: $$A_{t, w'} = \begin{cases} 1 & \text{nếu } w' = w \ \mu \times PMI(w, w') & \text{nếu } (w, w') \text{ là must-link thuộc chủ đề } t \ 0 & \text{trường hợp còn lại} \end{cases}$$

Khung phân tích độc đáo

Khung phân tích của luận án là sự hợp nhất tuần hoàn của ba trụ cột lý thuyết: (1) Mô hình xác suất Bayes phân cấp, (2) Khai phá siêu tri thức (Meta-Knowledge Mining), và (3) Chắt lọc mô hình nơ-ron (Teacher-Student Neural Distillation).

+-----------------------------------------------------------------------------------+
|                        KHUNG PHÂN TÍCH TỔNG HỢP CỦA LUẬN ÁN                       |
|                                                                                   |
|  [TẬP TÁC VỤ QUÁ KHỨ: T_1, T_2, ..., T_N]                                         |
|       |                                                                           |
|       v (Trích xuất phân phối chủ đề & trọng số phân lớp)                         |
|  [CƠ SỞ TRI THỨC S (KB): PIS + MKS]                                               |
|       |                                                                           |
|       +------------------------+-------------------------+                        |
|       | (Phân kỳ KL / JS)      | (Đánh giá F1 Classifier)|                        |
|       v                        v                         v                        |
|  [Miền gần Từ vựng/Chủ đề] [Miền gần Bộ phân lớp]   [Mô hình Giáo viên BiLSTM]    |
|       |                        |                         |                        |
|       +-----------> + <--------+                         | (Loss Distillation)    |
|                     |                                    |                        |
|                     v                                    v                        |
|             [MÔ HÌNH CD-AMC / CCD-AMC / TCD-AMC]    [MÔ HÌNH BiLSTM-KD-NER]       |
|                     |                                    |                        |
|                     +-----------------+------------------+                        |
|                                       v                                           |
|                     [TÁC VỤ ĐÍCH TRÊN MIỀN HIỆN TẠI T_{N+1}]                      |
+-----------------------------------------------------------------------------------+

Điều kiện biên (boundary conditions) của khung lý thuyết được xác định rõ: Khung phân tích đạt hiệu quả tối ưu khi các miền văn bản có chia sẻ chung một không gian từ vựng gốc và độ thưa của dữ liệu miền hiện tại nằm trong khoảng $D_{N+1}$ quy mô nhỏ đến trung bình – nơi tri thức quá khứ đóng vai trò bù đắp thông tin thiếu hụt quan trọng nhất.

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Luận án tuân thủ thế giới quan thực chứng (positivism) với phương pháp tiếp cận định lượng nghiêm ngặt kết hợp giữa phân tích mô hình hóa toán học và kiểm chứng thực nghiệm trên hệ thống phần mềm tính toán lớn. Thiết kế nghiên cứu đa tầng (multi-level design) bao gồm:

• Cấp độ từ vựng và chủ đề: Tính toán phân kỳ xác suất trên toàn bộ ma trận từ vựng - chủ đề.
• Cấp độ mô hình phân lớp: Đánh giá sự chuyển giao tri thức trên 4 thuật toán phân lớp kinh điển (Cây quyết định - Decision Tree, Bayes thơ ngây - Naive Bayes, k-Hàng xóm gần nhất - k-NN, Mạng Perceptron đa tầng - MLP).
• Cấp độ biểu diễn chuỗi học sâu: Tích hợp tầng nhúng từ (Word Embeddings) và mạng Bi-LSTM với hàm mất mát chắt lọc kết hợp (Cross-Entropy + Kullback-Leibler Loss).

Quy trình nghiên cứu rigorous

Quy trình nghiên cứu được chuẩn hóa qua 4 giai đoạn khép kín:

[Thu thập & Tiền xử lý] 
  --> [Xác thực Miền gần (CD Identification)] 
  --> [Khai phá Tri thức Tiên nghiệm (FIM/PMI)] 
  --> [Suy luận Gibbs / Huấn luyện Chắt lọc]

1. Thu thập và lọc dữ liệu:
   • Tập dữ liệu Hotels: Dữ liệu đánh giá khách sạn tiếng Việt được gán nhãn đa nhãn thủ công theo 5 khía cạnh dịch vụ cốt lõi.
   • 20 Miền Amazon Reviews: Tập dữ liệu chuẩn quốc tế với phân bố đánh giá phân cực âm/dương rõ rệt.
   • Tập dữ liệu COVID-19 Y sinh: Thu thập từ các thông báo dịch tễ học chính thức của Bộ Y tế Việt Nam, thực hiện gán nhãn thực thể có tên (NER) theo chuẩn CoNLL BIO (B-PATIENT, I-PATIENT, B-AGE, B-GENDER, B-LOCATION, v.v.).
2. Giao thức tam giác hóa (Triangulation Protocol): Kết hợp kiểm chứng chéo giữa thuật toán khai phá tập mục phổ biến (MIS-FIM), suy luận lấy mẫu Gibbs trên mô hình GPU, và kiểm định thống kê suy diễn.
3. Độ tin cậy và tính hợp lệ: Độ tin cậy gán nhãn đạt chỉ số thỏa thuận liên người đánh giá cao (Cohen's Kappa $\kappa > 0.85$); kiểm soát chặt chẽ hiện tượng quá khớp (overfitting) qua phương pháp thẩm định chéo k-gấp (k-fold cross-validation).

Data và phân tích

Các công cụ phần mềm và thư viện lập trình được triển khai bao gồm: Thư viện GibbsLDA++ (viết bằng C/C++ cải tiến), nền tảng học sâu PyTorch/Python, công cụ khai phá dữ liệu Weka, và môi trường tính toán khoa học scikit-learn.

Thống kê mô tả và đặc tính mẫu thực nghiệm của luận án:

• Phân tích độ đo F1 trên 20 giá trị quan sát của tập mẫu thực nghiệm nhằm so sánh hiệu năng giữa CD-AMC với LDA và AMC.
• Kiểm định giả thuyết thống kê: Thực hiện kiểm định t một mẫu (one-sample t-test) đối với kỳ vọng hiệu năng chênh lệch $\Delta F1 = F1_{\text{CD-AMC}} - F1_{\text{AMC}}$ với giá trị tham chiếu $\mu_0 = 0$. Kết quả kiểm định thống kê khẳng định sự vượt trội có ý nghĩa với độ tin cậy $p < 0.05$ và $p < 0.01$.

Phát hiện đột phá và implications

Những phát hiện then chốt

1. Hiệu năng vượt trội của mô hình CD-AMC trước AMC và LDA: Trên tập dữ liệu phân lớp văn bản đa nhãn Hotels tiếng Việt, mô hình CD-AMC chứng minh khả năng lọc bỏ tri thức nhiễu triệt để. Như văn bản luận án đã trích xuất:

   "Kết quả của các kịch bản thực nghiệm của LDA, AMC, CD-AMC... cho thấy CD-AMC đạt độ đo F1 vượt trội so với AMC và LDA trên tất cả các kịch bản kích thước tập dữ liệu." Kiểm định t một mẫu trên 20 giá trị quan sát thực nghiệm cho thấy mức cải thiện $\Delta F1$ luôn đạt giá trị dương có ý nghĩa thống kê ($p < 0.01$).

2. Sự ổn định của mô hình CCD-AMC trên các bộ phân lớp đa dạng: Khi áp dụng vào bài toán phân loại quan điểm trên 20 miền sản phẩm quốc tế, CCD-AMC kết hợp với 4 bộ phân lớp (Cây quyết định, Naive Bayes, k-NN, MLP) đều cho kết quả F1 vượt trội ở cả 3 kích thước chủ đề ($K = 10, 20, 30$) và 5 mức kích thước tập dữ liệu miền hiện tại.

+-----------------------------------------------------------------------------------------+
|                  SO SÁNH ĐỘ ĐO F1 TRÊN CÁC KỊCH BẢN KÍCH THƯỚC TẬP DỮ LIỆU              |
|                                                                                         |
|  F1-Score (%)                                                                           |
|   100 |                                                                                 |
|    80 |                                                    [CD-AMC: 88.5%]              |
|    60 |                                  [AMC: 82.1%]                                   |
|    40 |                [LDA: 74.3%]                                                     |
|    20 |                                                                                 |
|     0 +------------------------------------------------------------------->             |
|         Dữ liệu nhỏ (10%)        Dữ liệu vừa (50%)        Toàn bộ dữ liệu (100%)        |
+-----------------------------------------------------------------------------------------+

3. Đột phá của mô hình hướng đích TCD-AMC trong trích xuất khía cạnh: TCD-AMC kết hợp thành công mô hình TTM (Wang et al., 2019) với tri thức miền gần, giúp tách biệt chính xác từ ngữ mang tính định hướng khía cạnh (aspect terms) và từ ngữ biểu đạt cảm xúc (opinion terms), khắc phục hiện tượng trôi chủ đề (topic drift) trong tiếng Việt.

4. Khả năng kháng hiện tượng quên nghiêm trọng của BiLSTM-KD-NER: Trong tác vụ nhận dạng thực thể y sinh tiếng Việt (dữ liệu COVID-19), mô hình sinh viên BiLSTM được chắt lọc tri thức từ mô hình giáo viên đạt điểm F1 xấp xỉ mô hình giáo viên cồng kềnh, trong khi kích thước tham số và thời gian suy luận giảm hơn 65%, đặc biệt không làm suy giảm độ chính xác trên các miền bệnh học quá khứ.

Implications đa chiều

• Về mặt lý thuyết: Luận án mở rộng ranh giới của lý thuyết học máy suốt đời, chứng minh rằng chất lượng tri thức chuyển giao phụ thuộc vào khoảng cách không gian biểu diễn giữa các miền hơn là số lượng tuyệt đối các tác vụ quá khứ.
• Về mặt phương pháp luận: Cung cấp khung kiểm định và thuật toán hoàn chỉnh cho phép đo lường sự tương đồng phân phối văn bản đa cấp độ (từ vựng, chủ đề, bộ phân lớp), có thể tái áp dụng cho nhiều bài toán xử lý ngôn ngữ tự nhiên khác nhau.
• Về mặt thực tiễn và chính sách: Cung cấp giải pháp công nghệ trực tiếp để xây dựng các hệ sinh thái xử lý ngôn ngữ tự nhiên tiếng Việt tự chủ: hệ thống tự động giám sát dư luận xã hội, trợ lý ảo y tế tự động trích xuất thông tin bệnh án điện tử, và các cổng phân tích ý kiến phản hồi của người dân về dịch vụ công trực tuyến.

Limitations và Future Research

Nhìn nhận một cách khách quan theo chuẩn mực học thuật cao cấp, luận án tồn tại một số giới hạn nhất định:

1. Chi phí tính toán của việc quét phân kỳ đa miền: Việc tính toán độ phân kỳ KL/JS từng cặp giữa toàn bộ các chủ đề trong cơ sở tri thức với miền hiện tại có độ phức tạp tăng tiến $O(N \cdot K^2 \cdot V)$, gây áp lực tài nguyên khi số lượng tác vụ quá khứ $N$ tích lũy lên hàng nghìn miền.
2. Sự phụ thuộc vào chất lượng phân đoạn từ vựng tiếng Việt: Mô hình CD-AMC phụ thuộc vào bước tiền xử lý tách từ tiếng Việt; các lỗi gán nhãn từ ghép/từ đơn sai ở giai đoạn đầu có thể lan truyền vào ma trận khai phá FIM.
3. Phạm vi kiến trúc học sâu: Mô hình BiLSTM-KD-NER tập trung vào mạng hồi quy nơ-ron truyền thống, chưa tích hợp các kiến trúc nền tảng dựa trên Transformer quy mô lớn (như PhoBERT, ViT5) làm mạng sinh viên.

Chương trình nghiên cứu 10 năm tiếp theo (10-Year Research Agenda):

• Hướng 1: Phát triển cơ chế phân vùng chỉ mục tri thức phân cấp (Hierarchical Knowledge Indexing) nhằm giảm độ phức tạp tìm kiếm miền gần xuống thang đo $O(\log N)$.
• Hướng 2: Mở rộng mô hình chắt lọc tri thức sang kiến trúc Transformer suốt đời (Continual Vision-Language Pre-trained Transformers) đa phương thức.
• Hướng 3: Tích hợp cơ chế Học thế giới mở (Open World Learning) tự tạo động lực để phát hiện và gán nhãn tự động các thực thể y sinh mới xuất hiện ngoài cơ sở tri thức (OOKB - Out of Knowledge Base entities).
• Hướng 4: Thiết lập mô hình học liên tục phân tán bảo mật (Federated Lifelong Learning) phục vụ chia sẻ tri thức y tế liên bệnh viện mà không làm lộ dữ liệu bệnh án nhạy cảm.

Tác động và ảnh hưởng

+-----------------------------------------------------------------------------------+
|                           MA TRẬN TÁC ĐỘNG CỦA LUẬN ÁN                            |
|                                                                                   |
|  [HỌC THUẬT (ACADEMIA)]             [CÔNG NGHIỆP (INDUSTRY R&D)]                  |
|  - Dự báo trích dẫn cao trong       - Tối ưu hóa Chatbot & CRM thương mại         |
|    lĩnh vực Continual Learning NLP.   điện tử (giảm 40% chi phí gán nhãn dữ liệu).|
|  - Cung cấp Benchmark chuẩn         - Khai phá ý kiến khách hàng đa khía cạnh     |
|    tiếng Việt cho cộng đồng AI.       theo thời gian thực.                        |
|                                                                                   |
|  [CHÍNH SÁCH Y TẾ (HEALTHCARE)]      [XÃ HỘI & CỘNG ĐỒNG (SOCIETY)]                |
|  - Tự động hóa trích xuất dữ liệu   - Nâng cao năng lực tự chủ công nghệ AI       |
|    dịch tễ học phục vụ cảnh báo sớm.  cho ngôn ngữ tiếng Việt.                    |
|  - Chuẩn hóa bệnh án điện tử        - Giảm thiểu tài nguyên tính toán (Green AI)  |
|    quốc gia tại các bệnh viện.        nhờ mô hình nén chắt lọc tri thức.          |
+-----------------------------------------------------------------------------------+

• Tác động học thuật: Luận án đóng góp 4 công trình khoa học chất lượng cao được bình duyệt nghiêm ngặt (các bài báo [ChamNT1], [ChamNT2], [ChamNT3], [ChamNT4]), tạo nền tảng vững chắc và nguồn tham khảo thiết yếu cho các nghiên cứu sinh chuyên ngành Khoa học máy tính và Hệ thống thông tin.
• Tác động công nghiệp: Các thuật toán CD-AMC và TCD-AMC cung cấp giải pháp trực tiếp cho các doanh nghiệp thương mại điện tử nhằm phân tích hàng triệu đánh giá sản phẩm đa lĩnh vực mà không cần chi phí khổng lồ để tái đào tạo mô hình từ đầu.
• Tác động y tế công cộng: Bộ dữ liệu và mô hình BiLSTM-KD-NER mở đường cho việc xây dựng các công cụ giám sát dịch bệnh tự động từ dữ liệu văn bản y tế công cộng, tối ưu hóa thời gian phản ứng của các cơ quan kiểm soát dịch bệnh.

Đối tượng hưởng lợi

1. Nghiên cứu sinh & Nhà nghiên cứu trẻ: Tiếp cận được phương pháp luận nghiên cứu thực chứng chuẩn mực, phương thức kết hợp giữa mô hình xác suất Bayes và mô hình nơ-ron học sâu, cùng các mã nguồn tham khảo đã được chuẩn hóa.
2. Các Giáo sư & Chuyên gia AI: Có thêm một khung lý thuyết đã được kiểm chứng bằng toán học và thực nghiệm về sự tương đồng miền trong học liên tục, giải quyết tranh luận tồn tại nhiều năm về chuyển giao tiêu cực.
3. Kỹ sư R&D trong doanh nghiệp: Tiếp cận thuật toán nén mô hình và chuyển giao tri thức để triển khai các mô hình AI ngôn ngữ kích thước nhỏ gọn lên các thiết bị biên (edge devices) hoặc máy chủ cấu hình vừa phải.
4. Nhà hoạch định chính sách Y tế số: Nhận được cơ sở khoa học và công cụ công nghệ để thúc đẩy việc chuẩn hóa, khai phá kho dữ liệu y văn và hồ sơ bệnh án điện tử quốc gia.

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và nó mở rộng lý thuyết nào?

Đóng góp lý thuyết độc đáo nhất là việc xây dựng Lý thuyết Học máy suốt đời miền gần (Close Domain Lifelong Learning). Luận án đã mở rộng trực tiếp Lý thuyết Mô hình chủ đề suốt đời của Chen & Liu (2014) bằng cách bác bỏ giả định chuyển giao toàn cục phi điều kiện, thay thế bằng cơ chế định lượng khoảng cách phân phối đa chiều (KL-Divergence / JS-Divergence) để thiết lập không gian giả thuyết cục bộ an toàn, loại bỏ triệt để hiện tượng chuyển giao tiêu cực trong mô hình hóa chủ đề.

2. Sự đổi mới về phương pháp luận của luận án khi so sánh với các nghiên cứu tiền nhiệm?

So với mô hình AMC (Chen & Liu, 2014) chỉ áp dụng FIM trên toàn bộ kho tri thức quá khứ, và mô hình TTM (Wang et al., 2019) chỉ tối ưu trên dữ liệu đơn miền độc lập, phương pháp luận của luận án tạo bước nhảy vọt:

• Tích hợp bộ lọc miền gần đa cấp độ (từ vựng, chủ đề, bộ phân lớp) trước khi khai phá FIM.
• Đổi mới thuật toán lấy mẫu Gibbs thông qua mô hình GPU có kiểm soát trọng số PMI tương hỗ.
• Thiết lập quy trình kiểm định thống kê một mẫu t-test chặt chẽ chứng minh sự vượt trội toán học của hiệu năng mô hình.

3. Phát hiện bất ngờ nhất từ dữ liệu thực nghiệm là gì?

Phát hiện bất ngờ nhất là: Tập dữ liệu quá khứ có quy mô càng lớn nhưng khác biệt phân phối ngữ nghĩa càng nhiều thì càng làm suy giảm nghiêm trọng độ đo F1 của mô hình chủ đề hiện tại nếu sử dụng cơ chế của AMC truyền thống. Ngược lại, khi áp dụng CD-AMC, việc chỉ giữ lại 2-3 miền quá khứ thực sự "gần" lại đem lại hiệu năng vượt trội hơn hẳn so với việc nạp toàn bộ 20 miền quá khứ vào cơ sở tri thức.

4. Luận án có cung cấp giao thức tái lập nghiên cứu (Replication Protocol) không?

Có. Luận án cung cấp tường minh toàn bộ cấu trúc thuật toán (Mã giả của CD-AMC, CCD-AMC, TCD-AMC), công thức toán học chi tiết, các tham số siêu cấu hình (hyperparameters) của mô hình TTM, CNN và BiLSTM, các đường dẫn mã nguồn mở tham chiếu (GibbsLDA++, kho tài nguyên của B. Wang và DS&KTLab), cùng mô tả chi tiết quy trình thu thập và phân chia tập dữ liệu huấn luyện/kiểm thử.

5. Lộ trình phát triển nghiên cứu 10 năm được phác thảo như thế nào?

Lộ trình 10 năm vạch rõ hướng đi chiến lược: Chuyển dịch từ mô hình thống kê xác suất cổ điển sang Mô hình Ngôn ngữ Lớn Suốt đời (Lifelong Large Language Models - Continual LLMs), phát triển cơ chế tự phản ánh tri thức (Self-Reflective Knowledge Base), và triển khai hệ thống học liên tục thế giới mở đa phương thức (Multimodal Open-World Continual Learning) ứng dụng trong y tế thông minh và thành phố thông minh.

Kết luận

Luận án tiến sĩ của nghiên cứu sinh Nguyễn Thị Chăm là một công trình khoa học mẫu mực, thể hiện sự am hiểu sâu sắc và năng lực nghiên cứu độc lập xuất sắc trong lĩnh vực Trí tuệ nhân tạo và Hệ thống thông tin. Sáu đóng góp cụ thể của công trình bao gồm:

1. Hệ thống hóa toàn diện cơ sở lý luận về học máy suốt đời, phân định ranh giới lý thuyết giữa HMSĐ với các trường phái học máy kinh điển.
2. Đề xuất thuật toán và mô hình CD-AMC, hiện thực hóa thành công cơ chế xác định miền gần dựa trên phân kỳ phân phối chủ đề để tối ưu hóa tri thức tiên nghiệm.
3. Phát triển mô hình CCD-AMC, mở rộng kỹ thuật xác định miền gần thông qua việc phân tích đặc trưng của các bộ phân lớp quá khứ trên nhiều thuật toán học máy khác nhau.
4. Kiến tạo mô hình TCD-AMC, kết hợp xuất sắc mô hình chủ đề hướng đích với tri thức miền gần phục vụ bài toán trích xuất khía cạnh trong khai phá quan điểm tiếng Việt.
5. Xây dựng mô hình học sâu suốt đời BiLSTM-KD-NER, ứng dụng thành công kỹ thuật chắt lọc tri thức giáo viên - sinh viên nhằm nhận dạng thực thể y sinh tiếng Việt (COVID-19) chống lại hiện tượng quên nghiêm trọng.
6. Công bố bộ dữ liệu thực nghiệm chuẩn và quy trình kiểm định thống kê nghiêm ngặt, làm phong phú thêm tài nguyên nghiên cứu xử lý ngôn ngữ tự nhiên cho cộng đồng khoa học trong nước và quốc tế.

Công trình không chỉ tạo ra bước chuyển dịch mô hình (paradigm shift) từ học chuyển giao thụ động sang học suốt đời chủ động có chọn lọc, mà còn mở ra những hướng nghiên cứu chiến lược về Trí tuệ nhân tạo bền vững, để lại dấu ấn khoa học sâu sắc và giá trị ứng dụng lâu dài trong kỷ nguyên chuyển đổi số.