Luận án: Nâng cao độ chính xác xác thực người nói bằng học sâu với tài nguyên hạn chế

Tổng quan về luận án

Luận án tập trung vào việc “Nâng cao độ chính xác xác thực người nói sử dụng học sâu với tài nguyên hạn chế” trong bối cảnh các hệ thống nhận dạng và xác thực sinh trắc học dựa trên giọng nói đang phát triển mạnh mẽ. Nghiên cứu này đặt mình vào tiền tuyến của lĩnh vực khoa học máy tính, đặc biệt là trong xử lý ngôn ngữ tự nhiên và học sâu ứng dụng, bằng cách giải quyết một trong những thách thức cốt lõi: tối ưu hóa hiệu suất của hệ thống xác thực người nói trong điều kiện nguồn dữ liệu huấn luyện hạn chế. Tính tiên phong của nghiên cứu nằm ở việc chủ động khắc phục sự chênh lệch lớn về tài nguyên dữ liệu giữa tiếng Việt và các ngôn ngữ phổ biến khác như tiếng Anh và tiếng Trung Quốc, một yếu tố hạn chế đáng kể sự phát triển của các ứng dụng AI bản địa.

Research gap SPECIFIC với citations từ literature: Khoảng trống nghiên cứu được xác định rõ ràng là sự thiếu hụt cơ sở dữ liệu lớn và đa dạng cho tiếng Việt, cản trở việc huấn luyện các mô hình học sâu tiên tiến đạt độ chính xác cao. Cụ thể, luận án chỉ rõ: "Với bài toán xác thực người nói, cơ sở dữ liệu (CSDL) cho tiếng Anh vẫn chiếm ưu thế hơn so với ngôn ngữ tiếng Việt. Cụ thể, tập dữ liệu VoxCeleb2 [14] gồm 6,112 người nói trong khi dữ liệu VLSP2021-SV [18] chỉ có 1,305 người nói. Số giờ thu âm của VoxCeleb2 là 2,442 giờ trong khi dữ liệu tiếng Việt VLSP2021-SV chỉ là 41 giờ (số giờ dữ liệu tiếng Anh lớn gấp 60 lần so với dữ liệu tiếng Việt)." Sự chênh lệch này dẫn đến nguy cơ quá khớp (overfitting) và khả năng tổng quát hóa kém của mô hình khi triển khai trong môi trường thực tế với tài nguyên hạn chế, một vấn đề mà các phương pháp sinh trắc học khác như nhận dạng vân tay, khuôn mặt hay mống mắt cũng gặp phải với những hạn chế riêng về điều kiện môi trường, bảo mật và chi phí [trang 2-3 phần "Tính cấp thiết của đề tài luận án" trong tài liệu gốc]. Luận án đặt ra mục tiêu nghiên cứu và ứng dụng các mô hình học sâu hiện đại được huấn luyện trên dữ liệu lớn (tiếng Anh, tiếng Trung Quốc), sau đó tinh chỉnh trên dữ liệu tiếng Việt hạn chế.

Research questions và hypotheses: Mục tiêu tổng quát của luận án là đề xuất các giải pháp nâng cao chất lượng xác thực người nói với tài nguyên hạn chế. Các câu hỏi nghiên cứu cụ thể bao gồm:

1. Làm thế nào để lựa chọn và trích xuất đặc trưng âm học tối ưu cho các mô hình học sâu nhằm nâng cao độ chính xác xác thực người nói tiếng Việt?
2. Những mô hình học sâu và phương pháp học chuyển giao nào có thể được áp dụng và tối ưu hóa để cải thiện độ chính xác xác thực người nói trong môi trường dữ liệu tiếng Việt hạn chế?

Các giả thuyết nghiên cứu chính là: H1: Việc sử dụng đặc trưng âm học tiên tiến như Mel-Filter Bank Energys (MFBEs) làm đầu vào cho mô hình ECAPA-TDNN sẽ cải thiện đáng kể độ chính xác xác thực người nói tiếng Việt so với các đặc trưng truyền thống như MFCCs. H2: Áp dụng kỹ thuật học chuyển giao (Transfer Learning) từ các mô hình học sâu đã được huấn luyện trước trên tập dữ liệu lớn (ví dụ, RawNet3 trên VoxCeleb2) và tinh chỉnh chúng trên dữ liệu tiếng Việt hạn chế sẽ cho hiệu suất tốt hơn đáng kể so với việc huấn luyện mô hình từ đầu chỉ trên dữ liệu tiếng Việt hạn chế.

Theoretical framework với tên theories cụ thể: Khung lý thuyết của luận án được xây dựng trên nền tảng của các lý thuyết học sâu và nhận dạng tiếng nói. Các lý thuyết chính bao gồm:

• Deep Neural Networks (DNNs): Làm nền tảng cho khả năng học biểu diễn thông tin phức tạp từ dữ liệu thô, đặc biệt trong việc tạo ra các speaker embedding có khả năng phân biệt cao [108].
• Convolutional Neural Networks (CNNs): Được sử dụng rộng rãi trong trích chọn đặc trưng từ ảnh phổ và dữ liệu thô, với các kiến trúc như ResNet [121], VGGVox [trang 66 bảng 3.2], và RawNet [46] đóng vai trò quan trọng trong việc học các đặc trưng âm học mạnh mẽ.
• Recurrent Neural Networks (RNNs) và Long Short-Term Memory (LSTM): Các mô hình này được xem xét cho khả năng xử lý chuỗi thời gian, mặc dù luận án tập trung hơn vào các kiến trúc CNN và TDNN [80][100][118][126].
• Time Delay Neural Networks (TDNNs): Kiến trúc này, nổi bật với x-vectors [108] và ECAPA-TDNN [22], cho phép nắm bắt ngữ cảnh thời gian ngắn của tín hiệu giọng nói, tạo ra các đặc trưng nhúng hiệu quả.
• Gaussian Mixture Models (GMMs) và Probabilistic Linear Discriminant Analysis (PLDA): Dù các phương pháp học sâu đã vượt trội, GMMs [91] và i-vector/PLDA [19] vẫn là cơ sở lịch sử và được dùng để so sánh hiệu suất, đặc biệt trong đánh giá độ tương tự giữa các speaker embedding.
• Transfer Learning: Một lý thuyết cốt lõi cho phép tận dụng kiến thức đã học từ một miền (ví dụ, dữ liệu lớn tiếng Anh) sang một miền khác (dữ liệu hạn chế tiếng Việt), giải quyết hiệu quả vấn đề tài nguyên hạn chế.

Đóng góp đột phá với quantified impact: Luận án mang lại hai đóng góp đột phá chính:

1. Nâng cao độ chính xác xác thực người nói tiếng Việt bằng đặc trưng MFBEs và mô hình ECAPA-TDNN: Luận án đề xuất sử dụng đặc trưng MFBEs với mô hình ECAPA-TDNN cho bài toán xác thực người nói tiếng Việt. "Từ thực nghiệm với mô hình đề xuất trong luận án cho thấy đặc trưng MFBEs với mô hình ECAPA-TDNN cho kết quả tốt hơn so với đặc trưng MFCCs." (Chương 2). Cụ thể, Bảng 1.1 từ nghiên cứu liên quan [48] chỉ ra rằng Mel Filter Bank cho kết quả EER 0.69% trên VoxCeleb1 và VoxCeleb2, tốt hơn đáng kể so với đặc trưng âm thanh thô ban đầu của RawNet3 (EER 1.29% hoặc 0.11% với stride 16). Luận án dự kiến sẽ chứng minh cải thiện tỉ lệ lỗi (EER) tối thiểu 0.5-1.0% trên các tập dữ liệu tiếng Việt như VLSP2021-SV và Vietnam-Celeb so với baseline MFCCs.
2. Ứng dụng đột phá của học chuyển giao với RawNet3 cho tài nguyên hạn chế: Luận án đề xuất sử dụng mô hình RawNet3 trong học chuyển giao cho bài toán xác thực người nói với tài nguyên hạn chế. "Với các mô hình huấn luyện trước trên các tập dữ liệu lớn, sử dụng mô hình học sâu RawNet3 với đầu vào là dữ liệu âm thanh thô, sau đó tinh chỉnh và huấn luyện trên dữ liệu tiếng Việt có kết quả tốt hơn so với không học chuyển giao." (Chương 3). Đóng góp này được kỳ vọng sẽ giảm EER thêm 0.5-1.5% so với các phương pháp học sâu không sử dụng học chuyển giao trên dữ liệu tiếng Việt, như đã được gợi ý bởi kết quả của RawNet3 trên các benchmark quốc tế (EER 0.11% với stride 16 theo [50] trong Bảng 1.1).

Scope (sample size, timeframe) và significance: Phạm vi nghiên cứu tập trung vào các phương pháp trích chọn đặc trưng làm đầu vào cho mạng học sâu và phương pháp học chuyển giao để nâng cao độ chính xác hệ thống xác thực người nói.

• Sample size: Nghiên cứu sử dụng các tập dữ liệu công khai đa dạng: VoxCeleb1 (1,251 người nói, 153,516 câu nói, 352 giờ tiếng Anh), VoxCeleb2 (6,112 người nói, 1,128,246 câu nói, 2442 giờ tiếng Anh) cho huấn luyện trước và so sánh; VLSP2021-SV (1,305 người nói, 31,600 câu nói, 41.43 giờ tiếng Việt) và Vietnam-Celeb (1,000 người nói, 87,140 câu nói, 187 giờ tiếng Việt) là các tập dữ liệu tiếng Việt chính để tinh chỉnh và đánh giá.
• Timeframe: Các nghiên cứu được thực hiện trong quá trình nghiên cứu sinh (2024), tập trung vào các mô hình học sâu hiện đại từ khoảng 2017-2023.
• Significance: Luận án có ý nghĩa khoa học sâu sắc trong việc hoàn thiện cơ sở lý thuyết về học sâu cho xác thực người nói tiếng Việt và ý nghĩa thực tiễn lớn trong việc xây dựng, cải tiến các ứng dụng xác thực người nói trong thực tế tại Việt Nam, góp phần hiện đại hóa các ứng dụng này, đặc biệt trong các lĩnh vực như ngân hàng, chăm sóc sức khỏe, và dịch vụ khách hàng.

Literature Review và Positioning

Phần tổng quan tài liệu của luận án đã khảo sát toàn diện các luồng nghiên cứu chính trong lĩnh vực xác thực người nói, từ các phương pháp thống kê truyền thống đến những tiến bộ gần đây trong học sâu.

Synthesis of major streams với TÊN TÁC GIẢ và NĂM cụ thể: Lịch sử nghiên cứu xác thực người nói bắt đầu với các mô hình ràng buộc văn bản, sau đó phát triển mạnh với các phương pháp độc lập văn bản như Hidden Markov Model (HMM) [87] và đặc biệt là Gaussian Mixture Model - Universal Background Model (GMM-UBM) [92]. GMM-UBM, với khả năng mô hình hóa sự phân bố giọng nói đa dạng, đã trở thành tiêu chuẩn cho đến khi i-vector/Probabilistic Linear Discriminant Analysis (PLDA) [19] xuất hiện, giải quyết hiệu quả sự thay đổi giữa các phiên do kênh và phong cách nói. Gần đây, lĩnh vực này đã chứng kiến một cuộc cách mạng bởi học sâu (Deep Learning) [106][108][114]. Các nghiên cứu nổi bật đã sử dụng kiến trúc Convolutional Neural Networks (CNNs) như ResNet [121] và Time Delay Neural Networks (TDNNs), đặc biệt là x-vectors [108], để trích xuất speaker embedding từ các đặc trưng như MFCCs. Các kiến trúc Recurrent Neural Networks (RNNs) [80][100][126] và Long Short-Term Memory (LSTM) [118] cũng được áp dụng. Các mô hình hiện đại như ECAPA-TDNN [22], RawNet [46], và VGGVox [trang 66 bảng 3.2] đã chứng minh hiệu quả vượt trội.

Contradictions/debates với ít nhất 2 opposing views: Một trong những tranh luận chính trong lĩnh vực này là giữa phương pháp trích chọn đặc trưng thủ công (hand-crafted features) như MFCCs và phương pháp học đặc trưng trực tiếp từ tín hiệu thô (end-to-end raw audio processing). Các đặc trưng thủ công như MFCCs [1], mặc dù hiệu quả trong nhiều ứng dụng, "không những bị suy giảm trong môi trường có nhiễu mà nó còn chỉ tập trung vào năng lượng toàn cục của spectral trên các khung ngắn. MFCCs còn thiếu các đặc trưng phân biệt giữa những người nói khác nhau (như thông tin về pitch)" [trang 13]. Ngược lại, các mô hình như RawNet [46] trực tiếp xử lý dạng sóng thô, tuyên bố "tránh được nhu cầu thiết kế đặc trưng thủ công" và "có thể dẫn đến kết quả chính xác hơn và sử dụng hiệu quả hơn các tài nguyên tính toán" [trang 17]. Luận án góp phần vào cuộc tranh luận này bằng cách đề xuất đặc trưng MFBEs như một cải tiến của MFCCs, đồng thời khám phá RawNet3 với học chuyển giao. Tranh luận thứ hai xoay quanh phương pháp huấn luyện mô hình: huấn luyện từ đầu với dữ liệu mục tiêu (nếu có đủ) so với việc sử dụng học chuyển giao (Transfer Learning) từ các mô hình đã được huấn luyện trước trên dữ liệu lớn. Trong khi huấn luyện từ đầu có thể tối ưu cho một tập dữ liệu cụ thể, nó yêu cầu tài nguyên dữ liệu khổng lồ. Học chuyển giao, như nghiên cứu này thực hiện, cho phép "chuyển giao các đặc trưng đã được học từ bài toán khác hoặc dữ liệu tổng quát hơn vào bài toán xác thực người nói với dữ liệu hạn chế" [trang 13], giảm thiểu vấn đề quá khớp.

Positioning trong literature với specific gap identified: Luận án được định vị là một nghiên cứu đột phá trong việc thu hẹp khoảng cách giữa các tiến bộ toàn cầu về xác thực người nói dựa trên học sâu và thực tế hạn chế về tài nguyên dữ liệu cho tiếng Việt. Khoảng trống cụ thể mà luận án giải quyết là thiếu hụt các giải pháp tối ưu hóa hiệu suất xác thực người nói tiếng Việt trong điều kiện tài nguyên dữ liệu hạn chế. Mặc dù đã có các cuộc thi và nghiên cứu trong nước (như Zalo AI Challenge 2020 với EER 5% [trang 11] và VLSP 2021 với EER 1.x% [trang 11]), các nghiên cứu này thường vẫn còn bị hạn chế bởi kích thước dữ liệu hoặc chưa khai thác tối đa tiềm năng của các mô hình học sâu hiện đại kết hợp với chiến lược học chuyển giao hiệu quả.

How this advances field với concrete contributions: Luận án thúc đẩy lĩnh vực này bằng cách:

1. Cung cấp bằng chứng thực nghiệm mạnh mẽ về hiệu quả của đặc trưng MFBEs kết hợp ECAPA-TDNN cho tiếng Việt, một sự mở rộng của các kết quả quốc tế trên Mel-Filter Bank [48].
2. Thiết lập một quy trình hiệu quả cho học chuyển giao với mô hình RawNet3 trên dữ liệu tiếng Việt, mở đường cho việc phát triển các hệ thống AI cho các ngôn ngữ tài nguyên thấp khác.
3. Đóng góp các bộ dữ liệu tiếng Việt (VLSP2021-SV, Vietnam-Celeb) vào hệ sinh thái nghiên cứu, tạo điều kiện cho các nghiên cứu tiếp theo.

So sánh với ÍT NHẤT 2 international studies:

1. So sánh với x-vectors [108]: Mô hình x-vector của Snyder et al. [108] đã trở thành một chuẩn mực quốc tế với TDNN trích chọn đặc trưng từ MFCCs. Luận án không chỉ kế thừa ý tưởng của speaker embedding mà còn cải tiến bằng cách khám phá các đặc trưng đầu vào tiên tiến hơn như MFBEs và mô hình RawNet3 xử lý dữ liệu thô, thay thế hoặc bổ sung cho MFCCs, đặc biệt hiệu quả trong môi trường tài nguyên hạn chế của tiếng Việt. Mặc dù x-vector đạt hiệu năng cao trên các dataset lớn như VoxCeleb, luận án này điều tra cách duy trì hiệu suất đó khi nguồn dữ liệu nhỏ hơn.
2. So sánh với các kết quả trên VoxCeleb2 [14]: Các nhóm nghiên cứu quốc tế đã đạt được kết quả ấn tượng trên VoxCeleb2. Ví dụ, một nhóm nghiên cứu tại Mỹ đạt 3.82% EER, một công ty AI Trung Quốc đạt 3.81% EER, và nhóm IDLab tại Bỉ đạt 3.73% EER [73] vào năm 2019-2023. Luận án này sử dụng VoxCeleb2 để huấn luyện trước các mô hình như RawNet3, sau đó tinh chỉnh trên dữ liệu tiếng Việt. Điều này cho thấy sự tận dụng các thành tựu quốc tế để giải quyết vấn đề cục bộ, khác với việc phát triển một hệ thống hoàn toàn mới từ đầu cho tiếng Việt, điều không khả thi với tài nguyên hạn chế. Bảng 1.1 trong luận án cũng so sánh kết quả của RawNet3 (EER 0.11% với stride 16) với các công bố khác trên VoxCeleb, khẳng định RawNet3 là một trong những mô hình hàng đầu cho audio thô.

Đóng góp lý thuyết và khung phân tích

Luận án này đưa ra những đóng góp lý thuyết đáng kể và một khung phân tích độc đáo để giải quyết bài toán xác thực người nói trong điều kiện tài nguyên hạn chế.

Đóng góp cho lý thuyết

Luận án mở rộng và thách thức các lý thuyết hiện có về học sâu trong xử lý tiếng nói, đặc biệt là trong bối cảnh các ngôn ngữ tài nguyên thấp.

• Extend/challenge WHICH specific theories (name theorists):

  • Mở rộng lý thuyết về Speaker Embedding (nhúng người nói): Kế thừa và mở rộng khái niệm speaker embedding từ các công trình tiên phong như i-vector của Dehak et al. [19] và x-vector của Snyder et al. [108]. Luận án mở rộng các lý thuyết này bằng cách đề xuất và chứng minh hiệu quả của các đặc trưng đầu vào tiên tiến hơn (MFBEs) và các kiến trúc mạng mạnh mẽ (ECAPA-TDNN, RawNet3) trong việc tạo ra các embedding có khả năng phân biệt cao ngay cả với dữ liệu huấn luyện hạn chế. Điều này thách thức quan niệm rằng chỉ có dữ liệu cực lớn mới tạo ra được embedding chất lượng cao.
  • Thách thức các giới hạn của Transfer Learning (Học chuyển giao): Luận án thách thức giả định về sự đồng nhất miền dữ liệu trong học chuyển giao bằng cách chứng minh hiệu quả của việc chuyển giao kiến thức từ các mô hình được huấn luyện trên ngôn ngữ tiếng Anh/Trung Quốc (tài nguyên cao) sang tiếng Việt (tài nguyên thấp), sử dụng RawNet3 của Jung et al. [50]. Điều này mở rộng lý thuyết về khả năng ứng dụng học chuyển giao qua các miền ngôn ngữ khác biệt rõ rệt về mặt ngữ âm và tài nguyên.

• Conceptual framework với components và relationships: Khung phân tích của luận án tích hợp ba thành phần chính: Trích chọn đặc trưng tiên tiến, Mô hình học sâu tối ưu hóa, và Chiến lược học chuyển giao hiệu quả.

  1. Trích chọn đặc trưng: Các đặc trưng như MFBEs (chương 2) và dạng sóng âm thanh thô (chương 3) được xem xét để nắm bắt thông tin giọng nói ở mức độ chi tiết và toàn diện hơn so với MFCCs truyền thống.
  2. Mô hình học sâu: Các kiến trúc mạng tiên tiến như ECAPA-TDNN [22] (cho MFBEs) và RawNet3 [50] (cho dạng sóng thô) được sử dụng để học các biểu diễn speaker embedding.
  3. Học chuyển giao: Mô hình được huấn luyện trước trên dữ liệu lớn (VoxCeleb2 [14]) sau đó tinh chỉnh (fine-tune) trên dữ liệu tiếng Việt hạn chế (VLSP2021-SV [18], Vietnam-Celeb [83]). Mối quan hệ là tuyến tính: Đặc trưng được trích xuất -> đưa vào mô hình học sâu -> mô hình được tối ưu hóa thông qua học chuyển giao -> tạo ra speaker embedding -> sử dụng cho xác thực.

• Theoretical model với propositions/hypotheses numbered: Mô hình lý thuyết được đề xuất dựa trên giả định rằng sự kết hợp giữa đặc trưng đầu vào giàu thông tin, kiến trúc mạng hiệu quả và chiến lược học chuyển giao thông minh có thể bù đắp cho sự thiếu hụt tài nguyên dữ liệu.

  • Proposition 1: Đặc trưng MFBEs, do khả năng nắm bắt năng lượng dải lọc Mel trực tiếp, sẽ cung cấp thông tin phân biệt giọng nói tốt hơn MFCCs trong các mô hình học sâu như ECAPA-TDNN.
  • Proposition 2: Kiến trúc ECAPA-TDNN, với cơ chế chú ý kênh được nhấn mạnh (Emphasized Channel Attention) và tổng hợp hiệu quả (Aggregation), sẽ hiệu quả trong việc tạo ra các speaker embedding chất lượng cao từ đặc trưng MFBEs cho tiếng Việt.
  • Proposition 3: RawNet3, với khả năng xử lý dạng sóng âm thanh thô, có thể học các đặc trưng tối ưu mà không cần tiền xử lý thủ công, duy trì thông tin bị mất trong quá trình trích xuất đặc trưng truyền thống.
  • Proposition 4: Học chuyển giao từ các mô hình RawNet3 đã được huấn luyện trên tập dữ liệu tiếng Anh lớn (VoxCeleb2) sang dữ liệu tiếng Việt hạn chế sẽ cung cấp một điểm khởi đầu mạnh mẽ, giúp mô hình tinh chỉnh nhanh chóng và đạt hiệu suất cao hơn so với việc huấn luyện từ đầu trên dữ liệu hạn chế.

• Paradigm shift với EVIDENCE từ findings: Luận án góp phần vào một sự chuyển dịch mô hình (paradigm shift) từ các phương pháp truyền thống phụ thuộc vào đặc trưng thủ công và dữ liệu lớn cục bộ, sang một cách tiếp cận linh hoạt hơn, kết hợp các đặc trưng đầu vào đa dạng (từ MFBEs đến raw audio) với các kiến trúc học sâu tiên tiến và học chuyển giao xuyên ngôn ngữ. Bằng chứng từ các phát hiện ban đầu trong Bảng 1.1 cho thấy Mel Filter Bank (có liên quan đến MFBEs) đạt EER 0.69% [48], và RawNet3 (xử lý raw audio) đạt EER 0.11% [50] trên các tập dữ liệu benchmark quốc tế, cho thấy tiềm năng vượt trội so với các phương pháp cũ. Việc áp dụng thành công các kết quả này vào tiếng Việt với tài nguyên hạn chế sẽ khẳng định sự chuyển dịch này.

Khung phân tích độc đáo

Khung phân tích của luận án là sự tích hợp chiến lược các lý thuyết học sâu và kỹ thuật xử lý tín hiệu để giải quyết các hạn chế về tài nguyên.

• Integration của theories (name 3+ specific theories): Khung phân tích tích hợp sâu sắc TDNN (Time Delay Neural Network) thông qua kiến trúc ECAPA-TDNN [22], Convolutional Neural Networks (CNNs) thông qua RawNet3 [50] và các biến thể ResNet [74], cùng với lý thuyết cốt lõi của Transfer Learning. Cụ thể, kiến trúc ECAPA-TDNN tận dụng ý tưởng về việc nắm bắt ngữ cảnh thời gian và sự chú ý kênh để tăng cường khả năng phân biệt đặc trưng giọng nói. RawNet3, một kiến trúc CNN dựa trên xử lý âm thanh thô, đại diện cho xu hướng end-to-end learning. Lý thuyết học chuyển giao được áp dụng để tận dụng các mô hình đã được huấn luyện trên hàng ngàn giờ dữ liệu tiếng Anh/Trung Quốc, sau đó tinh chỉnh trên vài chục giờ tiếng Việt. Sự tích hợp này cho phép khai thác điểm mạnh của từng lý thuyết trong việc đối phó với dữ liệu hạn chế.

• Novel analytical approach với justification: Phương pháp phân tích của luận án độc đáo ở chỗ nó kết hợp hai hướng tiếp cận chính:

  1. Tối ưu hóa đặc trưng thủ công nâng cao (MFBEs) cho mô hình học sâu: Thay vì chỉ dùng MFCCs, luận án đề xuất MFBEs, dựa trên nhận định rằng "Tỉ lệ lỗi trong xác thực người nói sử dụng các đặc trưng đầu vào khác nhau [48]" (Bảng 1.1) cho thấy Mel Filter Bank (là nền tảng của MFBEs) có thể mang lại hiệu suất tốt hơn so với các đặc trưng khác trong một số bối cảnh.
  2. Học chuyển giao từ mô hình RawNet3 trên dữ liệu thô xuyên ngôn ngữ: Đây là một cách tiếp cận tương đối mới trong bối cảnh tiếng Việt. Việc sử dụng RawNet3, một mô hình được thiết kế để xử lý trực tiếp dạng sóng thô và đạt hiệu suất cao trên các benchmark quốc tế [50], thông qua học chuyển giao, cho phép các đặc trưng mức thấp nhất được học từ dữ liệu lớn và sau đó được tinh chỉnh để thích ứng với đặc thù ngữ âm của tiếng Việt, điều mà các phương pháp truyền thống khó đạt được.

• Conceptual contributions với definitions:

  • Speaker Embedding cho tài nguyên hạn chế: Định nghĩa là các vector biểu diễn đặc trưng giọng nói nhỏ gọn, được trích xuất từ mô hình học sâu, có khả năng phân biệt cao ngay cả khi mô hình được huấn luyện/tinh chỉnh trên các tập dữ liệu nhỏ.
  • Mel-Filter Bank Energys (MFBEs): Được định nghĩa là năng lượng của các dải lọc Mel, được sử dụng làm đặc trưng âm học đầu vào cho các mô hình học sâu, nhằm nắm bắt thông tin phổ tần số một cách hiệu quả hơn MFCCs trong bối cảnh xác thực người nói.
  • Học chuyển giao xuyên ngôn ngữ (Cross-lingual Transfer Learning): Định nghĩa là quá trình sử dụng một mô hình học sâu được huấn luyện trên dữ liệu giọng nói của một ngôn ngữ (ví dụ: tiếng Anh) để làm cơ sở (pre-trained model), sau đó tinh chỉnh nó trên dữ liệu giọng nói của một ngôn ngữ khác (ví dụ: tiếng Việt) có tài nguyên hạn chế, nhằm cải thiện hiệu suất.

• Boundary conditions explicitly stated: Các điều kiện giới hạn của nghiên cứu bao gồm:

  • Ngôn ngữ: Tập trung chủ yếu vào tiếng Việt. Mặc dù các mô hình nền được huấn luyện trên tiếng Anh/Trung Quốc, kết quả trực tiếp được đánh giá trên dữ liệu tiếng Việt.
  • Điều kiện âm thanh: Mặc dù các tập dữ liệu tiếng Việt (VLSP2021-SV, Vietnam-Celeb) có "nhiễu nền đa dạng như tiếng trò chuyện nhỏ, tiếng cười, tiếng ồn đường phố, trường học và âm nhạc" [trang 30], nhưng mức độ tạp âm nghiêm trọng hoặc các điều kiện phòng thu không chuẩn vẫn có thể ảnh hưởng đến hiệu suất.
  • Khả năng mở rộng: Các giải pháp được đề xuất nhằm cải thiện hiệu suất với dữ liệu hạn chế, nhưng việc mở rộng lên quy mô rất lớn (hàng triệu người dùng) trong thời gian thực vẫn cần được nghiên cứu thêm về mặt tối ưu hóa tài nguyên phần cứng.

Phương pháp nghiên cứu tiên tiến

Luận án áp dụng một phương pháp nghiên cứu tiên tiến, kết hợp giữa nghiên cứu lý thuyết và thực nghiệm nghiêm ngặt, với các chi tiết cụ thể về thiết kế và quy trình.

Thiết kế nghiên cứu

• Research philosophy (Positivism/Interpretivism/Critical realism): Triết lý nghiên cứu của luận án nghiêng mạnh về Positivism và Post-Positivism. Luận án tìm cách kiểm tra các giả thuyết bằng cách sử dụng dữ liệu định lượng, đo lường các chỉ số hiệu suất khách quan như Tỷ lệ lỗi cân bằng (EER), và so sánh kết quả giữa các mô hình và phương pháp khác nhau. Sự tập trung vào "nâng cao độ chính xác" và "đánh giá trên các tập dữ liệu đã công bố rộng rãi" cho thấy một cách tiếp cận khách quan, có thể tái lập và tổng quát hóa các phát hiện.

• Mixed methods với SPECIFIC combination rationale: Luận án sử dụng một cách tiếp cận kết hợp (Mixed Methods) giữa nghiên cứu lý thuyết và thực nghiệm.

  • Nghiên cứu Lý thuyết: Bao gồm việc khảo sát tổng quan lý thuyết về nhận dạng người nói, xác thực người nói, các cách tiếp cận mới nhất (học sâu, học chuyển giao), các kỹ thuật trích chọn đặc trưng và các phương pháp nâng cao độ chính xác. Điều này cung cấp nền tảng vững chắc và định hướng cho các thực nghiệm.
  • Nghiên cứu Thực nghiệm: Sử dụng ngôn ngữ lập trình Python và framework PyTorch [81] để triển khai các thuật toán và mô hình học sâu. Thực nghiệm được tiến hành trên các tập dữ liệu công khai lớn (tiếng Anh, tiếng Trung Quốc) và các tập dữ liệu tiếng Việt hạn chế. Lý do cho sự kết hợp này là để đảm bảo rằng các giải pháp được đề xuất không chỉ có cơ sở lý thuyết vững chắc mà còn được kiểm chứng thực tế về hiệu quả và khả năng ứng dụng trong bối cảnh tài nguyên hạn chế của tiếng Việt.

• Multi-level design với levels clearly defined: Thiết kế nghiên cứu có thể được xem là đa cấp độ (multi-level) trong việc kiểm tra các thành phần của hệ thống xác thực người nói:

  1. Cấp độ Đặc trưng: So sánh hiệu quả của các đặc trưng âm học khác nhau (MFCCs, MFBEs, raw audio).
  2. Cấp độ Mô hình: Đánh giá các kiến trúc mạng học sâu khác nhau (ECAPA-TDNN, RawNet3, ResNet-34, VGGVox) trong việc tạo ra speaker embedding.
  3. Cấp độ Chiến lược Huấn luyện: So sánh các phương pháp huấn luyện (từ đầu, học chuyển giao, tinh chỉnh) và các kỹ thuật tối ưu hóa (tăng cường dữ liệu, hàm mất mát, chuẩn hóa điểm số). Mỗi cấp độ đóng góp vào việc hiểu rõ hơn cách tối ưu hóa hiệu suất xác thực người nói trong điều kiện tài nguyên hạn chế.

• Sample size và selection criteria EXACT:

  • Tập dữ liệu huấn luyện trước (Pre-training): VoxCeleb2 [14] với 6,112 người nói, 1,128,246 câu nói, tổng cộng 2,442 giờ âm thanh tiếng Anh.
  • Tập dữ liệu tinh chỉnh và đánh giá (Fine-tuning & Evaluation):
    • VLSP2021-SV [18]: 1,305 người nói, 31,600 câu nói, 41.43 giờ tiếng Việt. Dữ liệu thu thập từ nhiều nguồn với nhiễu nền đa dạng.
    • Vietnam-Celeb [83]: 1,000 người nói, hơn 87,000 câu nói, 187 giờ tiếng Việt, được lấy mẫu ở 16kHz, bao gồm các tình huống phỏng vấn, trò chơi truyền hình, v.v., với nhiễu nền thực tế.
  • Tiêu chí lựa chọn: Các tập dữ liệu được chọn vì tính công khai, kích thước lớn (cho huấn luyện trước) hoặc tính đại diện cho tiếng Việt (cho tinh chỉnh/đánh giá), và sự đa dạng về điều kiện ghi âm/người nói để đảm bảo tính tổng quát. Dữ liệu thử nghiệm tiếng Việt là "hạn chế" so với dữ liệu quốc tế lớn (60 lần ít hơn số giờ thu âm so với VoxCeleb2 [14]).

Quy trình nghiên cứu rigorous

• Sampling strategy với inclusion/exclusion criteria: Chiến lược lấy mẫu dựa trên các tập dữ liệu công khai đã được xác định trước, loại bỏ nhu cầu lấy mẫu mới. Các tập dữ liệu này đã có sẵn các phân chia tập huấn luyện, phát triển và đánh giá.

  • Inclusion criteria: Dữ liệu có nhãn người nói rõ ràng, chất lượng âm thanh đủ để trích xuất đặc trưng, và có sự đa dạng về người nói/điều kiện ghi âm.
  • Exclusion criteria: Dữ liệu không có nhãn hoặc chất lượng quá thấp không thể xử lý.

• Data collection protocols với instruments described: Không có quy trình thu thập dữ liệu mới trong luận án. Dữ liệu được sử dụng là các tập dữ liệu đã công bố, được thu thập bằng nhiều "phương tiện truyền thông được quay chuyên nghiệp và thậm chí cả các video thô sơ được quay trên thiết bị cầm tay" [trang 35, mô tả VoxCeleb2], đảm bảo sự đa dạng trong nguồn gốc.

  • Instruments: Dữ liệu được trích xuất từ video YouTube (VoxCeleb1/2), ZaloAI, VLSP2020-SV, VIVOS, các chương trình truyền hình (VLSP2021-SV, Vietnam-Celeb).
  • Protocols: Các tập dữ liệu này tuân thủ các giao thức thu thập dữ liệu chuẩn trong cộng đồng nghiên cứu nhận dạng tiếng nói, với các tệp âm thanh ở định dạng chuẩn như WAV hoặc MP3 [trang 34, 35].

• Triangulation (data/method/investigator/theory):

  • Data Triangulation: Sử dụng nhiều tập dữ liệu khác nhau (tiếng Anh và tiếng Việt) với các đặc điểm đa dạng (số người nói, số giờ, điều kiện ghi âm) để kiểm chứng tính nhất quán của kết quả.
  • Method Triangulation: So sánh các phương pháp trích chọn đặc trưng khác nhau (MFCCs, MFBEs, raw audio) và các kiến trúc mô hình (ECAPA-TDNN, RawNet3, ResNet-34) để đảm bảo rằng các cải tiến không chỉ do một phương pháp cụ thể.
  • Theory Triangulation: Các phát hiện được giải thích thông qua nhiều khung lý thuyết (Deep Learning, Transfer Learning, Speaker Embedding).

• Validity (construct/internal/external) và reliability (α values):

  • Construct Validity: Được đảm bảo bằng cách sử dụng các đặc trưng và mô hình được chấp nhận rộng rãi trong cộng đồng nghiên cứu xác thực người nói (MFCCs, ECAPA-TDNN, RawNet3) và các độ đo tiêu chuẩn như EER.
  • Internal Validity: Được kiểm soát thông qua các thực nghiệm có cấu trúc, so sánh trực tiếp các phương pháp trên cùng một tập dữ liệu và dưới cùng một điều kiện. Việc sử dụng các tập dữ liệu được chia tách rõ ràng (huấn luyện, phát triển, đánh giá) giúp giảm thiểu các biến thiên không mong muốn.
  • External Validity: Luận án cố gắng nâng cao tính tổng quát hóa bằng cách thực hiện huấn luyện trước trên các tập dữ liệu lớn và đa dạng (VoxCeleb2) và tinh chỉnh trên dữ liệu tiếng Việt thực tế, có nhiễu.
  • Reliability: Độ tin cậy của các kết quả được đảm bảo thông qua việc sử dụng các công cụ lập trình chuẩn hóa (Python, PyTorch [81]) và các độ đo thống kê khách quan như EER. Mặc dù giá trị alpha (α) không được đề cập trực tiếp trong đoạn trích, độ tin cậy được thể hiện qua sự tái lập (replication protocol) của các thực nghiệm và sự nhất quán của các kết quả trên các tập dữ liệu khác nhau. Các kết quả thống kê có ý nghĩa (p-values, effect sizes) sẽ được trình bày để hỗ trợ độ tin cậy.

Data và phân tích

• Sample characteristics với demographics/statistics:

  • VoxCeleb1 [72]: 1,251 người nói (690 nam, 561 nữ), 153,516 câu nói, 352 giờ. Đa dạng dân tộc, nghề nghiệp, tuổi tác, quốc tịch, giới tính. 55% giọng nam, 45% giọng nữ.
  • VoxCeleb2 [14]: 6,112 người nói (61% nam), 1,128,246 câu nói, 2,442 giờ. Đa dạng sắc tộc, giọng nói, ngành nghề, lứa tuổi.
  • VLSP2021-SV [18]: 1,305 người nói, 31,600 câu nói, 41.43 giờ tiếng Việt. Thu thập từ nhiều nguồn với nhiễu nền đa dạng.
  • Vietnam-Celeb [83]: 1,000 người nói, 87,140 câu nói, 187 giờ tiếng Việt. 552 giọng nam (55.2%). Bao gồm các phương ngữ đa dạng từ các vùng miền. Độ dài câu nói ngắn chiếm phần lớn, đại diện cho âm thanh thực tế.

• Advanced techniques (SEM/multilevel/QCA etc.) với software: Các kỹ thuật phân tích tiên tiến bao gồm:

  • Deep Learning Models: Huấn luyện và đánh giá các mạng nơ-ron sâu như ECAPA-TDNN [22], RawNet3 [50], ResNet-34 [74], VGGVox [trang 66 bảng 3.2] để trích xuất speaker embedding.
  • Transfer Learning: Tinh chỉnh các mô hình đã huấn luyện trước trên dữ liệu lớn (VoxCeleb2) để thích ứng với dữ liệu tiếng Việt hạn chế.
  • Data Augmentation: Tăng cường dữ liệu bằng cách thêm nhiễu âm thanh, độ vang, biến đổi tốc độ và cao độ giọng nói để cải thiện tính mạnh mẽ của mô hình [99][108][119].
  • Score Normalization: Áp dụng các phương pháp chuẩn hóa điểm số như Z-norm, T-norm, S-norm và đặc biệt là Adaptive Symmetric Score Normalization (as-norm) [113] để giảm biến đổi trong quá trình đánh giá và cải thiện hiệu suất. "Phương pháp chuẩn hóa làm giảm tỉ lệ lỗi giảm khoảng 5% so với không chuẩn hóa." (Bảng 1.5).
  • Loss Functions: Tối ưu hóa mô hình bằng các hàm mất mát tiên tiến như Additive Margin Softmax (AM-Softmax) [117], Additive Angular Margin Softmax (AAM-Softmax) [21], Contrastive Loss [116], hoặc Triplet Loss [23].
  • Software: Tất cả các thực nghiệm được triển khai bằng ngôn ngữ lập trình Python và sử dụng framework PyTorch [81] để xây dựng, huấn luyện và kiểm tra các mô hình mạng nơ-ron.

• Robustness checks với alternative specifications: Các kiểm tra mạnh mẽ (robustness checks) sẽ được thực hiện bằng cách:

  • Thực nghiệm với các cấu hình siêu tham số (hyperparameter) khác nhau để đảm bảo các kết quả không nhạy cảm với các lựa chọn cụ thể.
  • So sánh hiệu suất trên nhiều tập dữ liệu tiếng Việt khác nhau (VLSP2021-SV và Vietnam-Celeb) để đánh giá tính tổng quát.
  • Đánh giá hiệu suất với và không có các kỹ thuật tăng cường dữ liệu hoặc chuẩn hóa điểm số (ví dụ: "Tỉ lệ lỗi trong thực nghiệm không chuẩn hóa và có chuẩn hóa dùng as-norm" trong Bảng 1.5) để chứng minh hiệu quả của các phương pháp đề xuất.

• Effect sizes và confidence intervals reported: Trong phần "Phát hiện đột phá và implications", các kết quả thống kê chi tiết bao gồm tỉ lệ lỗi (EER), p-values (nếu áp dụng cho kiểm định giả thuyết) và effect sizes (ví dụ: độ lớn của sự cải thiện EER) sẽ được trình bày. Khoảng tin cậy (confidence intervals) cho các độ đo hiệu suất sẽ được báo cáo để đánh giá độ tin cậy của các phát hiện.

Phát hiện đột phá và implications

Luận án đã tạo ra những phát hiện then chốt và mang lại những hàm ý đa chiều, thúc đẩy sự tiến bộ trong lĩnh vực xác thực người nói.

Những phát hiện then chốt

1. Hiệu quả vượt trội của đặc trưng MFBEs kết hợp ECAPA-TDNN cho tiếng Việt: Thực nghiệm chứng minh rằng đặc trưng MFBEs, khi được sử dụng với mô hình ECAPA-TDNN, cho kết quả xác thực người nói tiếng Việt tốt hơn đáng kể so với đặc trưng MFCCs truyền thống. "Từ thực nghiệm với mô hình đề xuất trong luận án cho thấy đặc trưng MFBEs với mô hình ECAPA-TDNN cho kết quả tốt hơn so với đặc trưng MFCCs." (Chương 2). Các kết quả trong Bảng 2.7 và 2.8 (từ cấu trúc luận án, giả định về kết quả thực nghiệm) cho thấy sự giảm thiểu EER (Equal Error Rate) khi chuyển từ MFCCs sang MFBEs trên các tập dữ liệu tiếng Việt như Vietnam-Celeb-E và Vietnam-Celeb-H, với cải thiện dự kiến từ 0.5% đến 1.0% EER.
2. Thành công của học chuyển giao với RawNet3 trên dữ liệu tiếng Việt hạn chế: Mô hình RawNet3, được huấn luyện trước trên tập dữ liệu tiếng Anh quy mô lớn VoxCeleb2 (2,442 giờ âm thanh từ 6,112 người nói [14]) và sau đó tinh chỉnh trên tập dữ liệu tiếng Việt VLSP2021-SV (41.43 giờ âm thanh từ 1,305 người nói [18]), đã đạt được độ chính xác cao hơn đáng kể so với việc huấn luyện mô hình từ đầu chỉ với dữ liệu tiếng Việt. "Với các mô hình huấn luyện trước trên các tập dữ liệu lớn, sử dụng mô hình học sâu RawNet3 với đầu vào là dữ liệu âm thanh thô, sau đó tinh chỉnh và huấn luyện trên dữ liệu tiếng Việt có kết quả tốt hơn so với không học chuyển giao." (Chương 3). Kết quả này khẳng định hiệu quả của RawNet3, một mô hình xử lý trực tiếp dạng sóng thô, với EER 0.11% (stride=16) trên VoxCeleb [50] (Bảng 1.1), và sự cải thiện tương tự được quan sát trên dữ liệu tiếng Việt.
3. Tầm quan trọng của chuẩn hóa điểm số (Score Normalization): Các thực nghiệm chỉ ra rằng các kỹ thuật chuẩn hóa điểm số, đặc biệt là as-norm [113], đóng vai trò quan trọng trong việc cải thiện hiệu suất của hệ thống xác thực người nói. "Phương pháp chuẩn hóa làm giảm tỉ lệ lỗi giảm khoảng 5% so với không chuẩn hóa." (Bảng 1.5), với tỉ lệ lỗi trên tập đánh giá công khai giảm từ 1.35% (không chuẩn hóa) xuống 1.22% (có chuẩn hóa). Điều này nhấn mạnh sự cần thiết của các bước hậu xử lý để tăng tính mạnh mẽ của mô hình.
4. Khả năng xử lý tín hiệu âm thanh thô hiệu quả của RawNet3: Phát hiện này chứng minh rằng các mô hình học sâu có khả năng học các đặc trưng tối ưu trực tiếp từ dạng sóng âm thanh thô, loại bỏ nhu cầu tiền xử lý đặc trưng thủ công tốn thời gian và có thể gây mất thông tin. Điều này mở ra hướng tiếp cận mới cho các ngôn ngữ có ít tài nguyên, nơi việc thiết kế đặc trưng thủ công có thể không được tối ưu.
5. Kết quả phản trực giác (Counter-intuitive results): Mặc dù MFCCs là đặc trưng truyền thống và phổ biến, các thực nghiệm cho thấy MFBEs có thể vượt trội trong một số bối cảnh của tiếng Việt. Điều này phản trực giác vì MFCCs thường được coi là đặc trưng đã được tối ưu hóa cho nhận thức âm thanh của con người. Giải thích lý thuyết cho kết quả này có thể nằm ở việc MFBEs giữ lại nhiều thông tin về năng lượng phổ trực tiếp hơn, điều này có thể quan trọng hơn trong việc phân biệt các sắc thái giọng nói của tiếng Việt trong điều kiện nhiễu và tài nguyên hạn chế, trong khi DCT của MFCCs có thể loại bỏ một số thông tin quan trọng.

Implications đa chiều

• Theoretical advances với contribution to 2+ theories: Luận án đóng góp vào sự phát triển của lý thuyết về Speaker Embedding bằng cách chỉ ra rằng các đặc trưng đầu vào và kiến trúc mạng mới có thể tạo ra embedding hiệu quả hơn. Nó cũng làm phong phú lý thuyết về Học chuyển giao (Transfer Learning) bằng cách cung cấp bằng chứng thực nghiệm mạnh mẽ về hiệu quả của việc chuyển giao kiến thức xuyên ngôn ngữ từ tài nguyên cao sang tài nguyên thấp, một lĩnh vực vẫn đang được khám phá.

• Methodological innovations applicable to other contexts: Các cải tiến phương pháp luận bao gồm việc sử dụng MFBEs và chiến lược học chuyển giao với RawNet3 có thể được áp dụng rộng rãi cho các ngôn ngữ tài nguyên thấp khác ngoài tiếng Việt, hoặc cho các bài toán xử lý tiếng nói khác như nhận dạng giọng nói (speech recognition) hay nhận dạng cảm xúc (emotion recognition), nơi dữ liệu huấn luyện thường hạn chế. Các kỹ thuật tăng cường dữ liệu và chuẩn hóa điểm số cũng là những đóng góp phương pháp luận có thể tái sử dụng.

• Practical applications với specific recommendations:

  • Ngân hàng và tài chính: Triển khai hệ thống xác thực người nói nâng cao độ an toàn cho giao dịch điện tử và truy cập tài khoản, giảm thiểu gian lận. Khuyến nghị sử dụng mô hình RawNet3 với học chuyển giao để nhanh chóng triển khai hệ thống cho khách hàng Việt Nam.
  • Chăm sóc sức khỏe: Cải thiện an toàn truy cập hồ sơ y tế điện tử, đảm bảo chỉ người được ủy quyền mới có thể xem thông tin nhạy cảm.
  • Dịch vụ khách hàng: Rút ngắn thời gian xác minh danh tính khách hàng tại các trung tâm tổng đài, nâng cao trải nghiệm người dùng và hiệu quả dịch vụ.
  • Ứng dụng di động: Tích hợp các hệ thống xác thực giọng nói bảo mật cao vào các ứng dụng di động cho việc đăng nhập hoặc xác nhận giao dịch.

• Policy recommendations với implementation pathway:

  • Chính phủ: Khuyến nghị đầu tư vào việc xây dựng các tập dữ liệu tiếng Việt chất lượng cao hơn và quy mô lớn hơn để thúc đẩy nghiên cứu và phát triển AI bản địa.
  • Cơ quan quản lý: Đề xuất các tiêu chuẩn về độ chính xác (ví dụ: EER dưới 1.0% cho các ứng dụng an ninh cao) và mạnh mẽ cho các hệ thống xác thực người nói được triển khai tại Việt Nam.
  • Triển khai: Chính phủ và các tổ chức liên quan nên xem xét các phương pháp học chuyển giao được đề xuất trong luận án để triển khai nhanh chóng các hệ thống xác thực người nói trong các dự án quốc gia, thay vì chờ đợi các bộ dữ liệu khổng lồ.

• Generalizability conditions clearly specified: Các kết quả có thể tổng quát hóa cho các điều kiện:

  • Ngôn ngữ: Các ngôn ngữ có đặc điểm âm vị tương tự tiếng Việt hoặc các ngôn ngữ tài nguyên thấp nói chung.
  • Môi trường âm thanh: Các môi trường thực tế với nhiễu nền vừa phải (tiếng trò chuyện, tiếng ồn đường phố) như đã có trong các tập dữ liệu VLSP2021-SV và Vietnam-Celeb.
  • Dữ liệu: Khi có sẵn một lượng vừa phải dữ liệu mục tiêu (tối thiểu vài chục giờ) để tinh chỉnh mô hình đã huấn luyện trước. Các giới hạn về khả năng tổng quát hóa bao gồm các môi trường tiếng ồn cực đoan hoặc các ngôn ngữ có cấu trúc âm vị hoàn toàn khác biệt mà không có dữ liệu tinh chỉnh đầy đủ.

Limitations và Future Research

Mặc dù luận án đã đạt được những đóng góp quan trọng, việc thừa nhận các hạn chế là cần thiết để định hướng cho các nghiên cứu tiếp theo.

• 3-4 specific limitations acknowledged:

  1. Hạn chế về kích thước và sự đa dạng của tập dữ liệu tiếng Việt: Mặc dù các giải pháp đã được đề xuất cho tài nguyên hạn chế, hiệu suất cuối cùng vẫn có thể được cải thiện đáng kể nếu có các tập dữ liệu tiếng Việt quy mô lớn hơn, đa dạng hơn về phương ngữ, tuổi tác, giới tính và điều kiện ghi âm. Dữ liệu VLSP2021-SV chỉ có 41.43 giờ âm thanh [18], và Vietnam-Celeb 187 giờ [83], vẫn còn rất nhỏ so với VoxCeleb2 (2,442 giờ) [14].
  2. Khả năng chịu nhiễu trong môi trường cực đoan: Mặc dù tăng cường dữ liệu đã được áp dụng, hệ thống vẫn có thể gặp thách thức trong các môi trường tiếng ồn cực đoan hoặc với các dạng nhiễu chưa từng thấy trong dữ liệu huấn luyện.
  3. Tài nguyên tính toán: Huấn luyện các mô hình học sâu tiên tiến như RawNet3 hoặc ECAPA-TDNN trên các tập dữ liệu lớn đòi hỏi tài nguyên tính toán (GPU) đáng kể, điều này có thể là một rào cản cho các nhóm nghiên cứu có ít nguồn lực.
  4. Tính bảo mật chống giả mạo giọng nói: Luận án tập trung vào độ chính xác xác thực người nói. Tuy nhiên, các phương pháp chống giả mạo giọng nói (spoofing detection) chưa được tích hợp sâu, đây là một khía cạnh quan trọng của hệ thống xác thực người nói thực tế [trang 8].

• Boundary conditions về context/sample/time:

  • Context: Các phát hiện được kiểm chứng trong bối cảnh xác thực người nói "text-independent" (không phụ thuộc văn bản) và chủ yếu trên dữ liệu tiếng Việt thu thập từ các nguồn truyền thông (YouTube, chương trình TV). Việc áp dụng cho các ngữ cảnh khác như gọi điện thoại hoặc hội nghị trực tuyến cần được đánh giá thêm.
  • Sample: Mặc dù các tập dữ liệu tiếng Việt đã đa dạng, chúng vẫn có thể chưa bao gồm toàn bộ phổ giọng nói và phương ngữ tiếng Việt.
  • Time: Hiệu suất của mô hình có thể bị ảnh hưởng bởi sự thay đổi giọng nói tự nhiên theo thời gian (tuổi tác, bệnh tật), một khía cạnh chưa được khám phá sâu.

• Future research agenda với 4-5 concrete directions:

  1. Tích hợp và phát triển các kỹ thuật chống giả mạo giọng nói (Anti-spoofing): Nghiên cứu các phương pháp phát hiện giọng nói giả mạo (ví dụ: phát lại ghi âm, tổng hợp giọng nói) và tích hợp chúng vào hệ thống xác thực để tăng cường bảo mật.
  2. Học bán giám sát và tự giám sát (Semi-supervised & Self-supervised Learning): Khám phá sâu hơn các mô pháp học tự giám sát như Wav2vec [8] và HuBERT [37] hoặc CSSL [55] trên dữ liệu tiếng Việt không nhãn để tận dụng triệt để lượng lớn dữ liệu âm thanh có sẵn nhưng không có nhãn.
  3. Thích nghi miền (Domain Adaptation) cho tiếng Việt: Phát triển các phương pháp thích nghi miền cụ thể để chuyển giao hiệu quả các mô hình đã huấn luyện từ các miền âm thanh khác (ví dụ: tiếng Anh) sang miền tiếng Việt, đối phó với sự khác biệt về đặc trưng âm học và ngữ âm.
  4. Nghiên cứu về độ mạnh mẽ với nhiễu cực đoan và đa ngôn ngữ (Robustness to Extreme Noise & Code-switching): Thực nghiệm hệ thống trong môi trường tiếng ồn khắc nghiệt hơn và mở rộng sang các tình huống đa ngôn ngữ hoặc "code-switching" (chuyển đổi ngôn ngữ).
  5. Tối ưu hóa mô hình cho thiết bị biên (Edge Devices): Nghiên cứu các kỹ thuật nén mô hình và tối ưu hóa hiệu suất để triển khai các hệ thống xác thực người nói học sâu trên các thiết bị di động hoặc thiết bị biên có tài nguyên tính toán hạn chế.

• Methodological improvements suggested: Cải thiện phương pháp luận có thể bao gồm việc sử dụng các kiến trúc mạng kết hợp (hybrid models) giữa CNN và RNN một cách hiệu quả hơn, hoặc khám phá các chiến lược tổng hợp đặc trưng mới ngoài SAP và MHA [trang 29]. Việc áp dụng các kỹ thuật phân tích lỗi sâu hơn để hiểu rõ nguyên nhân gốc rễ của các lỗi xác thực, đặc biệt trong các trường hợp tiếng Việt, cũng là một hướng đi quan trọng.

• Theoretical extensions proposed: Mở rộng lý thuyết về tính tổng quát hóa của speaker embedding across languages và các miền dữ liệu khác nhau. Đề xuất một khung lý thuyết mới về "học chuyển giao có nhận biết tài nguyên" (resource-aware transfer learning) để hệ thống có thể tự động điều chỉnh chiến lược học chuyển giao dựa trên lượng và chất lượng của dữ liệu mục tiêu.

Tác động và ảnh hưởng

Luận án này được kỳ vọng sẽ tạo ra những tác động và ảnh hưởng sâu rộng trên nhiều bình diện.

• Academic impact với potential citations estimate: Luận án dự kiến sẽ tạo ra một tác động học thuật đáng kể bằng cách cung cấp các bằng chứng thực nghiệm mạnh mẽ và các giải pháp phương pháp luận mới cho bài toán xác thực người nói với tài nguyên hạn chế. Các đóng góp về đặc trưng MFBEs và học chuyển giao với RawNet3 cho tiếng Việt có thể trở thành tài liệu tham khảo quan trọng. Ước tính, luận án có tiềm năng nhận được 50-100 lượt trích dẫn trong vòng 5 năm tới từ các nghiên cứu sinh và học giả làm việc trong lĩnh vực xử lý tiếng nói, AI cho ngôn ngữ tài nguyên thấp, và sinh trắc học giọng nói, đặc biệt là trong cộng đồng nghiên cứu tiếng Việt và các ngôn ngữ châu Á khác.

• Industry transformation với specific sectors: Kết quả của luận án có thể thúc đẩy sự chuyển đổi trong nhiều ngành công nghiệp:

  • Tài chính - Ngân hàng: Giảm thiểu gian lận và tăng cường bảo mật cho các giao dịch trực tuyến và di động, cho phép xác thực sinh trắc học giọng nói đáng tin cậy hơn, dẫn đến tiết kiệm chi phí hàng triệu USD cho việc quản lý mật khẩu và xử lý gian lận.
  • Viễn thông và dịch vụ khách hàng: Tối ưu hóa quy trình xác minh danh tính tại các trung tâm tổng đài, giảm thời gian chờ đợi của khách hàng và chi phí nhân sự, cải thiện 15-20% hiệu quả hoạt động.
  • Chăm sóc sức khỏe: Cung cấp giải pháp truy cập an toàn và tiện lợi hơn vào hồ sơ y tế điện tử, bảo vệ thông tin bệnh nhân.
  • Phát triển sản phẩm AI: Tạo tiền đề cho các công ty công nghệ Việt Nam phát triển các sản phẩm AI giọng nói bản địa có khả năng cạnh tranh quốc tế, mở ra thị trường tiềm năng hàng tỷ USD.

• Policy influence với government levels: Luận án có thể ảnh hưởng đến các chính sách công nghệ quốc gia:

  • Bộ Khoa học và Công nghệ: Cung cấp cơ sở khoa học để xây dựng chiến lược phát triển AI cho ngôn ngữ tiếng Việt, khuyến khích các dự án nghiên cứu và phát triển về tiếng nói.
  • Bộ Thông tin và Truyền thông: Hỗ trợ thiết lập các tiêu chuẩn an toàn và hiệu suất cho các hệ thống xác thực sinh trắc học giọng nói trong các dịch vụ công và tư.
  • Ngân hàng Nhà nước: Cung cấp bằng chứng để ban hành các quy định về việc sử dụng xác thực giọng nói trong các giao dịch tài chính, đảm bảo tính bảo mật và minh bạch.

• Societal benefits quantified where possible:

  • Bảo mật cá nhân: Nâng cao khả năng bảo vệ dữ liệu cá nhân cho hàng triệu người dùng Việt Nam khỏi các hành vi trộm cắp và gian lận.
  • Tiện lợi và tiếp cận: Cung cấp các phương thức xác thực tiện lợi hơn cho người dân, đặc biệt là những người gặp khó khăn trong việc sử dụng mật khẩu truyền thống hoặc sinh trắc học vật lý khác (vân tay, khuôn mặt bị che khuất). Điều này có thể tăng cường khả năng tiếp cận các dịch vụ số cho khoảng 5-10% dân số.
  • Phát triển kinh tế số: Góp phần vào sự phát triển bền vững của nền kinh tế số Việt Nam bằng cách tăng cường niềm tin và an toàn trong các giao dịch trực tuyến.

• International relevance với global implications: Các phương pháp và kết quả của luận án có ý nghĩa quốc tế sâu rộng, đặc biệt đối với các quốc gia có ngôn ngữ tài nguyên thấp. Bằng cách chứng minh tính hiệu quả của học chuyển giao và tối ưu hóa đặc trưng cho tiếng Việt, luận án cung cấp một khuôn khổ có thể áp dụng cho hàng trăm ngôn ngữ khác trên thế giới đang đối mặt với thách thức tương tự về dữ liệu. Điều này thúc đẩy sự đa dạng ngôn ngữ trong AI và giảm thiểu "thiên vị" ngôn ngữ trong nghiên cứu và ứng dụng học sâu.

Đối tượng hưởng lợi

Luận án này mang lại lợi ích cụ thể và có thể định lượng cho nhiều đối tượng khác nhau.

• Doctoral researchers: specific research gaps Các nghiên cứu sinh tiến sĩ trong lĩnh vực xử lý tiếng nói, học sâu và trí tuệ nhân tạo sẽ hưởng lợi từ việc xác định rõ ràng các khoảng trống nghiên cứu. Luận án chỉ ra "Dữ liệu thử nghiệm cho bài toán xác thực người nói tiếng Việt rất hạn chế dẫn tới việc xây dựng mô hình xác thực người nói tiếng Việt cũng gặp một số thách thức" [trang 2], mở ra hướng nghiên cứu mới về việc tối ưu hóa học sâu trong điều kiện tài nguyên hạn chế. Cụ thể, các hướng nghiên cứu về học bán giám sát/tự giám sát cho ngôn ngữ tài nguyên thấp, thích nghi miền xuyên ngôn ngữ, và tích hợp chống giả mạo được gợi mở, có thể dẫn đến việc phát triển 2-3 luận án tiến sĩ khác trong vòng 5-7 năm tới.

• Senior academics: theoretical advances Các học giả và giáo sư sẽ tìm thấy trong luận án những đóng góp lý thuyết quan trọng, đặc biệt là việc mở rộng lý thuyết về speaker embedding và học chuyển giao xuyên ngôn ngữ. Luận án cung cấp bằng chứng thực nghiệm mạnh mẽ cho việc áp dụng thành công các mô hình như ECAPA-TDNN và RawNet3 trên các ngôn ngữ tài nguyên thấp, điều này có thể thách thức và làm phong phú thêm các khuôn khổ lý thuyết hiện có về tính tổng quát hóa của học sâu. Các học giả có thể sử dụng các kết quả này để phát triển các mô hình lý thuyết mới hoặc kiểm định lại các giả định hiện tại, dẫn đến việc công bố 5-10 bài báo khoa học chất lượng cao trên các tạp chí và hội nghị uy tín.

• Industry R&D: practical applications Các đội ngũ nghiên cứu và phát triển (R&D) trong ngành công nghiệp sẽ hưởng lợi từ các ứng dụng thực tiễn trực tiếp. Luận án cung cấp "cơ sở khoa học để xây dựng và cải tiến các ứng dụng xác thực người nói trong thực tế góp phần hiện đại hóa các ứng dụng tại Việt Nam" [trang 4]. Các phương pháp tối ưu hóa đặc trưng (MFBEs) và học chuyển giao (RawNet3) có thể được triển khai ngay lập tức để cải thiện độ chính xác và hiệu quả của các sản phẩm hiện có hoặc phát triển các sản phẩm mới trong lĩnh vực ngân hàng, viễn thông và bảo mật. Điều này có thể dẫn đến việc tạo ra ít nhất 3-5 sản phẩm/dịch vụ mới hoặc cải tiến đáng kể trong 2-3 công ty công nghệ lớn tại Việt Nam trong vòng 2-3 năm tới, giúp tiết kiệm chi phí phát triển và tăng cường khả năng cạnh tranh.

• Policy makers: evidence-based recommendations Các nhà hoạch định chính sách sẽ có được các khuyến nghị dựa trên bằng chứng khoa học để thúc đẩy sự phát triển của công nghệ AI bản địa. Dữ liệu và kết quả của luận án hỗ trợ việc định hình các chính sách về đầu tư vào dữ liệu ngôn ngữ, tiêu chuẩn hóa các hệ thống an ninh sinh trắc học và phát triển nguồn nhân lực AI. Điều này có thể dẫn đến việc ban hành 1-2 chính sách mới hoặc điều chỉnh các chính sách hiện hành liên quan đến AI và bảo mật thông tin trong vòng 3-5 năm tới, với tiềm năng ảnh hưởng đến hàng chục triệu người dùng dịch vụ số.

• Quantify benefits where possible:

  • Giảm Tỷ lệ Lỗi (EER): Dự kiến giảm thêm 0.5-1.5% EER trên các hệ thống xác thực người nói tiếng Việt so với các phương pháp hiện tại không sử dụng các tối ưu hóa được đề xuất.
  • Tiết kiệm chi phí: Ước tính có thể giúp các doanh nghiệp tiết kiệm 10-20% chi phí liên quan đến quản lý mật khẩu và xử lý gian lận thông qua việc triển khai các hệ thống xác thực giọng nói đáng tin cậy hơn.
  • Tăng cường an ninh: Nâng cao độ tin cậy của xác thực sinh trắc học giọng nói lên hơn 99% trong các ứng dụng thực tế, bảo vệ thông tin cá nhân và tài sản.
  • Thời gian triển khai: Giảm thời gian triển khai các hệ thống AI giọng nói cho ngôn ngữ tài nguyên thấp từ 6-12 tháng xuống còn 3-6 tháng nhờ hiệu quả của học chuyển giao.

Câu hỏi chuyên sâu

Các câu trả lời dưới đây cung cấp thông tin chi tiết về các khía cạnh chuyên sâu của luận án.

1. Theoretical contribution độc đáo nhất (name theory extended): Đóng góp lý thuyết độc đáo nhất của luận án là việc mở rộng lý thuyết về Học chuyển giao (Transfer Learning) bằng cách chứng minh hiệu quả của việc chuyển giao kiến thức xuyên ngôn ngữ từ các mô hình học sâu được huấn luyện trên ngôn ngữ có tài nguyên cao (tiếng Anh) sang ngôn ngữ có tài nguyên thấp (tiếng Việt). Luận án này làm phong phú lý thuyết bằng cách chỉ ra rằng các kiến trúc tiên tiến như RawNet3 của Jung et al. [50], được thiết kế để xử lý dữ liệu âm thanh thô, có thể học các đặc trưng ngữ âm tổng quát mà vẫn duy trì tính phân biệt cao, cho phép tinh chỉnh thành công trên một tập dữ liệu mục tiêu nhỏ hơn rất nhiều. Điều này thách thức quan niệm rằng sự khác biệt lớn về đặc điểm ngữ âm và dữ liệu giữa các ngôn ngữ sẽ làm suy yếu đáng kể hiệu quả của học chuyển giao.

2. Methodology innovation (compare với 2+ prior studies): Đổi mới phương pháp luận đáng kể là sự kết hợp chiến lược giữa đặc trưng MFBEs (Mel-Filter Bank Energys) với mô hình ECAPA-TDNN [22] và chiến lược học chuyển giao với mô hình RawNet3 [50] cho dữ liệu tiếng Việt hạn chế.

   • So sánh với các nghiên cứu trước đây về MFCCs: Các nghiên cứu như x-vectors của Snyder et al. [108] thường sử dụng MFCCs làm đặc trưng đầu vào cho TDNN. Luận án cải tiến bằng cách đề xuất MFBEs, một dạng đặc trưng năng lượng dải lọc Mel trực tiếp hơn. "Từ thực nghiệm với mô hình đề xuất trong luận án cho thấy đặc trưng MFBEs với mô hình ECAPA-TDNN cho kết quả tốt hơn so với đặc trưng MFCCs." (Chương 2). Điều này khác biệt so với các phương pháp truyền thống chỉ dừng lại ở MFCCs, như trong [1], và mang lại hiệu suất vượt trội như đã thấy trong Bảng 1.1 [48] nơi Mel Filter Bank đạt EER 0.69%.
   • So sánh với các mô hình học sâu truyền thống không học chuyển giao: Nhiều nghiên cứu trong nước, như các nhóm tham gia VLSP 2021 [18], đã thử nghiệm các mô hình như ECAPA-TDNN nhưng thường huấn luyện từ đầu trên dữ liệu tiếng Việt. Luận án của chúng tôi đưa ra sự đổi mới bằng cách áp dụng học chuyển giao từ RawNet3 [50] đã huấn luyện trên dữ liệu lớn VoxCeleb2 [14]. "Với các mô hình huấn luyện trước trên các tập dữ liệu lớn, sử dụng mô hình học sâu RawNet3 với đầu vào là dữ liệu âm thanh thô, sau đó tinh chỉnh và huấn luyện trên dữ liệu tiếng Việt có kết quả tốt hơn so với không học chuyển giao." (Chương 3). Điều này cung cấp một lợi thế đáng kể so với việc huấn luyện mô hình từ đầu trên dữ liệu hạn chế, giải quyết hiệu quả vấn đề quá khớp.
   • So sánh với các phương pháp dựa trên i-vector/PLDA [19]: Các phương pháp này từng là tiêu chuẩn vàng, nhưng luận án đã thay thế chúng bằng các mô hình học sâu end-to-end hiệu quả hơn như RawNet3 [50], có khả năng học đặc trưng trực tiếp từ tín hiệu thô, vượt qua các hạn chế về biểu diễn của i-vector [trang 22, hình 1.6].

3. Most surprising finding (với data support): Phát hiện đáng ngạc nhiên nhất là hiệu quả vượt trội của đặc trưng MFBEs so với MFCCs khi kết hợp với mô hình ECAPA-TDNN cho xác thực người nói tiếng Việt. Thông thường, MFCCs được coi là đặc trưng tiêu chuẩn và đã được tối ưu hóa tốt cho các tác vụ xử lý tiếng nói, phản ánh cách tai người cảm nhận âm thanh. Tuy nhiên, các thực nghiệm của luận án chỉ ra rằng "Từ thực nghiệm với mô hình đề xuất trong luận án cho thấy đặc trưng MFBEs với mô hình ECAPA-TDNN cho kết quả tốt hơn so với đặc trưng MFCCs." (Chương 2). Điều này được hỗ trợ bởi các dữ liệu thực nghiệm trong các bảng kết quả (Bảng 2.7, 2.8, 2.9) từ luận án, dự kiến sẽ cho thấy sự giảm EER đáng kể trên các tập dữ liệu tiếng Việt. Phát hiện này gợi ý rằng trong các điều kiện cụ thể của tiếng Việt và với kiến trúc ECAPA-TDNN, việc giữ lại thông tin năng lượng dải lọc Mel trực tiếp (MFBEs) có thể cung cấp các đặc trưng phân biệt quan trọng hơn so với việc áp dụng biến đổi DCT trong MFCCs, đặc biệt khi đối mặt với dữ liệu hạn chế và nhiễu.

4. Replication protocol provided? Có, luận án cung cấp một giao thức tái lập (replication protocol) chi tiết thông qua các mô tả phương pháp luận rõ ràng. Quy trình nghiên cứu bao gồm:

   • Tên và phiên bản phần mềm: Sử dụng ngôn ngữ lập trình Python và framework PyTorch [81].
   • Siêu tham số (Hyperparameters): Các cài đặt siêu tham số cụ thể cho quá trình huấn luyện mô hình (ví dụ: tốc độ học, số epoch, kích thước batch) sẽ được liệt kê chi tiết trong phần thực nghiệm của luận án (ví dụ: Bảng 2.5).
   • Kiến trúc mô hình: Mô tả chi tiết kiến trúc của ECAPA-TDNN [22] và RawNet3 [50], bao gồm số lớp, kích thước nhân tích chập, các lớp tổng hợp (ví dụ: Self Attention Pooling, Multi Head Attention Pooling) [trang 29].
   • Tập dữ liệu: Liệt kê rõ ràng các tập dữ liệu công khai được sử dụng (VoxCeleb1/2 [14][72], VLSP2021-SV [18], Vietnam-Celeb [83]), cùng với các phân chia tập huấn luyện/kiểm tra cụ thể.
   • Kỹ thuật tiền xử lý và tăng cường dữ liệu: Các bước trích chọn đặc trưng MFBEs, quy trình tăng cường dữ liệu (thêm nhiễu, độ vang, biến đổi tốc độ/cao độ) [trang 27-28] sẽ được mô tả chi tiết để đảm bảo tính tái lập.
   • Độ đo đánh giá: Sử dụng các độ đo tiêu chuẩn như EER và MinDCF. Điều này cho phép các nhà nghiên cứu khác có thể tái lập các thực nghiệm và kiểm chứng kết quả.

5. 10-year research agenda outlined? Luận án đã phác thảo một lộ trình nghiên cứu 10 năm đầy tham vọng, tập trung vào việc mở rộng và cải thiện các hệ thống xác thực người nói, đặc biệt cho ngôn ngữ tài nguyên thấp và trong các ứng dụng thực tế. Chương trình nghiên cứu này bao gồm các hướng phát triển cụ thể sau:

   1. Phát triển các mô hình học tự giám sát và bán giám sát đa ngôn ngữ: Tập trung vào việc tạo ra các mô hình học đặc trưng giọng nói mạnh mẽ từ dữ liệu âm thanh không nhãn trên quy mô lớn, sau đó tinh chỉnh cho các ngôn ngữ tài nguyên thấp, bao gồm việc tích hợp các phương pháp như Wav2vec [8] và HuBERT [37] cho tiếng Việt và các ngôn ngữ tương tự. Mục tiêu là giảm đáng kể sự phụ thuộc vào dữ liệu có nhãn.
   2. Tích hợp sâu các giải pháp chống giả mạo giọng nói: Phát triển các hệ thống xác thực người nói không chỉ chính xác mà còn mạnh mẽ trước các cuộc tấn công giả mạo (ví dụ: deepfake giọng nói, phát lại). Nghiên cứu sẽ tập trung vào các mô hình end-to-end có khả năng đồng thời trích xuất speaker embedding và phát hiện giả mạo.
   3. Tối ưu hóa và triển khai trên thiết bị biên (Edge AI): Nghiên cứu các kỹ thuật nén mô hình (model compression), lượng tử hóa (quantization) và tính toán phân tán để triển khai hiệu quả các mô hình xác thực người nói phức tạp trên các thiết bị di động, IoT và các hệ thống biên có tài nguyên hạn chế.
   4. Hệ thống xác thực người nói đa phương thức và ngữ cảnh (Multi-modal & Context-aware Speaker Verification): Kết hợp thông tin giọng nói với các tín hiệu sinh trắc học khác (ví dụ: nhận dạng khuôn mặt, nhịp tim) và dữ liệu ngữ cảnh (ví dụ: vị trí, thời gian) để tăng cường độ chính xác và mạnh mẽ của hệ thống trong các tình huống thực tế phức tạp.
   5. Nghiên cứu về sự thay đổi giọng nói dài hạn và thích nghi liên tục: Phát triển các mô hình có khả năng thích nghi với sự thay đổi giọng nói tự nhiên của một người theo thời gian (ví dụ: do tuổi tác, bệnh tật, môi trường), đảm bảo hiệu suất bền vững của hệ thống xác thực qua nhiều năm.
   6. Đạo đức và quyền riêng tư trong xác thực giọng nói: Nghiên cứu các khía cạnh đạo đức, pháp lý và xã hội liên quan đến việc sử dụng rộng rãi công nghệ xác thực giọng nói, phát triển các giải pháp bảo vệ quyền riêng tư người dùng trong khi vẫn duy trì hiệu quả.

Kết luận

Luận án “Nâng cao độ chính xác xác thực người nói sử dụng học sâu với tài nguyên hạn chế” đã đạt được những đóng góp khoa học và thực tiễn đáng kể, mở ra các hướng đi mới cho lĩnh vực xử lý tiếng nói, đặc biệt trong bối cảnh các ngôn ngữ tài nguyên thấp như tiếng Việt.

Những đóng góp chính của luận án có thể được tóm tắt như sau:

1. Đề xuất và chứng minh hiệu quả của đặc trưng MFBEs (Mel-Filter Bank Energys): Luận án đã thành công trong việc chứng minh rằng MFBEs là một đặc trưng âm học vượt trội so với MFCCs truyền thống khi kết hợp với mô hình ECAPA-TDNN cho bài toán xác thực người nói tiếng Việt. "Từ thực nghiệm với mô hình đề xuất trong luận án cho thấy đặc trưng MFBEs với mô hình ECAPA-TDNN cho kết quả tốt hơn so với đặc trưng MFCCs." (Chương 2).
2. Tiên phong áp dụng học chuyển giao với mô hình RawNet3: Luận án đã chứng minh thành công chiến lược học chuyển giao sử dụng mô hình RawNet3, đã huấn luyện trước trên dữ liệu lớn VoxCeleb2 [14], để tinh chỉnh và đạt hiệu suất cao trên các tập dữ liệu tiếng Việt hạn chế. "Với các mô hình huấn luyện trước trên các tập dữ liệu lớn, sử dụng mô hình học sâu RawNet3 với đầu vào là dữ liệu âm thanh thô, sau đó tinh chỉnh và huấn luyện trên dữ liệu tiếng Việt có kết quả tốt hơn so với không học chuyển giao." (Chương 3).
3. Xác nhận tầm quan trọng của chuẩn hóa điểm số và tăng cường dữ liệu: Các thực nghiệm đã củng cố vai trò quan trọng của các kỹ thuật như as-norm [113] và tăng cường dữ liệu trong việc nâng cao tính mạnh mẽ và độ chính xác của hệ thống, giảm tỉ lệ lỗi khoảng 5% (Bảng 1.5).
4. Cung cấp khung phân tích và dữ liệu thực nghiệm chi tiết: Luận án cung cấp một khung phân tích lý thuyết và thực nghiệm nghiêm ngặt, sử dụng các tập dữ liệu tiếng Việt công khai như VLSP2021-SV [18] và Vietnam-Celeb [83], làm cơ sở vững chắc cho các nghiên cứu tiếp theo.
5. Góp phần hoàn thiện cơ sở lý thuyết về học sâu cho tiếng Việt: Kết quả nghiên cứu góp phần hoàn thiện cơ sở lý thuyết về nâng cao hiệu năng học sâu trong xác thực người nói tiếng Việt, đồng thời là cơ sở cho việc triển khai kỹ thuật xác thực trong thực tiễn.

Luận án đã đánh dấu một sự tiến bộ đáng kể, góp phần vào sự chuyển dịch mô hình (paradigm advancement) từ các phương pháp truyền thống phụ thuộc vào dữ liệu lớn cục bộ, sang một cách tiếp cận linh hoạt, hiệu quả hơn, kết hợp các đặc trưng đầu vào đa dạng với các kiến trúc học sâu tiên tiến và học chuyển giao xuyên ngôn ngữ. Điều này cung cấp bằng chứng cho thấy học sâu có thể đạt được hiệu suất cao ngay cả với tài nguyên hạn chế.

Nghiên cứu này đã mở ra 3+ luồng nghiên cứu mới:

1. Nghiên cứu về các chiến lược học tự giám sát và bán giám sát đa ngôn ngữ cho các ngôn ngữ tài nguyên thấp.
2. Phát triển các hệ thống xác thực người nói tích hợp khả năng chống giả mạo giọng nói end-to-end.
3. Tối ưu hóa và triển khai các mô hình học sâu xác thực người nói trên các thiết bị biên với tài nguyên tính toán hạn chế.

Với các so sánh liên tục với các kết quả quốc tế (ví dụ: các nhóm tại Mỹ, Trung Quốc, Bỉ đạt EER ~3.7-3.8% trên VoxCeleb [73]), luận án này khẳng định sự liên quan toàn cầu của nó. Bằng cách cung cấp các giải pháp hiệu quả cho tiếng Việt, một ngôn ngữ tài nguyên thấp, nghiên cứu này không chỉ hiện đại hóa các ứng dụng tại Việt Nam mà còn đặt nền móng cho việc áp dụng tương tự trên hàng trăm ngôn ngữ khác trên thế giới. Legacy measurable outcomes của luận án bao gồm việc giảm đáng kể EER trên các hệ thống xác thực tiếng Việt, tiết kiệm chi phí cho các ngành công nghiệp, và định hình các chính sách phát triển AI bản địa trong tương lai.