Tổng quan về luận án

Luận án tiến sĩ này thuộc chuyên ngành Hệ thống Thông tin, tập trung vào nghiên cứu và phát triển các hệ thống tổng hợp tiếng nói thích nghi cho tiếng Việt, một ngôn ngữ có đặc trưng ngữ điệu phức tạp và nguồn tài nguyên hạn chế. Nghiên cứu được thực hiện bởi Phạm Ngọc Phương dưới sự hướng dẫn của PGS. Lương Chi Mai tại Học viện Khoa học và Công nghệ Việt Nam. Đây là một công trình tiên phong nhằm giải quyết những thách thức cố hữu trong việc tạo ra tiếng nói tổng hợp chất lượng cao, cá nhân hóa và hiệu quả chi phí trong bối cảnh ngôn ngữ nghèo tài nguyên.

Bối cảnh khoa học hiện đại cho thấy sự phát triển vượt bậc của công nghệ tổng hợp tiếng nói (Text-to-Speech – TTS), với chất lượng đầu ra ngày càng tiệm cận giọng người thật [1]. Tuy nhiên, để xây dựng một giọng nói tổng hợp mới theo yêu cầu, các phương pháp truyền thống thường đòi hỏi một lượng lớn dữ liệu thu âm (khoảng 10 giờ trong môi trường phòng thu tiêu chuẩn) [1], gây tốn kém về chi phí, thời gian và đặc biệt khó khả thi với các ngôn ngữ có tài nguyên thấp như tiếng Việt. Nhu cầu về giọng nói cá nhân hóa, phục hồi hoặc nhân bản giọng với lượng dữ liệu mẫu nhỏ (few-shot) hoặc tối thiểu (zero-shot) đang ngày càng gia tăng, đặt ra một khoảng trống nghiên cứu đáng kể.

Khoảng trống nghiên cứu (Research Gap) CỤ THỂ:

Mặc dù đã có các nghiên cứu về chuyển đổi và thích nghi giọng nói cho tiếng Việt [7] [8], nhưng chúng vẫn dựa trên phương pháp tổng hợp thích nghi sử dụng Mô hình Markov ẩn (HMM) và cho chất lượng tổng hợp thấp. Khoảng trống nghiên cứu chính mà luận án này giải quyết là việc thiếu các phương pháp tổng hợp tiếng nói tiếng Việt chất lượng cao, có khả năng thích nghi hiệu quả với lượng dữ liệu mẫu rất nhỏ (chỉ vài phút hoặc vài giây), đặc biệt là các mô hình dựa trên Mạng nơ-ron sâu (DNN) hiện đại có thể xử lý được sự phức tạp về thanh điệu và từ mượn của tiếng Việt. Nghiên cứu hiện tại trên các ngôn ngữ phổ biến như tiếng Anh, tiếng Nhật, tiếng Trung đã đạt được nhiều tiến bộ [4] [5], nhưng việc áp dụng và cải tiến chúng cho tiếng Việt vẫn còn nhiều thách thức. Luận án này nhắm đến việc lấp đầy khoảng trống này bằng cách phát triển các mô hình Few-shot TTS và Zero-shot TTS tiên tiến, tối ưu hóa cho đặc thù của tiếng Việt.

Các câu hỏi nghiên cứu (Research Questions) và giả thuyết (Hypotheses):

Luận án đặt ra các câu hỏi nghiên cứu cốt lõi:

  1. Phương pháp nào giúp tổng hợp tiếng nói đảm bảo chất lượng cho ngôn ngữ nghèo tài nguyên như tiếng Việt khi chỉ có vài phút mẫu thích nghi?
  2. Cần tối thiểu bao nhiêu dữ liệu thích nghi (được huấn luyện cùng hệ thống) để đảm bảo giọng tổng hợp đạt được chất lượng và độ tương đồng cao?
  3. Nếu thích nghi bằng mẫu dữ liệu chỉ vài giây và không cần huấn luyện lại mô hình thì hệ thống có thể thực hiện được không và lượng mẫu thích nghi tối thiểu cần bao nhiêu?
  4. Kích thước mẫu sẽ ảnh hưởng như thế nào đến chất lượng tổng hợp và ưu nhược điểm của các phương pháp này?

Khung lý thuyết (Theoretical Framework):

Luận án này được xây dựng trên nền tảng của các lý thuyết và kỹ thuật học sâu tiên tiến trong xử lý tiếng nói, bao gồm:

  • Lý thuyết tổng hợp tiếng nói dựa trên Mạng nơ-ron sâu (DNN-based Speech Synthesis): Đặc biệt là các kiến trúc End-to-end TTS như Tacotron2 [28] và FastSpeech2 [30], cung cấp khả năng ánh xạ trực tiếp từ văn bản sang đặc trưng âm thanh (Mel-Spectrogram) hoặc sóng âm.
  • Lý thuyết học chuyển đổi (Transfer Learning): Nền tảng cho việc thích nghi mô hình được huấn luyện trên dữ liệu lớn (đa người nói) sang một người nói mục tiêu mới với lượng dữ liệu nhỏ [69].
  • Lý thuyết biểu diễn đặc trưng giọng nói (Speaker-embedding): Các phương pháp mã hóa thông tin nhận dạng người nói thành vector có chiều cố định để điều khiển quá trình tổng hợp [45] [44].
  • Lý thuyết mô hình khuếch tán (Diffusion Model): Các mô hình tạo sinh tiên tiến như Denoise Diffusion Probabilistic Model (DDPM) [62] được sử dụng để tạo ra sóng âm chất lượng cao, đặc biệt hiệu quả trong các kịch bản Zero-shot TTS.

Đóng góp đột phá với tác động định lượng (Quantified Impact):

Luận án mang đến các đóng góp đột phá với tác động rõ rệt:

  1. Cải thiện chất lượng Few-shot TTS cho tiếng Việt: Đề xuất kỹ thuật Multi-pass fine-tune và vector biểu diễn đặc trưng Extracting Mel-Vector (EMV) giúp nâng cao chất lượng giọng nói tổng hợp với chỉ 4 phút dữ liệu thích nghi, đạt được độ tương đồng cao hơn đáng kể so với các mô hình tinh chỉnh truyền thống (thể hiện qua các chỉ số MOS và SIM được phân tích bằng ANOVA) [Bảng 8, Bảng 9].
  2. Khả năng Zero-shot TTS hiệu quả cho tiếng Việt: Phát triển mô hình Adapt-TTS, kết hợp EMV và mô hình khuếch tán, cho phép tổng hợp giọng mới chỉ với 3 giây mẫu âm thanh mà không cần huấn luyện lại mô hình. Các thử nghiệm cho thấy chất lượng MOS/WER được cải thiện đáng kể và điểm SIM đạt được độ tin tưởng 95% [Bảng 15, Bảng 16].
  3. Phương pháp xây dựng CSDL tiếng Việt chi phí thấp: Xây dựng quy trình thu thập và xử lý dữ liệu tiếng Việt đa người nói, tích hợp các kỹ thuật bổ sung thông tin nhãn (chèn điểm dừng lấy hơi, dấu câu, phiên âm từ mượn) giúp giảm thiểu chi phí và thời gian xây dựng CSDL. Bộ CSDL đã xây dựng thành công bao gồm thống kê 20 âm vị phổ biến nhất, đảm bảo tính đại diện cho tiếng Việt [Bảng 5, Bảng 6].
  4. Ứng dụng đa nền tảng: Phát triển ứng dụng nhân bản giọng nói thử nghiệm, khả dụng trên các thiết bị đa nền tảng (di động, máy tính nhúng Raspberry Pi 4 Model B), mở rộng khả năng ứng dụng thực tiễn của công nghệ tổng hợp tiếng nói thích nghi [Hình 44, 45, 46].

Phạm vi (Scope) và ý nghĩa (Significance):

Phạm vi nghiên cứu tập trung vào hệ thống tổng hợp tiếng nói tiếng Việt cá nhân hóa bằng phương pháp thích nghi trong điều kiện số lượng mẫu thích nghi hạn chế (cả có huấn luyện và không huấn luyện lại). Dữ liệu huấn luyện và dữ liệu mẫu giới hạn ở giọng miền Bắc và miền Nam với phong cách đọc thông tin thời sự chủ đề chính trị, xã hội. Ý nghĩa của luận án rất lớn, không chỉ giúp giảm thiểu chi phí và thời gian xây dựng giọng mới mà còn mở rộng khả năng cá nhân hóa giao tiếp người-máy, hỗ trợ phục hồi/nhân bản giọng, và mở ra các ứng dụng đa dạng trong nhiều lĩnh vực như giao thông, bán hàng tự động, đọc sách báo, và phiên dịch.

Literature Review và Positioning

Nghiên cứu về tổng hợp tiếng nói đã trải qua một chặng đường dài phát triển, từ tổng hợp dựa trên khớp nối (Articulatory Synthesis) [16], tổng hợp formant (Formant Synthesis) [17], đến tổng hợp dựa trên ghép nối (Concatenative Synthesis) [18]. Mặc dù các phương pháp này đã tạo ra nền tảng ban đầu, chúng đều gặp phải hạn chế về tính tự nhiên, linh hoạt và chi phí dữ liệu khổng lồ.

Tổng hợp các luồng nghiên cứu chính với TÊN TÁC GIẢ và NĂM cụ thể:

Luồng nghiên cứu chính thứ tư, Tổng hợp dựa trên tham số thống kê (Statistical Parametric Speech Synthesis – SPSS) [19], đánh dấu một bước tiến quan trọng bằng cách sử dụng các tham số âm thanh thay vì ghép nối trực tiếp sóng âm. Tuy nhiên, SPSS vẫn có hạn chế về độ rõ ràng và tính tự nhiên, với giọng nói thường nghe bị bóp nghẹt hoặc "máy móc" [20] [21]. Sự ra đời của Mạng nơ-ron sâu (DNN) vào những năm 2010 đã thay thế HMM trong SPSS, cải thiện đáng kể chất lượng tổng hợp [9].

Luồng nghiên cứu thứ năm và hiện đại nhất là Tổng hợp giọng dựa trên mạng nơ-ron và End-to-end TTS. WaveNet [10] của Oord và cộng sự (2016) được xem là mô hình TTS dựa trên mạng nơ-ron hiện đại đầu tiên, tạo ra dạng sóng trực tiếp từ đặc trưng ngôn ngữ. Các kiến trúc End-to-end như Tacotron 1/2 [27] [28] của Wang và cộng sự (2017/2018), Deep Voice 3 [29] của Ping và cộng sự (2017), và FastSpeech1/2 [11] [30] của Ren và cộng sự (2019/2020) đã đơn giản hóa quy trình bằng cách lấy chuỗi ký tự hoặc âm vị làm đầu vào và tạo ra phổ Mel hoặc dạng sóng trực tiếp. Đặc biệt, FastSpeech2 đã giải quyết vấn đề ánh xạ một-nhiều và cải thiện chất lượng đáng kể bằng cách loại bỏ đường ống chưng cất teacher-student và tích hợp Variance Adaptor [30].

Mâu thuẫn/tranh luận (Contradictions/Debates) với ít nhất 2 quan điểm đối lập:

Một tranh luận lớn trong lĩnh vực TTS là giữa kiến trúc tự hồi quy (autoregressive) và không tự động hồi quy (non-autoregressive). Các mô hình tự hồi quy như Tacotron2 [28] tạo ra các khung tiếng nói tuần tự, đảm bảo sự phụ thuộc thời gian nhưng lại có tốc độ suy diễn chậm và dễ gặp các vấn đề như bỏ qua hoặc lặp từ [11] [33]. Ngược lại, các mô hình không tự động hồi quy như FastSpeech2 [30] cho phép xử lý song song, đạt tốc độ cực nhanh và tránh được các lỗi của mô hình tự hồi quy, nhưng có thể gặp thách thức trong việc duy trì sự trôi chảy và tự nhiên của giọng nói do giả định độc lập giữa các khung tiếng nói.

Một mâu thuẫn khác nằm trong cách tiếp cận thích nghi giọng nói: tinh chỉnh mô hình (fine-tuning based) so với dựa trên mã hóa vector đặc trưng (embedding-based). Tinh chỉnh mô hình có thể đạt chất lượng cao nhưng đòi hỏi huấn luyện lại một phần hoặc toàn bộ mô hình, tốn kém chi phí và thời gian. Trong khi đó, cách tiếp cận dựa trên vector biểu diễn đặc trưng giọng nói (speaker-embedding) cho phép thích nghi nhanh chóng mà không cần huấn luyện lại, nhưng có thể không đạt được chất lượng tối ưu nếu vector đặc trưng không đủ hiệu quả hoặc giọng nói đích quá khác biệt so với dữ liệu huấn luyện [73].

Định vị trong tài liệu (Positioning in Literature) với khoảng trống cụ thể được xác định:

Luận án này định vị mình ở giao điểm của công nghệ TTS tiên tiến (dựa trên DNN, End-to-end, Non-Autoregressive) và nhu cầu cấp thiết về thích nghi giọng nói hiệu quả cho ngôn ngữ nghèo tài nguyên. Khoảng trống cụ thể được xác định là việc thiếu các phương pháp Few-shot TTS và Zero-shot TTS chất lượng cao cho tiếng Việt mà có thể xử lý các đặc thù ngữ âm và ngữ điệu phức tạp của nó [6]. Các nghiên cứu trước đây về thích nghi tiếng Việt dựa trên HMM đã chứng tỏ chất lượng thấp [7] [8], không đáp ứng được tiêu chuẩn hiện đại.

Cách luận án thúc đẩy lĩnh vực (How this advances field) với đóng góp cụ thể:

Luận án này thúc đẩy lĩnh vực bằng cách:

  • Đề xuất các kỹ thuật cải tiến như Multi-pass fine-tune và EMV, mang lại cải thiện định lượng về chất lượng và độ tương đồng trong Few-shot TTS cho tiếng Việt [Bảng 7, Bảng 8, Bảng 12].
  • Phát triển mô hình Adapt-TTS, tiên phong trong việc cung cấp giải pháp Zero-shot TTS hiệu quả cho tiếng Việt, kết hợp ưu điểm của vector đặc trưng tiên tiến và mô hình khuếch tán để tạo ra giọng nói tự nhiên với dữ liệu mẫu cực nhỏ [Bảng 15, Bảng 16].
  • Xây dựng một bộ CSDL tiếng Việt chi phí thấp, giải quyết bài toán tài nguyên dữ liệu cho nghiên cứu TTS tiếng Việt, một đóng góp quan trọng cho cộng đồng nghiên cứu tiếng Việt [Bảng 5, Bảng 6].

So sánh với ÍT NHẤT 2 nghiên cứu quốc tế:

  1. So sánh với "Multi-speaker multi-style voice cloning challenge" [5]: Luận án này giải quyết các thách thức tương tự về nhân bản giọng nói với ít dữ liệu (Few-shot/One-shot track) nhưng tập trung vào tiếng Việt. Trong khi thử thách quốc tế này sử dụng các kỹ thuật thích nghi dựa trên mã hóa đặc trưng (Embedding based) và tinh chỉnh (Fine-tuning based), luận án của chúng tôi đã đề xuất các cải tiến cụ thể như Multi-pass fine-tune và EMV, cho thấy hiệu suất vượt trội trong bối cảnh tiếng Việt, một ngôn ngữ phức tạp hơn nhiều so với các ngôn ngữ trong một số thử thách.
  2. So sánh với AdaSpeech [13] (Ren và cộng sự, 2021) và các nghiên cứu Zero-shot TTS khác [75] [12] [76]: AdaSpeech tập trung vào việc tổng quát hóa mô hình nguồn và thích nghi đa miền. Các nghiên cứu Zero-shot TTS ban đầu [75] [12] [76] thường sử dụng các vector biểu diễn đặc trưng giọng nói (d-vector, x-vector) nhưng chất lượng thích nghi chưa đủ tốt khi giọng đích rất khác biệt. Luận án này cải tiến đáng kể bằng cách đề xuất vector EMV được tối ưu hóa cho nhiệm vụ tổng hợp tiếng nói và tích hợp nó vào mô hình khuếch tán Adapt-TTS, giúp Adapt-TTS đạt được chất lượng và độ tương đồng cao hơn cho tiếng Việt trong điều kiện Zero-shot. Đây là sự tiến bộ rõ rệt trong việc xử lý hạn chế của các phương pháp mã hóa đặc trưng giọng nói truyền thống.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án này không chỉ áp dụng mà còn mở rộng và thách thức một số lý thuyết cốt lõi trong lĩnh vực tổng hợp tiếng nói và học sâu.

  • Mở rộng lý thuyết học chuyển đổi (Transfer Learning): Luận án mở rộng lý thuyết học chuyển đổi trong ngữ cảnh thích nghi giọng nói bằng cách đề xuất kỹ thuật Multi-pass fine-tune. Thay vì chỉ tinh chỉnh một lần hoặc toàn bộ mô hình như các phương pháp truyền thống [69], kỹ thuật này tối ưu hóa quá trình học chuyển đổi bằng cách tinh chỉnh các tham số học từ mô hình huấn luyện trước (pre-trained model) qua nhiều bước lặp, giúp mô hình thích nghi tốt hơn với dữ liệu mẫu nhỏ của người nói đích. Điều này cải thiện hiệu quả việc áp dụng các mô hình tổng hợp đa người nói (Multi-speaker) cho các giọng nói mới trong điều kiện Few-shot, đặc biệt quan trọng cho tiếng Việt.
  • Thách thức các phương pháp biểu diễn Speaker-embedding truyền thống: Luận án thách thức hiệu quả của các vector biểu diễn đặc trưng giọng nói như d-vector và x-vector [45] [75] khi áp dụng cho tổng hợp tiếng nói, đặc biệt với tiếng Việt. Nó đề xuất Extracting Mel-Vector (EMV) như một vector biểu diễn đặc trưng giọng nói hiệu quả hơn, được thiết kế đặc biệt để mô hình hóa mọi đặc trưng của người nói cần thiết cho việc tạo tiếng nói, thay vì chỉ phân biệt danh tính người nói. EMV tích hợp các đặc trưng phổ Mel một cách sâu sắc hơn, cung cấp một biểu diễn phong phú hơn để điều khiển quá trình tổng hợp.
  • Mở rộng ứng dụng của Mô hình khuếch tán (Diffusion Model): Luận án mở rộng việc ứng dụng các mô hình khuếch tán [62] vào tổng hợp tiếng nói Zero-shot cho tiếng Việt thông qua mô hình Adapt-TTS. Việc tích hợp mô hình khử nhiễu khuếch tán phổ Mel (Mel-spectrogram denoiser) cùng với EMV đã tạo ra một khung lý thuyết mới để tạo ra sóng âm chất lượng cao, có khả năng thích nghi tức thì mà không cần huấn luyện lại, một đóng góp quan trọng cho bài toán thích nghi trong điều kiện cực kỳ ít dữ liệu.

Khung phân tích khái niệm (Conceptual Framework) và mô hình lý thuyết (Theoretical Model):

Khung phân tích của luận án bao gồm ba thành phần chính và mối quan hệ giữa chúng:

  1. Đầu vào: Văn bản và dữ liệu âm thanh mẫu của người nói đích (reference speech).
  2. Khối thích nghi:
    • Speaker Encoder (Mã hóa người nói): Chịu trách nhiệm trích xuất vector biểu diễn đặc trưng giọng nói (speaker-embedding), với đề xuất cải tiến là mô-đun EMV.
    • Mô hình TTS cơ sở (Base TTS Model): Là một kiến trúc End-to-end Non-Autoregressive (ví dụ FastSpeech2 [30]), được huấn luyện trên CSDL đa người nói.
    • Bộ điều khiển thích nghi: Bao gồm kỹ thuật Multi-pass fine-tune (cho Few-shot TTS) hoặc mô hình Adapt-TTS (cho Zero-shot TTS) tích hợp mô hình khuếch tán.
  3. Đầu ra: Sóng âm tiếng nói tổng hợp chất lượng cao, mang đặc trưng giọng nói của người nói đích.

Mô hình lý thuyết với các mệnh đề/giả thuyết được đánh số:

Luận án đề xuất một mô hình lý thuyết tổng thể, được củng cố bởi các giả thuyết sau:

  • Mệnh đề 1: Việc áp dụng kỹ thuật học chuyển đổi Multi-pass fine-tune (phát triển từ lý thuyết Transfer Learning) sẽ cải thiện đáng kể chất lượng tổng hợp và độ tương đồng giọng nói trong điều kiện Few-shot TTS cho tiếng Việt so với tinh chỉnh truyền thống.
  • Mệnh đề 2: Vector biểu diễn đặc trưng giọng nói EMV, được tối ưu hóa cho tổng hợp tiếng nói, sẽ cung cấp thông tin đặc trưng giọng nói hiệu quả hơn, dẫn đến chất lượng tổng hợp Few-shot TTS cao hơn so với các speaker-embedding truyền thống (d-vector, x-vector).
  • Mệnh đề 3: Mô hình Adapt-TTS, kết hợp EMV và mô hình khuếch tán (Diffusion Model), có khả năng thực hiện Zero-shot TTS cho tiếng Việt với chất lượng và độ tương đồng chấp nhận được chỉ với vài giây mẫu âm thanh, mà không cần huấn luyện lại mô hình.
  • Mệnh đề 4: Quy trình xây dựng CSDL tiếng Việt chi phí thấp với các kỹ thuật bổ sung nhãn (chèn dấu câu, điểm dừng lấy hơi, phiên âm từ mượn) sẽ cung cấp nền tảng dữ liệu hiệu quả, nâng cao độ tự nhiên của giọng nói tổng hợp cho các mô hình thích nghi.

Chuyển đổi mô hình (Paradigm Shift) với BẰNG CHỨNG từ các phát hiện:

Luận án tạo ra một sự chuyển đổi mô hình trong nghiên cứu TTS tiếng Việt, dịch chuyển trọng tâm từ các hệ thống truyền thống dựa trên HMM [7] [8] sang các phương pháp học sâu tiên tiến (DNN, End-to-end, Diffusion Models) với khả năng thích nghi hiệu quả chi phí. Bằng chứng từ các phát hiện cho thấy, các kỹ thuật Few-shot TTS (Multi-pass fine-tune, EMV) và Zero-shot TTS (Adapt-TTS) đã đạt được chất lượng tổng hợp vượt trội so với các hệ thống HMM và các phương pháp thích nghi cũ. Cụ thể, điểm MOS và SIM cao hơn được chứng minh bằng các phân tích ANOVA [Bảng 9, Bảng 14, Bảng 17], khẳng định tính ưu việt của cách tiếp cận mới và khả năng giải quyết các vấn đề mà các mô hình trước đây không thể.

Khung phân tích độc đáo

Khung phân tích của luận án nổi bật nhờ sự tích hợp sâu sắc của nhiều lý thuyết tiên tiến để giải quyết một vấn đề cụ thể (thích nghi tiếng nói tiếng Việt với ít dữ liệu) một cách toàn diện.

  • Tích hợp các lý thuyết (Integration of theories): Luận án tích hợp mạnh mẽ lý thuyết học chuyển đổi (Transfer Learning), lý thuyết mạng nơ-ron sâu (DNN), và lý thuyết mô hình khuếch tán (Diffusion Model). Cụ thể, các mô hình nền tảng như FastSpeech2 (dựa trên kiến trúc Transformer và Variance Adaptor) được sử dụng làm xương sống, sau đó được cải tiến thông qua kỹ thuật Multi-pass fine-tune (ứng dụng Transfer Learning) và mô-đun EMV (được tối ưu hóa bằng DNN) để biểu diễn speaker-embedding. Đối với kịch bản Zero-shot, EMV tiếp tục được tích hợp vào một kiến trúc dựa trên Diffusion Model (Adapt-TTS), tạo thành một chuỗi tích hợp mạnh mẽ.

  • Phương pháp phân tích mới lạ (Novel analytical approach) với luận chứng: Luận án giới thiệu một phương pháp phân tích mới lạ trong việc tối ưu hóa vector biểu diễn đặc trưng giọng nói cho nhiệm vụ tổng hợp tiếng nói thông qua mô-đun Extracting Mel-Vector (EMV). Thay vì sử dụng các vector chung cho nhận dạng giọng nói (d-vector, x-vector) vốn chỉ tập trung vào khả năng phân biệt người nói, EMV được thiết kế để trích xuất và mã hóa mọi đặc trưng âm học cần thiết cho việc tạo tiếng nói, bao gồm cao độ, tông giọng, ngữ điệu, và trọng âm. Luận chứng cho cách tiếp cận này là sự cần thiết phải có một biểu diễn speaker-embedding phong phú và chi tiết hơn để điều khiển quá trình tổng hợp tiếng nói chất lượng cao, đặc biệt với sự phức tạp của thanh điệu tiếng Việt. EMV đã được chứng minh là vượt trội hơn các vector biểu diễn cơ bản, với bằng chứng từ các bảng đánh giá chất lượng và độ tương đồng [Bảng 12, Bảng 13].

  • Đóng góp khái niệm (Conceptual contributions) với định nghĩa:

    • Few-shot TTS (cho tiếng Việt): Được định nghĩa là khả năng tổng hợp giọng nói mang đặc trưng của người nói đích với chất lượng cao và độ tương đồng ấn tượng, chỉ sử dụng một lượng dữ liệu mẫu huấn luyện nhỏ (vài phút).
    • Zero-shot TTS (cho tiếng Việt): Được định nghĩa là khả năng tổng hợp giọng nói mang đặc trưng của người nói đích chỉ với một vài giây mẫu âm thanh, mà không cần huấn luyện lại mô hình, mở ra khả năng thích nghi tức thì.
    • Extracting Mel-Vector (EMV): Là một vector biểu diễn đặc trưng giọng nói được tối ưu hóa, trích xuất thông tin chi tiết từ phổ Mel âm thanh, giúp điều khiển quá trình tổng hợp tiếng nói một cách hiệu quả hơn so với các phương pháp mã hóa đặc trưng giọng nói phổ biến khác [Bảng 11].

  • Điều kiện biên (Boundary conditions) được nêu rõ ràng:

    • Dữ liệu: Dữ liệu huấn luyện và dữ liệu mẫu (giọng đích) được chọn giới hạn ở giọng miền Bắc và giọng miền Nam của tiếng Việt.
    • Phong cách: Tập trung vào phong cách đọc thông tin thời sự chủ đề chính trị, xã hội, có thể không hoàn toàn khái quát hóa cho các phong cách nói khác (ví dụ: đối thoại tự nhiên, cảm xúc).
    • Nguồn tài nguyên: Luận án chủ yếu giải quyết bài toán cho ngôn ngữ nghèo tài nguyên, trong điều kiện ít dữ liệu mẫu. Hiệu suất có thể khác biệt đối với các ngôn ngữ có nguồn tài nguyên phong phú.

Phương pháp nghiên cứu tiên tiến

Luận án áp dụng một phương pháp nghiên cứu tiên tiến, kết hợp giữa triết lý thực chứng và các kỹ thuật tính toán hiện đại để phát triển và đánh giá hệ thống thích nghi giọng nói.

Thiết kế nghiên cứu

  • Triết lý nghiên cứu (Research philosophy): Luận án tuân theo triết lý thực chứng (positivism), thể hiện qua việc nhấn mạnh vào các đo lường định lượng, khách quan (MOS, SIM, MCD, WER), kiểm định thống kê (ANOVA, độ tin cậy 95%), và phát triển các mô hình dự đoán (DNNs, Diffusion Models) nhằm thiết lập các "chân lý" có thể đo lường và khái quát về hiệu suất hệ thống. Tuy nhiên, việc sử dụng các thang điểm cảm tính như MOS và SIM cũng cho thấy sự cân nhắc đến khía cạnh nhận thức và trải nghiệm của con người, mang tính kiến tạo (constructivism) ở khía cạnh đánh giá người dùng cuối.

  • Thiết kế kết hợp phương pháp (Mixed methods): Mặc dù không phải là mixed methods theo nghĩa xã hội học, luận án sử dụng kết hợp các phương pháp định lượng và định tính trong đánh giá:

    • Định lượng: Đo lường khách quan như Mel-Cepstral Distortion (MCD) [64] và Word Error Rate (WER) [66], cùng với phân tích thống kê ANOVA [65] và độ tin cậy (95%).
    • Định tính: Đánh giá chủ quan thông qua Mean Opinion Score (MOS) và Similarity Score (SIM), dựa trên cảm nhận của người nghe.

  • Thiết kế đa cấp độ (Multi-level design): Thiết kế nghiên cứu được tổ chức theo cấp độ phát triển mô hình, từ cơ sở dữ liệu đến các kỹ thuật thích nghi:

    • Cấp độ 1: Phát triển CSDL tiếng Việt chi phí thấp (Chương 2): Tập trung vào việc xây dựng nền tảng dữ liệu chất lượng cao, thiết yếu cho các cấp độ cao hơn.
    • Cấp độ 2: Phát triển Few-shot TTS (Chương 3): Xây dựng các mô hình thích nghi phụ thuộc người nói với lượng mẫu nhỏ, bao gồm kỹ thuật Multi-pass fine-tune và mô-đun EMV.
    • Cấp độ 3: Phát triển Zero-shot TTS (Chương 4): Xây dựng mô hình thích nghi độc lập người nói với lượng mẫu tối thiểu (Adapt-TTS).
    • Cấp độ 4: Ứng dụng thực tiễn: Tích hợp các mô hình vào ứng dụng đa nền tảng để đánh giá tính khả thi.

  • Kích thước mẫu và tiêu chí lựa chọn CHÍNH XÁC:

    • Dữ liệu thích nghi Few-shot: Các thử nghiệm được thực hiện với lượng dữ liệu thích nghi từ 1 phút đến 4 phút [Bảng 8, Bảng 13], cho thấy hiệu suất cải thiện nhanh chóng với dữ liệu nhỏ.
    • Dữ liệu thích nghi Zero-shot: Mô hình Adapt-TTS được đánh giá với chỉ 3 giây âm thanh mẫu của người nói đích [Bảng 17].
    • Dữ liệu huấn luyện: Luận án sử dụng bộ cơ sở dữ liệu tiếng nói tiếng Việt đa người nói được xây dựng riêng, với quy trình chi phí thấp. Mặc dù không nêu cụ thể tổng số giờ, nhưng dữ liệu bao gồm thống kê 20 âm vị phổ biến nhất của 2 bộ dữ liệu (bỏ silence) [Bảng 6], đảm bảo tính đại diện.
    • Người nói: Dữ liệu huấn luyện và dữ liệu mẫu được chọn giới hạn ở giọng miền Bắc và giọng miền Nam của tiếng Việt, với phong cách đọc thông tin thời sự.

Quy trình nghiên cứu nghiêm ngặt

  • Chiến lược lấy mẫu (Sampling strategy) với tiêu chí bao gồm/loại trừ:

    • Dữ liệu huấn luyện CSDL đa người nói được xây dựng thông qua quy trình tự thu âm và từ nguồn có sẵn [Hình 13]. Tiêu chí bao gồm là giọng nói rõ ràng, chuẩn ngữ điệu miền Bắc và miền Nam, phong cách đọc tin tức. Tiêu chí loại trừ là giọng nói bị nhiễu, không rõ ràng, hoặc ngoài phạm vi phong cách nghiên cứu.
    • Dữ liệu mẫu thích nghi (cho Few-shot và Zero-shot) được lựa chọn ngẫu nhiên từ những người nói không có trong tập huấn luyện hoặc với lượng mẫu rất hạn chế để đánh giá khả năng tổng quát hóa của mô hình.

  • Giao thức thu thập dữ liệu (Data collection protocols) với mô tả công cụ:

    • CSDL tiếng Việt: Xây dựng thông qua một quy trình chi phí thấp, bao gồm:
      • Thu âm tự động: Sử dụng giao diện thu âm trên nền web [Hình 17] để tối ưu hóa quy trình.
      • Xử lý văn bản: Phương pháp chèn dấu câu và điểm dừng lấy hơi bổ sung nhãn thông tin [Hình 14], cùng với phiên âm từ mượn tiếng Anh sang tiếng Việt [Bảng 3, Hình 15].
      • Căn chỉnh cưỡng bức (Forced Alignment): Sử dụng công cụ như Montreal Forced Align (MFA) để căn chỉnh âm vị và trường độ, đảm bảo độ chính xác của nhãn âm học.

  • Kiểm định chéo (Triangulation): Luận án sử dụng nhiều hình thức kiểm định chéo để tăng cường độ tin cậy của kết quả:

    • Kiểm định chéo dữ liệu (Data Triangulation): Đánh giá các mô hình với các lượng dữ liệu thích nghi khác nhau (1 phút, 4 phút, 3 giây).
    • Kiểm định chéo phương pháp (Method Triangulation): Kết hợp các phương pháp đánh giá chủ quan (MOS, SIM) và khách quan (MCD, WER) để có cái nhìn toàn diện về chất lượng tổng hợp.
    • Kiểm định chéo lý thuyết (Theory Triangulation): So sánh hiệu quả của các cách tiếp cận lý thuyết khác nhau (tinh chỉnh dựa trên học chuyển đổi vs. mã hóa vector đặc trưng vs. mô hình khuếch tán) trong cùng một ngữ cảnh.

  • Tính hợp lệ (Validity) và độ tin cậy (Reliability):

    • Tính hợp lệ cấu trúc (Construct Validity): Các chỉ số MOS, SIM, MCD, WER được sử dụng là các thước đo đã được công nhận trong cộng đồng nghiên cứu TTS. Các mô hình như Tacotron2 [28] và FastSpeech2 [30] được sử dụng làm cơ sở để đảm bảo tính hợp lệ trong việc xây dựng kiến trúc.
    • Tính hợp lệ nội bộ (Internal Validity): Các thử nghiệm so sánh giữa mô hình đề xuất và mô hình cơ sở được thực hiện trong cùng điều kiện, sử dụng cùng tập dữ liệu đánh giá và tiêu chí.
    • Tính hợp lệ bên ngoài (External Validity): Các điều kiện tổng quát hóa được xác định rõ ràng (giọng miền Bắc/Nam, phong cách đọc tin tức).
    • Độ tin cậy (Reliability): Các phân tích thống kê (ANOVA) với độ tin tưởng 95% [Bảng 9, Bảng 14, Bảng 17] được sử dụng để xác nhận rằng sự khác biệt về hiệu suất là có ý nghĩa thống kê và không phải ngẫu nhiên. Các hệ số alpha (α values) không được nêu tường minh nhưng được hàm ý qua các phép kiểm định thống kê.

Dữ liệu và phân tích

  • Đặc điểm mẫu (Sample characteristics) với dữ liệu thống kê:

    • Bộ CSDL tiếng Việt được xây dựng bao gồm các giọng nam và nữ, đại diện cho giọng miền Bắc và miền Nam. Thống kê cụ thể về các âm vị phổ biến nhất cho thấy sự phân bố âm vị đa dạng [Bảng 6], bao gồm cả "20 âm vị phổ biến nhất của 2 bộ dữ liệu (bỏ silence)".
    • Các thông tin về lứa tuổi và giới tính của người nói trong CSDL cũng được phân tích (ví dụ: Biểu đồ phân bố trường độ âm vị của các giọng nữ với cùng lứa tuổi [Hình 20], Biểu đồ của các phân bố trường độ âm vị ở nhiều độ tuổi, giới tính [Hình 21]), cung cấp cái nhìn sâu sắc về đặc điểm âm học của dữ liệu.

  • Kỹ thuật tiên tiến (Advanced techniques) với phần mềm:

    • Mạng nơ-ron sâu (DNN): Là xương sống của các mô hình thích nghi.
    • Học chuyển đổi (Transfer Learning): Cơ sở cho Multi-pass fine-tune.
    • Kiến trúc End-to-end Non-Autoregressive: Sử dụng FastSpeech2 [30] làm mô hình cơ sở (với các khối Feed-Forward Transformer - FFT và Variance Adaptor).
    • Mô-đun Trích xuất Mel-Vector (EMV): Một kiến trúc DNN tùy chỉnh để mã hóa speaker-embedding [Bảng 11].
    • Mô hình khuếch tán (Diffusion Model): Được tích hợp trong Adapt-TTS để tạo sóng âm chất lượng cao, đặc biệt là mô hình khử nhiễu khuếch tán phổ Mel (Mel-spectrogram denoiser) [Hình 34, Hình 37].
    • Phân tích phương sai (ANOVA): Được sử dụng để so sánh hiệu suất giữa các mô hình và chứng minh sự khác biệt có ý nghĩa thống kê [Bảng 9, Bảng 14, Bảng 17].
    • Biểu diễn ngẫu nhiên các embedding phân tán (t-SNE): Được sử dụng để trực quan hóa sự phân bố của giọng nói người nói và giọng nói tổng hợp, cho thấy mức độ tương đồng trong không gian đặc trưng [Hình 32, Hình 40].
    • Phần mềm: Mặc dù không được liệt kê cụ thể, các kỹ thuật này thường được triển khai bằng các framework học sâu như PyTorch hoặc TensorFlow, và các công cụ xử lý âm thanh như Montreal Forced Align (MFA) được sử dụng cho việc căn chỉnh.

  • Kiểm tra độ vững chắc (Robustness checks) với các đặc tả thay thế:

    • Các mô hình được đánh giá trên nhiều bộ dữ liệu thử nghiệm, bao gồm cả giọng nói chưa từng xuất hiện trong quá trình huấn luyện (đặc biệt trong Zero-shot TTS).
    • So sánh hiệu suất với các mô hình cơ sở (baseline models) và các kỹ thuật thích nghi truyền thống (fine-tuning truyền thống) [Bảng 7, Bảng 8, Bảng 12, Bảng 15].
    • Đánh giá trên các lượng dữ liệu thích nghi khác nhau để hiểu rõ sự ảnh hưởng của kích thước mẫu đến chất lượng.

  • Kích thước hiệu ứng (Effect sizes) và khoảng tin cậy (Confidence intervals) được báo cáo:

    • Các bảng kết quả trình bày "độ tin tưởng 95%" cho các đánh giá MOS, WER, và SIM [Bảng 12, Bảng 13, Bảng 15, Bảng 16]. Điều này chỉ ra rằng các kết quả có ý nghĩa thống kê và khoảng tin cậy cho phép đánh giá độ chính xác của các ước lượng.

Phát hiện đột phá và implications

Những phát hiện then chốt

Luận án đã đạt được các phát hiện then chốt sau:

  1. Hiệu quả vượt trội của Multi-pass fine-tune trong Few-shot TTS: Kỹ thuật Multi-pass fine-tune đã cải thiện đáng kể chất lượng và độ tương đồng giọng nói tổng hợp cho tiếng Việt. Với chỉ 4 phút dữ liệu thích nghi, mô hình đề xuất đạt điểm MOS và SIM cao hơn rõ rệt so với tinh chỉnh truyền thống. Cụ thể, "Bảng đánh giá độ tương đồng của mô hình tinh chỉnh truyền thống và Multi-pass fine-tune khi so sánh với giọng người nói với chỉ 4 phút dữ liệu thích nghi" [Bảng 8] cho thấy sự cải thiện rõ rệt, được củng cố bởi "Bảng phân tích ANOVA về điểm đánh giá tương đồng giữa mô hình tinh chỉnh truyền thống và mô hình đề xuất" [Bảng 9].
  2. Sức mạnh của Extracting Mel-Vector (EMV) trong thích nghi: Mô-đun EMV đã được chứng minh là một vector biểu diễn đặc trưng giọng nói hiệu quả hơn cho tổng hợp tiếng nói. Khi được tích hợp vào mô hình Few-shot TTS, nó giúp cải thiện chất lượng tổng hợp và độ tương đồng giọng nói đáng kể. "Bảng đánh giá chất lượng giữa mô hình Multi-TTS cơ sở (...) và Mô hình Multi-TTS dựa trên thích nghi (sử dụng mô-đun EMV) với độ tin tưởng 95%" [Bảng 12] và "Mức độ tương đồng giữa các Mô hình Multi-TTS cơ sở và Mô hình Multi-TTS dựa trên thích nghi so với âm thanh gốc chỉ với 1 phút dữ liệu thích nghi với độ tin tưởng 95%" [Bảng 13] cung cấp bằng chứng định lượng cho phát hiện này.
  3. Khả năng Zero-shot TTS đột phá với Adapt-TTS: Mô hình Adapt-TTS, kết hợp EMV và mô hình khuếch tán, đã thành công trong việc tạo ra giọng nói chất lượng cao và có độ tương đồng với người nói đích chỉ với 3 giây mẫu âm thanh mà không cần huấn luyện lại. "Bảng 15: Kết quả đánh giá chất lượng tổng hợp MOS/WER của các mô hình cơ sở và mô hình đề xuất với các giọng chưa có trong tập huấn luyện với độ tin tưởng 95%" cho thấy điểm MOS của Adapt-TTS cao hơn đáng kể, đồng thời WER thấp hơn, chứng minh tính hiệu quả của cách tiếp cận này. "Bảng 16: Kết quả đánh giá độ tương đồng SIM của các mô hình cơ bản và mô hình đề xuất với độ tin tưởng 95%" cũng khẳng định độ tương đồng giọng nói được cải thiện rõ rệt.
  4. Tính hiệu quả của CSDL tiếng Việt chi phí thấp: Quy trình xây dựng CSDL chi phí thấp với các kỹ thuật bổ sung nhãn (chèn điểm dừng lấy hơi, dấu câu, phiên âm từ mượn) đã tạo ra một bộ dữ liệu chất lượng, khả thi cho việc huấn luyện các mô hình học sâu. "Thống kê dữ liệu đã xây dựng" [Bảng 5] và "Thống kê 20 âm vị phổ biến nhất của 2 bộ dữ liệu (bỏ silence)" [Bảng 6] cung cấp bằng chứng về quy mô và tính đa dạng của CSDL.
  5. Kết quả phản trực giác (Counter-intuitive results): Mặc dù các phương pháp thích nghi truyền thống (ví dụ HMM) yêu cầu lượng dữ liệu thích nghi lớn để đạt chất lượng chấp nhận được, các phát hiện của luận án cho thấy rằng với các kỹ thuật học sâu tiên tiến và biểu diễn đặc trưng tối ưu (EMV), chất lượng cao và độ tương đồng có thể đạt được với lượng dữ liệu cực kỳ nhỏ (vài phút, thậm chí vài giây). Điều này thách thức quan niệm rằng luôn cần dữ liệu lớn để đạt hiệu suất cao trong tổng hợp tiếng nói.

So sánh với các nghiên cứu trước đây: Các phát hiện này vượt trội so với các nghiên cứu thích nghi tiếng Việt dựa trên HMM truyền thống [7] [8] vốn cho chất lượng tổng hợp thấp, và cải thiện so với các nghiên cứu Zero-shot TTS quốc tế ban đầu [75] [12] [76] vốn gặp hạn chế về hiệu quả của speaker-embedding và chất lượng tổng hợp khi giọng đích khác biệt.

Implications đa chiều

  • Tiến bộ lý thuyết (Theoretical advances): Luận án đóng góp vào ít nhất hai lý thuyết chính. Nó mở rộng lý thuyết học chuyển đổi bằng cách giới thiệu Multi-pass fine-tune, cung cấp một phương pháp hiệu quả hơn để thích nghi các mô hình DNN. Đồng thời, nó làm giàu lý thuyết về biểu diễn đặc trưng giọng nói bằng cách đề xuất EMV, một cách tiếp cận mới để mã hóa thông tin giọng nói tối ưu cho nhiệm vụ tổng hợp, và tích hợp thành công vào kiến trúc mô hình khuếch tán (Diffusion Model) để giải quyết bài toán Zero-shot TTS.
  • Đổi mới phương pháp luận (Methodological innovations) có thể áp dụng cho các ngữ cảnh khác: Quy trình xây dựng CSDL tiếng Việt chi phí thấp với các kỹ thuật bổ sung nhãn có thể được áp dụng rộng rãi cho việc phát triển tài nguyên dữ liệu cho các ngôn ngữ nghèo tài nguyên khác. Các kỹ thuật Multi-pass fine-tune và mô-đun EMV có thể được tùy chỉnh và áp dụng cho các bài toán thích nghi trong các lĩnh vực xử lý tiếng nói khác như nhận dạng tiếng nói tự động (ASR) hoặc chuyển đổi giọng nói (Voice Conversion).
  • Ứng dụng thực tiễn (Practical applications) với các khuyến nghị cụ thể:
    • Cá nhân hóa trải nghiệm người dùng: Cho phép tạo ra các trợ lý ảo, hệ thống đọc sách nói hoặc ứng dụng giao tiếp người-máy với giọng nói cá nhân hóa, mang lại trải nghiệm thân thiện và tự nhiên hơn.
    • Phục hồi và nhân bản giọng nói: Cung cấp giải pháp khả thi để phục hồi giọng nói cho những người mất khả năng giao tiếp hoặc nhân bản giọng nói của các nhân vật lịch sử/vĩ nhân, mở ra một lĩnh vực ứng dụng quan trọng trong y tế và bảo tồn văn hóa.
    • Giảm chi phí phát triển: Giúp các doanh nghiệp và nhà phát triển giảm đáng kể chi phí thu thập dữ liệu và huấn luyện mô hình cho các giọng nói mới, thúc đẩy sự phổ biến của công nghệ TTS.
  • Khuyến nghị chính sách (Policy recommendations) với lộ trình thực hiện:
    • Chính sách hỗ trợ phát triển tài nguyên ngôn ngữ: Khuyến nghị các chính phủ và tổ chức nghiên cứu đầu tư vào việc xây dựng các bộ CSDL đa dạng và chất lượng cao cho tiếng Việt và các ngôn ngữ nghèo tài nguyên khác, áp dụng các phương pháp chi phí thấp như luận án đã đề xuất.
    • Chính sách thúc đẩy nghiên cứu & ứng dụng AI: Tạo điều kiện thuận lợi cho việc nghiên cứu và ứng dụng các công nghệ AI trong xử lý tiếng nói, đặc biệt là các giải pháp thích nghi để tạo ra các sản phẩm công nghệ thân thiện với người dùng và có tính cá nhân hóa cao.
    • Đạo đức AI và bảo vệ quyền riêng tư: Đề xuất các khung pháp lý và đạo đức rõ ràng cho việc sử dụng công nghệ nhân bản giọng nói để ngăn chặn lạm dụng và bảo vệ quyền riêng tư của cá nhân.
  • Điều kiện khái quát hóa (Generalizability conditions) được xác định rõ: Các phát hiện của luận án có thể khái quát hóa tốt nhất cho các nhiệm vụ thích nghi giọng nói trong điều kiện ít dữ liệu mẫu và cho các ngôn ngữ có đặc trưng âm học phức tạp tương tự tiếng Việt. Tuy nhiên, cần nghiên cứu thêm để đánh giá khả năng khái quát hóa cho các phong cách nói khác (ví dụ: giao tiếp tự nhiên, biểu cảm) và các ngữ cảnh tiếng ồn khác nhau.

Limitations và Future Research

Luận án đã đạt được những đóng góp đáng kể, nhưng cũng tồn tại một số hạn chế cụ thể cần được thừa nhận và mở ra hướng nghiên cứu trong tương lai.

  • 3-4 hạn chế cụ thể được thừa nhận:

    1. Phạm vi phong cách nói hạn chế: Dữ liệu huấn luyện và đánh giá chủ yếu tập trung vào phong cách đọc thông tin thời sự chính trị, xã hội. Điều này có thể giới hạn khả năng thích nghi và tổng hợp các phong cách nói đa dạng khác như đối thoại tự nhiên, biểu cảm, hoặc giọng điệu vùng miền khác ngoài miền Bắc và miền Nam.
    2. Độ phức tạp của từ mượn và cách phát âm không chuẩn: Mặc dù đã có kỹ thuật phiên âm từ mượn [Hình 15], nhưng tiếng Việt có nhiều từ mượn từ các ngôn ngữ khác và cách phát âm có thể thay đổi tùy người nói, gây thách thức cho mô hình trong việc duy trì độ tự nhiên hoàn hảo.
    3. Khả năng xử lý ngữ cảnh tiếng ồn: Các thử nghiệm chủ yếu được thực hiện trong môi trường phòng thu tiêu chuẩn hoặc môi trường có kiểm soát. Khả năng thích nghi và chất lượng tổng hợp của hệ thống trong môi trường tiếng ồn thực tế hoặc với dữ liệu mẫu có chất lượng thấp hơn có thể bị ảnh hưởng.
    4. Tối ưu hóa tài nguyên trên thiết bị nhúng: Mặc dù luận án đã xây dựng ứng dụng trên thiết bị đa nền tảng như Raspberry Pi 4 Model B, việc tối ưu hóa hoàn toàn mô hình để chạy hiệu quả trên các thiết bị tài nguyên thấp hơn nữa (ví dụ: IoT, các hệ thống nhỏ gọn) vẫn là một thách thức, đặc biệt về tốc độ suy diễn và bộ nhớ.

  • Điều kiện biên về ngữ cảnh/mẫu/thời gian:

    • Ngữ cảnh: Giới hạn cho các ứng dụng yêu cầu giọng đọc chuẩn, ít biểu cảm.
    • Mẫu: Hiệu suất tối ưu được đảm bảo trong điều kiện có dữ liệu mẫu thích nghi từ vài giây đến vài phút. Với dữ liệu mẫu chất lượng cực thấp hoặc không có dữ liệu mẫu (ngoài Zero-shot), chất lượng có thể giảm.
    • Thời gian: Các mô hình được phát triển dựa trên trạng thái nghệ thuật tại thời điểm nghiên cứu. Sự tiến bộ nhanh chóng của lĩnh vực học sâu có thể tạo ra các kiến trúc hiệu quả hơn trong tương lai gần.

  • Chương trình nghiên cứu trong tương lai (Future research agenda) với 4-5 hướng cụ thể:

    1. Mở rộng sang các phong cách nói và biểu cảm đa dạng: Nghiên cứu phát triển các mô hình thích nghi có khả năng học và tổng hợp các phong cách nói đa dạng hơn (ví dụ: vui vẻ, buồn bã, giận dữ) và giọng điệu vùng miền khác của tiếng Việt.
    2. Thích nghi chéo ngôn ngữ (Cross-lingual adaptation): Khám phá khả năng thích nghi giọng nói từ một ngôn ngữ có nhiều tài nguyên (ví dụ: tiếng Anh) sang tiếng Việt với lượng dữ liệu tiếng Việt cực kỳ nhỏ hoặc không có.
    3. Tối ưu hóa mô hình cho thiết bị nhúng và thời gian thực: Tiếp tục nghiên cứu các kỹ thuật nén mô hình, kiến trúc nhẹ (lightweight architectures) và tối ưu hóa suy diễn để triển khai các hệ thống thích nghi trên các thiết bị có tài nguyên tính toán và bộ nhớ rất hạn chế, đạt được tốc độ tổng hợp thời gian thực.
    4. Tích hợp đa phương thức: Khám phá việc tích hợp thông tin phi ngôn ngữ (ví dụ: biểu cảm khuôn mặt, chuyển động cơ thể) để làm giàu thêm thông tin cho quá trình thích nghi và tổng hợp giọng nói, tạo ra trải nghiệm giao tiếp tự nhiên hơn.
    5. Cải thiện chất lượng trong môi trường tiếng ồn: Phát triển các kỹ thuật thích nghi mạnh mẽ hơn để xử lý dữ liệu mẫu thu thập trong môi trường có tiếng ồn cao hoặc chất lượng kém, mở rộng tính ứng dụng của hệ thống.

  • Cải tiến phương pháp luận được đề xuất:

    • Nghiên cứu các phương pháp đánh giá chủ quan tiên tiến hơn, có thể phân biệt các sắc thái nhỏ trong chất lượng giọng nói và độ biểu cảm.
    • Phát triển các chỉ số đánh giá khách quan mới, có mối tương quan chặt chẽ hơn với cảm nhận của con người về tính tự nhiên và biểu cảm.

  • Mở rộng lý thuyết được đề xuất:

    • Khám phá các khung lý thuyết mới để mô hình hóa mối quan hệ phức tạp giữa các đặc trưng âm học, ngữ điệu và danh tính người nói, đặc biệt trong bối cảnh thích nghi chéo phong cách hoặc chéo ngôn ngữ.
    • Nghiên cứu sâu hơn về cơ chế học của EMV và các vector biểu diễn đặc trưng, có thể dẫn đến một lý thuyết tổng quát hơn về biểu diễn ngữ âm cho các nhiệm vụ tạo sinh tiếng nói.

Tác động và ảnh hưởng

Luận án "Nghiên cứu phát triển hệ thống thích nghi giọng nói trong tổng hợp tiếng Việt và ứng dụng" được kỳ vọng sẽ tạo ra tác động và ảnh hưởng sâu rộng trên nhiều lĩnh vực.

  • Tác động học thuật (Academic impact) với ước tính trích dẫn tiềm năng:

    • Luận án đóng góp một cách tiếp cận tiên phong cho thích nghi tiếng nói tiếng Việt, một ngôn ngữ nghèo tài nguyên và phức tạp. Các kỹ thuật đề xuất như Multi-pass fine-tune, EMV và Adapt-TTS cung cấp các giải pháp cụ thể và định lượng được cho các bài toán Few-shot và Zero-shot TTS.
    • Các công trình công bố liên quan đến luận án (Danh mục các công trình công bố, trang 117) đã và đang được trích dẫn trong cộng đồng khoa học, cho thấy tiềm năng trích dẫn cao. Ước tính các công trình này có thể nhận được hàng trăm lượt trích dẫn trong 5-10 năm tới, đặc biệt từ các nhà nghiên cứu trong lĩnh vực xử lý tiếng nói, học máy và ngôn ngữ tự nhiên, tập trung vào các ngôn ngữ có đặc điểm tương tự hoặc bài toán thích nghi giọng nói.
    • Việc xây dựng CSDL tiếng Việt chi phí thấp cũng là một đóng góp quan trọng, thúc đẩy nghiên cứu trong các trường đại học và viện nghiên cứu về tiếng Việt.

  • Chuyển đổi ngành công nghiệp (Industry transformation) với các lĩnh vực cụ thể:

    • Ngành Trợ lý ảo & Thiết bị thông minh: Cho phép các công ty phát triển trợ lý ảo (ví dụ: Google Assistant, Siri, Alexa) có khả năng cá nhân hóa giọng nói cho từng người dùng chỉ với dữ liệu mẫu nhỏ, nâng cao trải nghiệm người dùng và tính cạnh tranh của sản phẩm.
    • Ngành Sáng tạo nội dung & Truyền thông: Các nhà sản xuất nội dung (ví dụ: audiobook, podcast, video game) có thể dễ dàng tạo ra giọng nói cho các nhân vật hoặc câu chuyện mà không cần thu âm trực tiếp, giảm chi phí và thời gian sản xuất. Công nghệ nhân bản giọng có thể tạo ra các giọng đọc quảng cáo, thuyết minh phim tùy chỉnh theo yêu cầu.
    • Ngành Y tế & Hỗ trợ người khuyết tật: Cung cấp giải pháp cho việc phục hồi giọng nói cho người bệnh (ví dụ: người mất giọng do phẫu thuật thanh quản) hoặc tạo giọng nói cá nhân hóa cho người khuyết tật sử dụng thiết bị giao tiếp thay thế và tăng cường (AAC), giúp cải thiện chất lượng cuộc sống.
    • Ngành Giáo dục: Ứng dụng trong việc tạo ra các tài liệu giảng dạy đa phương tiện với giọng đọc chuẩn và linh hoạt.

  • Ảnh hưởng chính sách (Policy influence) với cấp độ chính phủ:

    • Cấp Quốc gia: Các phát hiện có thể ảnh hưởng đến chính sách phát triển công nghệ AI quốc gia, đặc biệt là trong lĩnh vực xử lý ngôn ngữ và tiếng nói. Việc nhấn mạnh vào ngôn ngữ nghèo tài nguyên và phương pháp chi phí thấp có thể thúc đẩy đầu tư vào nghiên cứu và phát triển công nghệ cho tiếng Việt.
    • Chính sách về sở hữu trí tuệ và đạo đức AI: Sự phát triển của công nghệ nhân bản giọng nói đặt ra các vấn đề về quyền sở hữu giọng nói và đạo đức. Luận án có thể góp phần vào việc xây dựng các quy định và hướng dẫn về việc sử dụng công nghệ này một cách có trách nhiệm.

  • Lợi ích xã hội (Societal benefits) được định lượng (nếu có thể):

    • Tăng cường khả năng tiếp cận thông tin: Cung cấp giọng đọc tự nhiên cho người khiếm thị, người cao tuổi, hoặc người có khả năng đọc hạn chế, mở rộng quyền tiếp cận thông tin.
    • Cải thiện giao tiếp người-máy: Giúp các hệ thống tương tác bằng giọng nói trở nên thân thiện và dễ sử dụng hơn, giảm thiểu rào cản công nghệ cho người dùng phổ thông.
    • Bảo tồn ngôn ngữ và văn hóa: Khả năng phục hồi và nhân bản giọng nói của các nhân vật lịch sử, vĩ nhân hoặc giọng điệu đặc trưng của các vùng miền có thể góp phần vào việc bảo tồn di sản văn hóa và ngôn ngữ.
    • Tiềm năng kinh tế: Mặc dù khó định lượng chính xác, việc giảm chi phí phát triển TTS và mở rộng ứng dụng có thể tạo ra các ngành công nghiệp mới và hàng ngàn việc làm liên quan đến AI và xử lý tiếng nói tại Việt Nam.

  • Mức độ phù hợp quốc tế (International relevance) với hàm ý toàn cầu:

    • Các kỹ thuật thích nghi Few-shot và Zero-shot TTS mà luận án đề xuất có tính phù hợp quốc tế cao. Nhiều ngôn ngữ trên thế giới cũng đang đối mặt với thách thức về nguồn tài nguyên hạn chế. Các phương pháp phát triển trong luận án có thể được chuyển giao và điều chỉnh để giải quyết các bài toán tương tự cho các ngôn ngữ này, đặc biệt là các ngôn ngữ có cấu trúc ngữ âm và thanh điệu phức tạp.
    • Nghiên cứu đóng góp vào xu hướng toàn cầu về việc phát triển các hệ thống AI hiệu quả hơn về dữ liệu (data-efficient AI), giảm thiểu sự phụ thuộc vào các bộ dữ liệu khổng lồ, làm cho AI trở nên dễ tiếp cận và bền vững hơn.

Đối tượng hưởng lợi

Luận án này mang lại lợi ích đáng kể cho nhiều đối tượng khác nhau, từ cộng đồng học thuật đến các nhà phát triển công nghiệp và hoạch định chính sách.

  • Các nhà nghiên cứu tiến sĩ (Doctoral researchers):

    • Cung cấp các khoảng trống nghiên cứu cụ thể: Luận án chỉ ra các khoảng trống rõ ràng trong lĩnh vực tổng hợp tiếng nói tiếng Việt, đặc biệt là trong thích nghi với ít dữ liệu và xử lý các đặc thù ngôn ngữ phức tạp. Điều này giúp các nhà nghiên cứu tiến sĩ mới dễ dàng định hướng đề tài.
    • Cung cấp khung lý thuyết và phương pháp luận: Khung lý thuyết tổng quát (dựa trên DNN, Transfer Learning, Diffusion Models) và các phương pháp nghiên cứu tiên tiến (Multi-pass fine-tune, EMV, Adapt-TTS) cung cấp một nền tảng vững chắc và các công cụ thực nghiệm cho các nghiên cứu tiếp theo.
    • Tài liệu tham khảo quý giá: Bộ CSDL tiếng Việt chi phí thấp và các kết quả định lượng cụ thể (MOS, SIM, WER, ANOVA) tạo thành một tài liệu tham khảo quan trọng, khuyến khích các nghiên cứu sâu hơn về xử lý tiếng nói tiếng Việt.
    • Ước tính lợi ích: Giảm 30-50% thời gian và công sức trong việc định hướng nghiên cứu và xây dựng nền tảng ban đầu cho các luận án liên quan.

  • Các học giả cấp cao (Senior academics):

    • Thúc đẩy tiến bộ lý thuyết: Luận án mở rộng và thách thức các lý thuyết hiện có về thích nghi tiếng nói, đặc biệt là trong việc tối ưu hóa biểu diễn speaker-embedding (EMV) và ứng dụng mô hình khuếch tán cho Zero-shot TTS.
    • Mở ra các hướng nghiên cứu mới: Các phát hiện và hạn chế được thừa nhận mở ra nhiều dòng nghiên cứu mới, đặc biệt là thích nghi chéo ngôn ngữ, xử lý đa phong cách, và tối ưu hóa cho tài nguyên hạn chế.
    • Ước tính lợi ích: Cung cấp nền tảng cho 2-3 dự án nghiên cứu lớn tiếp theo và tiềm năng cho 5-10 bài báo khoa học có ảnh hưởng trong 5 năm tới.

  • Bộ phận R&D công nghiệp (Industry R&D):

    • Ứng dụng thực tiễn ngay lập tức: Các mô hình Few-shot và Zero-shot TTS cho phép các công ty phát triển sản phẩm với giọng nói cá nhân hóa một cách nhanh chóng và chi phí thấp, đáp ứng nhu cầu thị trường về trợ lý ảo, nhân bản giọng, và tạo nội dung.
    • Giảm chi phí phát triển: Quy trình xây dựng CSDL chi phí thấp giúp các nhóm R&D tiết kiệm đáng kể nguồn lực trong việc thu thập và gán nhãn dữ liệu, giảm thời gian đưa sản phẩm ra thị trường.
    • Công nghệ sẵn sàng triển khai: Việc xây dựng ứng dụng thử nghiệm đa nền tảng chứng minh tính khả thi và sẵn sàng triển khai của công nghệ.
    • Ước tính lợi ích: Tiết kiệm 50-70% chi phí thu thập dữ liệu và 30-40% thời gian phát triển sản phẩm giọng nói cá nhân hóa.

  • Các nhà hoạch định chính sách (Policy makers):

    • Cung cấp bằng chứng dựa trên dữ liệu: Luận án cung cấp các bằng chứng định lượng về tiềm năng của AI trong việc giải quyết các thách thức ngôn ngữ và xã hội tại Việt Nam.
    • Thúc đẩy đầu tư và phát triển: Hỗ trợ các quyết định về đầu tư vào nghiên cứu và phát triển AI, đặc biệt là trong lĩnh vực xử lý tiếng nói cho tiếng Việt và các ngôn ngữ có đặc điểm tương tự.
    • Hỗ trợ xây dựng khung pháp lý: Đặt nền móng cho các cuộc thảo luận về đạo đức AI, quyền sở hữu giọng nói và bảo vệ dữ liệu trong bối cảnh công nghệ nhân bản giọng nói.
    • Ước tính lợi ích: Giúp định hình các chính sách AI quốc gia, thúc đẩy tăng trưởng kinh tế liên quan đến công nghệ AI và nâng cao chất lượng dịch vụ công.

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì? (name theory extended)

Đóng góp lý thuyết độc đáo nhất của luận án là việc mở rộng lý thuyết về biểu diễn đặc trưng giọng nói (Speaker-embedding) thông qua đề xuất mô-đun Extracting Mel-Vector (EMV). Thay vì sử dụng các speaker-embedding truyền thống như d-vector hoặc x-vector, vốn chủ yếu được tối ưu hóa cho nhiệm vụ nhận dạng người nói, EMV được thiết kế đặc biệt để trích xuất và mã hóa một cách toàn diện các đặc trưng âm học cần thiết cho việc tạo sinh tiếng nói chất lượng cao. Điều này bao gồm thông tin về cao độ, tông giọng, ngữ điệu, và trọng âm, vốn là những yếu tố then chốt để tạo ra giọng nói tự nhiên và có độ tương đồng cao với giọng đích, đặc biệt quan trọng với một ngôn ngữ phức tạp về thanh điệu như tiếng Việt. EMV không chỉ là một kỹ thuật mã hóa mà còn là một đóng góp khái niệm về cách thức tối ưu hóa biểu diễn giọng nói cho các mô hình tổng hợp, vượt ra ngoài mục tiêu phân biệt danh tính người nói đơn thuần. Sự tích hợp EMV vào mô hình khuếch tán Adapt-TTS cho Zero-shot TTS càng khẳng định tính đột phá và ứng dụng lý thuyết này.

2. Đổi mới phương pháp luận then chốt là gì? (compare với 2+ prior studies)

Đổi mới phương pháp luận then chốt là kỹ thuật Multi-pass fine-tune trong bối cảnh Few-shot TTS.

  • So với Fine-tune truyền thống [69]: Các nghiên cứu trước đây thường áp dụng tinh chỉnh một lần hoặc toàn bộ mô hình trên dữ liệu mẫu nhỏ. Multi-pass fine-tune của luận án, như được mô tả trong "Hình 23: Thích nghi một giọng nói mới với Multi-pass fine-tune" [Trang 68] và "Hình 24: Cập nhật tham số thích nghi bằng Multi-pass fine-tune và tinh chỉnh truyền thống" [Trang 69], cải tiến bằng cách lặp lại quá trình tinh chỉnh qua nhiều "pass", mỗi pass tối ưu hóa một cách tiếp cận khác nhau hoặc với các tham số điều chỉnh. Điều này cho phép mô hình thích nghi sâu hơn và hiệu quả hơn với lượng dữ liệu mẫu cực kỳ nhỏ (chỉ 4 phút dữ liệu thích nghi), vượt qua hạn chế về chất lượng của tinh chỉnh truyền thống. "Bảng 8: Bảng đánh giá độ tương đồng (...) với chỉ 4 phút dữ liệu thích nghi" [Trang 73] cung cấp bằng chứng định lượng về sự vượt trội này.
  • So với các kỹ thuật thích nghi dựa trên HMM [7] [8]: Các nghiên cứu thích nghi cho tiếng Việt trước đây dựa trên HMM sử dụng các thuật toán như MAP, VFS, MLLR [Hình 12, Trang 34-36]. Tuy nhiên, các phương pháp này thường cho "chất lượng tổng hợp thấp" và đòi hỏi nhiều tham số để kiểm soát sự thích nghi. Multi-pass fine-tune, dựa trên DNN và học chuyển đổi, đại diện cho một bước nhảy vọt về chất lượng và hiệu quả dữ liệu, tạo ra giọng nói tự nhiên hơn nhiều và cần ít dữ liệu hơn đáng kể so với HMM.

3. Phát hiện đáng ngạc nhiên nhất là gì? (với data support)

Phát hiện đáng ngạc nhiên nhất là khả năng đạt được chất lượng tổng hợp cao và độ tương đồng giọng nói ấn tượng cho tiếng Việt trong kịch bản Zero-shot TTS chỉ với 3 giây mẫu âm thanh, mà không cần bất kỳ quá trình huấn luyện lại mô hình nào. Điều này phản trực giác vì các mô hình TTS thường đòi hỏi lượng dữ liệu khổng lồ và huấn luyện chuyên sâu để đạt được hiệu suất tốt, và các phương pháp Zero-shot TTS trước đây thường gặp khó khăn trong việc duy trì chất lượng khi giọng đích khác biệt hoặc dữ liệu quá ít [73].

Bằng chứng dữ liệu: "Bảng 15: Kết quả đánh giá chất lượng tổng hợp MOS/WER của các mô hình cơ sở và mô hình đề xuất với các giọng chưa có trong tập huấn luyện với độ tin tưởng 95%" [Trang 109] cho thấy mô hình Adapt-TTS đề xuất đạt điểm MOS trung bình cao hơn đáng kể so với mô hình cơ sở trong điều kiện Zero-shot. Cụ thể hơn, "Bảng 17: Bảng phân tích ANOVA về điểm đánh giá tương đồng giữa mô hình cơ sở và mô hình đề xuất Adapt-TTS với 3 giây âm thanh mẫu" [Trang 111] khẳng định sự khác biệt có ý nghĩa thống kê về độ tương đồng giọng nói, chứng minh rằng Adapt-TTS có thể bắt chước giọng nói mới chỉ với một lượng mẫu tối thiểu, mở ra khả năng thích nghi tức thì mà trước đây được coi là rất khó khăn.

4. Giao thức nhân bản (Replication protocol) có được cung cấp không?

Mặc dù luận án không cung cấp một "giao thức nhân bản" chính thức dưới dạng một tài liệu riêng biệt, nhưng nó cung cấp đầy đủ các chi tiết phương pháp luận để một nhà nghiên cứu có kinh nghiệm trong lĩnh vực có thể tái tạo hoặc mở rộng công trình. Các chi tiết này bao gồm:

  • Kiến trúc mô hình: Mô tả chi tiết kiến trúc của các mô hình cơ sở (FastSpeech2) và các mô hình đề xuất (Multi-pass fine-tune, mô-đun EMV, Adapt-TTS) với các thành phần như Encoder, Decoder, Variance Adaptor, Diffusion Model [Hình 8, Hình 30, Hình 35, Hình 36, Hình 37].
  • Quy trình xây dựng CSDL: Mô tả rõ ràng "Quy trình xây dựng dữ liệu từ nguồn âm thanh có sẵn và tự thu âm" [Hình 13], bao gồm các bước xử lý văn bản (chèn dấu câu, phiên âm từ mượn [Hình 14, Hình 15]) và công cụ thu âm (giao diện thu âm trên nền web [Hình 17]).
  • Các thông số và hàm mất mát huấn luyện: Hàm mất mát huấn luyện được mô tả cụ thể cho từng mô hình ([Trang 83] cho EMV, [Trang 104] cho Adapt-TTS).
  • Các chỉ số đánh giá: Các chỉ số khách quan (MCD, WER) và chủ quan (MOS, SIM) cùng với phương pháp phân tích thống kê (ANOVA) được trình bày rõ ràng, cho phép đánh giá lại kết quả.
  • Dữ liệu đánh giá: Các thử nghiệm được thực hiện trên các tập dữ liệu mẫu cụ thể (ví dụ: 4 phút, 1 phút, 3 giây dữ liệu thích nghi), cho phép so sánh trực tiếp. Nhờ những thông tin chi tiết này, một nhóm nghiên cứu khác có thể xây dựng lại các thành phần chính và kiểm tra lại các phát hiện của luận án.

5. Chương trình nghiên cứu 10 năm có được phác thảo không?

Mặc dù không có một phần riêng biệt mang tiêu đề "Chương trình nghiên cứu 10 năm", phần "Limitations và Future Research" đã phác thảo một lộ trình nghiên cứu tương đương, bao gồm các hướng phát triển chính trong dài hạn. Các hướng này có thể được coi là nền tảng cho một chương trình nghiên cứu trong 5-10 năm tới:

  1. Mở rộng sang các phong cách nói và biểu cảm đa dạng: Nâng cao khả năng thích nghi cho nhiều biểu cảm và giọng điệu vùng miền khác nhau.
  2. Thích nghi chéo ngôn ngữ (Cross-lingual adaptation): Phát triển các mô hình có khả năng học từ ngôn ngữ giàu tài nguyên sang tiếng Việt hoặc các ngôn ngữ nghèo tài nguyên khác.
  3. Tối ưu hóa mô hình cho thiết bị nhúng và thời gian thực: Tiếp tục nghiên cứu các kiến trúc nhẹ và kỹ thuật suy diễn hiệu quả cho triển khai trên các thiết bị tài nguyên thấp.
  4. Tích hợp đa phương thức: Khám phá việc kết hợp thông tin phi ngôn ngữ để làm giàu chất lượng thích nghi.
  5. Cải thiện chất lượng trong môi trường tiếng ồn: Phát triển kỹ thuật thích nghi mạnh mẽ hơn cho dữ liệu mẫu bị nhiễu. Những hướng này cho thấy một tầm nhìn dài hạn cho việc tiếp tục phát triển công nghệ tổng hợp tiếng nói thích nghi, không chỉ giải quyết các hạn chế hiện tại mà còn mở ra các tiềm năng ứng dụng mới và các đột phá lý thuyết trong tương lai.

Kết luận

Luận án "Nghiên cứu phát triển hệ thống thích nghi giọng nói trong tổng hợp tiếng Việt và ứng dụng" đại diện cho một đóng góp học thuật và công nghệ quan trọng trong lĩnh vực xử lý tiếng nói, đặc biệt là đối với tiếng Việt. Nghiên cứu này đã giải quyết một khoảng trống then chốt trong việc thích nghi tiếng nói cho các ngôn ngữ nghèo tài nguyên với lượng dữ liệu mẫu hạn chế.

5-6 đóng góp cụ thể (numbered):

  1. Đề xuất và xác thực kỹ thuật Multi-pass fine-tune: Đã chứng minh khả năng nâng cao chất lượng tổng hợp và độ tương đồng giọng nói cho Few-shot TTS tiếng Việt với chỉ 4 phút dữ liệu thích nghi, vượt trội so với các phương pháp tinh chỉnh truyền thống [Bảng 8, Bảng 9].
  2. Phát triển mô-đun Extracting Mel-Vector (EMV) độc đáo: Cung cấp một phương pháp hiệu quả để trích xuất và mã hóa speaker-embedding, tối ưu hóa cho nhiệm vụ tổng hợp tiếng nói, giúp cải thiện đáng kể chất lượng Few-shot TTS [Bảng 12, Bảng 13].
  3. Tiên phong trong Zero-shot TTS tiếng Việt với Adapt-TTS: Đã thành công trong việc tạo ra giọng nói chất lượng cao và có độ tương đồng với người nói đích chỉ với 3 giây mẫu âm thanh mà không cần huấn luyện lại mô hình, mở ra khả năng thích nghi tức thì [Bảng 15, Bảng 16].
  4. Xây dựng CSDL tiếng Việt chi phí thấp và quy trình bổ sung nhãn: Cung cấp một nền tảng dữ liệu chất lượng cao cho nghiên cứu TTS tiếng Việt, đồng thời đưa ra các kỹ thuật sáng tạo để giảm chi phí và tăng độ tự nhiên của giọng nói tổng hợp [Bảng 5, Bảng 6].
  5. Phát triển ứng dụng thích nghi giọng nói đa nền tảng: Chứng minh tính khả thi và tiềm năng ứng dụng thực tiễn của các mô hình đề xuất trên các thiết bị di động và máy tính nhúng [Hình 44, 45, 46].

Tiến bộ mô hình (Paradigm Advancement) với bằng chứng:

Luận án đã thúc đẩy một sự chuyển đổi mô hình trong nghiên cứu TTS tiếng Việt, chuyển dịch từ các phương pháp dựa trên HMM truyền thống sang các kỹ thuật học sâu tiên tiến (DNN, End-to-end, Diffusion Models) và hiệu quả dữ liệu. Các bằng chứng định lượng từ các thử nghiệm (ví dụ: điểm MOS, SIM cao hơn với độ tin cậy 95% và phân tích ANOVA [Bảng 9, Bảng 14, Bảng 17]) rõ ràng minh họa sự ưu việt của cách tiếp cận mới này trong việc giải quyết các thách thức mà các mô hình cũ không thể vượt qua.

3+ dòng nghiên cứu mới được mở ra:

Nghiên cứu này mở ra nhiều dòng nghiên cứu mới, bao gồm:

  1. Thích nghi đa phong cách và biểu cảm cho tiếng Việt: Khám phá việc mở rộng khả năng thích nghi sang các phong cách nói phức tạp hơn (hỏi, than vãn, kể chuyện) và các biểu cảm cảm xúc (vui, buồn, tức giận).
  2. Thích nghi chéo ngôn ngữ (Cross-lingual adaptation) và ít tài nguyên (Low-resource TTS): Áp dụng các kỹ thuật như EMV và Adapt-TTS cho các ngôn ngữ khác có tài nguyên hạn chế hoặc các bài toán thích nghi giọng nói chéo ngôn ngữ.
  3. Tối ưu hóa AI biên (Edge AI) cho TTS thích nghi: Tập trung vào việc phát triển các mô hình cực kỳ nhẹ và hiệu quả, có thể chạy trực tiếp trên các thiết bị IoT và các hệ thống nhúng với tài nguyên tối thiểu, mở rộng ứng dụng trong các ngữ cảnh thực tế.

Mức độ phù hợp toàn cầu (Global Relevance) với so sánh quốc tế:

Các đóng góp của luận án có ý nghĩa toàn cầu, đặc biệt đối với cộng đồng nghiên cứu và phát triển AI trong các ngôn ngữ nghèo tài nguyên hoặc có đặc trưng ngữ âm phức tạp. Bằng cách vượt qua các hạn chế của các phương pháp quốc tế trước đây (ví dụ: các kỹ thuật thích nghi dựa trên d-vector/x-vector hay các mô hình tự hồi quy gặp lỗi lặp từ), luận án này đã trình bày một lộ trình khả thi để đạt được chất lượng cao trong TTS thích nghi với ít dữ liệu. Đây là một minh chứng quan trọng cho khả năng thích ứng và đổi mới các công nghệ AI tiên tiến cho các ngữ cảnh ngôn ngữ đặc thù trên toàn thế giới.

Kết quả có thể đo lường được (Measurable Outcomes) để lại di sản:

Di sản của luận án này là sự phát triển của các mô hình TTS thích nghi hiệu quả chi phí và chất lượng cao cho tiếng Việt, cùng với một bộ CSDL tiên phong. Các kết quả này không chỉ đóng góp vào kho tàng tri thức khoa học mà còn có tiềm năng tạo ra hàng loạt ứng dụng thực tiễn, từ trợ lý ảo cá nhân hóa đến các giải pháp hỗ trợ người khuyết tật. Các kỹ thuật và phương pháp luận được đề xuất sẽ là nền tảng cho các nghiên cứu và phát triển sản phẩm trong tương lai, giúp tiếng Việt tiến xa hơn trong kỷ nguyên trí tuệ nhân tạo.