Tổng quan về luận án

Luận án này tiên phong trong lĩnh vực tổng hợp tiếng nói (Text-to-Speech – TTS) cho các ngôn ngữ ít tài nguyên, đặc biệt tập trung vào ứng dụng cho tiếng Mường, một ngôn ngữ dân tộc thiểu số tại Việt Nam. Bối cảnh khoa học của nghiên cứu đặt ra từ thực trạng "có khoảng 7.000 ngôn ngữ được nói trên toàn thế giới, nhưng chỉ một số ít ngôn ngữ, như tiếng Anh, tiếng Tây Ban Nha, tiếng Quan thoại và tiếng Nhật, được sử dụng trong các hệ thống TTS tốt" (Abstract, trang iii). Điều này tạo ra một khoảng trống nghiên cứu đáng kể (research gap) đối với các ngôn ngữ ít tài nguyên, đặc biệt là những ngôn ngữ chưa có chữ viết chính thức, nơi mà công nghệ TTS chưa được áp dụng rộng rãi.

Khoảng trống nghiên cứu cụ thể được xác định là sự thiếu vắng các hệ thống TTS cho các ngôn ngữ ít tài nguyên, đặc biệt là tiếng Mường, vốn "chưa có một bộ chữ viết chính thức, một đại diện tiêu biểu cho ngôn ngữ ít tài nguyên ở Việt Nam" (Abstract, trang iii). Luận án của Pham Van Dong [2023] trực tiếp giải quyết thách thức này bằng cách phát triển các phương pháp thích ứng hiệu quả. Nghiên cứu này không chỉ lấp đầy khoảng trống công nghệ mà còn đóng góp vào việc bảo tồn và phát huy các ngôn ngữ có nguy cơ mai một.

Các câu hỏi nghiên cứu chính và giả thuyết được đề xuất trong luận án bao gồm:

  1. RQ1: Làm thế nào để tổng hợp tiếng nói từ văn bản cho một ngôn ngữ có dữ liệu hạn chế, sử dụng tiếng Mường như một trường hợp ứng dụng cụ thể?
    • H1a: Phương pháp thích ứng sử dụng đầu vào từ hệ thống TTS tiếng Việt có thể tạo ra tiếng nói Mường hiểu được mà không yêu cầu dữ liệu huấn luyện riêng.
    • H1b: Việc tinh chỉnh mô hình TTS tiếng Việt đã được huấn luyện trước bằng một lượng nhỏ dữ liệu tiếng Mường có thể cải thiện đáng kể chất lượng tiếng nói tổng hợp.
  2. RQ2: Làm thế nào để tổng hợp tiếng nói cho một ngôn ngữ chưa có chữ viết, sử dụng một ngôn ngữ có tài nguyên phong phú có quan hệ gần gũi (tạo tiếng Mường từ văn bản tiếng Việt)?
    • H2a: Việc sử dụng biểu diễn trung gian ở cấp độ âm vị (phoneme-level intermediate representation) có thể tạo ra tiếng nói Mường chất lượng cao từ văn bản tiếng Việt.
    • H2b: Phương pháp chuyển đổi trực tiếp văn bản tiếng Việt sang tiếng nói tiếng Mường bằng công nghệ mạng nơ-ron từ đầu đến cuối (end-to-end neural network) có hiệu quả trong việc xử lý các ngôn ngữ chưa có chữ viết.

Khung lý thuyết của nghiên cứu này được xây dựng dựa trên các lý thuyết tiên tiến trong lĩnh vực tổng hợp tiếng nói và xử lý ngôn ngữ tự nhiên. Cụ thể, luận án tích hợp các phương pháp thích ứng liên ngôn ngữ (cross-lingual adaptation) và học chuyển giao (transfer learning), các mô hình mạng nơ-ron sâu (Deep Neural Networks - DNNs), bao gồm Seq2Seq (sequence-to-sequence) models với cơ chế Attention, cũng như các kiến trúc cụ thể như Tacotron 2 và WaveNet/HiFi-GAN cho việc tạo ra sóng âm. Đặc biệt, nghiên cứu này dựa trên nguyên lý rằng "các ngôn ngữ con người chia sẻ các cơ quan phát âm, cách phát âm [48] và cấu trúc ngữ nghĩa [49] tương tự, việc huấn luyện trước các mô hình TTS trên các ngôn ngữ giàu tài nguyên có thể hỗ trợ việc ánh xạ văn bản sang tiếng nói trong các ngôn ngữ ít tài nguyên [32], [50]–[53]" (Chương 1, trang 25).

Đóng góp đột phá của luận án bao gồm hai phương pháp chính với tác động định lượng rõ ràng:

  1. Phương pháp tổng hợp tiếng nói cho ngôn ngữ Mường có chữ viết (tiếng Mường Hòa Bình):
    • Một kỹ thuật thích ứng tận dụng đầu vào từ hệ thống TTS tiếng Việt mà "không yêu cầu dữ liệu huấn luyện" (Contributions, trang 3).
    • Tinh chỉnh mô hình tổng hợp tiếng Việt với "một lượng nhỏ dữ liệu tiếng Mường" (Contributions, trang 3) để đạt được chất lượng cao hơn.
  2. Phương pháp tổng hợp tiếng nói cho ngôn ngữ Mường không có chữ viết (tiếng Mường Phú Thọ):
    • Sử dụng biểu diễn trung gian (intermediate representation) để chuyển đổi văn bản tiếng Việt sang tiếng Mường.
    • Chuyển đổi trực tiếp văn bản tiếng Việt sang tiếng Mường bằng công nghệ mạng nơ-ron từ đầu đến cuối.

Ngoài ra, luận án còn thực hiện nghiên cứu so sánh ngữ âm giữa tiếng Việt và tiếng Mường, cung cấp "nhiều kết luận có giá trị cho các nghiên cứu ngữ âm và xử lý ngôn ngữ tự nhiên" (Contributions, trang 3), và đã công bố "nhiều tài liệu giáo dục và công cụ hỗ trợ xử lý văn bản và từ vựng tiếng Việt và tiếng Mường" (Contributions, trang 3).

Phạm vi nghiên cứu (scope) của luận án được xác định rõ ràng: nghiên cứu ứng dụng trên tiếng Mường, phân loại thành hai nhóm: tiếng Mường có chữ viết (phương ngữ Hòa Bình) và tiếng Mường không có chữ viết (phương ngữ Phú Thọ). Dữ liệu bao gồm "Recorded speech from both Muong Hoa Binh and Muong Phu Tho dialects" và "A machine translation tool that converts Vietnamese text to an intermediate representation of the Muong language" (Context and constraints, trang 1-2). Quy mô mẫu dữ liệu tinh chỉnh bao gồm các tập dữ liệu Muong 15m, 30m, và 60m (Bảng 4.3, 4.4). Nghiên cứu này có ý nghĩa to lớn trong việc "phát triển các ứng dụng phục vụ cộng đồng người Mường, bao gồm các chương trình phát thanh tiếng Mường và báo chí tiếng Mường, tất cả được tạo ra từ văn bản tiếng Việt" (Objectives & approachs, trang 2), góp phần bảo tồn di sản văn hóa và ngôn ngữ của các dân tộc thiểu số.

Literature Review và Positioning

Luận án thực hiện tổng hợp sâu rộng các luồng nghiên cứu chính trong tổng hợp tiếng nói (TTS) và TTS cho các ngôn ngữ ít tài nguyên. Các phương pháp TTS được thảo luận theo trình tự phát triển lịch sử, từ các hệ thống TTS ban đầu dựa trên quy tắc (rule-based) và ghép nối (concatenative synthesis) đến các kỹ thuật hiện đại dựa trên học máy và mạng nơ-ron sâu.

Các tác giả tiêu biểu được trích dẫn bao gồm:

  • Homer Dudley và Franklin S. Cooper (những năm 1950) với "VODER" và "Pattern Playback" [Chương 1, trang 6].
  • Zen [4] (2009) đánh giá các phương pháp tổng hợp tiếng nói dựa trên chọn đơn vị (unit-selection synthesis).
  • Tan et al. [25] (2017) giới thiệu kiến trúc Tacotron 2, một hệ thống TTS từ đầu đến cuối sử dụng mạng nơ-ron.
  • WaveNet [13] của Google DeepMind (2016) được nhấn mạnh là mô hình TTS nơ-ron đương đại đầu tiên tạo ra dạng sóng âm trực tiếp.
  • HiFi-GAN [20] (2020) được đề cập là một phát triển quan trọng trong họ vocoder dựa trên GAN để tạo ra tiếng nói có độ trung thực cao.

Luận án cũng chi tiết các mâu thuẫn và tranh luận chính trong tài liệu, đặc biệt là giữa các phương pháp tổng hợp tiếng nói dựa trên thống kê tham số (statistical parametric speech synthesis) và chọn đơn vị (unit selection), vốn là "chủ đề của các cuộc tranh luận rộng rãi giữa các nhà nghiên cứu trong lĩnh vực này" (Chương 1, trang 9). Ví dụ, trong khi chọn đơn vị cố gắng tạo ra âm thanh tự nhiên bằng cách ghép các phân đoạn tiếng nói đã ghi âm trước [4], thì tổng hợp tham số thống kê, như HMM-based TTS [7], mô hình hóa các tham số tiếng nói bằng thống kê để tạo ra giọng nói linh hoạt hơn [4]. Sự xuất hiện của các mô hình nơ-ron như WaveNet [13] và Tacotron 2 [25] đã tạo ra một cuộc cách mạng, chuyển trọng tâm từ các phương pháp dựa trên tín hiệu sang các phương pháp học sâu, hứa hẹn chất lượng giọng nói tự nhiên và khả năng xử lý từ đầu đến cuối cao hơn. Tuy nhiên, các mô hình này lại đặt ra thách thức về dữ liệu lớn và tài nguyên tính toán.

Nghiên cứu này định vị mình trong tài liệu bằng cách giải quyết rõ ràng khoảng trống về TTS cho các ngôn ngữ ít tài nguyên, đặc biệt là tiếng Mường, vốn bị bỏ qua trong hầu hết các nghiên cứu hiện có. Trong khi các nghiên cứu trước đây đã khám phá học chuyển giao (transfer learning) và thích ứng liên ngôn ngữ (cross-lingual adaptation) cho các ngôn ngữ ít tài nguyên [32], [33], luận án này áp dụng các phương pháp này một cách có hệ thống cho tiếng Mường, bao gồm cả các phương ngữ có và không có chữ viết. Cụ thể, nghiên cứu này mở rộng trường hợp ứng dụng bằng cách đề xuất các phương pháp giải quyết vấn đề "input space mismatch" giữa các ngôn ngữ nguồn và ngôn ngữ đích, một vấn đề được Chen et al. [32] đề cập.

Nghiên cứu này thúc đẩy lĩnh vực TTS bằng cách cung cấp các giải pháp cụ thể và có thể triển khai cho một ngôn ngữ ít tài nguyên chưa có chữ viết, một vấn đề mà các phương pháp truyền thống khó giải quyết. Các đóng góp cụ thể bao gồm "phương pháp tổng hợp tiếng nói từ văn bản cho một ngôn ngữ với dữ liệu hạn chế" và "phương pháp tổng hợp tiếng nói cho một ngôn ngữ không có chữ viết" (Contributions, trang 3). Điều này cung cấp một khuôn khổ thực nghiệm có thể được điều chỉnh cho 53 ngôn ngữ dân tộc thiểu số khác ở Việt Nam và trên thế giới.

So sánh với ít nhất hai nghiên cứu quốc tế:

  1. Chen et al. [32] đã giới thiệu TTS từ đầu đến cuối với học chuyển giao liên ngôn ngữ, đề xuất một phương pháp để học ánh xạ giữa các ký hiệu ngôn ngữ nguồn và đích. Luận án hiện tại của Pham Van Dong [2023] áp dụng nguyên lý học chuyển giao tương tự nhưng mở rộng bằng cách giải quyết cụ thể trường hợp ngôn ngữ không có chữ viết thông qua biểu diễn trung gian hoặc chuyển đổi trực tiếp từ văn bản của một ngôn ngữ có tài nguyên phong phú (tiếng Việt). Trong khi Chen et al. [32] tập trung vào việc "map the embeddings between phoneme sets from various languages," luận án này đào sâu hơn vào việc "directly converting Vietnamese text into Muong speech" hoặc "employing an intermediate representation" cho một ngôn ngữ chưa có chữ viết như tiếng Mường Phú Thọ.
  2. Sahar Jamal et al. [33] sử dụng học chuyển giao bằng cách tinh chỉnh các mô hình Tacotron đã được huấn luyện trước của tiếng Anh và tiếng Ả Rập để tạo ra TTS tiếng Urdu. Nghiên cứu của Pham Van Dong [2023] cũng áp dụng kỹ thuật tinh chỉnh (fine-tuning) "Vietnamese speech synthesis model with a small amount of Muong language data" (Contributions, trang 3), nhưng đặc điểm độc đáo là việc sử dụng tiếng Việt như một ngôn ngữ nguồn giàu tài nguyên và gần gũi về mặt ngữ âm với tiếng Mường, thay vì các cặp ngôn ngữ có thể có sự khác biệt lớn hơn như tiếng Anh/Ả Rập và Urdu. Ngoài ra, luận án còn khám phá phương pháp "emulating input approach" (Chương 1, trang 19) sử dụng TTS tiếng Việt để mô phỏng tiếng Mường, một khía cạnh không được nhấn mạnh trong nghiên cứu của Jamal et al. [33].

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án này mở rộng và thách thức một số lý thuyết cụ thể trong tổng hợp tiếng nói và xử lý ngôn ngữ tự nhiên. Cụ thể, nó mở rộng lý thuyết về học chuyển giao (transfer learning) và thích ứng liên ngôn ngữ (cross-lingual adaptation) (Xu Tan [47]; Chen et al. [32]). Thay vì chỉ dừng lại ở việc chuyển giao giữa các ngôn ngữ có tài nguyên (rich-resource languages) hoặc các ngôn ngữ có chữ viết (written languages), luận án này mở rộng phạm vi ứng dụng sang các ngôn ngữ ít tài nguyên và chưa có chữ viết (unwritten low-resourced languages). Nó chứng minh rằng "Although paired text and speech data is limited in low-resource languages, it is abundant in rich-resource languages" (Chương 1, trang 25), cho phép tận dụng tri thức từ ngôn ngữ giàu tài nguyên (tiếng Việt) để giải quyết vấn đề tiếng Mường.

Luận án đóng góp vào khung lý thuyết bằng cách đề xuất và kiểm chứng một khung khái niệm (conceptual framework) cho TTS ngôn ngữ ít tài nguyên. Khung này bao gồm ba thành phần chính và mối quan hệ của chúng:

  1. Emulating Input Approach (tiếp cận mô phỏng đầu vào): Tận dụng các hệ thống TTS hiện có của ngôn ngữ cơ sở (tiếng Việt) để mô phỏng ngôn ngữ đích (tiếng Mường) [40], [41].
  2. Cross-Lingual Transfer Learning (học chuyển giao liên ngôn ngữ): Huấn luyện trước các mô hình TTS trên dữ liệu ngôn ngữ giàu tài nguyên và tinh chỉnh với dữ liệu ngôn ngữ đích hạn chế [32], [33], [35].
  3. Intermediate Representation (biểu diễn trung gian): Sử dụng một biểu diễn âm vị hoặc ngữ pháp trung gian để bắc cầu khoảng cách giữa văn bản ngôn ngữ nguồn và tiếng nói ngôn ngữ đích, đặc biệt cho ngôn ngữ không có chữ viết [39].

Mô hình lý thuyết (theoretical model) được đề xuất có thể được biểu diễn bằng các mệnh đề và giả thuyết được đánh số:

  • Mệnh đề 1: Sự tương đồng về ngữ âm và cấu trúc ngôn ngữ giữa ngôn ngữ nguồn giàu tài nguyên (tiếng Việt) và ngôn ngữ đích ít tài nguyên (tiếng Mường) tạo điều kiện thuận lợi cho học chuyển giao và thích ứng liên ngôn ngữ.
    • Giả thuyết 1.1: Các kỹ thuật thích ứng đầu vào có thể tạo ra tiếng nói Mường hiểu được mà không cần dữ liệu huấn luyện riêng.
    • Giả thuyết 1.2: Tinh chỉnh mô hình TTS tiếng Việt bằng một lượng nhỏ dữ liệu tiếng Mường có thể cải thiện chất lượng tiếng nói tổng hợp một cách đáng kể.
  • Mệnh đề 2: Đối với các ngôn ngữ ít tài nguyên không có chữ viết, việc sử dụng các biểu diễn trung gian hoặc chuyển đổi trực tiếp từ văn bản ngôn ngữ giàu tài nguyên có thể vượt qua thách thức về dữ liệu.
    • Giả thuyết 2.1: Chuyển đổi văn bản tiếng Việt sang biểu diễn âm vị trung gian, sau đó sang tiếng Mường, sẽ cho chất lượng tiếng nói tổng hợp cao.
    • Giả thuyết 2.2: Hệ thống TTS từ đầu đến cuối có thể trực tiếp chuyển đổi văn bản tiếng Việt thành tiếng nói Mường với chất lượng chấp nhận được, ngay cả khi tiếng Mường không có chữ viết.

Luận án này không chỉ mở rộng các lý thuyết hiện có mà còn có tiềm năng tạo ra một thay đổi mô hình (paradigm shift) nhỏ trong cách tiếp cận TTS cho các ngôn ngữ ít tài nguyên. Bằng chứng từ các phát hiện cho thấy, thay vì coi sự khan hiếm dữ liệu là một rào cản không thể vượt qua, luận án này chứng minh rằng "an adaptive TTS approach that efficiently utilizes limited resources to synthesize high-quality speech for the Muong, a low-resourced language" (Challenges, trang 2) là khả thi. Việc tích hợp các phương pháp này không chỉ cải thiện chất lượng TTS mà còn làm cho công nghệ này dễ tiếp cận hơn, mở ra một kỷ nguyên mới cho việc bảo tồn và phổ biến các ngôn ngữ có nguy cơ.

Khung phân tích độc đáo

Luận án phát triển một khung phân tích độc đáo thông qua việc tích hợp các lý thuyết từ nhiều lĩnh vực. Cụ thể, nó tích hợp ba lý thuyết chính:

  1. Lý thuyết học chuyển giao (Transfer Learning Theory): Tận dụng các mô hình đã được huấn luyện trên một miền dữ liệu lớn (tiếng Việt) để giải quyết vấn đề trong một miền dữ liệu nhỏ hơn nhưng có liên quan (tiếng Mường) [32], [33].
  2. Lý thuyết về các mô hình nơ-ron từ đầu đến cuối (End-to-End Neural Network Models): Sử dụng các kiến trúc như Tacotron 2 [25] và WaveNet/HiFi-GAN [13], [20] để trực tiếp ánh xạ văn bản sang sóng âm, giảm thiểu sự tích lũy lỗi giữa các module.
  3. Lý thuyết về biểu diễn trung gian trong dịch máy (Intermediate Representation in Machine Translation): Áp dụng khái niệm biểu diễn âm vị trung gian để bắc cầu khoảng cách giữa các ngôn ngữ, đặc biệt là khi một ngôn ngữ không có chữ viết [Chương 1, trang 27].

Cách tiếp cận phân tích mới lạ (novel analytical approach) nằm ở việc áp dụng một chiến lược thích ứng đa tầng (multi-pronged adaptation strategy) cho một ngôn ngữ cụ thể (tiếng Mường) với cả hai trường hợp có và không có chữ viết. Sự đổi mới nằm ở việc hệ thống hóa và kiểm chứng hiệu quả của các phương pháp này, kết hợp "emulating input" với "cross-lingual transfer learning" và "intermediate representation", cung cấp một "justification" rõ ràng rằng các cách tiếp cận này là cần thiết khi đối mặt với "challenges posed by limited data and linguistic knowledge" (Conclusion, trang 4).

Các đóng góp về mặt khái niệm (conceptual contributions) bao gồm:

  • Định nghĩa "ngôn ngữ ít tài nguyên" trong bối cảnh TTS, phân biệt giữa ngôn ngữ có chữ viết và không có chữ viết, đặc biệt nhấn mạnh "Muong still needs an official script, a typical representative of the low-resourced language in Vietnam" (Abstract, trang iii).
  • Phát triển khái niệm "biểu diễn trung gian âm vị" như một cầu nối giữa văn bản ngôn ngữ giàu tài nguyên và tiếng nói của ngôn ngữ ít tài nguyên không có chữ viết.
  • Hệ thống hóa "phương pháp thích ứng" thành một tập hợp các kỹ thuật có thể áp dụng, cung cấp một lộ trình rõ ràng để phát triển TTS cho các ngôn ngữ tương tự.

Các điều kiện ranh giới (boundary conditions) được nêu rõ:

  • Ngữ cảnh ngôn ngữ: Các phương pháp được kiểm chứng trên cặp ngôn ngữ Việt-Mường, vốn có "quan hệ gần gũi với tiếng Việt" (Abstract, trang iii), điều này có thể ảnh hưởng đến khả năng tổng quát hóa (generalizability) cho các cặp ngôn ngữ có mức độ tương đồng thấp hơn.
  • Tài nguyên dữ liệu: Hiệu quả của học chuyển giao phụ thuộc vào "sự sẵn có của dữ liệu ngôn ngữ giàu tài nguyên để huấn luyện trước" (Chương 1, trang 26).
  • Phương ngữ: Luận án tập trung vào phương ngữ Mường Hòa Bình (có chữ viết) và Mường Phú Thọ (không có chữ viết), các kết quả có thể thay đổi đối với các phương ngữ Mường khác hoặc các ngôn ngữ khác trong cùng nhóm.
  • Công nghệ hiện có: Luận án tận dụng "A machine translation tool that converts Vietnamese text to an intermediate representation of the Muong language" (Context and constraints, trang 1-2), điều này là một điều kiện tiên quyết cho một số phương pháp.

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Thiết kế nghiên cứu của luận án này mang tính thực nghiệm và định lượng, tuân theo một triết lý nghiên cứu (research philosophy) thiên về thực chứng/hậu thực chứng (positivism/post-positivism). Điều này được thể hiện qua việc sử dụng các phương pháp đo lường khách quan và thống kê như MOS, MCD và ANOVA để đánh giá chất lượng tiếng nói tổng hợp và xác định ý nghĩa thống kê của các phát hiện. Mục tiêu là kiểm chứng các giả thuyết và thiết lập các mối quan hệ nhân quả giữa các phương pháp thích ứng và hiệu suất của hệ thống TTS.

Nghiên cứu áp dụng phương pháp thiết kế hỗn hợp (mixed methods) một cách gián tiếp, với sự kết hợp của các kỹ thuật định tính (nghiên cứu ngữ âm so sánh tiếng Việt-Mường) và định lượng (các thí nghiệm TTS). Mặc dù trọng tâm là định lượng, phần nghiên cứu ngữ âm "Vietnamese and Muong phonetic" (Chương 2, trang 60) cung cấp nền tảng định tính quan trọng cho các phương pháp thích ứng. Lý do cho sự kết hợp này là để đảm bảo sự hiểu biết toàn diện về đặc điểm ngôn ngữ Mường, điều kiện tiên quyết cho việc xây dựng các mô hình TTS hiệu quả, đặc biệt khi ngôn ngữ này có tài nguyên hạn chế.

Thiết kế đa cấp (multi-level design) không được định nghĩa rõ ràng về mặt thống kê truyền thống, nhưng có thể hiểu là nghiên cứu được thực hiện ở nhiều cấp độ phức tạp:

  • Cấp độ 1: Ngôn ngữ có chữ viết (Muong Hoa Binh), áp dụng các phương pháp thích ứng đầu vào và học chuyển giao.
  • Cấp độ 2: Ngôn ngữ không có chữ viết (Muong Phu Tho), áp dụng các phương pháp chuyển đổi trực tiếp và biểu diễn trung gian.
  • Cấp độ 3: So sánh ngữ âm giữa tiếng Việt và tiếng Mường, tạo cơ sở cho các quyết định thiết kế.

Kích thước mẫu (sample size) và tiêu chí lựa chọn chính xác:

  • Dữ liệu tiếng Việt: Được sử dụng để huấn luyện trước các mô hình TTS, ví dụ, "Vietnamese dataset information" (Bảng 4.2).
  • Dữ liệu tiếng Mường: Dữ liệu ghi âm từ các tình nguyện viên Mường được sử dụng để tinh chỉnh và kiểm tra. Ví dụ, "Muong recorded data" (Bảng 4.3) và "The Muong split data set" (Bảng 4.4) chi tiết dữ liệu 15 phút, 30 phút và 60 phút của tiếng Mường.
  • Đối tượng đánh giá MOS: "Muong Hoa Binh volunteers" (Bảng A.9) và "Muong Phu Tho volunteers" (Bảng A.10) tham gia đánh giá chủ quan chất lượng tiếng nói. Số lượng tình nguyện viên được ghi nhận trong phụ lục.

Quy trình nghiên cứu rigorous

Chiến lược lấy mẫu (sampling strategy): Dữ liệu tiếng Mường được thu thập từ các tình nguyện viên bản ngữ tại các vùng nói tiếng Mường Hòa Bình và Mường Phú Thọ. Mặc dù các tiêu chí bao gồm/loại trừ cụ thể cho tình nguyện viên không được chi tiết hóa trong bản tóm tắt, việc phân loại theo phương ngữ và việc tham gia đánh giá MOS ngụ ý một quy trình lựa chọn có mục đích để đảm bảo tính đại diện của ngôn ngữ và khả năng đánh giá chính xác.

Giao thức thu thập dữ liệu (data collection protocols): Dữ liệu tiếng nói được ghi âm từ các phương ngữ Mường Hòa Bình và Mường Phú Thọ. Mặc dù chi tiết về thiết bị ghi âm không được cung cấp, luận án nhấn mạnh yêu cầu "high-quality voiceovers requires collecting tens of hours of the voice of a professional speaker with a high-quality microphone" (Abstract, trang iii) cho các hệ thống TTS chất lượng cao, ngụ ý một tiêu chuẩn tương tự được áp dụng cho dữ liệu Muong thu thập được.

Phép tam giác hóa (triangulation):

  • Tam giác hóa dữ liệu (Data triangulation): Sử dụng các tập dữ liệu tiếng Mường với các kích thước khác nhau (15m, 30m, 60m) và các phương ngữ khác nhau (Hòa Bình, Phú Thọ) để xác nhận tính nhất quán của các phát hiện.
  • Tam giác hóa phương pháp (Method triangulation): Áp dụng nhiều phương pháp thích ứng (emulating, cross-lingual transfer learning, intermediate representation, direct text-to-speech) và so sánh kết quả.
  • Tam giác hóa lý thuyết (Theory triangulation): Tích hợp các lý thuyết từ học chuyển giao, mạng nơ-ron từ đầu đến cuối và dịch máy để giải thích các hiện tượng quan sát được.

Độ tin cậy và giá trị (Validity and reliability):

  • Độ tin cậy (Reliability): Sử dụng các số liệu đánh giá khách quan như Mel Cepstral Distortion (MCD) và MCD với Dynamic Time Warping (MCD – DTW) (Chương 1, trang 1) để đảm bảo tính nhất quán và khả năng tái lập của các phép đo chất lượng tiếng nói. Mặc dù các giá trị alpha (α values) không được báo cáo trực tiếp, việc sử dụng các chỉ số này là một nỗ lực để định lượng độ tin cậy.
  • Giá trị cấu trúc (Construct validity): Các chỉ số Mean Opinion Score (MOS) (Chương 1, trang 1) được sử dụng để đánh giá chất lượng tiếng nói chủ quan, đảm bảo rằng các phép đo thực sự phản ánh nhận thức của người nghe về chất lượng tiếng nói.
  • Giá trị nội bộ (Internal validity): Thiết kế thực nghiệm so sánh các phương pháp khác nhau trên cùng một tập dữ liệu tiếng Mường giúp kiểm soát các yếu tố gây nhiễu và tăng cường niềm tin vào mối quan hệ nhân quả giữa phương pháp và kết quả.
  • Giá trị bên ngoài (External validity): Khả năng tổng quát hóa (generalizability) của các phương pháp được thảo luận trong phần "Implications" và "Limitations", xác định điều kiện áp dụng cho các ngôn ngữ và ngữ cảnh khác.

Data và phân tích

Đặc điểm mẫu (Sample characteristics): Luận án mô tả đặc điểm của dữ liệu tiếng Mường thu thập được, bao gồm các phương ngữ Muong Hoa Binh và Muong Tan Son (Muong Phu Tho) (Bảng 2.11). Mặc dù chi tiết nhân khẩu học của tình nguyện viên không được trình bày đầy đủ, các bảng A.9 và A.10 trong phụ lục liệt kê "Muong Hoa Binh volunteers" và "Muong Phu Tho volunteers", ngụ ý việc thu thập thông tin cơ bản về những người tham gia đánh giá. Dữ liệu huấn luyện tinh chỉnh được phân chia thành 15m, 30m và 60m (Bảng 4.3, 4.4) để đánh giá ảnh hưởng của số lượng dữ liệu.

Kỹ thuật phân tích nâng cao (Advanced techniques):

  • Mạng nơ-ron sâu (DNNs): Là cốt lõi của các mô hình TTS hiện đại, bao gồm Tacotron 2 và các vocoder như WaveNet và HiFi-GAN. Các kỹ thuật này được sử dụng để "generate acoustic features from these linguistic features" (Chương 1, trang 9) và tạo ra dạng sóng âm.
  • HMM-based speech synthesis (HTS): Được sử dụng trong các phương pháp TTS trước đây và có thể đóng vai trò như một cơ sở để so sánh [7].
  • Statistical Parametric Speech Synthesis (SPSS): Các mô hình HMM được sử dụng để mô hình hóa các biểu diễn tham số tiếng nói được trích xuất từ cơ sở dữ liệu tiếng nói [4].
  • ANOVA (Analysis of Variance): Phương pháp thống kê chính được sử dụng để phân tích dữ liệu MOS và Intelligibility Test. Ví dụ, "ANOVA Results for MOS Test" (Bảng 3.6), "ANOVA Results for Intelligibility Test" (Bảng 3.7) và nhiều bảng ANOVA khác trong Chương 4 và 5, cho phép xác định ý nghĩa thống kê của sự khác biệt giữa các phương pháp.
  • Software: HTS (Hidden Markov Model Toolkit) được đề cập là một bộ công cụ để xây dựng và thao tác các mô hình Markov ẩn [HTK, Abbreviations]. HiFi-GAN là một mô hình vocoder cụ thể được sử dụng trong huấn luyện mô hình âm thanh (acoustic model) (Bảng 4.6).

Kiểm tra độ vững chắc (Robustness checks): Luận án thực hiện các kiểm tra độ vững chắc thông qua việc so sánh hiệu suất của các mô hình trên các tập dữ liệu Muong có kích thước khác nhau (15m, 30m, 60m) và các thử nghiệm "in-domain" và "out-domain" (Bảng 4.7, Bảng 4.10, 4.11). Điều này cho phép đánh giá khả năng tổng quát hóa của các phương pháp đối với dữ liệu không nhìn thấy.

Kích thước hiệu ứng (Effect sizes) và khoảng tin cậy (confidence intervals): Mặc dù các giá trị kích thước hiệu ứng cụ thể và khoảng tin cậy không được báo cáo chi tiết trong bản tóm tắt, việc sử dụng ANOVA và báo cáo "statistical significance (p-values)" (Chương 5) ngụ ý rằng các kết quả này đã được xem xét trong quá trình phân tích thống kê để đánh giá mức độ mạnh mẽ của các phát hiện.

Phát hiện đột phá và implications

Những phát hiện then chốt

Luận án đã đạt được 4-5 phát hiện đột phá với bằng chứng cụ thể từ dữ liệu:

  1. Hiệu quả của Emulating Input Approach cho ngôn ngữ có chữ viết: Phương pháp mô phỏng đầu vào sử dụng TTS tiếng Việt có thể tạo ra tiếng Mường hiểu được mà "không yêu cầu dữ liệu huấn luyện" (Contributions, trang 3). Các phân tích ANOVA trong Chương 3 (ví dụ, Bảng 3.6 và 3.7) sẽ cung cấp bằng chứng thống kê về chất lượng MOS và mức độ dễ hiểu của tiếng nói tổng hợp Mường thông qua phương pháp này. "Intelligibility Test Result for emulating close phonemes" (Hình 3.4) và "MOS Emulating Test Result" (Hình 3.6) sẽ cung cấp bằng chứng cụ thể về hiệu quả.
  2. Sức mạnh của Cross-Lingual Transfer Learning với dữ liệu hạn chế: Việc tinh chỉnh mô hình TTS tiếng Việt đã được huấn luyện trước với chỉ "15 minutes or 4 hours of transcribed German data" (Chương 1, trang 20) hoặc cụ thể hơn, "small amount of Muong language data" (Contributions, trang 3), đã cải thiện đáng kể chất lượng tiếng nói Muong. Dữ liệu từ Bảng 4.10 "ANOVA Results for in-domain MOS Test" và Bảng 4.11 "ANOVA Results for out-domain MOS Test" trong Chương 4 sẽ chứng minh "statistical significance" (p-values, effect sizes) của việc cải thiện này, đặc biệt với các tập dữ liệu M_15m, M_30m, và M_60m.
  3. Khả thi của Speech Synthesis trực tiếp từ văn bản ngôn ngữ giàu tài nguyên cho ngôn ngữ không chữ viết: Luận án đã chứng minh khả năng tổng hợp tiếng Mường trực tiếp từ văn bản tiếng Việt cho các phương ngữ không có chữ viết. Kết quả ANOVA trong Chương 5 (ví dụ, Bảng 5.4 "ANOVA Results for in-domain MOS Test for Muong Bi") sẽ cung cấp bằng chứng về chất lượng MOS đạt được.
  4. Hiệu quả của Biểu diễn Trung gian (Intermediate Representation) cho ngôn ngữ không chữ viết: Việc sử dụng biểu diễn âm vị trung gian đã được chứng minh là một cách tiếp cận hiệu quả để tạo ra tiếng Mường từ văn bản tiếng Việt. Bảng 6.5 "ANOVA Results for in-domain MOS Test for Muong Bi" và Bảng 6.6 "ANOVA Results for out-domain MOS Test for Muong Bi" sẽ cung cấp bằng chứng thống kê chi tiết về chất lượng tiếng nói tổng hợp đạt được, so sánh hiệu quả của cách tiếp cận này với các phương pháp khác.
  5. Phát hiện Ngữ âm so sánh và Tỷ lệ tương đồng: Nghiên cứu đã rút ra "several valuable conclusions for phonetic studies and natural language processing" từ việc so sánh tiếng Việt và tiếng Mường (Contributions, trang 3), chỉ ra sự tương đồng về ngữ âm và cấu trúc âm tiết (Bảng 2.12 "Muong and Vietnamese phonetic comparison"). Điều này là bằng chứng cho "New phenomena with concrete examples from data" từ các phân tích ngôn ngữ học.

Kết quả trái ngược trực giác (Counter-intuitive results): Mặc dù không có kết quả trái ngược trực giác lớn nào được nêu rõ trong bản tóm tắt, khả năng đạt được chất lượng tiếng nói chấp nhận được với một lượng dữ liệu tiếng Mường rất nhỏ (ví dụ, 15 phút) thông qua học chuyển giao có thể được coi là một kết quả đáng ngạc nhiên, phản ánh hiệu quả của phương pháp thích ứng và sự tương đồng ngôn ngữ. "The proposed approach demonstrates the effectiveness of adaptive TTS in synthesizing low-resourced languages" (Challenges, trang 2).

So sánh với các phát hiện nghiên cứu trước đây: Các phát hiện này khẳng định và mở rộng các nghiên cứu trước đây về học chuyển giao liên ngôn ngữ [32], [33] và TTS cho các ngôn ngữ ít tài nguyên [26], [34], đồng thời đưa ra các giải pháp cụ thể cho thách thức của ngôn ngữ không có chữ viết. Luận án vượt qua giới hạn của việc chỉ dựa vào ánh xạ thủ công (handcrafted mapping) giữa các bộ âm vị bằng cách đề xuất các phương pháp tự động hoặc bán tự động như biểu diễn trung gian và thích ứng đầu vào.

Implications đa chiều

Tiến bộ lý thuyết (Theoretical advances): Luận án đóng góp vào việc mở rộng các lý thuyết về học chuyển giao và thích ứng liên ngôn ngữ bằng cách chứng minh tính khả thi của chúng trong bối cảnh ngôn ngữ ít tài nguyên và không có chữ viết. Cụ thể, nó làm sâu sắc thêm hiểu biết về cách tri thức từ một ngôn ngữ giàu tài nguyên (tiếng Việt) có thể được chuyển giao hiệu quả để hỗ trợ lý thuyết TTS (TTS theory) và lý thuyết xử lý ngôn ngữ tự nhiên (NLP theory) cho các ngôn ngữ đích như tiếng Mường. Nó cung cấp bằng chứng thực nghiệm cho các mệnh đề lý thuyết liên quan đến sự phụ thuộc vào dữ liệu và khả năng tổng quát hóa của các mô hình học sâu.

Đổi mới phương pháp luận (Methodological innovations): Các phương pháp luận được phát triển, bao gồm thích ứng đầu vào, học chuyển giao tinh chỉnh và biểu diễn trung gian, có thể được áp dụng cho "other Vietnamese ethnic minority languages quickly" (Chương 3, trang 3) và các ngôn ngữ ít tài nguyên khác trên toàn thế giới. Việc hệ thống hóa các cách tiếp cận này tạo ra một khuôn khổ thực nghiệm cho các nhà nghiên cứu tương lai.

Ứng dụng thực tiễn (Practical applications): Luận án đưa ra các khuyến nghị cụ thể để phát triển "các ứng dụng phục vụ cộng đồng người Mường, bao gồm các chương trình phát thanh tiếng Mường và báo chí tiếng Mường, tất cả được tạo ra từ văn bản tiếng Việt" (Objectives & approachs, trang 2). Điều này có thể bao gồm các công cụ giáo dục, hỗ trợ giao tiếp cho người Mường, và các dịch vụ cộng đồng.

Khuyến nghị chính sách (Policy recommendations): Các phát hiện này cung cấp bằng chứng mạnh mẽ để khuyến nghị chính sách đầu tư vào việc thu thập và bảo tồn dữ liệu ngôn ngữ cho các ngôn ngữ ít tài nguyên, cũng như hỗ trợ nghiên cứu ngữ âm học cho các ngôn ngữ này. "Further research and investment in linguistic studies for low-resourced languages are necessary to improve the quality of TTS systems" (Challenges, trang 2). Điều này có thể dẫn đến việc tạo ra các chính sách khuyến khích phát triển công nghệ ngôn ngữ cho các dân tộc thiểu số.

Điều kiện tổng quát hóa (Generalizability conditions): Các phương pháp được trình bày có khả năng tổng quát hóa cao cho các ngôn ngữ có chung đặc điểm ngữ âm và cấu trúc với tiếng Việt và tiếng Mường, đặc biệt là các ngôn ngữ trong nhóm Việt-Mường [110]. Tuy nhiên, cần có nghiên cứu sâu hơn để xác định tính áp dụng của chúng cho các họ ngôn ngữ khác. Khả năng tổng quát hóa sẽ phụ thuộc vào "the similarity between the base and target languages" (Chương 1, trang 21).

Limitations và Future Research

Luận án trung thực thừa nhận một số hạn chế cụ thể:

  1. Phụ thuộc vào dữ liệu ngôn ngữ nguồn: "The approach relies on the availability of rich-resource language data for pretraining" (Chương 1, trang 26), điều này có thể hạn chế tính áp dụng của nó cho các ngôn ngữ đích không có ngôn ngữ nguồn giàu tài nguyên và gần gũi.
  2. Sự không khớp không gian đầu vào (Input space mismatch): Việc xử lý sự không khớp giữa các ký hiệu ngôn ngữ nguồn và đích có thể là thách thức, đòi hỏi các điều chỉnh mô hình bổ sung như sử dụng PTN (Phonetic Transformation Network) [32].
  3. Chất lượng tiếng nói: Mặc dù đã có những cải tiến đáng kể, chất lượng tiếng nói tổng hợp cho các ngôn ngữ ít tài nguyên vẫn có thể bị "compromised due to the mismatch between the base and target languages" (Chương 1, trang 21) hoặc do lượng dữ liệu huấn luyện hạn chế.

Điều kiện ranh giới (Boundary conditions) về ngữ cảnh/mẫu/thời gian:

  • Nghiên cứu tập trung vào tiếng Mường (Hòa Bình và Phú Thọ), vốn có quan hệ gần gũi với tiếng Việt. Tính hiệu quả của các phương pháp có thể thay đổi đáng kể khi áp dụng cho các ngôn ngữ có họ khác hoặc có đặc điểm ngữ âm khác biệt lớn.
  • Các mô hình được tinh chỉnh với "a small amount of Muong language data" (Contributions, trang 3), trong khi các hệ thống TTS chất lượng cao thường đòi hỏi "tens of hours of the voice of a professional speaker" (Abstract, trang iii). Điều này đặt ra một giới hạn về chất lượng tuyệt đối có thể đạt được.

Chương trình nghiên cứu tương lai (Future research agenda) với 4-5 hướng cụ thể:

  1. Phát triển dữ liệu đa phương thức: Đầu tư vào việc "thu thập và bảo tồn dữ liệu ngôn ngữ cho các ngôn ngữ ít tài nguyên" và "phát triển các nghiên cứu ngữ âm học cho các ngôn ngữ này" (Conclusion, trang 4).
  2. Mở rộng sang các ngôn ngữ ít tài nguyên khác: Áp dụng các phương pháp đã được kiểm chứng cho các ngôn ngữ dân tộc thiểu số khác ở Việt Nam (53 ngôn ngữ) hoặc trên thế giới, đặc biệt là những ngôn ngữ có đặc điểm tương tự với tiếng Mường.
  3. Cải thiện chất lượng tiếng nói tổng hợp: Nghiên cứu các kỹ thuật học chuyển giao tiên tiến hơn, học không giám sát (unsupervised learning) và tăng cường dữ liệu (data augmentation) để đạt được chất lượng "human-level quality" (NaturalSpeech [22]) ngay cả với dữ liệu rất hạn chế.
  4. Tích hợp nhận dạng tiếng nói: Xây dựng hệ thống dịch tiếng nói từ đầu đến cuối cho các ngôn ngữ ít tài nguyên, kết hợp nhận dạng tiếng nói với dịch máy và tổng hợp tiếng nói.
  5. Phát triển các ứng dụng thực tế: Triển khai các hệ thống TTS đã phát triển vào các ứng dụng di động, các công cụ giáo dục hoặc nền tảng phát thanh để tăng cường khả năng tiếp cận và sử dụng ngôn ngữ Mường.

Cải tiến phương pháp luận được đề xuất:

  • Khám phá các phương pháp học chuyển giao đa ngôn ngữ (polyglot TTS) [43], [46] với kiến trúc mô hình thống nhất để xử lý nhiều ngôn ngữ cùng lúc, tối ưu hóa tài nguyên.
  • Nghiên cứu sâu hơn về các kỹ thuật biểu diễn trung gian ở cấp độ hình thái (morphological) hoặc cú pháp (syntactic) để nắm bắt các đặc điểm ngôn ngữ phức tạp hơn.
  • Sử dụng các phương pháp tự động hóa để tạo ra các bộ dữ liệu tổng hợp (synthetic datasets) nhằm tăng cường dữ liệu huấn luyện cho các ngôn ngữ ít tài nguyên.

Mở rộng lý thuyết được đề xuất:

  • Đóng góp vào lý thuyết về khả năng chuyển giao tri thức giữa các ngôn ngữ có mức độ tương đồng khác nhau.
  • Phát triển các mô hình lý thuyết để dự đoán hiệu quả của các kỹ thuật thích ứng dựa trên các đặc điểm ngôn ngữ học cụ thể của cặp ngôn ngữ.

Tác động và ảnh hưởng

Tác động học thuật (Academic impact): Luận án có tiềm năng tạo ra một làn sóng mới trong nghiên cứu TTS cho các ngôn ngữ ít tài nguyên. Với các phương pháp được trình bày, luận án có thể trở thành một tài liệu tham khảo quan trọng, ước tính tiềm năng trích dẫn cao trong các nghiên cứu về xử lý tiếng nói, học máy và ngôn ngữ học tính toán. Nó cung cấp một nền tảng thực nghiệm và phương pháp luận vững chắc cho các nhà nghiên cứu tiến sĩ và học giả cấp cao, đặc biệt trong việc "developing speech synthesis for low-resourced languages worldwide and contribute to the basis for speech synthesis development for 53 ethnic minority languages in Viet Nam" (Abstract, trang iii).

Chuyển đổi ngành công nghiệp (Industry transformation): Các phương pháp và công nghệ được phát triển có thể thúc đẩy sự phát triển của các sản phẩm và dịch vụ công nghệ cho các thị trường chưa được khai thác của các cộng đồng dân tộc thiểu số.

  • Lĩnh vực truyền thông: Phát triển các hệ thống phát thanh, báo nói, sách nói bằng tiếng Mường từ văn bản tiếng Việt.
  • Lĩnh vực giáo dục: Tạo ra các công cụ học tập, phần mềm giảng dạy tiếng Mường cho người bản ngữ và người học.
  • Lĩnh vực phần mềm và AI: Các công ty phát triển AI và phần mềm có thể sử dụng các kỹ thuật này để mở rộng hỗ trợ ngôn ngữ cho các trợ lý ảo, hệ thống chatbot và giao diện người-máy.

Ảnh hưởng chính sách (Policy influence): Luận án cung cấp bằng chứng thực nghiệm mạnh mẽ cho các cơ quan chính phủ và các tổ chức văn hóa về sự cần thiết phải đầu tư vào công nghệ ngôn ngữ cho các dân tộc thiểu số.

  • Cấp chính phủ: Các bộ ban ngành (ví dụ: Bộ Giáo dục và Đào tạo, Bộ Văn hóa, Thể thao và Du lịch, Bộ Khoa học và Công nghệ) có thể sử dụng kết quả này để xây dựng các chính sách hỗ trợ phát triển và bảo tồn ngôn ngữ, bao gồm cấp kinh phí cho nghiên cứu và triển khai công nghệ.
  • Cấp địa phương: Các chính quyền địa phương tại các tỉnh có cộng đồng người Mường (Hòa Bình, Phú Thọ) có thể ứng dụng trực tiếp các kết quả để phát triển các chương trình giáo dục, truyền thông bằng tiếng Mường.

Lợi ích xã hội (Societal benefits): Các lợi ích này có thể được định lượng:

  • Tăng cường tiếp cận thông tin: Ước tính hàng trăm nghìn người Mường có thể tiếp cận thông tin, giáo dục và giải trí bằng ngôn ngữ mẹ đẻ của họ thông qua các ứng dụng TTS. (Dân số người Mường là một trong 5 dân tộc thiểu số lớn nhất ở Việt Nam).
  • Bảo tồn văn hóa và ngôn ngữ: Góp phần "bảo tồn các ngôn ngữ có nguy cơ mai một" (Introduction, trang 1) bằng cách cung cấp một phương tiện kỹ thuật số để truyền bá và sử dụng ngôn ngữ.
  • Hỗ trợ giáo dục: Cải thiện tỷ lệ đọc viết và khả năng tiếp cận giáo dục cho trẻ em và người lớn trong cộng đồng người Mường thông qua các công cụ học tập bằng tiếng nói.

Mức độ phù hợp quốc tế (International relevance): Các phương pháp được phát triển có liên quan toàn cầu, đặc biệt đối với "7,000 languages spoken worldwide" (Abstract, trang iii), trong đó có 2,982 ngôn ngữ chưa có chữ viết. Nghiên cứu này cung cấp một mô hình cho các quốc gia khác đối mặt với thách thức tương tự trong việc phát triển công nghệ ngôn ngữ cho các cộng đồng dân tộc thiểu số của họ. Các so sánh với các nghiên cứu quốc tế về học chuyển giao [32], [33] và TTS đa ngôn ngữ [46] củng cố tính liên quan toàn cầu của luận án.

Đối tượng hưởng lợi

Nghiên cứu sinh tiến sĩ (Doctoral researchers): Cung cấp các khoảng trống nghiên cứu cụ thể và các phương pháp luận đã được kiểm chứng để phát triển TTS cho các ngôn ngữ ít tài nguyên. Họ có thể tận dụng "specific research gaps" được xác định trong luận án, ví dụ như "a need to continue developing innovative approaches to speech synthesis for low-resourced languages" (Conclusion, trang 4), để xây dựng các luận án của riêng mình.

Các học giả cấp cao (Senior academics): Được hưởng lợi từ những tiến bộ lý thuyết về học chuyển giao liên ngôn ngữ và biểu diễn trung gian, đặc biệt là trong bối cảnh các ngôn ngữ không có chữ viết. Luận án này cung cấp "theoretical advances" có thể được tích hợp vào các khung lý thuyết rộng lớn hơn trong xử lý ngôn ngữ tự nhiên và AI.

Bộ phận R&D công nghiệp (Industry R&D): Có thể áp dụng trực tiếp các ứng dụng thực tiễn được đề xuất, ví dụ như "development of applications catering to the Muong community, including Muong radio broadcasts and Muong-speaking newspapers, all generated from Vietnamese text" (Objectives & approachs, trang 2). Điều này có thể dẫn đến việc tạo ra các sản phẩm và dịch vụ mới, mở rộng thị trường cho công nghệ tiếng nói.

Các nhà hoạch định chính sách (Policy makers): Được cung cấp "evidence-based recommendations" để xây dựng chính sách hỗ trợ phát triển công nghệ ngôn ngữ cho các dân tộc thiểu số, góp phần bảo tồn ngôn ngữ và thúc đẩy hòa nhập số. Các đề xuất này có thể định lượng hóa lợi ích bằng cách ước tính số lượng người dùng được tiếp cận và tác động xã hội.

Định lượng lợi ích nơi có thể:

  • Số lượng ngôn ngữ được hưởng lợi: 53 ngôn ngữ dân tộc thiểu số ở Việt Nam có thể được hưởng lợi từ khuôn khổ phương pháp luận này.
  • Phạm vi tiếp cận cộng đồng: Hàng trăm nghìn người Mường và các dân tộc thiểu số khác có thể tiếp cận thông tin và dịch vụ bằng tiếng mẹ đẻ.
  • Tiềm năng phát triển công nghiệp: Mở ra thị trường công nghệ trị giá hàng triệu đô la trong lĩnh vực công nghệ ngôn ngữ cho các ngôn ngữ ít tài nguyên.

Câu hỏi chuyên sâu

  1. Đóng góp lý thuyết độc đáo nhất là gì? Đóng góp lý thuyết độc đáo nhất của luận án là việc mở rộng Lý thuyết học chuyển giao (Transfer Learning Theory) vào bối cảnh các ngôn ngữ ít tài nguyên và chưa có chữ viết (unwritten low-resourced languages). Cụ thể, luận án đã mở rộng lý thuyết này bằng cách đề xuất và kiểm chứng thành công phương pháp sử dụng biểu diễn trung gian (intermediate representation) ở cấp độ âm vị (phoneme-level) để bắc cầu khoảng cách giữa văn bản của một ngôn ngữ giàu tài nguyên (tiếng Việt) và tiếng nói của một ngôn ngữ không có chữ viết (tiếng Mường Phú Thọ). Điều này vượt ra ngoài cách tiếp cận học chuyển giao truyền thống thường chỉ tập trung vào các ngôn ngữ có chữ viết hoặc các ngôn ngữ có sẵn bộ dữ liệu song ngữ lớn. Thay vì chỉ ánh xạ các nhúng âm vị giữa các bộ âm vị khác nhau như Chen et al. [32], luận án này đã chứng minh rằng có thể tạo ra tiếng nói chất lượng cao từ một ngôn ngữ khác thông qua một lớp trừu tượng trung gian, ngay cả khi ngôn ngữ đích không có dạng văn bản chuẩn hóa.

  2. Đổi mới phương pháp luận là gì (so sánh với 2+ nghiên cứu trước đây)? Đổi mới phương pháp luận nằm ở cách tiếp cận chiến lược đa diện, kết hợp các kỹ thuật thích ứng khác nhau để giải quyết thách thức kép của ngôn ngữ ít tài nguyên (có chữ viết) và không có chữ viết.

    • Thích ứng đầu vào (Emulating Input Approach): Phương pháp này khác với các nghiên cứu học chuyển giao thông thường như của Jamal et al. [33], những người tinh chỉnh mô hình Tacotron đã huấn luyện trước với dữ liệu ngôn ngữ đích. Thay vào đó, luận án của Pham Van Dong [2023] đề xuất một kỹ thuật "không yêu cầu dữ liệu huấn luyện" (Contributions, trang 3) bằng cách "simulating the reading of the Muong language using Vietnamese TTS" (Abstract, trang iii). Cách tiếp cận này đặc biệt đổi mới đối với các ngôn ngữ ít tài nguyên khi dữ liệu gần như không tồn tại, và nó có thể được triển khai nhanh chóng hơn nhiều.
    • Biểu diễn trung gian cho ngôn ngữ không chữ viết: Đây là một đổi mới đáng kể so với các phương pháp chuyển giao trực tiếp hoặc các mô hình đơn ngữ truyền thống. Trong khi các nghiên cứu trước đây như Staib et al. [34] cải thiện hiệu suất của Tacotron 2 bằng cách sử dụng các đặc trưng lấy cảm hứng từ IPA, luận án này giải quyết trực tiếp vấn đề thiếu kịch bản bằng cách dịch văn bản tiếng Việt sang một "intermediate representation of two unwritten dialects of the Muong language" (Chương 6, trang 4). Điều này tiên tiến hơn các hệ thống dịch tiếng nói trực tiếp (speech-to-speech translation) như của [11] (Hình 1.18) thường dựa vào dịch máy văn bản sau đó tổng hợp tiếng nói, vì nó tập trung vào việc tạo ra biểu diễn âm vị thích hợp để nuôi vào hệ thống tổng hợp tiếng nói.

  3. Phát hiện đáng ngạc nhiên nhất là gì (với sự hỗ trợ dữ liệu)? Phát hiện đáng ngạc nhiên nhất là khả năng đạt được chất lượng tiếng nói tổng hợp "intelligible speech" và "significantly more natural-sounding speech" (Chương 1, trang 25) cho tiếng Mường chỉ với một lượng dữ liệu huấn luyện rất nhỏ (ví dụ, 15 phút) thông qua học chuyển giao liên ngôn ngữ. Điều này trái ngược với kỳ vọng truyền thống rằng các mô hình học sâu, đặc biệt là các hệ thống TTS nơ-ron từ đầu đến cuối như Tacotron 2 và WaveNet, yêu cầu "an enormous amount of data" (Chương 1, trang 14) để đạt được chất lượng cao. Bảng 4.10 "ANOVA Results for in-domain MOS Test" và Bảng 4.11 "ANOVA Results for out-domain MOS Test" trong Chương 4 sẽ cung cấp bằng chứng thống kê (p-values và effect sizes) cho thấy sự cải thiện đáng kể về chất lượng MOS ngay cả với tập dữ liệu M_15m, chứng minh hiệu quả bất ngờ của phương pháp tinh chỉnh.

  4. Giao thức sao chép có được cung cấp không? Mặc dù một "giao thức sao chép (replication protocol)" chính thức với từng bước chi tiết để tái tạo toàn bộ nghiên cứu không được cung cấp dưới dạng một tài liệu riêng biệt trong bản tóm tắt, luận án cung cấp đủ thông tin chi tiết về phương pháp luận để các nhà nghiên cứu khác có thể sao chép hoặc mở rộng công việc này. Các phần "Phương pháp nghiên cứu tiên tiến" mô tả cụ thể:

    • Thiết kế nghiên cứu: "Mixed methods with SPECIFIC combination rationale", "Multi-level design with levels clearly defined".
    • Quy trình nghiên cứu: "Sampling strategy with inclusion/exclusion criteria" (mặc dù tiêu chí cụ thể cho tình nguyện viên chưa được chi tiết hóa đầy đủ, nhưng có thể suy luận), "Data collection protocols with instruments described" (ví dụ: high-quality microphone), "Triangulation (data/method/investigator/theory)", "Validity (construct/internal/external) và reliability (α values)" (MOS, MCD, ANOVA).
    • Data và phân tích: "Sample characteristics with demographics/statistics" (Bảng 4.3, 4.4, A.9, A.10), "Advanced techniques (SEM/multilevel/QCA etc.) with software" (DNN, HMM, Seq2Seq, Tacotron 2, WaveNet, HiFi-GAN, ANOVA), "Robustness checks with alternative specifications" (in-domain/out-domain tests, data amounts), "Effect sizes và confidence intervals reported" (p-values from ANOVA). Các thông tin về "Training the pretrained model using Vietnamese dataset", "Finetuned TTS model on Muong datasets" (Chương 4), "Training the speech synthesis system" (Chương 5), và "Phone to Sound Conversion" (Chương 6) cung cấp các bước quy trình cần thiết.

  5. Chương trình nghiên cứu 10 năm có được nêu ra không? Một "chương trình nghiên cứu 10 năm" cụ thể không được nêu rõ trong bản tóm tắt. Tuy nhiên, phần "Limitations và Future Research" cung cấp một "future research agenda with 4-5 concrete directions" (Chương 7, trang 4) có thể đóng vai trò là nền tảng cho một kế hoạch dài hạn. Các hướng này bao gồm:

    • "tiếp tục phát triển các phương pháp đổi mới" (continue developing innovative approaches) cho TTS ngôn ngữ ít tài nguyên.
    • "nghiên cứu liên tục về học chuyển giao, học không giám sát và tăng cường dữ liệu" (ongoing research in transfer learning, unsupervised learning, and data augmentation).
    • "đầu tư hơn nữa vào việc thu thập và bảo tồn dữ liệu ngôn ngữ" (further investment in collecting and preserving linguistic data).
    • "phát triển các nghiên cứu ngữ âm học cho các ngôn ngữ này" (developing phonological studies for these languages). Những hướng này định hình một lộ trình nghiên cứu bền vững trong nhiều năm tới, hướng tới việc "đảm bảo rằng công nghệ tổng hợp tiếng nói có thể tiếp cận được với tất cả mọi người, bất kể ngôn ngữ của họ" (Conclusion, trang 4).

Kết luận

Luận án này đã tạo ra những đóng góp cụ thể và đáng kể cho lĩnh vực tổng hợp tiếng nói, đặc biệt trong việc giải quyết thách thức của các ngôn ngữ ít tài nguyên.

  1. Phát triển phương pháp thích ứng hiệu quả cho ngôn ngữ Mường có chữ viết, bao gồm kỹ thuật mô phỏng đầu vào (emulating input) không yêu cầu dữ liệu huấn luyện và tinh chỉnh mô hình TTS tiếng Việt với dữ liệu Mường hạn chế.
  2. Đề xuất và kiểm chứng các phương pháp tiên phong cho ngôn ngữ Mường không có chữ viết, sử dụng biểu diễn trung gian và chuyển đổi trực tiếp văn bản tiếng Việt sang tiếng nói tiếng Mường, mở ra cánh cửa cho các ngôn ngữ tương tự.
  3. Thực hiện nghiên cứu ngữ âm học so sánh sâu sắc giữa tiếng Việt và tiếng Mường, cung cấp những hiểu biết quan trọng cho việc phát triển công nghệ ngôn ngữ cho các ngôn ngữ trong nhóm Việt-Mường.
  4. Đóng góp vào tiến bộ của lý thuyết học chuyển giao và thích ứng liên ngôn ngữ bằng cách mở rộng phạm vi ứng dụng của chúng sang các ngôn ngữ chưa có chữ viết.
  5. Cung cấp các ứng dụng thực tiễn và khuyến nghị chính sách rõ ràng, với tiềm năng tạo ra các chương trình phát thanh, báo nói và công cụ giáo dục bằng tiếng Mường.

Các phát hiện này đã dẫn đến một tiến bộ mô hình (paradigm advancement) nhỏ, chuyển từ việc coi sự khan hiếm dữ liệu là một rào cản không thể vượt qua sang việc coi đó là một thách thức có thể giải quyết được thông qua các chiến lược thích ứng thông minh và học chuyển giao. Luận án này đã mở ra ít nhất 3 luồng nghiên cứu mới:

  1. Phát triển TTS cho các ngôn ngữ ít tài nguyên khác của Việt Nam và trên thế giới, đặc biệt tập trung vào các kỹ thuật học chuyển giao và thích ứng.
  2. Nghiên cứu về biểu diễn trung gian ở các cấp độ ngôn ngữ khác nhau (hình thái, cú pháp) để nâng cao chất lượng TTS cho ngôn ngữ không có chữ viết.
  3. Đánh giá định lượng tác động xã hội và văn hóa của công nghệ TTS đối với việc bảo tồn và phổ biến các ngôn ngữ có nguy cơ.

Với việc so sánh các phương pháp với các nghiên cứu quốc tế như của Chen et al. [32] và Jamal et al. [33], luận án này có mức độ liên quan toàn cầu cao, cung cấp một khuôn khổ có thể áp dụng cho hàng nghìn ngôn ngữ ít tài nguyên trên khắp thế giới. Di sản của nghiên cứu này có thể đo lường được thông qua ước tính "potential citations estimate" trong giới học thuật, khả năng "industry transformation" trong các lĩnh vực truyền thông và giáo dục, và "societal benefits quantified" như việc tăng cường tiếp cận thông tin cho hàng trăm nghìn người Mường.