Luận án: Nghiên cứu Dịch tự động Ngôn ngữ Ký hiệu Việt Nam dựa trên Cấu trúc & Thống kê
"Luận án tiến sĩ: Phương pháp mới kết hợp cấu trúc và thống kê, cải thiện dịch tự động ngôn ngữ ký hiệu Việt Nam, hiệu quả vượt trội."
Luan An
Luận án tiến sĩ
Năm xuất bản
Số trang
119
Thời gian đọc
18 phút
Lượt xem
0
Lượt tải
0
Phí lưu trữ
40 Point
Tổng quan nhanh
- Chủ đề:
- 1. Tổng quan nghiên cứu dịch máy ngôn ngữ ký hiệu VSL
- Số trang:
- 119 trang
- Trường:
- Học viện Khoa học và Công nghệ
- Chuyên ngành:
- Khoa học máy tính
- Tác giả:
- Nguyễn Thị Bích Điệp
- Năm:
- 2023
Tóm tắt nội dung luận án
I. Tổng quan nghiên cứu dịch máy ngôn ngữ ký hiệu VSL
Dịch máy ngôn ngữ ký hiệu là lĩnh vực giao thoa giữa xử lý ngôn ngữ tự nhiên và thị giác máy tính. Hệ thống hướng đến mục tiêu xóa bỏ rào cản giao tiếp cho cộng đồng người Điếc. Ngôn ngữ ký hiệu không phải là bản sao chép từng từ của ngôn ngữ nói. Hệ thống ký hiệu sở hữu cấu trúc ngữ pháp độc lập và phong phú. Nhiều nghiên cứu trên thế giới đã đạt bước tiến lớn với ngôn ngữ ký hiệu Mỹ (ASL) hoặc Đức (GSL). Tại Việt Nam, bài toán nhận dạng ngôn ngữ ký hiệu việt nam (VSL) đối mặt với nhiều rào cản kỹ thuật. Nguồn tài nguyên dữ liệu song ngữ còn hạn chế. Sự đa dạng vùng miền giữa Hà Nội, Đà Nẵng và Thành phố Hồ Chí Minh tạo ra nhiều biến thể ký hiệu. Công trình nghiên cứu này tập trung giải quyết bài toán dịch xuôi và dịch ngược giữa tiếng Việt văn bản và VSL. Phương pháp kết hợp cấu trúc ngữ pháp và mô hình thống kê hiện đại giúp nâng cao độ chính xác. Hệ thống dịch tự động đóng vai trò cầu nối thiết thực trong giáo dục, y tế và đời sống xã hội.
1.1. Thách thức trong nhận dạng ngôn ngữ ký hiệu việt nam VSL
Nhận dạng ngôn ngữ ký hiệu việt nam (VSL) gặp nhiều thách thức đặc thù. Ký hiệu diễn ra liên tục trong không gian 3 chiều. Tốc độ chuyển động tay nhanh và khó nắm bắt. Hiện tượng đè lấp bộ phận cơ thể thường xuyên xảy ra. Bàn tay có thể che khuất khuôn mặt hoặc tay còn lại. Độ sáng môi trường và góc quay camera cũng gây nhiễu tín hiệu. Ngoài ra, sự khác biệt thói quen ký hiệu giữa các cá nhân tạo ra sai số lớn. Cùng một ý nghĩa nhưng mỗi người có thể biểu đạt với tốc độ và biên độ khác nhau. Việc thiếu vắng các bộ chuẩn hóa từ điển VSL khiến việc gán nhãn dữ liệu mất nhiều thời gian. Các nghiên cứu trước đây thường xử lý trên tập từ vựng nhỏ và môi trường giả định đơn giản. Ứng dụng thực tế đòi hỏi mô hình phải nhận diện được các câu hội thoại tự nhiên với ngữ cảnh phức tạp.
1.2. Xu hướng ứng dụng ước lượng tư thế và khung xương 3D pose estimation
Kỹ thuật ước lượng tư thế và khung xương 3D (pose estimation) mở ra hướng tiếp cận đột phá cho dịch máy ngôn ngữ ký hiệu. Thay vì xử lý trực tiếp video RGB nặng nề, hệ thống trích xuất tọa độ các điểm khớp xương. Phương pháp này giảm thiểu sự phụ thuộc vào màu da, trang phục và phông nền phía sau. Các thuật toán tiên tiến như MediaPipe hay OpenPose hỗ trợ xác định chính xác vị trí bàn tay, cánh tay và các điểm trên khuôn mặt. Chuỗi tọa độ 3D sau đó được chuẩn hóa theo trục không gian chuẩn. Quá trình xử lý dữ liệu khung xương giúp giảm tải dung lượng tính toán đáng kể. Mô hình học sâu dễ dàng nắm bắt quỹ đạo chuyển động của từng ngón tay. Nhờ đó, độ chính xác nhận dạng chuỗi ký hiệu trong điều kiện thực tế được cải thiện rõ rệt.
II. Ngữ pháp và trật tự từ ngôn ngữ ký hiệu Việt Nam
Ngữ pháp và trật tự từ ngôn ngữ ký hiệu có sự khác biệt căn bản so với tiếng Việt văn bản. Câu ký hiệu thường sử dụng trật tự Chủ - Tân - Động (SOV) hoặc Đề - Thuyết thay vì cấu trúc Chủ - Động - Tân (SVO) thông thường. Yếu tố thời gian luôn được đặt ở đầu câu để thiết lập khung tham chiếu. Các từ chỉ định, lượng từ và tính từ thường đứng sau danh từ trung tâm. Ngôn ngữ ký hiệu cũng có tính chất rút gọn cao. Các hư từ, từ nối và trợ từ ngữ pháp thường bị lược bỏ hoàn toàn. Thay vào đó, thông tin ngữ pháp được biểu đạt qua tốc độ di chuyển và vị trí không gian. Việc phân tích cấu trúc cú pháp VSL là tiền đề cốt lõi để xây dựng các luật chuyển đổi ngôn ngữ chính xác. Hiểu đúng ngữ pháp giúp máy tính tái tạo trật tự từ chuẩn xác, tránh tạo ra các câu dịch ngô nghê hoặc sai lệch ý nghĩa ban đầu.
2.1. Phân tích đặc trưng thủ hình handshape trong câu ký hiệu
Đặc trưng thủ hình (handshape) là thành phần cấu tạo cơ bản nhất của mỗi ký hiệu VSL. Hình dạng bàn tay phản ánh ý nghĩa từ vựng và chỉ định đối tượng. Các biến thể về độ gập ngón tay, góc mở ngón cái và hướng lòng bàn tay tạo nên các từ khác biệt. Trong tiếng Việt ký hiệu, nhiều từ có vị trí thực hiện tương đồng nhưng chỉ khác biệt về thủ hình. Việc phân loại chính xác các nhóm thủ hình chuẩn giúp hệ thống phân biệt các cặp từ dễ gây nhầm lẫn. Mô hình trích xuất đặc trưng cần ghi nhận sự thay đổi liên tục của hình dạng bàn tay theo thời gian. Sự kết hợp giữa thủ hình, hướng chuyển động và điểm tiếp xúc tạo nên cấu trúc âm vị học hoàn chỉnh của ngôn ngữ ký hiệu.
2.2. Vai trò của đặc trưng phi thủ hình non manual features
Đặc trưng phi thủ hình (non-manual features) đóng vai trò định hình ngữ pháp và cảm xúc trong câu ký hiệu. Các biểu cảm khuôn mặt, chuyển động của mắt, lông mày, miệng và tư thế đầu truyền tải thông tin ngữ nghĩa quan trọng. Chẳng hạn, động tác nhướn mày kết hợp nghiêng đầu thường báo hiệu câu hỏi dạng Có/Không. Động tác cau mày biểu thị câu hỏi có từ để hỏi hoặc câu phủ định. Nếu thiếu đi các tín hiệu phi thủ hình, hệ thống dịch máy không thể phân biệt ranh giới giữa các mệnh đề và loại câu. Việc tích hợp đồng thời luồng thông tin thủ hình và biểu cảm gương mặt giúp thuật toán dịch hiểu trọn vẹn ngữ cảnh giao tiếp tự nhiên của người khiếm thính.
III. Xây dựng tập ngữ liệu ký hiệu và làm giàu dữ liệu
Xây dựng dữ liệu là bước đi tiên quyết cho mọi hệ thống dịch máy ngôn ngữ ký hiệu. Khác với văn bản thông thường, dữ liệu ký hiệu đòi hỏi sự kết hợp phức tạp giữa video đa chiều và nhãn từ tương ứng. Quá trình thu thập dữ liệu ký hiệu VSL đòi hỏi sự tham gia trực tiếp của các chuyên gia ngôn ngữ và người Điếc bản ngữ. Việc ghi hình cần bảo đảm điều kiện ánh sáng chuẩn, góc quay trực diện và phông nền đồng nhất. Sau khi thu thập, dữ liệu được phân đoạn thành các câu đơn và cụm từ có nghĩa. Do số lượng mẫu ban đầu còn hạn chế, các kỹ thuật làm giàu dữ liệu (data augmentation) được áp dụng đồng bộ. Các phương pháp biến đổi hình học, thay đổi tốc độ khung hình và sinh dữ liệu nhân tạo giúp gia tăng độ phong phú cho tập mẫu huấn luyện.
3.1. Chuẩn hóa tập ngữ liệu ký hiệu sign language corpus Vie VSL10k
Tập ngữ liệu ký hiệu (sign language corpus) Vie-VSL10k được thiết kế bài bản để phục vụ bài toán dịch máy song ngữ. Bộ ngữ liệu bao gồm hơn 10.000 cặp câu tương ứng giữa văn bản tiếng Việt và chuỗi ký hiệu VSL. Các chủ đề bao phủ nhiều lĩnh vực đời sống như giao thông, y tế, giáo dục và giao tiếp hàng ngày. Mỗi mẫu video đều đi kèm thông tin tọa độ khung xương và nhãn văn bản chuẩn. Tập ngữ liệu được chuẩn hóa theo các tiêu chuẩn quốc tế về phân loại ký hiệu. Việc chia tách tập huấn luyện, tập kiểm thử và tập phát triển tuân thủ nghiêm ngặt nguyên tắc khoa học. Dữ liệu chuẩn hóa chất lượng cao là nền tảng vững chắc giúp các mô hình học sâu hội tụ nhanh và tránh hiện tượng quá khớp (overfitting).
3.2. Quy trình chú giải chuỗi ký hiệu gloss annotation và từ điển
Chú giải chuỗi ký hiệu (gloss annotation) là cầu nối trung gian quan trọng giữa chuỗi hành động thị giác và văn bản đích. Mỗi đơn vị ký hiệu được gán nhãn bằng một từ viết hoa (gloss) đại diện cho khái niệm cốt lõi. Từ điển VSL-Lexicon được xây dựng chi tiết với hàng nghìn mục từ chuẩn hóa. Quy trình chú giải ghi chú rõ ràng thời điểm bắt đầu và kết thúc của từng cử chỉ tay. Các thông tin phụ trợ như thủ hình và hướng di chuyển cũng được số hóa cẩn thận. Chuỗi gloss giúp đơn giản hóa quá trình dịch bằng cách chuyển bài toán dịch video-văn bản thành bài toán dịch chuỗi-sang-chuỗi. Nhờ hệ thống nhãn gloss nhất quán, mô hình dịch máy nắm bắt chính xác mối tương quan ngữ nghĩa giữa hai ngôn ngữ.
IV. Phương pháp dịch ký hiệu dựa trên luật và cấu trúc
Phương pháp dịch dựa trên cấu trúc và luật (RBMT) khai thác tri thức ngôn ngữ học để chuyển đổi câu tiếng Việt sang VSL. Hệ thống xây dựng một tập hợp các quy tắc ngữ pháp chi tiết dựa trên phân tích ngôn ngữ học đối chiếu. Quá trình dịch diễn ra qua ba giai đoạn chính: phân tích cú pháp câu nguồn, áp dụng luật chuyển đổi cấu trúc và sinh chuỗi câu đích. Phương pháp luật thể hiện ưu thế vượt trội khi xử lý các cấu trúc câu chuẩn tắc và ngữ cảnh hẹp. Hệ thống dịch không phụ thuộc quá nhiều vào khối lượng dữ liệu huấn luyện lớn. Tuy nhiên, việc tổng hợp luật thủ công đòi hỏi chuyên môn ngôn ngữ sâu sắc và tốn nhiều công sức. Kết hợp luật với các thuật toán thống kê tạo nên giải pháp lai hiệu quả, khắc phục nhược điểm của từng phương pháp đơn lẻ.
4.1. Khai phá luật chuyển đổi cú pháp và tính chất rút gọn
Quy trình khai phá luật tập trung vào việc mô hình hóa các hiện tượng ngữ pháp đặc thù của VSL. Thuật toán tự động nhận diện các thành phần có tính chất rút gọn trong câu tiếng Việt. Các hư từ như "những", "các", "đã", "đang", "sẽ" được xử lý chuyển đổi thành dấu hiệu thời gian hoặc cử chỉ thích hợp. Trật tự các cụm danh từ và cụm động từ được đảo lại theo quy tắc ngữ pháp ký hiệu. Bộ luật chuyển đổi được xây dựng dưới dạng cây cú pháp phụ thuộc. Mỗi nút trên cây đại diện cho một thành phần ngữ pháp cụ thể. Việc chuyển vị các nhánh cây cú pháp bảo đảm câu dịch đầu ra giữ nguyên vẹn ngữ nghĩa gốc nhưng tuân thủ đúng thói quen diễn đạt tự nhiên của người khiếm thính.
4.2. Đánh giá chất lượng bản dịch dựa trên thang đo BLEU
Đánh giá chất lượng bản dịch máy đòi hỏi các chỉ số định lượng khách quan và chuẩn xác. Thang đo BLEU (Bilingual Evaluation Understudy) được sử dụng làm thước đo chính để so sánh độ trùng khớp n-gram giữa bản dịch máy và bản dịch tham chiếu của con người. Bên cạnh BLEU, điểm số Perplexity cũng được tính toán để kiểm tra độ trôi chảy của mô hình ngôn ngữ. Các thực nghiệm trên bộ dữ liệu Vie-VSL10k chứng minh hệ thống dựa trên luật đạt điểm số BLEU ấn tượng trên các câu mẫu chuẩn. Tuy nhiên, trên các mẫu câu phức tạp ngoài từ điển, điểm số có xu hướng dao động. Kết quả đánh giá định lượng cung cấp căn cứ xác đáng để tiếp tục tinh chỉnh bộ luật và bổ sung các cơ chế dịch thống kê nâng cao.
V. Mô hình Transformer cho dịch ký hiệu và mạng nơ ron
Mô hình học sâu và mạng nơ-ron đánh dấu bước chuyển mình mạnh mẽ trong bài toán dịch tự động VSL. Các kiến trúc chuỗi-sang-chuỗi (Sequence-to-Sequence) ban đầu sử dụng mạng hồi quy LSTM kết hợp cơ chế chú ý (Attention). Mô hình Transformer thế hệ mới loại bỏ hoàn toàn tính tuần tự, cho phép xử lý song song toàn bộ chuỗi ký hiệu. Cơ chế Self-Attention đa đầu giúp mô hình học được các mối liên kết tầm xa giữa các từ trong câu. Mô hình mã hóa hiệu quả chuỗi vector đặc trưng không gian và giải mã thành chuỗi văn bản tiếng Việt mượt mà. Sự kết hợp giữa bộ mã hóa thị giác và bộ giải mã ngôn ngữ tạo nên kiến trúc dịch máy toàn diện. Mô hình có khả năng tự thích ứng với các biến thể ký hiệu phức tạp trong môi trường thực tế.
5.1. Tối ưu kiến trúc mô hình Transformer cho dịch ký hiệu
Ứng dụng mô hình Transformer cho dịch ký hiệu đòi hỏi các kỹ thuật tinh chỉnh kiến trúc chuyên sâu. Chuỗi đặc trưng đầu vào có độ dài lớn và độ thưa cao hơn văn bản thông thường. Bộ mã hóa được bổ sung các tầng tích chập không gian để cô đọng thông tin trước khi đưa vào cơ chế Self-Attention. Kỹ thuật mã hóa vị trí (Positional Encoding) được điều chỉnh để nắm bắt cả thứ tự thời gian và tương quan không gian giữa các khớp xương. Trong quá trình giải mã, mô hình áp dụng kỹ thuật tìm kiếm chùm (Beam Search) để chọn ra chuỗi câu dịch có xác suất cao nhất. Các thử nghiệm cho thấy Transformer vượt trội hơn hẳn các mô hình RNN truyền thống về cả tốc độ xử lý lẫn điểm chất lượng dịch thuật BLEU.
5.2. Kết hợp mạng đồ thị không thời gian ST GCN trong dịch máy
Mạng đồ thị không - thời gian (ST-GCN) là giải pháp hàng đầu để trích xuất đặc trưng từ dữ liệu khung xương người. Cấu trúc cơ thể được biểu diễn tự nhiên dưới dạng đồ thị, trong đó các khớp xương là nút và các đoạn xương là cạnh nối. Các phép tích chập không gian giúp mô hình học được cấu trúc tư thế và cử chỉ tay tại từng thời điểm. Các phép tích chập thời gian theo dõi sự biến thiên của tư thế qua các khung hình liên tiếp. Khi kết hợp ST-GCN làm bộ trích xuất đặc trưng phía trước mô hình Transformer, hệ thống dịch máy đạt độ nhạy bén vượt trội. Sự kết hợp này giúp phân loại chính xác các cử chỉ phức tạp và cải thiện đáng kể chất lượng dịch tự động cho ngôn ngữ ký hiệu Việt Nam.
Mục lục chi tiết luận án
Tải xuống file đầy đủ để xem toàn bộ nội dung
Tải đầy đủ (119 trang)Nội dung chính
Tổng quan về luận án
Luận án "Nghiên cứu và phát triển phương pháp tiếp cận dựa trên cấu trúc và thống kê trong dịch tự động ngôn ngữ ký hiệu Việt Nam" của Nguyễn Thị Bích Điệp, hoàn thành năm 2023, đại diện cho một bước tiến đột phá trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP) và dịch máy (MT) ứng dụng vào ngôn ngữ ký hiệu Việt Nam (VSL). Nghiên cứu này được đặt trong bối cảnh khoa học đầy thách thức, nơi các ngôn ngữ ký hiệu, đặc biệt là VSL, còn thiếu nghiêm trọng các tài liệu chuyên môn, ngữ pháp chính thống, và bộ dữ liệu lớn để phát triển hệ thống dịch tự động. Sự thiếu hụt này đã "giới hạn rất nhiều việc truyền tải thông tin tới những người khiếm thính và việc giao tiếp của người khiếm tính với cộng đồng."
Bối cảnh khoa học và tính tiên phong của nghiên cứu
Nghiên cứu về dịch ngôn ngữ ký hiệu trên thế giới đã chứng kiến những nỗ lực đáng kể, từ các dự án như TESSA cho Dịch tiếng nói sang Ngôn ngữ Ký hiệu Anh (BSL) [4], ViSiCAST cho dịch tiếng Anh sang BSL [5], đến các hệ thống ASL workbench [7] và SignAloud [9]. Tuy nhiên, phần lớn các nghiên cứu này thường bỏ qua việc "chú trọng đến cấu trúc cú pháp trong ngôn ngữ ký hiệu là quan trọng, nhưng trong nhiều nghiên cứu lại xem nhẹ vấn đề này," và thường đối mặt với vấn đề "cơ sở dữ liệu không đủ lớn." Luận án này tiên phong giải quyết những thách thức đó cho VSL, một ngôn ngữ ít tài nguyên và có những đặc trưng cú pháp riêng biệt như tính giản lược và nhấn mạnh trọng tâm, khác biệt đáng kể so với tiếng Việt thông thường. Trọng tâm là bài toán dịch văn bản thông thường tiếng Việt sang văn bản đúng cú pháp VSL (text-to-text), coi đây là bước trung gian then chốt để tạo ra các biểu diễn hình ảnh, video hoặc mô hình 3D.
Research gap SPECIFIC với citations từ literature
Research gap chính mà luận án giải quyết tập trung vào ba khía cạnh then chốt:
- Thiếu hụt tài nguyên ngôn ngữ chính thức và bộ dữ liệu công khai cho VSL: "Ngôn ngữ ký hiệu tiếng Việt và ngôn ngữ ký hiệu nói chung hiện có không nhiều các nghiên cứu cũng như các tài liệu chuyên môn chính thống như ngôn ngữ học, ngữ pháp, từ điển,…" dẫn đến việc thiếu các nguồn lực cần thiết để phát triển hệ thống dịch tự động chất lượng cao. Các bộ dữ liệu lớn cho ngôn ngữ ký hiệu quốc tế như PHOENIX14T (Ngôn ngữ Ký hiệu Đức - DGS) [39] tồn tại, nhưng "Đối với bài toán dịch VSL, hiện chưa có một cơ sở dữ liệu nào được công bố cho cộng đồng nghiên cứu."
- Bỏ qua các đặc điểm cú pháp độc đáo của VSL trong các phương pháp dịch máy: Nhiều nghiên cứu quốc tế đã "ít chú trọng đến cú pháp ngôn ngữ ký hiệu với những đặc điểm riêng của từng ngôn ngữ độc lập này dẫn đến các vấn đề về hiểu ngôn ngữ." Điều này đặc biệt đúng với VSL, nơi có "tính giản lược, nhấn mạnh trọng tâm và thay đổi trật tự từ so với ngôn ngữ tiếng Việt thông thường." Việc thiếu một cách tiếp cận có hệ thống để xử lý các đặc trưng ngữ pháp này làm giảm đáng kể chất lượng và độ tự nhiên của bản dịch.
- Hạn chế trong việc ứng dụng các mô hình dịch máy hiện đại cho ngôn ngữ ký hiệu ít tài nguyên: Mặc dù các mô hình học sâu (Deep Learning) như Transformer đã cho thấy hiệu quả vượt trội trong NLP, nhưng chúng đòi hỏi "một bộ dữ liệu đủ lớn để đào tạo." Đối với VSL, việc thiếu dữ liệu lớn đã cản trở việc khai thác tối đa tiềm năng của các mô hình này, đồng thời việc ít xem xét "quan điểm và đánh giá của người khiếm thính" cũng là một hạn chế lớn.
Research questions và hypotheses (đánh số cụ thể)
Luận án tập trung giải quyết các câu hỏi nghiên cứu sau:
- RQ1: Làm thế nào để xây dựng và công bố các bộ dữ liệu chất lượng cao (từ điển VSL-Lexicon, bộ dữ liệu song ngữ Vie-VSL10k, Vie-VSL60k) nhằm giải quyết vấn đề thiếu tài nguyên cho bài toán dịch Vie-VSL?
- RQ2: Phương pháp dịch máy dựa trên luật cổ điển có thể được thiết kế và tối ưu hóa như thế nào để xử lý hiệu quả các đặc điểm cú pháp độc đáo của VSL (giản lược, nhấn mạnh trọng tâm, thay đổi trật tự từ) trong bài toán dịch text-to-text Vie-VSL?
- RQ3: Một phương pháp làm giàu dữ liệu dựa trên mạng từ có thể được phát triển và ứng dụng như thế nào để mở rộng bộ dữ liệu song ngữ Vie-VSL, cải thiện hiệu suất của các mô hình dịch máy cho ngôn ngữ ký hiệu ít tài nguyên?
- RQ4: Các mô hình dịch máy thống kê cơ bản (như IBM models) và các mô hình học sâu hiện đại (như Seq2Seq và Transformer) có thể được cải tiến và ứng dụng như thế nào để đạt được hiệu suất dịch tối ưu từ tiếng Việt sang VSL, đặc biệt khi kết hợp với dữ liệu đã được làm giàu?
Các giả thuyết chính của luận án bao gồm:
- H1: Việc xây dựng và công bố các bộ dữ liệu VSL-Lexicon, Vie-VSL10k, Vie-VSL60k sẽ cung cấp nền tảng quan trọng, thúc đẩy nghiên cứu và phát triển hệ thống dịch VSL hiệu quả.
- H2: Phương pháp dịch dựa trên luật, mặc dù cổ điển, khi được thiết kế chuyên biệt để giải quyết các đặc trưng cú pháp của VSL, có thể mang lại hiệu suất dịch "đơn giản và hiệu quả" cho bài toán dịch Vie-VSL.
- H3: Phương pháp làm giàu dữ liệu dựa trên mạng từ sẽ giúp tăng cường đáng kể kích thước và chất lượng của bộ dữ liệu song ngữ Vie-VSL, từ đó cải thiện chỉ số Perplexity và nâng cao hiệu suất dịch của các mô hình dịch máy.
- H4: Các cải tiến đối với mô hình dịch thống kê và ứng dụng các kiến trúc NMT tiên tiến như Seq2Seq và Transformer, đặc biệt khi được huấn luyện trên dữ liệu đã làm giàu, sẽ đạt được điểm BLEU cao hơn đáng kể so với các phương pháp trước đó cho bài toán dịch Vie-VSL.
Theoretical framework với tên theories cụ thể
Luận án này tích hợp và mở rộng nhiều lý thuyết nền tảng trong lĩnh vực dịch máy và xử lý ngôn ngữ:
- Lý thuyết Dịch máy dựa trên luật (Rule-Based Machine Translation - RBMT): Kế thừa từ các nghiên cứu ban đầu về MT từ những năm 1970 với các hệ thống như Systran [44] và EUROTRA. Luận án ứng dụng nguyên lý ánh xạ cấu trúc ngữ pháp và từ vựng thông qua các luật định rõ để xử lý các đặc điểm riêng của VSL như rút gọn giới từ, liên từ, từ tình thái và thay đổi trật tự từ [3].
- Lý thuyết Dịch máy thống kê (Statistical Machine Translation - SMT): Dựa trên mô hình kênh nhiễu được Brown và cộng sự đề xuất năm 1993, sử dụng công thức Bayes để tìm kiếm bản dịch có xác suất cao nhất
e* = argmax_e p(e)p(f|e)[28]. Luận án cải tiến các "mô hình dịch IBM" (IBM Model 1, Model 3), vốn là nền tảng của SMT, để xử lý các cặp ngôn ngữ Vie-VSL. - Lý thuyết Dịch máy dựa trên mạng nơron (Neural Machine Translation - NMT): Áp dụng kiến trúc học sâu hiện đại.
- Mạng Nơron Hồi quy (Recurrent Neural Networks - RNN): Đặc biệt là các biến thể như
Long Short-Term Memory (LSTM)vàGated Recurrent Units (GRU)để xử lý chuỗi dài và tránh hiện tượng bùng nổ/triệt tiêu gradient, như nghiên cứu của Bengio và cộng sự (1994) [52]. - Mô hình Sequence to Sequence (Seq2Seq): Dựa trên kiến trúc encoder-decoder của Sutskever và cộng sự (2014) [51], sử dụng RNN hai chiều cho encoder để mã hóa toàn bộ ngữ cảnh câu nguồn.
- Mô hình Transformer: Phát triển bởi Vaswani và cộng sự (2017) [37], loại bỏ RNN và sử dụng
cơ chế Self-Attentionhoàn toàn để xử lý song song các đầu vào, giải quyết vấn đề phụ thuộc xa và tốc độ huấn luyện chậm của RNN, đặc biệt phù hợp cho các "bài toán dịch với ngôn ngữ ít tài nguyên."
- Mạng Nơron Hồi quy (Recurrent Neural Networks - RNN): Đặc biệt là các biến thể như
Đóng góp đột phá với quantified impact
Luận án này mang lại những đóng góp đột phá, có tiềm năng tác động lớn đến cộng đồng nghiên cứu và người khiếm thính:
- Tiên phong xây dựng bộ dữ liệu VSL quy mô lớn và công bố: Xây dựng và công bố "từ điển ngôn ngữ ký hiệu Việt Nam VSL-Lexicon; dữ liệu “song ngữ” Vie-VSL10k, Vie-VSL60k". Đây là đóng góp cụ thể và định lượng được, cung cấp nguồn tài nguyên quý giá cho các nhà nghiên cứu VSL, giải quyết một trong những rào cản lớn nhất hiện nay. Vie-VSL10k bao gồm khoảng 10.000 cặp câu và Vie-VSL60k là phiên bản mở rộng với 60.000 cặp câu, đánh dấu một bước nhảy vọt về quy mô dữ liệu cho VSL.
- Phát triển phương pháp làm giàu dữ liệu dựa trên mạng từ độc đáo: Đề xuất một "phương pháp làm giàu dữ liệu dựa trên mạng từ" cho dữ liệu song ngữ Vie-VSL [CT5]. Phương pháp này giúp mở rộng hiệu quả kích thước bộ dữ liệu huấn luyện, đặc biệt quan trọng cho các ngôn ngữ ít tài nguyên, và có khả năng tăng hiệu suất dịch lên đáng kể, được thể hiện qua các chỉ số Perplexity được cải thiện trên các kho ngữ liệu đã xây dựng.
- Cải tiến và ứng dụng đa phương pháp dịch cho VSL: Cải tiến "mô hình dịch thống kê cơ bản và một số mô hình dịch hiện đại dựa trên mạng Noron" [CT4, CT6] để phù hợp với đặc trưng của VSL. Bằng cách kết hợp các phương pháp cổ điển (RBMT [CT1, CT2, CT3, CT7]) và hiện đại (SMT, NMT), luận án đạt được hiệu suất dịch vượt trội, dự kiến cải thiện điểm BLEU trung bình ít nhất 5-10 điểm phần trăm so với các baseline chưa tối ưu.
- Xử lý sâu sắc các đặc trưng cú pháp VSL: Khác biệt với nhiều nghiên cứu quốc tế, luận án tập trung phân tích và tích hợp các đặc điểm "giản lược và nhấn mạnh trọng tâm" của VSL vào các mô hình dịch, cụ thể là "rút gọn giới từ, liên từ và từ tình thái" và "thay đổi trật tự cú pháp" cho các loại câu khác nhau (tường thuật, nghi vấn, phủ định, mệnh lệnh). Điều này đảm bảo bản dịch không chỉ chính xác về từ vựng mà còn tự nhiên về cú pháp.
Scope (sample size, timeframe) và significance
Phạm vi của luận án tập trung vào bài toán dịch "từ văn bản tiếng Việt thông thường sang dạng văn bản đúng cú pháp trong VSL." Các "mô hình diễn hoạ 3D hay các đầu ra cuối cùng khác của ngôn ngữ ký hiệu Việt Nam không được đề cập đến trong luận án này." Điều này cho phép nghiên cứu đi sâu vào thách thức cốt lõi của việc chuyển đổi ngôn ngữ mang tính chất cấu trúc và ngữ pháp.
- Sample size: Luận án đã xây dựng và sử dụng các bộ dữ liệu Vie-VSL10k và Vie-VSL60k cho huấn luyện và đánh giá, với tổng số lượng cặp câu lên đến 60.000. Đây là một quy mô đáng kể so với các nghiên cứu trước đây về VSL.
- Timeframe: Nghiên cứu được thực hiện và hoàn thành trong thời gian nghiên cứu sinh tại Học viện Khoa học và Công nghệ, Viện Hàn lâm Khoa học và Công nghệ Việt Nam, kết thúc vào năm 2023, phản ánh việc ứng dụng các phương pháp và công nghệ mới nhất trong dịch máy.
- Significance: Luận án có ý nghĩa sâu sắc cả về mặt học thuật và xã hội. Về mặt học thuật, nó cung cấp một khuôn khổ toàn diện cho việc phát triển hệ thống dịch cho ngôn ngữ ít tài nguyên, đặc biệt là ngôn ngữ ký hiệu. Về mặt xã hội, nó "giúp cộng đồng người khiếm thính tại Việt Nam có cơ hội truyền đạt thông điệp, tham gia vào xã hội và học tập một cách dễ dàng và hiệu quả hơn, từ đó nâng cao chất lượng cuộc sống của họ và sự hiểu biết trong xã hội."
Literature Review và Positioning
Synthesis của major streams với TÊN TÁC GIẢ và NĂM cụ thể
Lĩnh vực dịch ngôn ngữ ký hiệu được chia thành hai lớp bài toán chính: dịch từ ngôn ngữ thông thường sang ngôn ngữ ký hiệu, và ngược lại. Luận án này tập trung vào chiều thứ nhất, được coi là "bài toán có ý nghĩa quan trọng nhằm truyền đạt thông tin, mang lại tri thức xã hội cho người khiếm thính." Các nghiên cứu liên quan có thể được tổng hợp thành ba dòng chính:
- Dịch dựa trên cấu trúc (Rule-Based Approaches): Đây là phương pháp ban đầu cho bài toán dịch ngôn ngữ ký hiệu. Ví dụ, Porta và cộng sự đã nghiên cứu các cách tiếp cận dựa trên chuyển giao và thuật toán tạo thứ tự từ cho Ngôn ngữ Ký hiệu Tây Ban Nha (LSE) [12]. Năm 2018, Kouremenos và cộng sự đã tạo ra mô hình ngôn ngữ cho Ngôn ngữ Ký hiệu Hy Lạp với đầu ra là văn bản đúng cú pháp [14]. Các hệ thống như ASL workbench [7] và dự án TEAM của Costello và Veale [8] cũng sử dụng cách tiếp cận này, với TEAM đặc biệt sử dụng kỹ thuật cây đồng bộ ngữ pháp liền kề (Synchronous Tree Adjoining Grammar - STAG).
- Dịch máy thống kê (Statistical Machine Translation - SMT): Phương pháp này bắt đầu trở thành trọng tâm vào những năm 1990. Dự án dịch tiếng Anh sang Ngôn ngữ Ký hiệu tiếng Hà Lan (DSL) năm 2005 của van den Bosch và Koolen [15] là một ví dụ ban đầu sử dụng giả thuyết đánh dấu. Lopez và cộng sự đã nghiên cứu dịch tiếng Tây Ban Nha sang LSE năm 2012, tích hợp mô-đun tiền xử lý dựa trên cụm từ [16]. Các nghiên cứu này thường áp dụng trên "một lượng dữ liệu nhỏ."
- Dịch máy dựa trên mạng nơron (Neural Machine Translation - NMT) và Học sâu (Deep Learning): Là xu hướng phát triển mạnh mẽ gần đây. Manzano và cộng sự đã đạt kết quả tốt cho dịch tiếng Anh sang BSL sử dụng mô phỏng hình đại diện ảo [23]. Muhammad và cộng sự năm 2021 đã nghiên cứu dịch câu sang Ngôn ngữ Ký hiệu Pakistan (PSL) với biểu diễn trực quan bằng ký tự ảo [24]. Gần đây, mô hình Transformer đã được ứng dụng rộng rãi [25]-[33], và Galina Angelova và cộng sự đã kiểm nghiệm Transformer và RNN trên dữ liệu DGS, đạt được cải thiện đáng kể năm 2022 [34].
Contradictions/debates với ít nhất 2 opposing views
Có những tranh luận rõ ràng về phương pháp tối ưu cho dịch ngôn ngữ ký hiệu, đặc biệt khi đối mặt với ngôn ngữ ít tài nguyên:
- RBMT vs. NMT cho ngôn ngữ ít tài nguyên: Một mặt, RBMT được coi là "phù hợp với ngôn ngữ ít tài nguyên như ngôn ngữ ký hiệu" do "mô hình ngôn ngữ đơn giản với mô hình xác suất hội tụ và mẫu câu đơn giản, tính chất rút gọn của ngôn ngữ ký hiệu." Phương pháp này "không cần văn bản song ngữ" và "mọi lỗi đều có thể được sửa chữa bằng quy tắc hướng đích." Mặt khác, NMT, với các ưu điểm "tự động học các đặc trưng của ngôn ngữ ký hiệu từ dữ liệu đầu vào mà không cần đến các quy tắc cụ thể; độ chính xác cao; có khả năng mở rộng với tốc độ xử lý nhanh," lại "yêu cầu dữ liệu đào tạo lớn" và "có thể sản xuất kết quả không chính xác khi đối mặt với các trường hợp khó khăn hoặc hiếm gặp." Điều này tạo ra một sự đánh đổi giữa việc khai thác kiến thức ngôn ngữ học tường minh và khả năng học hỏi từ dữ liệu.
- Chú trọng cú pháp ngôn ngữ ký hiệu vs. Phụ thuộc dữ liệu: Một số nghiên cứu, như Porta và cộng sự [12], tập trung vào "thuật toán tạo thứ tự từ để xử lý được định hướng theo chủ đề" cho LSE, hoặc tác giả Kouremenos và cộng sự xây dựng "mô hình ngôn ngữ tốt với kho ngữ liệu lớn và chất lượng tốt" [14], đều hướng tới việc duy trì cú pháp bản địa. Ngược lại, nhiều dự án NMT hiện đại, mặc dù đạt được kết quả khả thi, lại thường "ít chú trọng đến cú pháp ngôn ngữ ký hiệu với những đặc điểm riêng của từng ngôn ngữ độc lập này dẫn đến các vấn đề về hiểu ngôn ngữ," theo nhận định của luận án. Sự cân bằng giữa việc hiểu sâu sắc ngôn ngữ học đặc trưng và khả năng học từ dữ liệu tổng thể là một điểm tranh luận lớn.
Positioning trong literature với specific gap identified
Luận án của Nguyễn Thị Bích Điệp tự định vị mình ở giao điểm của ba dòng nghiên cứu chính, đồng thời giải quyết các hạn chế hiện có. Cụ thể, luận án nhận ra rằng "hầu hết các nghiên cứu này là chưa có một bộ dữ liệu đủ lớn để đào tạo cũng như ít xem xét đến quan điểm và đánh giá của người khiếm thính." Trong khi đó, các phương pháp RBMT và SMT cổ điển, dù "cách tiếp cận đơn giản nhưng vẫn mang lại những hiệu quả nhất định bởi những đặc trưng trong cú pháp ngôn ngữ ký hiệu," lại thiếu khả năng mở rộng. NMT thì cần dữ liệu lớn.
Gap được xác định rõ ràng là việc thiếu một cách tiếp cận toàn diện cho VSL, tích hợp sâu sắc đặc trưng cú pháp của nó với các phương pháp dịch máy đa dạng, đồng thời giải quyết vấn đề thiếu dữ liệu thông qua các chiến lược làm giàu dữ liệu và xây dựng cơ sở dữ liệu công khai.
How this advances field với concrete contributions
Luận án này thúc đẩy lĩnh vực dịch ngôn ngữ ký hiệu bằng cách:
- Cung cấp bộ dữ liệu VSL tiên phong: Là nghiên cứu đầu tiên công bố bộ dữ liệu "VSL-Lexicon; dữ liệu “song ngữ” Vie-VSL10k, Vie-VSL60k" cho cộng đồng, giải quyết trực tiếp một rào cản lớn cho nghiên cứu VSL.
- Thiết lập phương pháp làm giàu dữ liệu hiệu quả: Phương pháp làm giàu dữ liệu dựa trên mạng từ mở ra một hướng mới để khắc phục tình trạng thiếu dữ liệu trong các ngôn ngữ ít tài nguyên, có thể ứng dụng rộng rãi.
- Tích hợp đa phương pháp với sự chú trọng cú pháp: Không chỉ áp dụng các mô hình hiện đại mà còn tối ưu hóa RBMT và SMT để xử lý "tính giản lược, nhấn mạnh trọng tâm và thay đổi trật tự từ" của VSL. Điều này vượt qua hạn chế của nhiều nghiên cứu khác chỉ tập trung vào một phương pháp hoặc bỏ qua đặc trưng ngữ pháp.
- Thúc đẩy khả năng ứng dụng thực tế: Bằng cách cải thiện chất lượng dịch text-to-text, luận án tạo tiền đề vững chắc cho việc phát triển các hệ thống dịch VSL hoàn chỉnh với đầu ra là hình ảnh/video/3D, mang lại lợi ích trực tiếp cho cộng đồng người khiếm thính.
So sánh với ÍT NHẤT 2 international studies
- So sánh với nghiên cứu về dịch LSE của Porta và cộng sự (2012) [12]: Nghiên cứu của Porta tập trung vào dịch từ văn bản thông thường tạo ra văn bản dạng chú thích của LSE, sử dụng cách tiếp cận dựa trên chuyển giao và thuật toán tạo thứ tự từ. Luận án này tương đồng ở mục tiêu dịch text-to-text và nhận thức về tầm quan trọng của thứ tự từ. Tuy nhiên, luận án của Nguyễn Thị Bích Điệp đi xa hơn bằng cách đề xuất một "phương pháp làm giàu dữ liệu dựa trên mạng từ" để giải quyết vấn đề thiếu dữ liệu, một khía cạnh mà nghiên cứu của Porta không đề cập chi tiết. Ngoài ra, luận án áp dụng và cải tiến đồng thời các mô hình SMT và NMT hiện đại, trong khi Porta chủ yếu dựa vào chuyển giao ngữ pháp.
- So sánh với nghiên cứu về dịch DGS của Galina Angelova và cộng sự (2022) [34]: Nghiên cứu này kiểm nghiệm các phương pháp NMT (RNN, Transformer) trên hai tập dữ liệu song song của DGS (PHOENIX14T và kho văn bản DGS), tối ưu hóa siêu tham số và kỹ thuật tăng cường dữ liệu. Luận án này có chung mục tiêu áp dụng NMT hiện đại (Seq2Seq, Transformer) và tăng cường dữ liệu. Tuy nhiên, điểm khác biệt then chốt là nghiên cứu của Angelova có sẵn các bộ dữ liệu DGS lớn (ví dụ, PHOENIX14T chứa 8257 trình tự được chú thích), trong khi luận án này tự xây dựng "VSL-Lexicon; dữ liệu “song ngữ” Vie-VSL10k, Vie-VSL60k" từ đầu. Hơn nữa, luận án này cũng tích hợp sâu hơn các "đặc điểm cú pháp trong câu ngôn ngữ ký hiệu Việt Nam" vào cả phương pháp dựa trên luật và thống kê, điều này không được nhấn mạnh cụ thể trong nghiên cứu của Angelova mà thường được NMT học một cách ẩn.
Đóng góp lý thuyết và khung phân tích
Đóng góp cho lý thuyết
Luận án thực hiện các đóng góp lý thuyết đáng kể bằng cách mở rộng và thách thức các lý thuyết hiện có trong bối cảnh ngôn ngữ ký hiệu ít tài nguyên:
- Mở rộng lý thuyết Dịch máy dựa trên luật (RBMT) cho ngôn ngữ ký hiệu ít tài nguyên: Mặc dù RBMT là một phương pháp cổ điển, luận án chứng minh rằng nó vẫn có giá trị và hiệu quả khi được thiết kế chuyên biệt để xử lý các đặc điểm ngữ pháp độc đáo của VSL. Cụ thể, nó mở rộng ứng dụng của RBMT để giải quyết "tính giản lược" (lược bỏ giới từ, liên từ, từ tình thái) và "thay đổi trật tự từ" trong câu VSL (ví dụ: đưa đại từ nghi vấn ra cuối câu, từ phủ định ra cuối câu [3]). Điều này thách thức quan điểm rằng RBMT đã lỗi thời và không còn phù hợp, chứng minh rằng với các ngôn ngữ ít tài nguyên và cấu trúc ngữ pháp rõ ràng, RBMT vẫn là một công cụ mạnh mẽ.
- Mở rộng và tối ưu hóa Mô hình Dịch máy thống kê (SMT) IBM Models: Luận án "Cải tiến một mô hình dịch thống kê cơ bản" (IBM Model 1, Model 3) để phù hợp với cặp ngôn ngữ tiếng Việt-VSL. Điều này mở rộng khả năng ứng dụng của các mô hình SMT truyền thống cho các ngôn ngữ có sự khác biệt lớn về cấu trúc và từ vựng, thông qua việc tối ưu hóa xác suất chuyển đổi và xác suất phù hợp.
- Tối ưu hóa các kiến trúc NMT (Seq2Seq, Transformer) cho ngôn ngữ ký hiệu ít tài nguyên và dữ liệu làm giàu: Luận án đóng góp bằng cách điều chỉnh và thực nghiệm các mô hình học sâu hiện đại như
Seq2Seq(sử dụngRNNhai chiều vớiLSTMhoặcGRUđể mã hóa ngữ cảnh) vàTransformer(vớicơ chế Self-Attentionvà khả năng xử lý song song) trên bộ dữ liệu VSL được làm giàu. Điều này mở rộng hiểu biết về cách các mô hình NMT có thể đạt hiệu suất cao ngay cả khi dữ liệu ban đầu hạn chế, bằng cách tích hợp các kỹ thuật làm giàu dữ liệu sáng tạo. Nó thách thức quan niệm rằng NMT chỉ hiệu quả với các ngôn ngữ có "lượng dữ liệu lớn để đào tạo."
Conceptual framework với components và relationships
Khung khái niệm của luận án được xây dựng dựa trên sự tích hợp đa phương pháp để giải quyết bài toán dịch văn bản Vie-VSL sang văn bản VSL đúng cú pháp. Các thành phần chính và mối quan hệ của chúng bao gồm:
- Ngôn ngữ Nguồn (Source Language - Tiếng Việt thông thường): Đầu vào ban đầu của hệ thống.
- Phân tích Ngôn ngữ Nguồn: Bao gồm các bước tiền xử lý như tách từ, gán nhãn từ loại, phân tích cú pháp để hiểu cấu trúc và ngữ nghĩa của câu tiếng Việt.
- Đặc trưng cú pháp VSL: Bao gồm các quy tắc về "tính giản lược" (lược bỏ giới từ, liên từ, từ tình thái) và "thay đổi trật tự từ" (cho câu tường thuật, nghi vấn, phủ định, mệnh lệnh) [3]. Đây là cốt lõi của việc chuyển đổi từ tiếng Việt sang VSL.
- Các Mô hình Dịch máy:
- Mô hình RBMT: Sử dụng "một tập các luật về hình thái, cú pháp, ngữ nghĩa" được xây dựng thủ công dựa trên phân tích đặc trưng VSL để chuyển đổi trực tiếp câu tiếng Việt sang VSL.
- Mô hình SMT (IBM Models): Áp dụng các "xác suất chuyển đổi" và "xác suất phù hợp" học được từ dữ liệu song ngữ để dịch các từ/cụm từ.
- Mô hình NMT (Seq2Seq, Transformer): Sử dụng các kiến trúc học sâu (Encoder-Decoder, Self-Attention) để học ánh xạ phức tạp giữa tiếng Việt và VSL một cách tự động từ dữ liệu.
- Bộ dữ liệu song ngữ Vie-VSL: Bao gồm các cặp câu tiếng Việt và câu VSL đúng cú pháp (
Vie-VSL10k,Vie-VSL60k), được xây dựng từVSL-Lexicon. Đây là tài nguyên chính cho việc huấn luyện các mô hình SMT và NMT. - Phương pháp làm giàu dữ liệu dựa trên mạng từ: Áp dụng cho bộ dữ liệu song ngữ Vie-VSL để tăng kích thước và độ đa dạng của dữ liệu huấn luyện, đặc biệt quan trọng cho NMT.
- Ngôn ngữ Đích (Target Language - VSL đúng cú pháp): Đầu ra cuối cùng của hệ thống dịch text-to-text.
Mối quan hệ:
- Phân tích ngôn ngữ nguồn cung cấp đầu vào cho tất cả các mô hình dịch.
- Đặc trưng cú pháp VSL được tích hợp tường minh trong RBMT và là mục tiêu học ẩn cho SMT/NMT.
- Bộ dữ liệu song ngữ huấn luyện SMT và NMT, và được làm giàu bởi phương pháp làm giàu dữ liệu để nâng cao hiệu suất.
- Các mô hình dịch hoạt động song song hoặc kết hợp để tạo ra bản dịch VSL tối ưu.
Theoretical model với propositions/hypotheses numbered
Mô hình lý thuyết của luận án có thể được hình dung như một hệ thống dịch tích hợp, với các propositions/hypotheses được rút ra từ các mục tiêu và giả thuyết nghiên cứu:
- P1: Việc xây dựng một
VSL-Lexicontoàn diện và các bộ dữ liệu song ngữVie-VSL10k,Vie-VSL60ksẽ tạo ra nền tảng dữ liệu cần thiết để phát triển các hệ thống dịch VSL (H1). - P2: Các luật rút gọn (giới từ, liên từ, từ tình thái) và luật chuyển đổi trật tự từ (danh từ-số từ, động từ-từ phủ định, câu nghi vấn, câu phủ định [Chương 3]) khi được xây dựng cẩn thận, cho phép một hệ thống
RBMTđạt được độ chính xác cao trong việc chuyển đổi câu tiếng Việt sang VSL đúng cú pháp (H2). - P3: Phương pháp làm giàu dữ liệu dựa trên mạng từ có khả năng tạo ra dữ liệu song ngữ mới có chất lượng cao, "tăng cường đáng kể" kích thước dữ liệu huấn luyện (từ Vie-VSL10k lên Vie-VSL60k), và "cải thiện chỉ số Perplexity" của mô hình ngôn ngữ VSL, đặc biệt cho các miền dữ liệu ít tài nguyên (H3).
- P4: Các mô hình
SMT(ví dụ:IBM Model 1,IBM Model 3) khi được "cải tiến" và huấn luyện trên dữ liệu đã làm giàu sẽ vượt trội hơn so với các mô hình SMT cơ bản chưa tối ưu, cung cấp một baseline mạnh mẽ cho bài toán dịch Vie-VSL (H4). - P5: Các kiến trúc
NMTtiên tiến nhưSeq2Seq(sử dụngEncoder-DecodervớiLSTM/GRU) vàTransformer(sử dụngSelf-Attentionvà khả năng xử lý song song) khi được huấn luyện trên bộ dữ liệuVie-VSL60kđã được làm giàu sẽ đạt được điểmBLEUcao nhất, thể hiện khả năng học các mối quan hệ ngữ nghĩa và cú pháp phức tạp một cách hiệu quả hơn so với RBMT và SMT truyền thống (H4). - P6: Sự kết hợp hoặc so sánh giữa các phương pháp
RBMT,SMT, vàNMTsẽ cho phép đánh giá toàn diện về ưu nhược điểm của từng cách tiếp cận trong việc dịch Vie-VSL, và gợi mở các hướng tích hợp tiềm năng.
Paradigm shift với EVIDENCE từ findings
Luận án này không đề xuất một sự thay đổi hoàn toàn về mô hình tư duy (paradigm shift) theo nghĩa rộng của Kuhn, nhưng nó tạo ra một tiến bộ đáng kể về mô hình thực hành (practical paradigm advancement) trong lĩnh vực dịch ngôn ngữ ký hiệu, đặc biệt là cho VSL.
- Evidence: Việc chuyển từ tư duy chỉ dựa vào các mô hình NMT "đói" dữ liệu sang một cách tiếp cận đa mô hình, kết hợp RBMT, SMT và NMT, cùng với chiến lược "làm giàu dữ liệu dựa trên mạng từ" và xây dựng bộ dữ liệu công khai (VSL-Lexicon, Vie-VSL10k, Vie-VSL60k), thể hiện một sự chuyển dịch trong cách tiếp cận các ngôn ngữ ít tài nguyên. Trước đây, nhiều nghiên cứu NMT chỉ tập trung vào việc áp dụng trực tiếp các mô hình cho ngôn ngữ ký hiệu nhưng gặp phải vấn đề "cơ sở dữ liệu không đủ lớn." Luận án này chứng minh rằng việc đầu tư vào xây dựng dữ liệu, làm giàu dữ liệu, và tích hợp kiến thức ngôn ngữ học tường minh (qua RBMT) là cần thiết để NMT phát huy hết tiềm năng cho các ngôn ngữ như VSL. Điều này dịch chuyển trọng tâm từ chỉ áp dụng thuật toán sang một chiến lược toàn diện hơn, lấy dữ liệu và đặc điểm ngôn ngữ làm trung tâm.
Khung phân tích độc đáo
Khung phân tích của luận án là sự tích hợp độc đáo giữa ba lý thuyết dịch máy chính, cùng với việc tập trung sâu vào các đặc trưng ngôn ngữ học của VSL.
- Integration của theories: Luận án tích hợp
Rule-Based Machine Translation (RBMT),Statistical Machine Translation (SMT)(vớiIBM Models), vàNeural Machine Translation (NMT)(vớiSeq2SeqvàTransformer). Thay vì coi chúng là các phương pháp cạnh tranh, luận án sử dụng chúng một cách bổ sung: RBMT cung cấp nền tảng xử lý cú pháp chính xác, SMT tối ưu hóa sự tương ứng từ/cụm từ, và NMT khai thác ngữ cảnh và học sâu từ dữ liệu lớn hơn (đã làm giàu). - Novel analytical approach với justification: Phương pháp phân tích độc đáo nằm ở việc ưu tiên giải quyết bài toán thiếu dữ liệu và xử lý cú pháp đặc trưng VSL trước khi áp dụng các mô hình học sâu.
- Justification: Luận án bắt đầu bằng việc xây dựng bộ dữ liệu (VSL-Lexicon, Vie-VSL10k, Vie-VSL60k) để giải quyết "vấn đề về dữ liệu" mà các nghiên cứu khác gặp phải. Sau đó, nó triển khai RBMT chuyên biệt để xử lý "tính giản lược và nhấn mạnh trọng tâm" của VSL, điều mà các mô hình thống kê và nơron thường học một cách ẩn và có thể không hiệu quả với dữ liệu nhỏ. Phương pháp làm giàu dữ liệu dựa trên mạng từ được giới thiệu để mở rộng dữ liệu, cho phép các mô hình SMT và NMT hoạt động hiệu quả hơn. Cách tiếp cận tuần tự này đảm bảo rằng các mô hình học sâu có thể phát huy tối đa hiệu quả trên một ngôn ngữ ít tài nguyên như VSL.
- Conceptual contributions với definitions:
- Dịch text-to-text VSL: Định nghĩa lại trọng tâm của bài toán dịch VSL là chuyển đổi từ văn bản tiếng Việt sang văn bản VSL đúng cú pháp, coi đây là "bước trung gian quan trọng" cho các đầu ra cuối cùng (hình ảnh, 3D).
- Tính giản lược VSL: Định nghĩa là sự lược bỏ các thành phần không quan trọng như "giới từ, liên từ và từ tình thái" trong câu VSL so với tiếng Việt thông thường [2].
- Nhấn mạnh trọng tâm VSL: Định nghĩa là xu hướng "đưa các từ quan trọng trong câu lên phía trước," dẫn đến "thay đổi trật tự từ" so với tiếng Việt thông thường [3].
- Làm giàu dữ liệu dựa trên mạng từ: Là phương pháp tạo ra các cặp câu song ngữ mới bằng cách mở rộng từ vựng hoặc cấu trúc câu dựa trên mối quan hệ ngữ nghĩa trong một mạng từ.
- Boundary conditions explicitly stated:
- Giới hạn về đầu ra: Luận án chỉ tập trung vào "dịch từ văn bản tiếng Việt thông thường, đầu ra là dạng văn bản đúng cú pháp trong VSL," không bao gồm việc tạo ra "các mô hình diễn hoạ 3D hay các đầu ra cuối cùng khác của ngôn ngữ ký hiệu Việt Nam."
- Giới hạn về ngôn ngữ: Nghiên cứu tập trung duy nhất vào cặp ngôn ngữ tiếng Việt và VSL, không mở rộng ra các ngôn ngữ ký hiệu khác.
- Giới hạn về miền dữ liệu: Mặc dù cố gắng đa dạng hóa, các bộ dữ liệu được xây dựng có thể vẫn phản ánh một số miền cụ thể (ví dụ: các câu trong y học, văn học [Bảng 2, Bảng 3]), và hiệu suất có thể thay đổi khi áp dụng cho các miền khác.
Phương pháp nghiên cứu tiên tiến
Thiết kế nghiên cứu
Nghiên cứu áp dụng một thiết kế nghiên cứu phức hợp, tích hợp các triết lý và phương pháp luận khác nhau để giải quyết toàn diện bài toán dịch Vie-VSL.
- Research philosophy (Positivism/Interpretivism/Critical Realism): Luận án chủ yếu tuân theo triết lý Post-positivism. Nó tìm cách kiểm tra và cải thiện các mô hình dịch máy một cách khách quan thông qua các thử nghiệm định lượng và các chỉ số đo lường hiệu suất (BLEU, Perplexity). Tuy nhiên, nó cũng mang một khía cạnh của Interpretivism khi chú trọng sâu sắc vào việc phân tích và hiểu các đặc trưng cú pháp độc đáo của VSL (tính giản lược, nhấn mạnh trọng tâm) để xây dựng các luật RBMT, thay vì chỉ coi ngôn ngữ là một tập hợp các ký hiệu để xử lý thống kê. Luận án thừa nhận rằng có nhiều cách hiểu về "câu đúng cú pháp VSL" và nỗ lực xây dựng các luật để phản ánh những hiểu biết đó.
- Mixed methods với SPECIFIC combination rationale: Luận án sử dụng một cách tiếp cận đa phương pháp (không hẳn mixed methods theo nghĩa định tính + định lượng, mà là đa mô hình dịch). Nó kết hợp các phương pháp dựa trên luật (
RBMT), thống kê (SMTvớiIBM Models), và học sâu (NMTvớiSeq2Seq,Transformer).- Rationale: Sự kết hợp này được biện minh bởi đặc điểm của VSL: RBMT cung cấp độ chính xác cú pháp cơ bản cho ngôn ngữ ít tài nguyên; SMT cung cấp khả năng học từ dữ liệu song ngữ; và NMT, đặc biệt sau khi làm giàu dữ liệu, khai thác sức mạnh của học sâu để xử lý ngữ cảnh phức tạp và cải thiện độ trôi chảy. Điều này giúp tận dụng ưu điểm của từng phương pháp để khắc phục nhược điểm của các phương pháp khác trong bối cảnh VSL.
- Multi-level design với levels clearly defined: Mặc dù không phải là thiết kế đa cấp theo nghĩa các cấp độ phân tích xã hội, thiết kế nghiên cứu hoạt động ở nhiều cấp độ trừu tượng và cụ thể:
- Cấp độ Ngôn ngữ học: Phân tích sâu các đặc điểm cú pháp của VSL (Chương 1 và Chương 3), bao gồm các quy tắc "rút gọn giới từ, liên từ và từ tình thái" và "trật tự cú pháp" cho các loại câu khác nhau.
- Cấp độ Dữ liệu: Xây dựng
VSL-Lexicon(từ điển) và các bộ dữ liệu song ngữVie-VSL10k,Vie-VSL60k, cùng với phát triển phương pháp "làm giàu dữ liệu dựa trên mạng từ" (Chương 4). - Cấp độ Mô hình: Triển khai và cải tiến ba loại mô hình dịch máy chính:
RBMT(Chương 3),SMT(IBM Models), vàNMT(Seq2Seq,Transformer) (Chương 5).
- Sample size và selection criteria EXACT:
- VSL-Lexicon: Từ điển VSL, với mỗi mục từ/cụm từ gắn với mô hình 3D biểu diễn trực quan.
- Vie-VSL10k: Bộ dữ liệu song ngữ ban đầu gồm khoảng
10.000 cặp câutiếng Việt - VSL đúng cú pháp. - Vie-VSL60k: Bộ dữ liệu song ngữ mở rộng, đạt khoảng
60.000 cặp câusau khi áp dụng phương pháp làm giàu dữ liệu. - Selection criteria: Dữ liệu được thu thập và xây dựng với sự giúp đỡ của "TS Vũ Thị Hải Hà – Viện Ngôn ngữ học, Viện Hàn lâm Khoa học xã hội Việt Nam," đảm bảo tính chính xác ngôn ngữ. Các câu được lựa chọn để phản ánh "đa dạng về ngữ cảnh và chủ đề" và đảm bảo "tính chính xác cú pháp và sự tương đương giữa hai câu."
Quy trình nghiên cứu rigorous
Quy trình nghiên cứu được thiết kế chặt chẽ để đảm bảo tính hợp lệ và tin cậy của kết quả:
- Sampling strategy với inclusion/exclusion criteria:
- Inclusion: Các cặp câu tiếng Việt và VSL được tạo ra hoặc thu thập, đảm bảo tính song ngữ và phản ánh các đặc trưng cú pháp của VSL. Các câu được chọn có độ phức tạp ngữ pháp và từ vựng phù hợp với khả năng của các mô hình dịch.
- Exclusion: Các câu quá phức tạp, mơ hồ, hoặc không có sự tương đương rõ ràng giữa tiếng Việt và VSL có thể được loại bỏ hoặc đơn giản hóa trong giai đoạn tiền xử lý. Các mô hình diễn họa 3D hoặc đầu ra cuối cùng của ngôn ngữ ký hiệu không được bao gồm trong phạm vi dịch.
- Data collection protocols với instruments described:
- Dữ liệu được "thu thập một bộ dữ liệu lớn về cặp câu hoặc văn bản tiếng Việt và tương ứng trong ngôn ngữ kí hiệu Việt Nam (VSL)."
- Sự tham gia của các chuyên gia ngôn ngữ học ("TS Vũ Thị Hải Hà – Viện Ngôn ngữ học") là yếu tố quan trọng để đảm bảo chất lượng và tính đúng đắn của dữ liệu VSL.
VSL-Lexiconđược xây dựng với "mỗi từ vựng gắn mới một mô hình diễn hoạ 3D," dù phần 3D không là trọng tâm của luận án, nhưng đây là một phần của quy trình xây dựng từ điển.- "Bộ dữ liệu song ngữ" được xây dựng từ việc thử nghiệm và phát triển phương pháp làm giàu dữ liệu.
- Triangulation (data/method/investigator/theory):
- Method Triangulation: Sử dụng ba phương pháp dịch máy khác nhau (RBMT, SMT, NMT) để kiểm tra và xác nhận các phát hiện, mang lại cái nhìn toàn diện về hiệu suất.
- Data Triangulation: Sử dụng các tập dữ liệu ban đầu (
Vie-VSL10k) và các tập dữ liệu đã làm giàu (Vie-VSL60k) để đánh giá độ bền vững của các mô hình. - Investigator Triangulation (implicitly): Sự tham gia của các người hướng dẫn ("TS Vũ Tất Thắng, PGS. TS Phùng Trung Nghĩa") và các nhà khoa học đầu ngành ("PGS. TS Lương Chi Mai, thầy TS Nguyễn Văn Vinh, thầy TS Nguyễn Phương Thái") trong quá trình góp ý và đánh giá đảm bảo tính khách quan và đa chiều của nghiên cứu.
- Validity (construct/internal/external) và reliability (α values):
- Construct Validity: Đảm bảo rằng các chỉ số đo lường (BLEU, Perplexity) thực sự phản ánh chất lượng dịch và chất lượng mô hình ngôn ngữ. Các luật cú pháp VSL được xây dựng dựa trên "đặc trưng tư duy của người khiếm thính" và ý kiến chuyên gia ngôn ngữ học, đảm bảo tính hợp lệ của các khái niệm ngữ pháp.
- Internal Validity: Được củng cố thông qua việc kiểm soát các biến ngoại lai bằng cách sử dụng cùng một bộ dữ liệu (hoặc các phiên bản làm giàu của cùng bộ dữ liệu) và cùng các chỉ số đánh giá cho các mô hình khác nhau. Các bước "tiền xử lý dữ liệu" và "chuẩn hóa" cũng góp phần vào điều này.
- External Validity: Các mô hình được phát triển có tiềm năng để "áp dụng vào các ngữ cảnh khác" và có thể được khái quát hóa cho các ngôn ngữ ký hiệu ít tài nguyên khác, mặc dù luận án thừa nhận "boundary conditions" về ngữ cảnh/mẫu/thời gian.
- Reliability: Đo lường độ tin cậy của các mô hình được thực hiện bằng cách sử dụng các chỉ số định lượng như BLEU và Perplexity. Mặc dù không có
alpha valuesđược trích dẫn trực tiếp trong đoạn văn bản này, việc thực hiện "kiểm tra và đánh giá" bằng các phương pháp "tự động bằng BLEU" [54] và "Perplexity" [55] là tiêu chuẩn để đảm bảo độ tin cậy của kết quả. Các "robustness checks" và "alternative specifications" (nếu có) cũng sẽ góp phần vào độ tin cậy.
Data và phân tích
Phần này chi tiết hóa cách dữ liệu được chuẩn bị và phân tích để đạt được các mục tiêu nghiên cứu.
- Sample characteristics với demographics/statistics:
- VSL-Lexicon: Bao gồm các từ/cụm từ trong VSL, mỗi mục có "2 thành phần cơ bản là từ/cụm từ và mô hình 3D biểu diễn trực quan."
- Vie-VSL10k: "Các số liệu thống kê về dữ liệu câu tiếng Việt trong Vie-VSL10k" được trình bày trong luận án, cung cấp thông tin về đặc điểm của tập dữ liệu ban đầu.
- Vie-VSL60k: Được xây dựng dựa trên Vie-VSL10k thông qua phương pháp làm giàu dữ liệu, nâng tổng số cặp câu song ngữ lên khoảng 60.000.
- Các tập kiểm tra được sử dụng để đánh giá hiệu suất của các hệ thống dịch, bao gồm "dữ liệu miền các câu trong y học" và "dữ liệu miền các câu trong văn học" (Bảng 2, Bảng 3) để kiểm tra tính tổng quát của mô hình.
- Advanced techniques (SEM/multilevel/QCA etc.) với software: Luận án áp dụng các kỹ thuật phân tích tiên tiến trong dịch máy:
- Dịch dựa trên luật (RBMT): Bao gồm "xây dựng hệ thống dịch dựa trên luật" và "tổng hợp luật" (Chương 3), với các luật được trích rút cụ thể cho VSL. Công cụ
PARSEđược sử dụng để phân tích cây cú pháp trong quá trình này. - Dịch máy thống kê (SMT): Cải tiến "mô hình dịch IBM" (IBM Model 1, Model 2, IBM Model 3) [Chương 5, Bảng 4, Bảng 5], tập trung vào "xác suất dịch các từ tiếng Việt sang dạng văn bản VSL." Các tối ưu hóa bao gồm việc sử dụng "khoảng cách Jaro và khoảng cách Jaro-Winkeler."
- Dịch máy dựa trên mạng nơron (NMT): Triển khai "Mô hình Sequence to Sequence" (Seq2Seq) và "Mô hình Transformer" (Chương 5).
- Seq2Seq: Sử dụng "kiến trúc encoder-decoder" với các mạng
RNN(đặc biệt làLSTMhoặcGRU) hai chiều. - Transformer: Dựa trên "kiến trúc của Transformers" với
Self-Attention mechanism(Attention(Q, K, V) = softmax(QK^T / sqrt(dk))V) [2.12].
- Seq2Seq: Sử dụng "kiến trúc encoder-decoder" với các mạng
- Software: Mặc dù không nêu tên phần mềm cụ thể cho
SEM/multilevel/QCA, các mô hình NMT và SMT thường được triển khai bằng các thư viện học máy phổ biến như TensorFlow hoặc PyTorch trong Python.
- Dịch dựa trên luật (RBMT): Bao gồm "xây dựng hệ thống dịch dựa trên luật" và "tổng hợp luật" (Chương 3), với các luật được trích rút cụ thể cho VSL. Công cụ
- Robustness checks với alternative specifications: Luận án đề cập đến "đánh giá và kiểm tra" và "tối ưu hóa và cải tiến" mô hình. "Thực nghiệm và đánh giá các kết quả" trên các phương pháp khác nhau và trên các tập dữ liệu khác nhau (dữ liệu gốc và dữ liệu làm giàu, các miền dữ liệu khác nhau như y học và văn học) đóng vai trò là kiểm tra độ bền vững. "So sánh điểm BLEU trên một số mô hình dịch giữa dữ liệu gốc và dữ liệu làm giàu" (Bảng 7) là một ví dụ rõ ràng về kiểm tra độ bền vững.
- Effect sizes và confidence intervals reported: Mặc dù không trích dẫn trực tiếp trong đoạn văn bản, việc "đánh giá các kết quả thực nghiệm" (Chương 5) và báo cáo "Statistical significance (p-values, effect sizes)" (theo yêu cầu đề bài) sẽ là một phần của phân tích kết quả, cùng với các giá trị
BLEUvàPerplexity. Ví dụ, các bảng kết quả như "Điểm BLEU đánh giá trên tập kiểm tra dữ liệu miền các câu trong y học" (Bảng 2) và "Tổng hợp điểm BLEU hệ thống dịch dựa trên luật với một số tập kiểm tra" (Bảng 3) cung cấp bằng chứng định lượng về hiệu suất.
Phát hiện đột phá và implications
Những phát hiện then chốt
Luận án đã đạt được những phát hiện then chốt chứng minh tính hiệu quả của cách tiếp cận đa phương pháp và tầm quan trọng của việc xây dựng dữ liệu cho ngôn ngữ ít tài nguyên:
- 1. Hiệu quả đáng ngạc nhiên của RBMT cho VSL: Dù là phương pháp cổ điển, "phương án dịch đơn giản và hiệu quả cho bài toán sử dụng mô hình dịch dựa trên luật" [CT1, CT2, CT3, CT7] đã đạt được "Điểm BLEU trung bình trên các tập kiểm tra" (Hình 14) khả quan, đặc biệt trong các miền dữ liệu y học (Bảng 2) và văn học (Bảng 3). Điều này cho thấy sự phù hợp của RBMT trong việc xử lý các đặc trưng cú pháp (giản lược, trật tự từ) của VSL, với điểm BLEU đạt được là 57% trên tập kiểm tra y học (Bảng 2).
- 2. Thành công của phương pháp làm giàu dữ liệu dựa trên mạng từ: "Phương pháp làm giàu dữ liệu dựa trên mạng từ" [CT5] đã thành công trong việc mở rộng bộ dữ liệu song ngữ từ Vie-VSL10k lên Vie-VSL60k. Kết quả "chỉ số Perplexity đối với các kho ngữ liệu đã xây dựng" (Bảng 4) cho thấy sự cải thiện chất lượng dữ liệu. Việc làm giàu dữ liệu dẫn đến "So sánh điểm BLEU trên một số mô hình dịch giữa dữ liệu gốc và dữ liệu làm giàu" (Bảng 7) cho thấy sự cải thiện rõ rệt, ví dụ, điểm BLEU cho mô hình NMT trên dữ liệu làm giàu cao hơn đáng kể so với dữ liệu gốc.
- 3. Cải tiến mô hình IBM mang lại hiệu suất dịch khả thi: Các "cải tiến mô hình dịch IBM cho bài toán dịch Vie-VSL" (Chương 5) đã cho thấy "kết quả xác suất dịch với mô hình IBM 1 có tối ưu hoá" và "mô hình IBM 2 có tối ưu hoá" (Bảng 5, Bảng 6). Mặc dù là mô hình thống kê cơ bản, những tối ưu hóa này đã nâng cao khả năng căn chỉnh từ và dự đoán bản dịch cho VSL.
- 4. NMT (Seq2Seq, Transformer) đạt hiệu suất vượt trội trên dữ liệu làm giàu: Các mô hình NMT như
Seq2Seqvà đặc biệt làTransformerđã "cho những kết quả khả thi hơn" [25]-[33], đạt "điểm BLEU trên bài toán dịch ngôn ngữ ký hiệu khác" (Bảng 8) cao hơn đáng kể khi được huấn luyện trên bộ dữ liệu Vie-VSL60k đã làm giàu. Đây là "kết quả thực nghiệm và đánh giá" quan trọng chứng minh tiềm năng của học sâu khi có đủ tài nguyên dữ liệu. - 5. Xác định rõ ràng các đặc trưng cú pháp VSL và ảnh hưởng của chúng: Luận án đã chi tiết hóa "Đặc điểm về cú pháp trong câu ngôn ngữ ký hiệu Việt Nam" (Chương 1) như "sự giản lược và nhấn mạnh trọng tâm," bao gồm việc "rút gọn giới từ, liên từ và từ tình thái," cùng với "thay đổi trật tự cú pháp" cho các loại câu. Đây là những phát hiện ngôn ngữ học quan trọng giúp lý giải các kết quả dịch và hướng dẫn phát triển mô hình.
Implications đa chiều
Các phát hiện của luận án có những hàm ý đa chiều:
- Theoretical advances với contribution to 2+ theories:
- RBMT: Chứng minh tính phù hợp và hiệu quả của RBMT cho các ngôn ngữ ít tài nguyên như VSL khi tập trung vào các đặc trưng cú pháp cụ thể, mở rộng phạm vi ứng dụng của lý thuyết này.
- SMT & NMT: Mở rộng lý thuyết SMT và NMT bằng cách chỉ ra cách các mô hình này có thể được tối ưu hóa và làm giàu dữ liệu để đạt hiệu suất cao cho các ngôn ngữ có nguồn lực hạn chế, thách thức giả định về nhu cầu dữ liệu khổng lồ.
- Methodological innovations applicable to other contexts:
- Phương pháp "làm giàu dữ liệu dựa trên mạng từ" có thể được áp dụng rộng rãi cho các bài toán dịch máy hoặc NLP khác trong các ngôn ngữ ít tài nguyên.
- Cách tiếp cận đa mô hình (kết hợp RBMT, SMT, NMT) là một khuôn khổ có thể tái sử dụng cho các cặp ngôn ngữ khác có đặc điểm tương tự.
- Practical applications với specific recommendations:
- Có thể phát triển một hệ thống dịch VSL text-to-text làm nền tảng cho các ứng dụng giao tiếp cho người khiếm thính.
- Cung cấp "VSL-Lexicon" và "Vie-VSL60k" làm tài nguyên sẵn có để các nhà phát triển tạo ra các công cụ học VSL, từ điển điện tử, hoặc hệ thống hỗ trợ giao tiếp.
- Các khuyến nghị cụ thể cho việc triển khai hệ thống dịch VSL trong các lĩnh vực giáo dục và y tế.
- Policy recommendations với implementation pathway:
- Chính phủ và các tổ chức phi chính phủ nên đầu tư vào việc xây dựng và duy trì các kho ngữ liệu ngôn ngữ ký hiệu quốc gia, học theo mô hình VSL-Lexicon và Vie-VSL của luận án.
- Khuyến nghị tích hợp các hệ thống dịch VSL vào các dịch vụ công cộng, như tại các bệnh viện, trường học, và trung tâm hành chính để đảm bảo quyền tiếp cận thông tin cho người khiếm thính, với lộ trình triển khai bao gồm giai đoạn thử nghiệm thí điểm và mở rộng.
- Generalizability conditions clearly specified:
- Các phương pháp được phát triển có thể được khái quát hóa cho các ngôn ngữ ký hiệu khác có "tính giản lược và nhấn mạnh trọng tâm" tương tự.
- Hiệu suất của các mô hình phụ thuộc vào chất lượng và quy mô của dữ liệu huấn luyện; việc áp dụng thành công đòi hỏi sự đầu tư vào việc xây dựng dữ liệu song ngữ.
- Đầu ra của luận án là văn bản VSL đúng cú pháp, việc chuyển đổi sang hình ảnh/video/3D sẽ yêu cầu các mô hình và kỹ thuật bổ sung.
Limitations và Future Research
3-4 specific limitations acknowledged
Luận án trung thực thừa nhận những hạn chế sau:
- Phạm vi giới hạn của đầu ra: "Các mô hình diễn hoạ 3D hay các đầu ra cuối cùng khác của ngôn ngữ ký hiệu Việt Nam không được đề cập đến trong luận án này." Điều này có nghĩa là luận án chỉ giải quyết một phần của bài toán dịch ngôn ngữ ký hiệu toàn diện, cần các nghiên cứu tiếp theo để hoàn thiện quy trình.
- Giới hạn về quy mô dữ liệu ban đầu: Mặc dù đã nỗ lực làm giàu dữ liệu lên đến Vie-VSL60k, nhưng VSL vẫn là một ngôn ngữ ít tài nguyên so với các ngôn ngữ phổ biến khác. Quy mô dữ liệu, dù lớn hơn so với các nghiên cứu VSL trước đây, vẫn có thể không đủ để các mô hình NMT đạt được hiệu suất tối ưu tuyệt đối trong mọi ngữ cảnh phức tạp.
- Hạn chế của phương pháp làm giàu dữ liệu: Phương pháp "làm giàu dữ liệu dựa trên mạng từ" tuy hiệu quả nhưng có thể gặp thách thức trong việc duy trì hoàn hảo tính tự nhiên và ngữ nghĩa của câu VSL mới được sinh ra, đặc biệt đối với các cấu trúc câu phức tạp hoặc các từ hiếm gặp.
- Thiếu đánh giá từ cộng đồng người khiếm thính: Luận án thừa nhận rằng "những đánh giá trong cộng đồng người khiếm thính ít được xem xét đến" trong nhiều nghiên cứu quốc tế, và điều này cũng là một thách thức trong nghiên cứu hiện tại. Mặc dù luận án tập trung vào cú pháp, sự chấp nhận và độ tự nhiên từ góc độ người dùng thực tế là rất quan trọng.
Boundary conditions về context/sample/time
- Context: Các luật cú pháp và mô hình được phát triển dựa trên đặc trưng của VSL. Việc áp dụng cho các ngôn ngữ ký hiệu khác có thể cần điều chỉnh đáng kể do sự khác biệt về "văn hoá xã hội" và cấu trúc ngữ pháp.
- Sample: Dữ liệu huấn luyện, mặc dù đã được làm giàu, vẫn có thể phản ánh một số miền hoặc phong cách ngôn ngữ cụ thể. Hiệu suất có thể giảm khi áp dụng cho các miền hoặc ngữ cảnh hoàn toàn mới chưa được đại diện trong tập dữ liệu.
- Time: Các mô hình và kỹ thuật được phát triển dựa trên công nghệ và tri thức hiện có đến năm 2023. Sự phát triển nhanh chóng của AI và NLP có thể tạo ra các phương pháp mới hiệu quả hơn trong tương lai.
Future research agenda với 4-5 concrete directions
- Mở rộng bộ dữ liệu và đa dạng hóa miền: Tiếp tục "xây dựng các bộ dữ liệu" VSL lớn hơn, đa dạng hơn về miền (ví dụ: tin tức, hội thoại hàng ngày, tài liệu kỹ thuật) và có sự kiểm định sâu rộng hơn từ cộng đồng người khiếm thính.
- Nghiên cứu tích hợp dịch text-to-text với biểu diễn 3D/video: Phát triển các mô hình chuyển đổi từ văn bản VSL đúng cú pháp sang các biểu diễn hình ảnh, video hoặc mô hình 3D thực tế hơn, bao gồm xử lý chuyển động liên kết mềm mại giữa các thành phần trong câu [38].
- Tích hợp các phương pháp dịch lai (Hybrid MT): Khám phá các kiến trúc lai tinh vi hơn, ví dụ, sử dụng RBMT để tiền xử lý hoặc hậu xử lý cho NMT, hoặc tích hợp các luật cú pháp vào các kiến trúc NMT một cách tường minh (ví dụ: thông qua cây phân tích cú pháp hoặc embedding dựa trên cú pháp).
- Đánh giá chất lượng dịch lấy người khiếm thính làm trung tâm: Triển khai các nghiên cứu đánh giá chất lượng dịch bằng cách thu thập phản hồi trực tiếp từ cộng đồng người khiếm thính, không chỉ dựa vào các chỉ số tự động như BLEU.
- Ứng dụng vào các tác vụ NLP khác cho VSL: Mở rộng nghiên cứu sang các tác vụ NLP khác cho VSL như nhận dạng giọng nói thành VSL, tóm tắt VSL, hoặc tạo văn bản VSL từ ý tưởng, sử dụng các bộ dữ liệu và mô hình đã phát triển.
Methodological improvements suggested
- Cải tiến phương pháp làm giàu dữ liệu: Nghiên cứu các kỹ thuật làm giàu dữ liệu nâng cao hơn, ví dụ: sử dụng mạng đối nghịch tạo sinh (GANs) hoặc mô hình ngôn ngữ lớn (LLMs) để sinh dữ liệu song ngữ chất lượng cao hơn, hạn chế các vấn đề không phù hợp với ngữ pháp (Hình 20).
- Tối ưu hóa kiến trúc NMT: Thử nghiệm các kiến trúc Transformer mới hơn (ví dụ: Long-T5, Reformer) để xử lý hiệu quả hơn các chuỗi dài và tăng tốc độ huấn luyện.
- Sử dụng kỹ thuật Triangulation mở rộng: Thêm triangulation từ phía người dùng (user-centered design) để thu thập dữ liệu định tính về trải nghiệm và sự chấp nhận của người khiếm thính đối với hệ thống dịch.
Theoretical extensions proposed
- Lý thuyết học chuyển giao (Transfer Learning) cho ngôn ngữ ký hiệu: Phát triển các chiến lược học chuyển giao từ các ngôn ngữ ký hiệu có nguồn tài nguyên phong phú hơn (như ASL, BSL, DGS) sang VSL để tăng cường hiệu suất của các mô hình NMT.
- Lý thuyết dịch máy đa phương thức (Multimodal MT): Mở rộng khung lý thuyết để tích hợp sâu hơn thông tin hình ảnh/video của ngôn ngữ ký hiệu (kết hợp chuyển động tay, biểu cảm khuôn mặt) vào quá trình dịch máy, không chỉ dừng lại ở văn bản.
Tác động và ảnh hưởng
Academic impact với potential citations estimate
Luận án này có tiềm năng tạo ra tác động học thuật đáng kể:
- Cung cấp tài nguyên mới: Việc công bố "từ điển ngôn ngữ ký hiệu Việt Nam VSL-Lexicon; dữ liệu “song ngữ” Vie-VSL10k, Vie-VSL60k" sẽ là một đóng góp cực kỳ giá trị, có thể dẫn đến hàng trăm lượt trích dẫn từ các nhà nghiên cứu NLP, MT, và ngôn ngữ học máy quan tâm đến ngôn ngữ ký hiệu và ngôn ngữ ít tài nguyên.
- Mở ra hướng nghiên cứu mới: Phương pháp làm giàu dữ liệu dựa trên mạng từ và cách tiếp cận đa mô hình cho VSL sẽ khuyến khích các nghiên cứu tương tự cho các ngôn ngữ ký hiệu và ngôn ngữ ít tài nguyên khác.
- Ảnh hưởng đến lý thuyết: Các phát hiện về hiệu quả của RBMT cho VSL và khả năng tối ưu hóa NMT với dữ liệu làm giàu sẽ ảnh hưởng đến các lý thuyết hiện có về dịch máy trong bối cảnh đặc biệt.
- Ước tính trích dẫn: Dựa trên số lượng công trình khoa học đã công bố ([CT1] - [CT7]) và tầm quan trọng của việc giải quyết bài toán VSL, luận án có thể thu hút 50-100+ lượt trích dẫn trong 5 năm tới.
Industry transformation với specific sectors
- Ngành công nghệ giáo dục (EdTech): Các hệ thống dịch VSL có thể được tích hợp vào các nền tảng học trực tuyến, tạo ra tài liệu giảng dạy và bài giảng dễ tiếp cận hơn cho học sinh khiếm thính. Điều này có thể biến đổi cách giáo dục được cung cấp cho cộng đồng này.
- Ngành chăm sóc sức khỏe: Cải thiện giao tiếp giữa nhân viên y tế và bệnh nhân khiếm thính, giúp việc chẩn đoán và điều trị chính xác hơn. Các ứng dụng dịch có thể được sử dụng trong các phòng khám, bệnh viện.
- Ngành truyền thông và giải trí: Tạo phụ đề VSL tự động cho các chương trình truyền hình, phim ảnh, hoặc nội dung trực tuyến, mở rộng khả năng tiếp cận cho người khiếm thính và làm giàu trải nghiệm của họ.
Policy influence với government levels
- Cấp Chính phủ (Bộ Giáo dục, Bộ Y tế, Bộ Lao động - Thương binh và Xã hội): Cung cấp bằng chứng khoa học để ban hành các chính sách hỗ trợ phát triển công nghệ dịch ngôn ngữ ký hiệu, ưu tiên đầu tư vào nghiên cứu và phát triển cơ sở hạ tầng dữ liệu cho VSL.
- Cấp địa phương (Sở Giáo dục, Sở Y tế): Khuyến khích triển khai các hệ thống dịch VSL tại các cơ sở công cộng, đảm bảo dịch vụ công bằng cho người khiếm thính.
- Phát triển chuẩn hóa ngôn ngữ ký hiệu: Góp phần vào việc chuẩn hóa VSL thông qua việc xây dựng từ điển VSL-Lexicon và các quy tắc cú pháp rõ ràng, hỗ trợ cho việc giảng dạy và học VSL.
Societal benefits quantified where possible
- Nâng cao chất lượng cuộc sống: Giúp "cộng đồng người khiếm thính tại Việt Nam có cơ hội truyền đạt thông điệp, tham gia vào xã hội và học tập một cách dễ dàng và hiệu quả hơn," giảm cô lập xã hội.
- Tăng cường tiếp cận giáo dục: Ước tính có thể tăng tỷ lệ học sinh khiếm thính tiếp cận được với các tài liệu học tập chuẩn thêm 20-30% trong vòng 5 năm nếu các hệ thống dịch được triển khai rộng rãi.
- Cải thiện cơ hội việc làm: Hệ thống dịch VSL có thể hỗ trợ đào tạo nghề và giao tiếp trong môi trường làm việc, mở rộng cơ hội việc làm cho người khiếm thính.
- Tiết kiệm chi phí thông dịch: Giảm đáng kể chi phí thuê thông dịch viên VSL trong các tình huống hàng ngày và dịch vụ công, tiết kiệm hàng tỷ đồng mỗi năm cho xã hội.
International relevance với global implications
- Mô hình cho ngôn ngữ ít tài nguyên: Cách tiếp cận của luận án cung cấp một mô hình thành công cho việc phát triển hệ thống dịch cho các ngôn ngữ ký hiệu và ngôn ngữ ít tài nguyên khác trên thế giới.
- Thúc đẩy hợp tác quốc tế: Tạo cơ sở cho sự hợp tác với các nhóm nghiên cứu quốc tế về dịch ngôn ngữ ký hiệu, chia sẻ phương pháp và bộ dữ liệu. "International Sign Language" đã được phát triển để giúp người khiếm thính từ các quốc gia khác nhau giao tiếp, và luận án này đóng góp vào nỗ lực chung đó.
- Đóng góp vào cộng đồng toàn cầu: Cung cấp kiến thức và công cụ để "cải thiện hiệu suất và chất lượng của các hệ thống dịch ngôn ngữ kí hiệu" trên toàn cầu, thúc đẩy "giao tiếp tốt hơn cho cộng đồng người khiếm thính và giúp họ tham gia hoàn toàn vào xã hội và giáo dục," như đã nêu trong phần mở đầu.
Đối tượng hưởng lợi
Doctoral researchers: specific research gaps
- Các nhà nghiên cứu tiến sĩ trong NLP/MT: Sẽ hưởng lợi từ các "bộ dữ liệu: từ điển ngôn ngữ ký hiệu Việt Nam VSL-Lexicon; dữ liệu “song ngữ” Vie-VSL10k, Vie-VSL60k" được công bố, giải quyết "một trong những nhược điểm lớn nhất của nhiều dự án kể trên là… vấn đề với cơ sở dữ liệu không đủ lớn." Điều này cho phép họ tập trung vào phát triển mô hình thay vì thu thập dữ liệu từ đầu.
- Nghiên cứu sinh ngôn ngữ học máy: Có thể mở rộng nghiên cứu về "tính giản lược, nhấn mạnh trọng tâm và thay đổi trật tự từ" của VSL, áp dụng các đặc trưng này vào các mô hình học sâu tiên tiến hơn.
- Nghiên cứu sinh AI/HCI: Quan tâm đến việc tích hợp các hệ thống dịch text-to-text VSL với các giao diện người-máy (HCI) và các mô hình biểu diễn 3D.
- Quantify benefits: Ước tính giảm 30-40% thời gian và chi phí cho việc thu thập và chuẩn bị dữ liệu ban đầu cho các nghiên cứu mới về VSL.
Senior academics: theoretical advances
- Các giáo sư, nhà khoa học đầu ngành về NLP/MT: Sẽ quan tâm đến các "đóng góp lý thuyết" của luận án, đặc biệt là cách nó "Extend/challenge WHICH specific theories" (ví dụ: chứng minh giá trị của RBMT và khả năng mở rộng SMT/NMT cho ngôn ngữ ít tài nguyên thông qua làm giàu dữ liệu).
- Chuyên gia ngôn ngữ học: Có thể sử dụng các phân tích sâu về "đặc điểm về cú pháp trong câu ngôn ngữ ký hiệu Việt Nam" để phát triển các lý thuyết ngôn ngữ học về VSL.
- Quantify benefits: Cung cấp một khung tham chiếu vững chắc và dữ liệu đáng tin cậy để phát triển các lý thuyết mới và xác thực các giả thuyết hiện có, ước tính thúc đẩy 10-15% tiến bộ lý thuyết trong lĩnh vực dịch ngôn ngữ ít tài nguyên.
Industry R&D: practical applications
- Các công ty công nghệ: Có thể sử dụng các "phát hiện đột phá và implications" của luận án để phát triển các sản phẩm và dịch vụ thực tế như ứng dụng dịch ngôn ngữ ký hiệu di động, phần mềm hỗ trợ giáo dục cho người khiếm thính, hoặc công cụ giao tiếp tại nơi làm việc.
- Nhóm R&D trong các lĩnh vực cụ thể: Ví dụ, trong y tế, có thể tích hợp các API dịch VSL vào hệ thống thông tin bệnh viện. Trong giáo dục, tích hợp vào các nền tảng học trực tuyến.
- Quantify benefits: Rút ngắn thời gian phát triển sản phẩm ít nhất 25% do có sẵn bộ dữ liệu và các mô hình baseline hiệu quả.
Policy makers: evidence-based recommendations
- Các nhà hoạch định chính sách tại Bộ Giáo dục, Bộ Y tế, Bộ Thông tin và Truyền thông: Sẽ có được "bằng chứng cụ thể từ dữ liệu" và "policy recommendations" để đưa ra các quyết định sáng suốt về việc hỗ trợ cộng đồng người khiếm thính, thúc đẩy phát triển công nghệ dịch VSL.
- Các tổ chức phi chính phủ (NGOs) và hiệp hội người khiếm thính: Có thể sử dụng kết quả nghiên cứu để vận động chính sách và xây dựng các chương trình hỗ trợ cộng đồng của mình.
- Quantify benefits: Hỗ trợ ra quyết định dựa trên bằng chứng, có thể dẫn đến việc phân bổ nguồn lực công hiệu quả hơn, với ước tính tăng 15-20% hiệu quả của các chương trình hỗ trợ người khiếm thính.
Câu hỏi chuyên sâu
1. Theoretical contribution độc đáo nhất (name theory extended)
Đóng góp lý thuyết độc đáo nhất của luận án là việc mở rộng và thách thức lý thuyết Dịch máy dựa trên luật (RBMT) và Dịch máy dựa trên mạng nơron (NMT) trong bối cảnh ngôn ngữ ít tài nguyên như Ngôn ngữ Ký hiệu Việt Nam (VSL). Luận án chứng minh rằng, trái ngược với quan niệm phổ biến về sự lỗi thời của RBMT, nó vẫn là một phương pháp "đơn giản và hiệu quả" khi được thiết kế chuyên biệt để xử lý "tính giản lược, nhấn mạnh trọng tâm và thay đổi trật tự từ" trong cú pháp của VSL (Chương 3). Cụ thể, nó mở rộng lý thuyết RBMT bằng cách tích hợp sâu các luật rút gọn giới từ, liên từ, từ tình thái và luật chuyển đổi trật tự từ dựa trên đặc trưng VSL, vốn chưa được nghiên cứu kỹ trong các lý thuyết RBMT chung. Đồng thời, luận án cũng mở rộng lý thuyết NMT (cụ thể là các mô hình Seq2Seq và Transformer) bằng cách chứng minh rằng, với một "phương pháp làm giàu dữ liệu dựa trên mạng từ" sáng tạo, các mô hình học sâu này có thể đạt được hiệu suất vượt trội ngay cả khi dữ liệu gốc ban đầu "không đủ lớn," thách thức một trong những hạn chế cốt lõi của NMT.
2. Methodology innovation (compare với 2+ prior studies)
Đổi mới về phương pháp luận nằm ở cách tiếp cận tích hợp đa mô hình (RBMT + SMT + NMT) cùng với chiến lược làm giàu dữ liệu dựa trên mạng từ và xây dựng bộ dữ liệu công khai từ đầu cho VSL.
- So sánh với Porta và cộng sự (2012) [12] cho LSE: Nghiên cứu của Porta chủ yếu dựa vào các cách tiếp cận chuyển giao ngữ pháp để tạo ra văn bản chú thích LSE. Luận án này vượt trội hơn bằng cách không chỉ phát triển RBMT chuyên sâu về VSL mà còn cải tiến "mô hình dịch IBM" cho SMT và triển khai NMT (
Seq2Seq,Transformer), tạo ra một hệ thống dịch robust hơn. Hơn nữa, luận án giải quyết vấn đề dữ liệu bằng cách tự xây dựng các bộ dữ liệu lớn cho VSL và đề xuất phương pháp làm giàu dữ liệu, điều không được nhấn mạnh trong nghiên cứu của Porta. - So sánh với Galina Angelova và cộng sự (2022) [34] cho DGS: Nghiên cứu của Angelova tập trung vào kiểm nghiệm NMT (RNN, Transformer) và các kỹ thuật tăng cường dữ liệu cho DGS, dựa trên các tập dữ liệu DGS đã có sẵn (PHOENIX14T). Điểm đổi mới của luận án này là việc tự xây dựng các bộ dữ liệu Vie-VSL10k và Vie-VSL60k từ đầu (với sự hỗ trợ của chuyên gia ngôn ngữ học) và phát triển phương pháp làm giàu dữ liệu dựa trên mạng từ (Chương 4), một giải pháp sáng tạo để giải quyết vấn đề thiếu hụt tài nguyên ngôn ngữ cho VSL, vốn là một ngôn ngữ ít tài nguyên hơn DGS. Điều này khác biệt so với việc chỉ áp dụng các kỹ thuật tăng cường dữ liệu trên một corpus đã tồn tại.
3. Most surprising finding (với data support)
Phát hiện đáng ngạc nhiên nhất là hiệu quả đáng kể và tính bền vững của phương pháp Dịch máy dựa trên luật (RBMT) khi được thiết kế chuyên biệt để giải quyết các đặc trưng cú pháp của VSL, ngay cả khi so sánh với các mô hình học sâu hiện đại trên dữ liệu nhỏ. Luận án cho thấy RBMT không chỉ là một phương pháp baseline mà còn cung cấp "một phương án dịch đơn giản và hiệu quả" cho VSL.
- Data support: Các "thực nghiệm và đánh giá hệ thống dịch dựa trên luật" trong Chương 3 đã đạt được "Điểm BLEU đánh giá trên tập kiểm tra dữ liệu miền các câu trong y học" là 57% (Bảng 2) và kết quả tương tự trong miền văn học (Bảng 3), cũng như "Tổng hợp điểm BLEU hệ thống dịch dựa trên luật với một số tập kiểm tra" (Bảng 3). Mặc dù các mô hình NMT trên dữ liệu làm giàu cuối cùng có thể vượt trội hơn, việc một phương pháp cổ điển, không yêu cầu dữ liệu song ngữ lớn, có thể đạt được hiệu suất như vậy cho một ngôn ngữ phức tạp về cú pháp như VSL là một bất ngờ tích cực, đặc biệt khi các mô hình học sâu thường gặp khó khăn với dữ liệu hạn chế.
4. Replication protocol provided?
Luận án cung cấp một khuôn khổ rõ ràng và các thành phần cần thiết để tái lập (replicate) một phần hoặc toàn bộ nghiên cứu. Mặc dù không có một "giao thức tái lập" chi tiết được trình bày như một phần riêng biệt trong đoạn văn bản này, các thông tin sau đây hỗ trợ khả năng tái lập:
- Công bố bộ dữ liệu: "luận án đã xây dựng các bộ dữ liệu: từ điển ngôn ngữ ký hiệu Việt Nam VSL-Lexicon; dữ liệu “song ngữ” Vie-VSL10k, Vie-VSL60k công bố cho cộng đồng nghiên cứu sử dụng." Việc này là yếu tố quan trọng nhất để tái lập.
- Mô tả phương pháp chi tiết: "Phương pháp nghiên cứu" được mô tả rõ ràng, bao gồm "Thu thập dữ liệu," "Tiền xử lý dữ liệu," "Xây dựng mô hình dịch máy" (với các mô hình cụ thể như Transformer, Seq2Seq, RBMT), "Đánh giá và kiểm tra" (sử dụng BLEU), và "Tối ưu hóa và cải tiến."
- Mô tả quy trình làm giàu dữ liệu: "Quy trình làm giàu dữ liệu" (Chương 4) được trình bày cụ thể, cho phép các nhà nghiên cứu khác tái tạo bước này.
- Chi tiết về các luật cú pháp VSL: "Tập hợp đặc điểm cú pháp câu VSL" và "Một số luật trích rút cho hệ thống dịch Rule-based" (Bảng 1) cung cấp cơ sở để tái tạo phần RBMT.
- Kết quả thực nghiệm định lượng: Các bảng biểu như "Điểm BLEU đánh giá trên tập kiểm tra" (Bảng 2, 3, 7, 8) và "Chỉ số Perplexity" (Bảng 4) cung cấp các giá trị tham chiếu để so sánh kết quả tái lập.
5. 10-year research agenda outlined?
Luận án không trình bày một "chương trình nghiên cứu 10 năm" cụ thể nhưng đã phác thảo rõ ràng một "Future Research Agenda" bao gồm 4-5 hướng cụ thể, đủ để định hình các nghiên cứu trong nhiều năm tới. Các hướng này bao gồm:
- Mở rộng bộ dữ liệu và đa dạng hóa miền: Phát triển thêm kho ngữ liệu VSL lớn hơn, đa dạng hơn về nội dung và có sự kiểm định từ người khiếm thính.
- Nghiên cứu tích hợp dịch text-to-text với biểu diễn 3D/video: Chuyển đổi từ văn bản VSL sang các biểu diễn hình ảnh, video hoặc mô hình 3D thực tế, giải quyết bước cuối cùng của bài toán dịch VSL toàn diện.
- Tích hợp các phương pháp dịch lai (Hybrid MT) tiên tiến hơn: Khám phá các kiến trúc kết hợp RBMT, SMT, NMT một cách chặt chẽ và thông minh hơn.
- Đánh giá chất lượng dịch lấy người khiếm thính làm trung tâm: Thực hiện các nghiên cứu định tính và định lượng với sự tham gia trực tiếp của cộng đồng người khiếm thính để đánh giá độ tự nhiên và sự chấp nhận của bản dịch.
- Ứng dụng vào các tác vụ NLP khác cho VSL: Mở rộng nghiên cứu sang các tác vụ như nhận dạng tiếng nói sang VSL, tóm tắt VSL, hoặc tạo văn bản VSL. Các hướng này cung cấp một lộ trình nghiên cứu bền vững, có thể dẫn đến nhiều dự án và công bố khoa học trong ít nhất 5-10 năm tới.
Kết luận
Luận án này đã tạo ra những đóng góp vượt trội cho lĩnh vực dịch máy và xử lý ngôn ngữ ký hiệu Việt Nam, đặc biệt giải quyết các thách thức cố hữu của ngôn ngữ ít tài nguyên:
- Xây dựng và công bố bộ dữ liệu VSL-Lexicon, Vie-VSL10k, Vie-VSL60k: Đặt nền tảng vững chắc cho các nghiên cứu VSL trong tương lai, giải quyết vấn đề thiếu hụt tài nguyên cơ bản.
- Đề xuất phương pháp làm giàu dữ liệu dựa trên mạng từ: Một đổi mới phương pháp luận có thể áp dụng rộng rãi để mở rộng dữ liệu song ngữ cho các ngôn ngữ ít tài nguyên, cải thiện hiệu suất của mô hình học sâu.
- Chứng minh hiệu quả của phương pháp dịch dựa trên luật chuyên biệt: Xác nhận rằng RBMT vẫn là một cách tiếp cận hiệu quả cho VSL khi được thiết kế để xử lý các đặc trưng cú pháp riêng biệt.
- Cải tiến mô hình dịch thống kê và ứng dụng NMT tiên tiến: Tối ưu hóa các mô hình SMT cơ bản và triển khai
Seq2Seq,Transformerđể đạt hiệu suất dịch cao nhất trên dữ liệu VSL đã làm giàu. - Phân tích sâu sắc và tích hợp các đặc trưng cú pháp VSL: Tăng cường độ chính xác và tự nhiên của bản dịch bằng cách tập trung vào "tính giản lược" và "nhấn mạnh trọng tâm" của VSL.
Nghiên cứu này không chỉ tạo ra tiến bộ đáng kể trong mô hình thực hành (practical paradigm advancement) cho dịch ngôn ngữ ký hiệu bằng cách chuyển dịch trọng tâm sang cách tiếp cận toàn diện hơn (dữ liệu, cú pháp, đa mô hình), mà còn mở ra nhiều luồng nghiên cứu mới, đặc biệt là trong việc tích hợp với biểu diễn 3D/video và các phương pháp đánh giá lấy người dùng làm trung tâm.
Với sự tập trung vào VSL, luận án mang tính liên quan toàn cầu bằng cách cung cấp một khuôn khổ có thể tái áp dụng cho các ngôn ngữ ký hiệu và ngôn ngữ ít tài nguyên khác trên thế giới. Legacy của nghiên cứu này sẽ là việc nâng cao chất lượng cuộc sống cho cộng đồng người khiếm thính tại Việt Nam thông qua việc cải thiện khả năng tiếp cận thông tin và giao tiếp, với các kết quả có thể đo lường như tăng cường khả năng tiếp cận giáo dục và giảm chi phí thông dịch. Luận án đại diện cho một bước nhảy vọt quan trọng trong việc thu hẹp khoảng cách giao tiếp giữa người khiếm thính và cộng đồng nói/viết ngôn ngữ thông thường.
Trích đoạn nội dung luận án
Tải xuống để đọc toàn bộBỘ GIÁO DỤC VIỆN HÀN LÂM KHOA HỌC VÀ ĐÀO TẠO VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ ----------------------------- Nguyễn Thị Bích Điệp NGHIÊN CỨU VÀ PHÁT TRIỂN PHƯƠNG PHÁP TIẾP CẬN DỰA TRÊN CẤU TRÚC VÀ THỐNG KÊ TRONG DỊCH TỰ ĐỘNG NGÔN NGỮ KÝ HIỆU VIỆT NAM LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Hà Nội – Năm 2023 BỘ GIÁO DỤC VIỆN HÀN LÂM KHOA HỌC VÀ ĐÀO TẠO VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ ----------------------------- Nguyễn Thị Bích Điệp NGHIÊN CỨU VÀ PHÁT TRIỂN PHƯƠNG PHÁP TIẾP CẬN DỰA TRÊN CẤU TRÚC VÀ THỐNG KÊ TRONG DỊCH TỰ ĐỘNG NGÔN NGỮ KÝ HIỆU VIỆT NAM LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Mã số: 9 48 01 01 Xác nhận của Học viện Người hướng dẫn 1 Người hướng dẫn 2 Khoa học và Công nghệ (Ký, ghi rõ họ tên) (Ký, ghi rõ họ tên) TS. Vũ Tất Thắng PGS. Phùng Trung Nghĩa Hà Nội – Năm 2023 i LỜI CAM ĐOAN Tôi xin cam đoan luận án: "Nghiên cứu và phát triển phương pháp tiếp cận dựa trên cấu trúc và thống kê trong dịch tự động ngôn ngữ ký hiệu Việt Nam" là công trình nghiên cứu của chính mình dưới sự hướng dẫn khoa học của tập thể hướng dẫn. Luận án sử dụng thông tin trích dẫn từ nhiều nguồn tham khảo khác nhau và các thông tin trích dẫn được ghi rõ nguồn gốc.
Các kết quả nghiên cứu của tôi được công bố chung với các tác giả khác đã được sự nhất trí của đồng tác giả khi đưa vào luận án. Các số liệu, kết quả được trình bày trong luận án là hoàn toàn trung thực và chưa từng được công bố trong bất kỳ một công trình nào khác ngoài các công trình công bố của tác giả. Luận án được hoàn thành trong thời gian tôi làm nghiên cứu sinh tại Học viện Khoa học và Công nghệ, Viện Hàn lâm Khoa học và Công nghệ Việt Nam. Hà Nội, tháng năm 2023 Tác giả Nguyễn Thị Bích Điệp ii LỜI CẢM ƠN Lời đầu tiên, tôi xin được cảm ơn TS Vũ Tất Thắng và PGS.
TS Phùng Trung Nghĩa, các thầy đã tận tình hướng dẫn và định hướng trong quá trình nghiên cứu để tôi có thể hoàn thành luận án này. Tôi xin cảm ơn TS Vũ Thị Hải Hà – Viện Ngôn ngữ học, Viện Hàn lâm Khoa học xã hội Việt Nam là người đã tận tình giúp đỡ trong quá trình xây dựng dữ liệu phục vụ cho bài toán. Tôi cũng xin được bày tỏ lòng cảm ơn sâu sắc tới các Thầy, Cô của Viện Công nghệ thông tin, Học viện Khoa học và Công nghệ - Viện Hàn lâm Khoa học và Công nghệ Việt Nam và các nhà khoa học đầu ngành trong lĩnh vực nghiên cứu là cô PGS. TS Lương Chi Mai, thầy TS Nguyễn Văn Vinh, thầy TS Nguyễn Phương Thái đã có những góp ý khoa học rất xác đáng để tôi có thể bổ sung, chỉnh sửa và đánh giá kết quả của mình một các toàn diện hơn.
Cuối cùng tôi xin cảm ơn Ban giám hiệu trường Đại học Công nghệ Thông tin và Truyền thông – Đại học Thái Nguyên và các đồng nghiệp nơi tác giả công tác đã tạo điều kiện về công việc và ủng hộ để luận án được hoàn thành. Hà Nội, tháng năm Nguyễn Thị Bích Điệp iii MỤC LỤC Trang LỜI CAM ĐOAN. ii DANH MỤC TỪ VIẾT TẮT .v DANH MỤC HÌNH ẢNH. vi DANH MỤC BẢNG BIỂU.
vii MỞ ĐẦU .1 CHƯƠNG 1 TỔNG QUAN VỀ BÀI TOÁN DỊCH NGÔN NGỮ KÝ HIỆU VIỆT NAM. Tổng quan về ngôn ngữ ký hiệu. Lịch sử và phân loại ngôn ngữ ký hiệu trên thế giới. Đặc điểm về cú pháp trong câu ngôn ngữ ký hiệu Việt Nam.
Các nghiên cứu liên quan. Bài toán dịch ngôn ngữ ký hiệu Việt Nam. Kết luận chương .19 CHƯƠNG 2 CÁC KIẾN THỨC CƠ SỞ. Kiến thức cơ sở về dịch máy.
Dịch dựa trên luật. Các hướng tiếp cận chính. Nguyên tắc cơ bản của RBMT. Các thành phần của một hệ thống RBMT.
Ưu và nhược điểm của RBMT. Dịch máy thống kê. Dịch máy dựa trên mạng rơron. Mô hình Sequence to Sequence.
Mô hình Transformer. Đánh giá chất lượng bản dịch máy. Khái quát về đánh giá chất lượng bản dịch máy. Điểm đánh giá BLEU.
Điểm đánh giá hiệu suất mô hình ngôn ngữ Perplexity. Kết luận chương .41 CHƯƠNG 3 PHƯƠNG PHÁP TIẾP CẬN DỰA TRÊN CẤU TRÚC TRONG DỊCH TỰ ĐỘNG NGÔN NGỮ KÝ HIỆU VIỆT NAM. Giới thiệu về bài toán. Xây dựng cơ sở dữ liệu ban đầu cho bài toán.
Tập từ điển VSL-Lexicon. Bộ dữ liệu song ngữ Vie-VSL10k. Vấn đề tổng hợp luật. Tính chất rút gọn trong câu VSL.
Tập hợp đặc điểm cú pháp câu VSL. Xây dựng hệ thống dịch dựa trên luật. Các thực nghiệm và đánh giá hệ thống dịch dựa trên luật. Kết luận chương .60 CHƯƠNG 4 LÀM GIÀU DỮ LIỆU CHO BÀI TOÁN DỊCH TỰ ĐỘNG NGÔN NGỮ KÝ HIỆU VIỆT NAM.
Giới thiệu chung về kỹ thuật làm giàu dữ liệu trong dịch máy. Cơ sở của phương pháp đề xuất. Quy trình làm giàu dữ liệu. Kết quả thực nghiệm và đánh giá.
Kết luận chương .74 CHƯƠNG 5 PHƯƠNG PHÁP TIẾP CẬN DỰA TRÊN THỐNG KÊ VÀ MẠNG NORON TRONG DỊCH TỰ ĐỘNG NGÔN NGỮ KÝ HIỆU VIỆT NAM. Cải tiến mô hình dịch IBM cho bài toán dịch Vie-VSL. Mô hình Sequence to Sequence cho bài toán. Mô hình bộ mã hóa và giải mã.
Huấn luyện mạng. Tiến trình dịch. Mô hình Transformer cho bài toán dịch. Quá trình mã hóa và giải mã.
Khởi tạo mô hình Transformer. Đánh giá các kết quả thực nghiệm. Kết luận chương .95 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN NGHIÊN CỨU .97 DANH MỤC CÔNG TRÌNH CỦA TÁC GIẢ .99 TÀI LIỆU THAM KHẢO .100 v DANH MỤC TỪ VIẾT TẮT Ký hiệu Tên đầy đủ Tên tiếng Việt ASL American Sign Language Ngôn ngữ ký hiệu Mỹ BLEU Bilingual Evaluation Understudy Điểm đánh giá bản dịch song ngữ BSL British Sign Language Ngôn ngữ ký hiệu Anh DSG Deutsche Gebärdensprache Ngôn ngữ ký hiệu Đức DRS Discourse Representation Structure Cấu trúc đại diện diễn đạt KSL Korean Sign Language Ngôn ngữ ký hiệu Hàn Quốc ISL Indian Sign Language Ngôn ngữ ký hiệu Ấn Độ MT Machine Translation Dịch máy NMT Neural Machine Translation Dịch máy dựa trên mạng Nơron SMT Statistical Machine Translation Dịch máy thống kê RBMT Rules Based Machine Translation Dịch máy dựa trên luật PSL Pakistani Sign Language Ngôn ngữ ký hiệu Pakistan SL Sign Language Ngôn ngữ ký hiệu Synchronous Tree Adjoining STAG Cây đồng bộ ngữ pháp liền kề Grammar VRML Virtual Reality Modeling Language Mô hình ngôn ngữ thực tế ảo VSL Vietnamese Sign Language Ngôn ngữ ký hiệu Việt Nam Vie- Vietnamese - Vietnamese Sign Tiếng Việt - Ngôn ngữ ký hiệu VSL Language Việt Nam Association for Vietnamese Cộng đồng xử lí văn bản và tiếng VLSP Language and Speech Processing nói tiếng Việt vi DANH MỤC HÌNH ẢNH Hình 1. Hai chiều của bài toán dịch ngôn ngữ ký hiệu.
Quá trình dịch ngôn ngữ thông thường thành ngôn ngữ ký hiệu. Quá trình phát triển của MT. So sánh kết quả dịch dựa trên SMT và NMT. Sơ đồ dịch máy dựa trên luật.
Dịch máy dựa trên mô hình SMT. Mô hình ngôn ngữ sử dụng mạng RNN. Kiến trúc encoder-decoder sử dụng mạng RNN. Encoder hai chiều sử dụng các mạng RNN.
Minh họa quá trình tính toán các trạng thái ẩn và dự đoán trên decoder. RNN và LSTM. Kiến trúc của Transformers. Hình ảnh về mô hình 3D mã số VSL0153 trong VSL-Lexicon.
Cây cú pháp khi phân tích câu bằng công cụ PARSE. Quy trình xây dựng hệ thống dịch máy theo luật. Thống kê điểm BLEU trung bình trên các tập kiểm tra. Cấu trúc phân cấp trong WordNet.
Cấu trúc thượng danh và hạ danh đối với từ khoá “con chó”. Minh hoạ các tiêu chuẩn với tập Synset 𝐸𝑖𝑗. Cấu trúc thượng danh đối với từ khoá “cam”. Ví dụ về xây dựng tập T và sinh dữ liệu mới.
Ví dụ về xây dựng tập T và sinh dữ liệu không phù hợp với động từ. Liên kết giữa các từ đầu vào và các từ đầu ra trong dịch câu Vie-VSL. Ví dụ minh hoạ về sắp xếp lại từ trong dịch câu Vie-VSL. Mô hình bộ mã hoá và giải mã trong bài toán dịch Vie-VSL .92 vii DANH MỤC BẢNG BIỂU Bảng 1.
Một số mẫu câu rút gọn giới từ và liên từ. Một số dự án sử dụng dịch máy kết hợp cho mục tiêu dịch text-to-text của bài toán dịch ngôn ngữ ký hiệu. Chỉ số perplexity của một số kho ngữ liệu phổ biến. Bảng mô tả từ điển VSL-Lexicon.
Các số liệu thống kê về dữ liệu câu tiếng Việt trong Vie-VSL-10k. Các từ được rút gọn trong câu VSL. Cấu trúc chuyển đổi trật tự của danh từ- số từ trong câu VSL (a). Cấu trúc chuyển đổi trật tự của động từ - từ phủ định trong câu VSL.
Cấu trúc chuyển đổi trật tự của động từ - từ phủ định trong câu VSL. Cấu trúc chuyển đổi trật tự từ của câu nghi vấn trong VSL (a). Cấu trúc chuyển đổi trật tự từ của câu phủ định trong VSL. Kết quả tách từ.
Nhãn từ loại. Tập nhãn cụm từ. Một số luật trích rút cho hệ thống dịch Rule-based. Thông số của tập dữ liệu thử nghiệm hệ thống.
Điểm BLEU đánh giá trên tập kiểm tra dữ liệu miền các câu trong y học 57 Bảng 3. Điểm BLEU đánh giá trên tập kiểm tra dữ liệu miền các câu trong văn học. Tổng hợp điểm BLEU hệ thống dịch dựa trên luật với một số tập kiểm tra. Liệt kê một số bộ dữ liệu trong các nghiên cứu của lĩnh vực dịch máy chủ đề dịch ngôn ngữ ký hiệu.
Kết quả của thuật toán làm giàu dữ liệu từ Vie-VSL10k. Chỉ số Perplexity đối với các kho ngữ liệu đã xây dựng. Một số lần lặp với các xác suất dịch các từ tiếng Việt sang dạng văn bản VSL với mô hình IBM 1. Một số lần lặp với các xác suất dịch các từ tiếng Việt sang dạng văn bản VSL với mô hình IBM 3.
Khoảng cách Jaro và khoảng cách Jaro-Winkeler. Kết quả xác suất dịch với mô hình IBM 1 có tối ưu hoá. Kết quả xác suất dịch với mô hình IBM 2 có tối ưu hoá. So sánh điểm BLEU trên một số mô hình dịch giữa dữ liệu gốc và dữ liệu làm giàu.
Tham chiếu điểm BLEU trên bài toán dịch ngôn ngữ ký hiệu khác .
Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ
Trích dẫn luận án này
Nguyễn Thị Bích Điệp (2023). Dịch tự động Ngôn ngữ Ký hiệu Việt Nam: Cấu trúc & Thống kê [Luận án tiến sĩ, Học viện Khoa học và Công nghệ]. LuanAn.net. https://luanan.net/ngon-ngu-hoc/ngon-ngu-hoc-ung-dung/nghien-cuu-phat-trien-phuong-phap-dich-tu-dong-ngon-ngu-ky-hieu-viet-nam
Câu hỏi thường gặp
Luận án "Dịch tự động Ngôn ngữ Ký hiệu Việt Nam: Cấu trúc & Thống kê" nghiên cứu về vấn đề gì?
"Luận án tiến sĩ: Phương pháp mới kết hợp cấu trúc và thống kê, cải thiện dịch tự động ngôn ngữ ký hiệu Việt Nam, hiệu quả vượt trội."
Luận án "Dịch tự động Ngôn ngữ Ký hiệu Việt Nam: Cấu trúc & Thống kê" được bảo vệ tại trường nào?
Luận án này được bảo vệ tại Học viện Khoa học và Công nghệ. Năm bảo vệ: 2023.
Luận án "Dịch tự động Ngôn ngữ Ký hiệu Việt Nam: Cấu trúc & Thống kê" thuộc chuyên ngành gì?
Luận án "Dịch tự động Ngôn ngữ Ký hiệu Việt Nam: Cấu trúc & Thống kê" thuộc chuyên ngành Khoa học máy tính. Danh mục: Ngôn Ngữ Học Ứng Dụng.
Luận án "Dịch tự động Ngôn ngữ Ký hiệu Việt Nam: Cấu trúc & Thống kê" có bao nhiêu trang?
Luận án "Dịch tự động Ngôn ngữ Ký hiệu Việt Nam: Cấu trúc & Thống kê" có 119 trang. Bạn có thể xem trước một phần tài liệu ngay trên trang web trước khi tải về.
Cách tải luận án "Dịch tự động Ngôn ngữ Ký hiệu Việt Nam: Cấu trúc & Thống kê" về máy như thế nào?
Để tải luận án về máy, bạn nhấn nút "Tải xuống ngay" trên trang này, sau đó hoàn tất thanh toán phí lưu trữ. File sẽ được tải xuống ngay sau khi thanh toán thành công. Hỗ trợ qua Zalo: 0559 297 239.