Xây dựng môi trường xử lý tiếng ê đê ứng dụng trong dạy và học tiếng ê đê luận á

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG  HOÀNG THỊ MỸ LỆ XÂY DỰNG MÔI TRƢỜNG XỬ LÝ TIẾNG Ê ĐÊ ỨNG DỤNG TRONG DẠY VÀ HỌC TIẾNG Ê ĐÊ LUẬN ÁN TIẾN SĨ KỸ THUẬT Đà Nẵng, năm 2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG  HOÀNG THỊ MỸ LỆ XÂY DỰNG MÔI TRƢỜNG XỬ LÝ TIẾNG Ê ĐÊ ỨNG DỤNG TRONG DẠY VÀ HỌC TIẾNG Ê ĐÊ Chuyên ngành : KHOA HỌC MÁY TÍNH Mã số : 62.01 LUẬN ÁN TIẾN SĨ KỸ THUẬT Ngƣời hƣớng dẫn khoa học : PGS. PHAN HUY KHÁNH Đà Nẵng, năm 2017 LỜI CAM ĐOAN Tôi xin cam Ďoan Ďây là công trình nghiên cứu của riêng tôi, dƣới sự hƣớng dẫn trực tiếp của PGS.TS Phan Huy Khánh. Tôi cam Ďoan các kết quả Ďƣợc trình bày trong luận án là trung thực, không sao chép từ bất kỳ luận án nào khác và chƣa từng Ďƣợc ai công bố trong bất kỳ công trình nào khác. Mọi trích dẫn Ďều có ghi nguồn gốc xuất xứ rõ ràng.

Nếu có gì không trung thực, tác giả xin chịu hoàn toàn trách nhiệm. Hoàng Thị Mỹ Lệ LỜI CẢM ƠN Tôi thực hiện luận án “Xây dựng môi trƣờng xử lý tiếng Ê Đê ứng dụng trong dạy và học tiếng Ê Đê” dƣới sự hƣớng dẫn tận tình của Thầy giáo PGS. Phan Huy Khánh. Tôi Ďã nhận Ďƣợc từ thầy nhiều kiến thức chuyên môn quý báu, những kinh nghiệm nghiên cứu khoa học, cũng nhƣ những yêu cầu nghiên cứu nghiêm túc trong suốt thời gian nghiên cứu Ďể hoàn thành luận án.

Tôi chân thành bày tỏ lòng biết ơn và sự kính trọng sâu sắc Ďối với thầy. Trong thời gian bắt Ďầu nghiên cứu cho Ďến nay, tôi cũng Ďã tiếp nhận Ďƣợc những kiến thức quý giá, sự giúp Ďỡ và quan tâm nhiệt tình của quý thầy, cô từ khoa Điện, trƣờng Cao Ďẳng Công nghệ Ďến khoa Công nghệ Thông tin trƣờng Đại học Bách khoa, Đại học Đà Nẵng. Quý thầy, cô Ďã tạo mọi Ďiều kiện thuận lợi giúp tôi học tập, nghiên cứu khoa học, tham gia hội thảo và trao Ďổi chuyên môn, tiếp xúc với các chuyên gia trong lĩnh vực xử lý ngôn ngữ tự nhiên và Công nghệ Thông tin. Tôi chân thành bày tỏ lời cảm ơn sâu sắc.

Tôi xin trân trọng cảm ơn Ban Đào tạo - Đại học Đà Nẵng, Phòng Đào tạo - Trƣờng Đại học Bách khoa Ďã tạo mọi Ďiều kiện thuận lợi cho tôi trong thời gian học tập, nghiên cứu và thực hiện luận án. Tôi xin ghi nhận và cảm ơn các cán bộ trong Ban dân tộc tỉnh Đăk Lăk, TS. Buôn Krông Tuyết Nhung (Đại học Tây Nguyên) Ďã tạo Ďiều kiện thuận lợi cho tôi trong việc tìm kiếm các nguồn tài liệu liên quan Ďến tiếng Ê Đê. Tôi cũng chân thành cảm ơn các tác giả về những bài báo, tài liệu, bài giảng và các công bố nghiên cứu khoa học mà tôi có sử dụng tham khảo, trích dẫn trong luận án.

Một lần nữa, tôi trân trọng cảm ơn bạn bè Ďồng nghiệp và gia Ďình Ďã cho tôi niềm tin, nghị lực và lòng quyết tâm Ďể Ďạt Ďƣợc kết quả mong muốn. Hoàng Thị Mỹ Lệ NCS. Hoàng Thị Mỹ Lệ MỤC LỤC MỞ ĐẦU. Mục tiêu nghiên cứu.

Đối tƣợng và phạm vi nghiên cứu. Phƣơng pháp nghiên cứu. Cấu trúc của luận án. Những Ďóng góp chính của luận án.

VẤN ĐỀ XỬ LÝ NGÔN NGỮ DÂN TỘC THIỂU SỐ. XỬ LÝ NGÔN NGỮ TỰ NHIÊN. Mã hóa và soạn thảo văn bản. Xây dựng kho ngữ vựng.

Tách từ và gán nhãn từ loại. Bài toán dịch máy. XỬ LÝ TIẾNG VIỆT-KINH. Tiếng Việt trong bối cảnh xử lý ngôn ngữ tự nhiên.

Một số kết quả xử lý tiếng Việt. Xu thế và triển vọng trong xử lý tiếng Việt. XỬ LÝ TIẾNG CÁC DÂN TỘC THIỂU SỐ Ở VIỆT NAM. Bảo tồn tiếng các dân tộc thiểu số ở Việt Nam.

Hệ thống chữ viết các dân tộc thiểu số ở Việt Nam. Thực trạng tiếng các dân tộc thiểu số ở Việt Nam. XỬ LÝ NGÔN NGỮ DÂN TỘC THIỂU SỐ. Vấn Ďề xử lý ngôn ngữ dân tộc thiểu số.

Khó khăn và thách thức. Các phƣơng pháp tiếp cận. Định hƣớng nghiên cứu. KẾT LUẬN CHƢƠNG 1.

MÔI TRƯỜNG XỬ LÝ TIẾNG Ê ĐÊ. XÂY DỰNG MÔI TRƢỜNG XỬ LÝ TIẾNG Ê ĐÊ. Giới thiệu tiếng Ê Đê. Khó khăn trong xử lý tiếng Ê Đê.

Xử lý tiếng Ê Đê vận dụng kết quả xử lý tiếng Việt. Phân cấp chức năng trong môi trƣờng xử lý tiếng Ê Đê. SOẠN THẢO VĂN BẢN TIẾNG Ê ĐÊ. Xử lý chữ viết tiếng các dân tộc thiểu số ở Việt Nam.

Soạn thảo văn bản tiếng các dân tộc thiểu số ở Việt Nam. Soạn thảo văn bản tiếng Ê Đê. SỬ DỤNG UNICODE. Sử dụng Unicode trong soạn thảo văn bản.

Chuyển Ďổi văn bản tiếng dân tộc thiểu số về Unicode. Chuyển Ďổi văn bản tiếng Ê Đê dùng phông chữ riêng về Unicode. KẾT LUẬN CHƢƠNG 2. HỢP NHẤT NGUỒN DỮ LIỆU SONG NGỮ VIỆT-Ê ĐÊ.

Mô hình hợp nhất nguồn dữ liệu song ngữ. Môi trƣờng hợp nhất nguồn dữ liệu song ngữ. Đánh giá mô hình hợp nhất nguồn dữ liệu. XÂY DỰNG KHO NGỮ VỰNG SONG NGỮ VIỆT-Ê ĐÊ.

Tổ chức kho ngữ vựng song ngữ Việt-Ê Đê. Cập nhật dữ liệu vào kho ngữ vựng. Đánh giá kho ngữ vựng. KIỂM TRA CHÍNH TẢ ÂM TIẾT TIẾNG Ê ĐÊ.

Âm tiết tiếng Ê Đê. Phát hiện lỗi chính tả âm tiết tiếng Ê Đê. Giải pháp kiểm tra chính tả âm tiết tiếng Ê Đê. QUẢN LÝ KHO NGỮ VỰNG SONG NGỮ VIỆT-Ê ĐÊ.

Bổ sung mục từ vào kho ngữ vựng. Nâng cao chất lƣợng kho ngữ vựng. Định hƣớng khai thác kho ngữ vựng song ngữ Việt-Ê Đê. KẾT LUẬN CHƢƠNG 3.

XÂY DỰNG ỨNG DỤNG XỬ LÝ TIẾNG Ê ĐÊ. DẠY VÀ HỌC TIẾNG Ê ĐÊ. Thực trạng dạy và học tiếng Ê Đê. Ứng dụng quản lý kho ngữ vựng.

Các ứng dụng dạy và học tiếng Ê Đê. TRA CỨU TỪ VỰNG SONG NGỮ VIỆT-Ê ĐÊ. Vai trò của từ vựng trong dạy và học song ngữ Việt-Ê Đê. Xây dựng ứng dụng tra cứu từ vựng song ngữ Việt-Ê Đê.

Ứng dụng tra cứu từ vựng song ngữ Việt-Ê Đê. BÀI TOÁN DỊCH MÁY VIỆT-Ê ĐÊ. Dịch máy văn bản Việt-Ê Đê. Giải quyết bài toán tách từ tiếng Việt trong dịch máy Việt-Ê Đê.

Xây dựng ứng dụng trợ giúp dịch máy Việt-Ê Đê. KIỂM TRA LỖI CHÍNH TẢ TIẾNG Ê ĐÊ. Vấn Ďề lỗi chính tả tiếng Ê Đê. Giải quyết bài toán kiểm tra lỗi chính tả văn bản tiếng Ê Đê.

Xây dựng bộ kiểm tra lỗi chính tả trong dạy và học tiếng Ê Đê. KẾT LUẬN CHƢƠNG 4. Các kết quả chính của luận án. Đánh giá kết quả.

Hƣớng phát triển. 98 DANH MỤC CÔNG TRÌNH ĐÃ CÔNG BỐ. 99 DANH MỤC CÁC TÀI LIỆU THAM KHẢO. 109 DANH MỤC CHỮ VIẾT TẮT TIẾNG ANH Stt Chữ viết tắt Giải nghĩa Nghĩa tiếng Việt 1 American Standard Code for Bảng mã chuẩn của Hoa Kỳ dành ASCII Information Interchange cho việc chuyển Ďổi thông tin 2 Corpus-Based Machine CBMT Dịch máy dựa trên ngữ liệu Translation 3 Phƣơng pháp tiếp cận dựa trên EBA Example-Based Approach mẫu có sẵn 4 Example-Based Machine EBMT Dịch máy dựa trên mẫu có sẵn Translation 5 Environment Interaction in Môi trƣờng tƣơng tác với EIWVNK WinVNKey WinVNKey 6 Enabling MInority Language Công nghệ ngôn ngữ DTTS thích EMILLE Engineering ứng Hyper Text Markup 7 HTML Ngôn ngữ Ďánh dấu siêu văn bản Language International Corpus of 8 ICE Kho ngữ liệu quốc tế tiếng Anh English 9 International Corpus of Kho ngữ liệu quốc tế tiếng Anh ICE-GB English-Great Britain bản xứ Knowledge-Based Machine 10 KBMT Dịch máy dựa trên cơ sở tri thức Translation 11 MInority Language MILLE Công nghệ ngôn ngữ DTTS Engineering 12 MM Maximum Matching So khớp cực Ďại 13 RBA Rule-Base Approach Phƣơng pháp tiếp cận dựa trên luật Rule-Based Machine 14 RBMT Dịch máy dựa trên luật Translation Speech And Language 15 Công nghệ ngôn ngữ và tiếng nói SALTMIL Technology for MInority cho các DTTS Languages 16 SA Statistical Approach Phƣơng pháp tiếp cận thống kê 17 Statistical-Based Machine SMT Dịch máy kiểu thống kê Translation Transformation-Based 18 TBL Học dựa vào sự biến Ďổi Learning 19 Weighted Finite State Chuyển Ďổi trạng thái hữu hạn có WFST Transducer trọng số DANH MỤC BẢNG BIỂU Số hiệu Tên bảng Trang bảng 1.

Các hệ chữ viết các DTTS ở Việt Nam 26 2. So sánh xử lý tiếng Việt và tiếng Ê Đê 36 2. Bảng phân nhóm bảng chữ cái tiếng Ê Đê 44 2. Ánh xạ các chữ cái nhóm 2 và nhóm 3 vào Unicode 45 2.

Qui Ďịnh cách gõ chữ cái nhóm 2 và nhóm 3 46 2. Cấu trúc tệp HTF 46 2. So sánh Ďánh giá các yếu tố hiển thị chữ viết tiếng Ê Đê 47 2. Tệp lƣu giá trị hexa và tập kí tự Ďƣợc gõ theo bộ phông chữ 51 TayNguyenKey với kiểu gõ VNI 3.

Kết quả thực nghiệm chuyển Ďổi văn bản phông chữ riêng sang Unicode 52 3. Bảng lƣu mục từ Ê Đê 60 3. Bảng lƣu mục từ tiếng Việt 61 3. Bảng lƣu KNV song ngữ Việt-Ê Đê 61 3.

Thống kê số mục từ Ďƣợc nhập vào trong các kho ngữ vựng qua MEDAS 62 3. Thống kê số lƣợng mục từ theo số âm tiết trong mục từ của KNV Ê Đê 64 3. Thời gian tách từ giữa so khớp vào KNV và từng vùng trong KNV 65 3. Thống kê số từ chƣa có trong KNV tiếng Ê Đê 65 3.

Độ bao phủ KNV Ê Đê trên các văn bản tiếng Ê Đê 66 3. Thống kê số từ tiếng Việt chƣa có trong KNV tiếng Việt 66 3. Độ bao phủ KNV tiếng Việt trên các văn bản tiếng Việt 66 Số hiệu Tên bảng Trang bảng 3. Mô hình âm tiết tiếng Ê Đê 70 3.

Ví dụ chuyển âm tiết Ê Đê sang mô hình âm tiết 72 3. Thống kê số âm tiết Ê Đê sai Ďƣợc phát hiện 74 3. Đánh giá KNV sau khi kiểm tra lỗi chính tả âm tiết qua Ďộ bao phủ trên 75 văn bản tiếng Ê Đê 4. Minh họa sự cần thiết việc bổ sung từ mới vào KNV mở rộng của 85 vnTokenizer 4.

Ví dụ tách từ tiếng Việt ứng với từ tiếng Ê Đê 88 4. Kết quả kiểm chứng việc xử lý trật từ của các từ Ďể hỏi 90 4. Kết quả thử nghiệm với số lỗi chính tả ngẫu nhiên Ďã Ďƣợc xác Ďịnh 94 4. Bảng kết quả thử nghiệm trên tập văn bản 94 DANH MỤC HÌNH VẼ Số hiệu Tên hình Trang hình 2.

Hệ thống phân cấp chức năng trong môi trƣờng xử lý tiếng Ê Đê 39 2.