Nghiên cứu chuẩn hóa văn bản và nhận dạng thực thể trong nhận dạng tiếng nói tiếng Việt

BỘ GIÁ O DỤC VÀ ĐÀO TẠO VIỆN HÀ N LÂ M KHOA HỌC VÀ CÔ NG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔ NG NGHỆ NGUYỄN THỊ THU HIỀN NGHIÊ N CỨU PHƯƠNG PHÁP CHUẨN HOÁ VĂN BẢN VÀ NHẬN DẠNG THỰC THỂ ĐỊNH DANH TRONG NHẬN DẠNG TIẾNG NÓ I TIẾNG VIỆT LUẬN Á N TIẾN SĨ NGÀNH MÁY TÍNH HÀ NỘI - 2023 BỘ GIÁ O DỤC VÀ ĐÀO TẠO VIỆN HÀ N LÂ M KHOA HỌC VÀ CÔ NG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔ NG NGHỆ NGUYỄN THỊ THU HIỀN NGHIÊ N CỨU PHƯƠNG PHÁP CHUẨN HOÁ VĂN BẢN VÀ NHẬN DẠNG THỰC THỂ ĐỊNH DANH TRONG NHẬN DẠNG TIẾNG NÓ I TIẾNG VIỆT LUẬN Á N TIẾN SĨ NGÀNH MÁY TÍNH Chuyên ngành: Hệ thống thông tin Mã số: 9 48 01 04 Xác nhận của Học viện Người hướng dẫn 1 Người hướng dẫn 2 Khoa học và Công nghệ (Ký, ghi rõ họ tên) (Ký, ghi rõ họ tên) HÀ NỘI - 2023 i LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các kết quả được viết chung với các tác giả khác đều được sự đồng ý của các đồng tác giả trước khi đưa vào luận án. Các kết quả nêu trong luận án là trung thực và chưa từng được công bố trong các công trình nào khác. Tác giả Nguyễn Thị Thu Hiền ii LỜI CẢM ƠN Luận án của tác giả được thực hiện tại Học viện Khoa học và Công nghệ - Viện Hàn lâm Khoa học và Công nghệ Việt Nam, dưới sự hướng dẫn tận tình của PGS.

Lương Chi Mai và TS. Nguyễn Thị Minh Huyền. Tôi xin được bày tỏ lòng biết ơn sâu sắc đến hai Cô về những định hướng nghiên cứu, sự động viên và hướng dẫn tận tình giúp tôi vượt qua những khó khăn để hoàn thành luận án này. Tôi cũng xin gửi lời cảm ơn chân thành đến các nhà khoa học, các đồng tác giả của các công trình nghiên cứu đã được trích dẫn trong luận án.

Đây là những tư liệu quý báu có liên quan giúp tôi hoàn thành luận án. Tôi xin chân thành cảm ơn đến Ban lãnh đạo Học viện Khoa học và Công nghệ, Viện Công nghệ Thông tin đã tạo điều kiện thuận lợi cho tôi trong quá trình học tập, nghiên cứu. Tôi xin chân thành cảm ơn Ban giám hiệu trường Đại học Sư phạm - ĐH Thái Nguyên, Khoa Toán, Bộ môn Khoa học máy tính - Hệ thống thông tin và các đồng nghiệp đã giúp đỡ và tạo điều kiện thuận lợi để tôi có thể thực hiện kế hoạch nghiên cứu, hoàn thành luận án. Tôi xin được bày tỏ tình cảm và lòng biết ơn vô hạn tới những người thân trong Gia đình, những người luôn dành cho tôi sự động viên, khích lệ, sẻ chia, giúp đỡ trong những lúc khó khăn.

Tác giả Nguyễn Thị Thu Hiền iii MỤC LỤC Trang LỜI CAM ĐOAN. ii MỤC LỤC .iii DANH MỤC TỪ VIẾT TẮT. v DANH MỤC BẢNG BIỂU. vii DANH MỤC HÌNH VẼ .viii MỞ ĐẦU.

1 CHƯƠNG 1: TỔNG QUAN VẤN ĐỀ NGHIÊ N CỨU. Xử lý ngôn ngữ tự nhiên. Nhận dạng tiếng nói. Nhận dạng thực thể định danh.

Tổng quan về dữ liệu. Kết luận Chương 1. 36 CHƯƠNG 2: KIẾN THỨC CƠ SỞ. Mô hình xử lý chuỗi.

Mô hình biểu diễn từ. Mô hình gán nhãn chuỗi. Kết luận chương 2. 56 CHƯƠNG 3: CHUẨN HÓA VĂN BẢN ĐẦU RA CỦA HỆ THỐNG NHẬN DẠNG TIẾNG NÓ I TIẾNG VIỆT.

Xây dựng dữ liệu. Kiến trúc mô hình. Kết quả thực nghiệm. Kết luận Chương 3.

73 iv CHƯƠNG 4: NHẬN DẠNG THỰC THỂ ĐỊNH DANH CHO VĂN BẢN ĐẦU RA CỦA HỆ THỐNG NHẬN DẠNG TIẾNG NÓ I TIẾNG VIỆT. Tổng quan dữ liệu. Nhận dạng thực thể định danh theo hướng tiếp cận Đường ống. Nhận dạng thực thể định danh theo hướng tiếp cận E2E.

Kết luận Chương 4. 99 DANH MỤC CÔ NG TRÌNH CỦA TÁ C GIẢ. 101 TÀ I LIỆU THAM KHẢO. 103 v DANH MỤC TỪ VIẾT TẮT STT Từ viết tắt Từ tiếng Anh Ý nghĩa tiếng Việt Automatic Speech Nhận dạng tiếng nói tự 1 ASR Recognition động Bidirectional Encoder Mã hóa biểu diễn hai chiều 2 BERT Representations from dựa trên Transformers Transformers Bidirectional Long Short Mô hình bộ nhớ ngắn-dài 3 BiLSTM Term Memory hạn hai chiều 4 BPE Byte-Pair-Encoding Mã hoá cặp byte Recovering Mô hình khôi phục dấu câu 5 CaPu Capitalization and và chữ hoa Punctuation model Continuous Bag of Mô hình nhúng từ “Túi từ 6 CBOW Words liên tục” Convolutional Neural 7 CNN Mạng nơ-ron tích chập Network Conditional Random Trường ngẫu nhiên có điều 8 CRF Fields kiện 9 DL Deep Learning Học sâu 10 DNN Deep Neural Networks Mạng nơ-ron sâu Embeddings from Nhúng từ từ mô hình ngôn 11 ELMO Language Model ngữ 12 E2E End-to-End Mô hình đầu - cuối Global Véc-tơs for Word Mô hình nhúng từ dựa trên 13 GloVe Representation biểu diễn từ 14 GRU Gated Recurrent Unit Mạng hồi tiếp có cổng vi Generative pre-trained Mô hình biến đổi được huấn 15 GPT transformer luyện trước 16 HMM Hidden Markov Model Mô hình Markov ẩn 17 LM Language Model Mô hình ngôn ngữ Long Short Term Mô hình bộ nhớ ngắn-dài 18 LSTM Memory hạn 19 ME Maximum Entropy Mô hình Entropy cực đại Maximum Entropy Mô hình Markov Entropy 20 MEMM Markov Model cực đại 21 MTL Multi-Task Learning Học đa tác vụ Named Entity Nhận dạng thực thể định 22 NER Recognition danh 23 OOV Out-of-Vocabulary Từ nằm ngoài từ điển Recurrent Neural 24 RNN Mạng nơ-ron hồi quy Network Mô hình ánh xạ từ chuỗi 25 Seq2seq Sequence-to-Sequence sang chuỗi Spoken Language 26 SLU Hiểu ngôn ngữ nói Understanding 27 SVM Support Véc-tơ Machine Máy véc-tơ hỗ trợ Vietnamese Language Hội thảo xử lý ngôn ngữ và 28 VLSP and Speech Processing tiếng nói tiếng Việt 29 XLNNTN Xử lý ngôn ngữ tự nhiên Hệ thống chuyển văn bản 30 TTS Text To Speech sang tiếng nói 31 WER Word Error Rate Tỉ lệ lỗi từ vii DANH MỤC BẢNG BIỂU Bảng 1.1: Điểm khác biệt giữa văn bản đầu ra ASR và văn bản viết dạng chuẩn .2: Tỉ lệ lỗi từ của một số hệ thống nhận dạng tiếng nói tiếng Việt .1: Thông tin bộ dữ liệu .2: Số lượng tham số của các mô hình .3: Các tham số huấn luyện mô hình .4: So sánh kết quả mô hình Transformer Encoder - CRF khi áp dụng và không áp dụng hợp nhất chồng lấn .5: So sánh tốc độ xử lý (tokens/second) .1: Tham số cấu trúc và huấn luyện mô hình ViBERT .2: Thống kê bộ dữ liệu NER của VLSP 2018 .3: Đánh giá các mô hình NER dựa trên bộ dữ liệu NER của VLSP 2018 .4: Đánh giá mô hình NER đề xuất theo cách tiếp cận đường ống với các kiểu văn bản đầu vào khác nhau .5: Tỉ lệ lỗi của TTS-ASR và REC-ASR trên dữ liệu kiểu số, dữ liệu ngoại lại và các lỗi khác .6: Đánh giá mô hình NER đề xuất theo cách tiếp cận E2E với các kiểu văn bản đầu vào khác nhau .7: So sánh mô hình E2E với mô hình đường ống.

97 viii DANH MỤC HÌNH VẼ Hình 1.1: Minh họa các vấn đề cần thực hiện để tăng chất lượng văn bản đầu ra của ASR .2: Mô hình NER dựa trên học sâu.1: Mô hình Transformer [34] .2: Minh hoạ hoạt động của CBOW và Ship-Gram .3: Tổng thể quy trình tiền huấn luyện và tinh chỉnh cho BERT [35] .4: Tinh chỉnh BERT cho nhiệm vụ NER [35] .5: Mô hình Conditional Random Fields.6: Mô hình phương pháp chia sẻ tham số cứng .7: Mô hình phương pháp chia sẻ tham số mềm .1: Minh hoạ đầu vào, đầu ra của khôi phục dấu câu, chữ hoa đối với văn bản đầu ra ASR.2: Kiến trúc mô hình .3: Mô hình xử lý chuỗi đầu vào, đầu ra thông thường.4: Đề xuất mô hình phân chia/hợp nhất đoạn chồng lấn.5: Mô tả phân chia đoạn chồng lấn .6: Vídụ phân chia đoạn chồng lấn với l = 10 và k = 5 .7: Mô tả cách ghép nối .8: Hợp nhất các đoạn chồng chéo dựa trên tham số c.9: Mô hình CaPu đề xuất cho văn bản đầu ra của ASR tiếng Việt .10: Mô tả đầu ra nhận dạng dạng văn bản và dạng nhãn .11: Kết quả của các mô hình sử dụng và không sử dụng hợp nhất đoạn chồng lấn .12: Kết quả của các mô hình với đầu ra là dạng văn bản hoặc dạng nhãn .13: Ma trận lỗi cho mô hình Transformer Encoder - CRF .1: Mô tả kiến trúc NER tổng quát theo cách tiếp cận đường ống.2: Mô hình CaPu cho văn bản đầu ra của ASR .3: Đề xuất mô hình NER .4: Vídụ về đầu ra của mô hình .5: Đánh giá mô hình CaPu trên văn bản chuẩn bỏ dấu câu và chữ hoa .6: Đề xuất kiến trúc NER theo tiếp cận E2E .7: Các pha trong quá trình thu thập, xử lý dữ liệu. 93 1 MỞ ĐẦU Trong xã hội hiện đại, thông tin có thể dễ dàng được tiếp cận trên phạm vi toàn cầu nhờ hệ thống Internet rộng khắp. Bên cạnh thông tin dạng văn bản thì thông tin dạng âm thanh, phim ảnh ngày càng trở nên phổ biến và thu hút sự quan tâm của người sử dụng Internet nhờ hệ thống băng thông mạng ngày càng được mở rộng. Mặc dù vậy, thông tin dưới dạng văn bản vẫn có giá trị riêng biệt mà khó có dạng thức thông tin nào có thể thay thế được - nhất là trong các hoạt động giao tiếp thuộc các lĩnh vực như: kinh tế, chính trị, ngoại giao, khoa học.

Kết quả các cuộc đàm phán, đối thoại song phương, đa phương bao giờ cũng được hiện thực hóa bằng các văn bản ghi nhớ của các bên liên quan. Xử lý ngôn ngữ tự nhiên (XLNNTN) là lĩnh vực khoa học máy tính kết hợp giữa trí tuệ nhân tạo và ngôn ngữ học tính toán, nhằm xử lý tương tác giữa con người và máy tính sao cho máy tính có thể hiểu hay bắt chước được ngôn ngữ của con người. XLNNTN bao gồm hai nhánh lớn là xử lý tiếng nói (Speech processing) và xử lý văn bản (Text processing). Một trong những bài toán quan trọng trong hiểu ngữ nghĩa văn bản viết hay nói là nhận dạng thực thể định danh (Named Entity Recognition - NER).

Có thể nói, đây là một bài toán tiền đề cho các hệ thống về hiểu ngôn ngữ hay khai phá văn bản như trích xuất sự kiện, hỏi đáp tự động hay tìm kiếm ngữ nghĩa. Đã có nhiều nghiên cứu đạt được những kết quả rất khả quan cho bài toán NER với dữ liệu văn bản viết thông thường trong nhiều ngôn ngữ trên thế giới cũng như tiếng Việt.