Luận án TS: Xây dựng, chuẩn hóa & khai thác kho ngữ liệu Internet cho xử lý tiếng Việt

Học viện Công nghệ Bưu chính Viễn thông Phan Thị Hà Nghiên cứu việc xây dựng, chuẩn hóa và khai thác kho ngữ liệu từ nguồn Internet cho xử lý tiếng Việt Chuyên ngành: Truyền dữ liệu và mạng máy tính Mã số: 62.01 Nghiên cứu sinh: Phan Thị Hà Cán bộ hướng dẫn: 1.TS Trần Hồng Quân 2. Nguyễn Thị Minh Huyền 2014 i LỜI CAM ĐOAN Tôi cam đoan rằng nội dung của luận án này là kết quả nghiên cứu của bản thân. Tất cả những tham khảo từ các nghiên cứu liên quan đều được nêu rõ nguồn gốc một cách rõ ràng trong danh mục tài liệu tham khảo được đề cập ở phần sau của luận án. Những đóng góp trong luận án là kết quả nghiên cứu của tác giả đã được công bố trong các bài báo của tác giả ở phần sau của luận án và chưa được công bố trong bất kỳ công trình khoa học nào khác.

Tác giả luận án Phan Thị Hà ii Lời cảm ơn Trước tiên, tôi muốn gửi lời cảm ơn đến Thầy Cô giáo hướng dẫn của tôi, PGS.TS Trần Hồng Quân, TS Nguyễn Thị Minh Huyền. Thầy, Cô đã tận tình chỉ bảo tôi từ những việc tưởng chừng đơn giản như cách thức thu thập tài liệu tham khảo cho đến phương pháp nghiên cứu hoa học. Sự tận tình hướng dẫn, cộng với sự động viên, khích lệ thường xuyên của Thầy Cô đã giúp tôi tự tin, say mê hơn trong con đường nghiên cứu khoa học. Tôi cảm thấy thực sự trưởng thành sau những năm được học tập và nghiên cứu dưới sự hướng dẫn của Thầy cô, một lần nữa em xin được cảm ơn Thầy Cô và kính chúc Thầy Cô luôn mạnh khỏe, hạnh phúc, thành công trên mọi lĩnh vực, đặc biệt là trên con đường khoa học.

Mong rằng sẽ có nhiều lớp nghiên cứu sinh lại tiếp tục được Thầy Cô hướng dẫn trong những năm tiếp theo. Tôi xin chân thành cảm ơn Tập đoàn Bưu Chính Viễn Thông, Ban lãnh đạo Học viện Công nghệ Bưu Chính Viễn Thông đã động viên và tạo điều kiện thuận lợi cho tôi trong suốt quá trình thực hiện luận án. Tôi cũng muốn bày tỏ lòng biết ơn đối với tập thể các Thầy Cô khoa Công nghệ Thông tin và các Thầy Cô Khoa Đào tạo Sau Đại học, Học Viện Công nghệ Bưu Chính Viễn Thông, nơi tôi làm việc và học tập trong những năm qua. Các Thầy Cô luôn tạo điều kiện để tôi hoàn thành tốt công việc của mình, và sự dạy dỗ của Quí thầy cô đã giúp tôi trưởng thành.

Xin bày tỏ lời cảm ơn của tôi đến các chuyên gia về xử lý ngôn ngữ tự nhiên, dự án KC01.01/06-10, trung tâm từ điển VietLex đã hỗ trợ việc thu thập tài liệu và các góp ý hữu ích về ý tưởng và kỹ thuật phục vụ cho nghiên cứu của tôi. Cuối cùng, chân thành cảm ơn người thân, bạn bè luôn bên cạnh động viên, hỗ trợ về mặt tinh thần để tôi vượt qua khó khăn và hoàn thành tốt luận án. iii MỤC LỤC MỤC LỤC .iii DANH MỤC HÌNH VẼ .vi DANH MỤC BẢNG .vii DANH MỤC CỤM TỪ VIẾT TẮT .viii MỞ ĐẦU. x Mục tiêu và phạm vi nghiên cứu của luận án .xiii Kết quả đạt được .xiv Bố cục của luận án.

xv CHƯƠNG 1. TỔNG QUAN VỀ KHO NGỮ LIỆU.1 Kho ngữ liệu văn bản.2 Xây dựng, chuẩn hóa và khai thác kho ngữ liệu.1 Thu thập kho ngữ liệu văn bản .2 Chú giải ngôn ngữ và vấn đề chuẩn hóa .3 Khai thác kho ngữ liệu.3 Kho ngữ liệu tiếng Việt .2 Các vấn đề được nghiên cứu trong luận án.4 Kết chương. XÂY DỰNG KHO NGỮ LIỆU THÔ TỪ INTERNET.2 Xây dựng kho ngữ liệu thô tiếng Việt .1 Lựa chọn danh sách từ hạt giống .2 Thu thập địa chỉ URL .3 Lọc nội dung chính của các trang web (URLs) .4 Phát hiện sự trùng lặp gần nhau.5 Xây dựng công cụ và kết quả thu thập kho ngữ liệu .3 Kết chương. 32 iv CHƯƠNG 3.

CHUẨN HÓA MÔ HÌNH CHÚ GIẢI TIẾNG VIỆT.2 Mô hình MAF của ISO/TC 37/SC 4.3 Mô hình SynAF của ISO/TC 37/SC 4 .4 Chuẩn hóa theo mô hình MAF cho tiếng Việt.1 Xác định đơn vị cơ sở (segment) .2 Hình thái từ (Wordform).3 Nội dung hình thái cú pháp.5 Chuẩn hóa theo mô hình SynAF cho tiếng Việt .6 Kết chương. KHAI THÁC KHO NGỮ LIỆU THÔ CHO NGHIÊN CỨU TỪ VỰNG TIẾNG VIỆT .1 Nghiên cứu từ vựng .3 Ngữ liệu trong Sketch Engine.2 Xây dựng ngữ liệu tiếng Việt cho Sketch Engine.1 Tách từ và gán nhãn từ loại.2 Xây dựng bộ quan hệ ngữ pháp tiếng Việt .3 Triển khai hệ thống Sketch Engine cho tiếng Việt .4 Đánh giá bộ quan hệ ngữ pháp tiếng Việt .3 Kết chương. KHAI THÁC KHO NGỮ LIỆU CÓ CHÚ GIẢI CHO PHÂN TÍCH CÚ PHÁP TIẾNG VIỆT .2 Văn phạm hình thức.1 Khái niệm chung về văn phạm .2 Văn phạm phi ngữ cảnh (Context Free Grammar - CFG) .3 Văn phạm kết nối cây (Tree Adjoining Grammar – TAG).3 Trích rút tự động văn phạm CFG cho tiếng Việt .1 Thuật toán trích rút từ VietTreebank .2 Phân tích cú pháp tiếng Việt với văn phạm PCFG .3 Thử nghiệm và đánh giá .4 Nhược điểm của văn phạm PCFG trong phân tích ngữ pháp .4 Trích rút tự động văn phạm LTAG cho tiếng Việt .1 Thuật toán trích rút từ VietTreebank .2 Xây dựng thuật toán trích rút từ từ điển tiếng Việt.3 So sánh, đánh giá tập cây khởi tạo trích rút từ VietTreebank và từ điển.5 Kết chương. 109 DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC CỦA NGHIÊN CỨU SINH LIÊN QUAN ĐẾN LUẬN ÁN.

112 TÀI LIỆU THAM KHẢO. 125 vi DANH MỤC HÌNH VẼ Hình 3. 1 Mô hình tổng quan của MAF [59]. Mô hình SynAF [60].

1 Danh sách tần suất và tính trội của các từ lân cận với tính từ “đẹp”. Phác thảo thông tin của 2 từ ”đẹp”, ”xinh”. Một số danh sách các từ có quan hệ ngữ pháp với tính từ “đẹp”. 1 Biểu diễn văn phạm G dưới dạng cây.

Phép thay thế. Phép kết nối .Ví dụ về dẫn xuất với phép kết nối và phép thế trong văn phạm TAG. Xử lý các cụm từ bằng thuật toán 5. Ví dụ minh họa việc xây dựng cây phân tích.

Cây phân tích cú pháp. Cây phân tích của cây cú pháp trong hình 5.7 sau khi chèn thêm nút .Các mẫu cây cơ sở spine (ứng với quan hệ đối–vị từ) và phụ trợ (ứng với quan hệ phụ trợ hoặc đẳng lập). Ghép các nút liên kết, đường đi trung tâm được đánh dấu bởi nét đôi. Số mẫu cây tăng dần theo kích thước của Treebank:.

Sơ đồ so sánh tập cây cơ bản. Một cây cơ bản không hợp lệ. 106 vii DANH MỤC BẢNG Bảng 1. Thống kê các kho ngữ liệu đơn ngữ tiếng Việt.

Thống kê số URL thu được của thuật toán 2. Tỷ lệ văn bản và thẻ xuất hiện trong phần nội dung chính của một số trang web tin tức Việt Nam. So sánh tỷ lệ “nội dung chính văn bản cần lấy/ toàn bộ nội dung văn bản trích rút được”. Kết quả thống kê thu thập tự động kho ngữ liệu từ web .Tập từ loại được đối sánh với danh mục phân loại dữ liệu chuẩn ISO 12620.

Tập nhãn cú pháp thành phần, nhãn phân loại câu được đối sánh với danh mục phân loại dữ liệu chuẩn ISO 12620 .Tập nhãn chức năng cú pháp đối sánh với danh mục phân loại dữ liệu chuẩn ISO 12620. Quá trình trích rút luật theo thuật toán 5. Số các luật thu được .Bảng thành phần trung tâm cho treebank tiếng Việt. Danh sách các đối.Ghép một số nhãn cú pháp của VietTreebank thành một.

Hai văn phạm G1, G2 được trích rút từ VietTreebank. Thống kê bộ cây cơ bản Spin từ từ điển so sánh với cây cơ bản của VietTreebank. 105 viii DANH MỤC CỤM TỪ VIẾT TẮT Cụm từ Cụm từ đầy đủ tiếng Anh Dich tiếng Việt viết tắt ANC The American National Corpus Kho ngữ liệu Quốc gia Mỹ API Application Programming Giao diện lập trình ứng dụng Interface BNC The British National Corpus Kho ngữ liệu Anh ngữ BTE Body Text Extraction Trích văn bản phần thân CES Copus Encoding Standard Tiêu chuẩn mã hóa kho ngữ liệu COCA The Copus of Contemporary Kho ngữ liệu Anh Mỹ hiện đại American English CRF Conditional Random Field Trường ngẫu nhiên có điều kiện HMM Hidden Markov Model Mô hình Markov ẩn HTML HyperText Markup Language Ngôn ngữ đánh dấu siêu văn bản I/O Input/Output Đầu vào/ đầu ra ISO International Organization for Tổ chức tiêu chuẩn hóa Quốc tế Standardization LAF Linguistic Annotation Khung chú giải ngôn ngữ học Framework LDC Linguistic Data Consortium Tổ chức dữ liệu ngôn ngữ học MAF Morphosyntactic Annotation Khung chú giải hình thái cú pháp Framewor MD5 Message Digest 5 Tóm tắt thông điệp MDFA Minimal deterministic nite state Otomat hữu hạn trạng thái tối automata thiểu MEM Maximum Entropy Model Mô hình Entropy cực đại NLP Natural Language Processing Xử lý ngôn ngữ tự nhiên ix POS Part-Of-Speech Từ loại SGML Standard Generalized Markup Ngôn ngữ đánh dấu tổng quát hóa Language chuẩn SynAF Syntactic Annotation Framework Mô hình chú giải cú pháp URL Uniform Resource Locator Định vị tài nguyên đồng nhất WFST Weighted Finit State Transducer Máy chuyển hữu hạn trạng thái có trọng số WWW Worl Wide Web Mạng toàn cầu XML eXtensible Markup Language Ngôn ngữ đánh dấu mở rộng CFG Context Free Grammar Văn phạm phi ngữ cảnh PCFG Probability Context Free Văn phạm phi ngữ cảnh kết hợp Grammar xác suất TAG Tree Adjoining Grammar Văn phạm kết nối cây LTAG Lexicalized Tree Adjoining Văn phạm kết nội cây từ vựng hóa Grammar CYK Cocke – Younger – Kasami Thuật toán CYK algorithm SSL Semi-supervised learning Học bán giám sát x MỞ ĐẦU Đặt vấn đề Những năm gần đây, xử lý ngôn ngữ tự nhiên (XLNNTN) đã trở thành một lĩnh vực khoa học công nghệ được coi là mũi nhọn, với một loạt ứng dụng liên quan đến Internet và Web, như tìm kiếm và trích chọn thông tin trên Web, khai phá văn bản, Web ngữ nghĩa, tóm tắt văn bản v. Các nghiên cứu và ứng dụng về xử lý ngôn ngữ trên thế giới đã có một lịch sử lâu dài và được chia thành các giai đoạn chính như sau [41]: Thời kỳ đầu tiên, bắt đầu từ những năm 1940-1950 mô hình ôtomat và các mô hình xác suất có ảnh hưởng sâu sắc đến xử lý ngôn ngữ.

Giai đoạn tiếp theo (1957-1970) xử lý ngôn ngữ được chia thành hai nhánh tách biệt, nhánh hình thức tập trung vào các vấn đề thuộc lĩnh vực lý thuyết ngôn ngữ hình thức và trí tuệ nhân tạo; kiểu ngẫu nhiên sử dụng trong nhận dạng như các phương pháp Bayes. Giai đoạn 1970-1983 xuất hiện bốn trường phái xử lý ngôn ngữ chính, đó là sử dụng phương pháp ngẫu nhiên; dựa vào logic; hiểu ngôn ngữ tự nhiên; mô hình hóa diễn ngôn.