Luận án TS: Xây dựng, chuẩn hóa & khai thác kho ngữ liệu Internet cho xử lý tiếng Việt
Luận án tiến sĩ nghiên cứu xây dựng, chuẩn hóa & khai thác kho ngữ liệu tiếng Việt từ internet, ứng dụng hiệu quả cho xử lý ngôn ngữ.
Truyền dữ liệu và mạng máy tính
Luan An
Luận án
Năm xuất bản
Số trang
151
Thời gian đọc
23 phút
Lượt xem
1
Lượt tải
0
Phí lưu trữ
50 Point
Tổng quan nhanh
- Chủ đề:
- Tổng quan về ngữ liệu tiếng Việt cho xử lý ngôn ngữ
- Số trang:
- 151 trang
- Trường:
- Học viện Công nghệ Bưu chính Viễn thông
- Chuyên ngành:
- Truyền dữ liệu và mạng máy tính
- Tác giả:
- Phan Thị Hà
- Năm:
- 2014
Tóm tắt nội dung luận án
I.Tổng quan về ngữ liệu tiếng Việt cho xử lý ngôn ngữ
Nghiên cứu xử lý ngôn ngữ tự nhiên (XLTN) tiếng Việt đối mặt nhiều thách thức. Thiếu hụt kho ngữ liệu quy mô lớn và chuẩn hóa là một rào cản chính. Luận án này tập trung xây dựng, chuẩn hóa và khai thác kho ngữ liệu từ Internet. Mục tiêu là tạo ra tài nguyên ngôn ngữ phong phú. Tài nguyên này hỗ trợ hiệu quả các ứng dụng XLTN tiếng Việt. Nó giúp phát triển các mô hình ngôn ngữ tiên tiến. Công việc này đóng góp vào sự tiến bộ của trí tuệ nhân tạo (AI) tiếng Việt. Luận án giải quyết các vấn đề cốt lõi. Chúng bao gồm việc thu thập dữ liệu, chuẩn hóa cấu trúc và phương pháp khai thác đa dạng. Ngữ liệu tiếng Việt đầy đủ là nền tảng cho mọi tiến bộ XLTN.
1.1. Tầm quan trọng của kho ngữ liệu
Kho ngữ liệu là xương sống của mọi hệ thống XLTN hiện đại. Chúng cung cấp dữ liệu huấn luyện cho các thuật toán học máy. Ngữ liệu tiếng Việt phong phú giúp các mô hình hiểu sâu sắc hơn về ngôn ngữ. Dữ liệu chất lượng cao cải thiện độ chính xác của các tác vụ như dịch máy, nhận dạng giọng nói, và phân tích văn bản tiếng Việt. Sự tồn tại của kho dữ liệu Internet khổng lồ mở ra cơ hội mới. Việc khai thác dữ liệu này là cần thiết để đẩy mạnh nghiên cứu và ứng dụng.
1.2. Thách thức trong xử lý tiếng Việt
Tiếng Việt là ngôn ngữ phức tạp. Cấu trúc ngữ pháp, từ vựng và đặc tính không có khoảng trắng phân tách từ gây khó khăn. Việc thiếu các tài nguyên ngôn ngữ có chú giải lớn làm chậm tiến độ. Các công cụ XLTN tiếng Việt hiện có vẫn chưa đạt độ chính xác cao. Việc xây dựng ngữ liệu từ Internet đặt ra nhiều thách thức. Chúng bao gồm lọc nhiễu, chuẩn hóa đa dạng và đảm bảo chất lượng dữ liệu. Đây là những vấn đề trọng tâm cần giải quyết.
II.Xây dựng kho ngữ liệu Internet tiếng Việt quy mô lớn
Việc xây dựng ngữ liệu thô từ Internet là bước đầu tiên quan trọng. Quá trình này bắt đầu bằng việc lựa chọn các từ hạt giống. Các từ này định hướng việc thu thập các trang web liên quan. Địa chỉ URL sau đó được thu thập và mở rộng. Đây là nền tảng cho kho dữ liệu Internet khổng lồ. Mục tiêu là thu thập một lượng lớn văn bản tiếng Việt. Dữ liệu này cần đủ đa dạng để phản ánh sự phong phú của ngôn ngữ. Công việc này đặt nền móng cho các nghiên cứu XLTN tiếng Việt tiếp theo.
2.1. Quy trình thu thập dữ liệu Internet
Quy trình thu thập bắt đầu bằng danh sách các từ khóa hạt giống. Các từ này giúp xác định các trang web tiềm năng. Từ các trang web ban đầu, hệ thống tiếp tục thu thập các liên kết liên quan. Việc này giúp mở rộng kho dữ liệu. Thuật toán được thiết kế để tự động hóa quá trình này. Dữ liệu thu thập được bao gồm nhiều định dạng khác nhau. Chúng cần được xử lý và chuẩn hóa ở các bước sau.
2.2. Lọc nội dung phát hiện trùng lặp
Các trang web thường chứa nhiều nội dung không liên quan. Chúng bao gồm quảng cáo, menu, và mã HTML. Hệ thống cần lọc bỏ các thành phần này để giữ lại nội dung chính. Sau khi lọc, dữ liệu vẫn có thể chứa các bản sao gần nhau. Thuật toán phát hiện sự trùng lặp gần nhau được áp dụng. Điều này giúp giảm kích thước ngữ liệu. Nó cũng đảm bảo sự đa dạng của các văn bản. Giảm trùng lặp là rất quan trọng để tránh sai lệch trong quá trình huấn luyện mô hình ngôn ngữ.
2.3. Công cụ thu thập dữ liệu hiệu quả
Một công cụ thu thập dữ liệu chuyên biệt đã được xây dựng. Công cụ này tự động hóa toàn bộ quá trình. Nó từ thu thập URL đến lọc và phát hiện trùng lặp. Công cụ đảm bảo hiệu quả và tốc độ. Kết quả là một kho ngữ liệu tiếng Việt thô lớn. Kho này sẵn sàng cho các giai đoạn xử lý tiếp theo. Sự phát triển công cụ này là một đóng góp quan trọng. Nó giúp tiết kiệm thời gian và tài nguyên cho việc xây dựng ngữ liệu.
III.Chuẩn hóa mô hình chú giải ngữ liệu tiếng Việt hiệu quả
Sau khi thu thập, kho ngữ liệu thô cần được chuẩn hóa. Quá trình này bao gồm việc chú giải ngôn ngữ theo các mô hình quốc tế. Luận án áp dụng các mô hình MAF (Morphosyntactic Annotation Framework) và SynAF (Syntactic Annotation Framework) của ISO/TC 37/SC 4. Mục đích là tạo ra tài nguyên ngôn ngữ có cấu trúc rõ ràng. Ngữ liệu tiếng Việt được chú giải sẽ dễ dàng khai thác hơn. Nó cung cấp thông tin hình thái và cú pháp chi tiết. Đây là bước quan trọng để nâng cao chất lượng dữ liệu cho XLTN tiếng Việt.
3.1. Áp dụng chuẩn MAF và SynAF
Mô hình MAF được sử dụng để chuẩn hóa thông tin hình thái. Nó xác định các đơn vị cơ sở (segment) và hình thái từ (wordform). Mô hình này cung cấp khung sườn cho việc gắn nhãn hình thái cú pháp. Mô hình SynAF bổ sung việc chú giải cú pháp. Các chuẩn này đảm bảo tính nhất quán. Nó giúp ngữ liệu có thể tương tác với các hệ thống khác. Việc áp dụng chuẩn quốc tế là cần thiết. Nó giúp xây dựng các tài nguyên ngôn ngữ có giá trị toàn cầu.
3.2. Chú giải hình thái và cú pháp tiếng Việt
Quá trình chú giải hình thái cho tiếng Việt bao gồm việc xác định từ loại và các đặc điểm ngữ pháp. Ví dụ, phân biệt danh từ, động từ, tính từ. Chú giải cú pháp liên quan đến việc xác định các mối quan hệ giữa các từ trong câu. Điều này bao gồm cấu trúc câu và các phụ thuộc ngữ pháp. Việc này tạo ra một kho ngữ liệu có chú giải sâu. Ngữ liệu này là tài nguyên quý giá cho các nghiên cứu mô hình ngôn ngữ. Nó hỗ trợ phát triển các công cụ phân tích văn bản tiếng Việt.
IV.Khai thác ngữ liệu thô để phân tích từ vựng tiếng Việt
Kho ngữ liệu thô đã xây dựng được khai thác hiệu quả cho nghiên cứu từ vựng. Luận án sử dụng nền tảng Sketch Engine để phân tích dữ liệu. Sketch Engine là một công cụ mạnh mẽ cho ngôn ngữ học từ vựng. Nó giúp khám phá các mẫu sử dụng từ và cấu trúc ngữ pháp phổ biến. Việc này cung cấp cái nhìn sâu sắc về tiếng Việt. Dữ liệu này rất quan trọng cho các ứng dụng học máy cho tiếng Việt. Nó giúp cải thiện chất lượng của các mô hình ngôn ngữ và phân tích văn bản tiếng Việt.
4.1. Ứng dụng Sketch Engine cho tiếng Việt
Để tích hợp ngữ liệu tiếng Việt vào Sketch Engine, nhiều bước xử lý được thực hiện. Đầu tiên là tách từ và gán nhãn từ loại (POS tagging). Đây là nền tảng cho mọi phân tích sau đó. Sau đó, một bộ quan hệ ngữ pháp tiếng Việt được xây dựng. Bộ này giúp Sketch Engine nhận diện các collocation và cấu trúc ngữ pháp đặc trưng. Việc triển khai Sketch Engine cho tiếng Việt cung cấp một công cụ mạnh mẽ. Nó hỗ trợ các nhà nghiên cứu ngôn ngữ và phát triển AI tiếng Việt.
4.2. Xây dựng bộ quan hệ ngữ pháp tiếng Việt
Bộ quan hệ ngữ pháp là trọng tâm của việc khai thác từ vựng. Nó xác định các mối liên hệ phổ biến giữa các từ. Ví dụ, mối quan hệ giữa động từ và tân ngữ, tính từ và danh từ. Việc xây dựng bộ này yêu cầu kiến thức chuyên sâu về tiếng Việt. Nó cũng đòi hỏi kinh nghiệm trong phân tích văn bản tiếng Việt. Bộ quan hệ ngữ pháp được đánh giá cẩn thận. Mục tiêu là đảm bảo độ chính xác cao nhất. Điều này cải thiện khả năng phân tích và tạo sinh ngôn ngữ của các mô hình.
V.Phân tích cú pháp tiếng Việt với ngữ liệu chú giải sâu
Kho ngữ liệu có chú giải sâu là tài nguyên quý giá cho phân tích cú pháp. Luận án khám phá việc trích rút tự động các văn phạm. Các văn phạm hình thức như CFG (Context Free Grammar) và LTAG (Tree Adjoining Grammar) được nghiên cứu. Mục tiêu là xây dựng các mô hình ngôn ngữ mạnh mẽ hơn. Các mô hình này cần có khả năng phân tích cấu trúc câu tiếng Việt. Công việc này đóng góp vào phát triển trí tuệ nhân tạo (AI) tiếng Việt. Nó giúp cải thiện sự hiểu biết của máy đối với ngôn ngữ con người.
5.1. Trích rút văn phạm CFG tự động
Thuật toán trích rút văn phạm CFG được phát triển. Nó dựa trên dữ liệu từ VietTreebank. Việc trích rút này tạo ra một bộ quy tắc ngữ pháp. Bộ này dùng để phân tích cú pháp tiếng Việt. Phân tích cú pháp với văn phạm PCFG (Probabilistic Context Free Grammar) được thực hiện. Thử nghiệm và đánh giá cho thấy tiềm năng. Tuy nhiên, PCFG cũng có những nhược điểm cố hữu. Nó gặp khó khăn trong việc xử lý các cấu trúc phức tạp của tiếng Việt.
5.2. Hạn chế PCFG tiềm năng LTAG
Nhược điểm của văn phạm PCFG nằm ở khả năng thể hiện các phụ thuộc xa. Nó cũng gặp hạn chế trong xử lý các cấu trúc ngữ pháp đặc thù của tiếng Việt. Để vượt qua các hạn chế này, luận án nghiên cứu LTAG. Thuật toán trích rút LTAG tự động được xây dựng. Nó sử dụng cả VietTreebank và từ điển tiếng Việt. LTAG có khả năng mô tả tốt hơn các cấu trúc phức tạp. Nó mang lại tiềm năng lớn cho phân tích cú pháp tiếng Việt chính xác hơn. Việc này góp phần vào sự tiến bộ của học máy cho tiếng Việt.
Mục lục chi tiết luận án
Tải xuống file đầy đủ để xem toàn bộ nội dung
Tải đầy đủ (151 trang)Nội dung chính
Tổng quan về luận án
Trong kỷ nguyên bùng nổ dữ liệu số, xử lý ngôn ngữ tự nhiên (NLP) trở thành lĩnh vực khoa học công nghệ mũi nhọn, đóng vai trò nền tảng cho hàng loạt ứng dụng như khai phá văn bản, máy tìm kiếm ngữ nghĩa, dịch tự động và tóm tắt văn bản. Tuy nhiên, trước năm 2014, hạ tầng tài nguyên ngôn ngữ học tính toán cho tiếng Việt đối mặt với tình trạng thiếu hụt nghiêm trọng. Các kho ngữ liệu đơn ngữ truyền thống như tập dữ liệu thuộc Chương trình Khoa học Công nghệ cấp Nhà nước KC01.01/06-10 chỉ đạt quy mô giới hạn gồm 69.409 câu tách từ, 10.455 câu gán nhãn từ loại và 10.268 câu gán nhãn cú pháp (VietTreebank); trong khi kho ngữ liệu VietLex dù tích lũy được 80 triệu âm tiết nhưng quy trình xây dựng thủ công kéo dài từ năm 1981 tiêu tốn quá nhiều thời gian và nguồn lực.
Khoảng trống nghiên cứu (research gap) cốt lõi nằm ở việc thiếu vắng một quy trình tự động hóa hoàn chỉnh để thu thập, làm sạch và loại bỏ trùng lặp kho ngữ liệu tiếng Việt quy mô lớn từ nguồn Internet (Web-as-Corpus), đồng thời thiếu một khung chuẩn hóa biểu diễn hình thái - cú pháp tương thích quốc tế và cơ chế tự động trích rút văn phạm hình thức từ dữ liệu có chú giải. Công trình của nghiên cứu sinh Phan Thị Hà (2014) tại Học viện Công nghệ Bưu chính Viễn thông, dưới sự hướng dẫn của PGS.TS Trần Hồng Quân và TS Nguyễn Thị Minh Huyền, mang tính tiên phong khi giải quyết toàn diện chuỗi mắt xích: Xây dựng – Chuẩn hóa – Khai thác kho ngữ liệu quy mô lớn cho tiếng Việt.
Hệ thống câu hỏi và giả thuyết nghiên cứu được xác lập tường minh:
- RQ1: Làm thế nào để xây dựng thuật toán thu thập và trích xuất tự động nội dung văn bản thuần tiếng Việt từ Web với độ chính xác cao và loại bỏ nhiễu cấu trúc siêu văn bản tối ưu? (H1: Bổ sung bước tiền xử lý lọc thẻ nâng cao vào thuật toán Body Text Extraction sẽ nâng tỷ lệ văn bản hữu ích đạt trên 90%).
- RQ2: Mô hình chuẩn hóa quốc tế nào của ISO/TC 37/SC 4 phù hợp để biểu diễn dữ liệu hình thái và cú pháp tiếng Việt nhằm tối ưu hóa khả năng liên thông dữ liệu? (H2: Đặc tả mô hình MAF và SynAF ánh xạ danh mục dữ liệu ISO 12620 sẽ chuẩn hóa toàn diện cấu trúc ngữ liệu tiếng Việt).
- RQ3: Làm thế nào để tự động hóa quá trình trích xuất văn phạm phi ngữ cảnh kết hợp xác suất (PCFG) và văn phạm kết nối cây từ vựng hóa (LTAG) phục vụ phân tích cú pháp tự động? (H3: Khai thác kết hợp VietTreebank và từ điển điện tử cho phép trích xuất bộ cây cơ bản LTAG chuẩn xác, lọc bỏ hoàn toàn các cấu trúc dị thường).
Khung lý thuyết của luận án tích hợp trường phái Ngôn ngữ học ngữ liệu (Corpus Linguistics) của Sinclair, Lý thuyết ngữ pháp tạo sinh (Generative Grammar) của Noam Chomsky, Văn phạm kết nối cây (Tree Adjoining Grammar) của Aravind Joshi và chuẩn mực quản lý tài nguyên ngôn ngữ ISO/TC 37/SC 4. Luận án ghi nhận đột phá định lượng khi thu thập thành công 100 triệu từ (1.09 GB văn bản thô qua công cụ Vncopus trong 96 giờ), xác lập 37 quan hệ ngữ pháp tiếng Việt tích hợp vào Sketch Engine và tự động trích rút hệ thống luật văn phạm PCFG/LTAG hoàn chỉnh, thiết lập cột mốc quan trọng cho hạ tầng NLP tiếng Việt.
Literature Review và Positioning
Lịch sử phát triển của ngôn ngữ học tính toán thế giới chứng kiến bước chuyển dịch quan trọng từ các mô hình dựa trên luật hình thức (1957–1970) sang các mô hình thống kê học máy dựa trên dữ liệu (Empirical Data-Driven) từ thập niên 1990 trở lại đây (Manning & Schütze, 1999; Jurafsky & Martin, 2008). Trong xu hướng này, các kho ngữ liệu quốc gia quy mô lớn đóng vai trò là "xương sống" cho mọi tiến bộ công nghệ:
- Kho ngữ liệu tiếng Anh BNC (British National Corpus) với 100 triệu từ (Burnard, 2007).
- Kho ngữ liệu COCA (Corpus of Contemporary American English) với hơn 425 triệu từ được cập nhật liên tục (Davies, 2011).
- Ngân hàng cây cú pháp Penn Treebank (Marcus et al., 1993) với 7 triệu từ gán nhãn POS và 3 triệu từ gán nhãn cú pháp thành phần.
- Các dự án quốc tế như Chinese Treebank (Xue et al., 2005) với 1 triệu từ hay Tiger Treebank tiếng Đức (Brants et al., 2004) với 900.000 từ.
Cuộc tranh luận học thuật trung tâm diễn ra giữa hai trường phái: Một bên là phương pháp thu thập truyền thống có kiểm soát nghiêm ngặt của các nhà từ điển học (Sinclair, 1991), bảo đảm độ chính xác tối đa nhưng tốc độ phát triển chậm và chi phí khổng lồ; bên kia là trường phái Web-as-Corpus (Kilgarriff & Grefenstette, 2003; Baroni et al., 2009 với sáng kiến WaCky gồm ukWaC, deWaC, itWaC vượt ngưỡng 1 tỷ từ) khẳng định web là nguồn dữ liệu sống động, cập nhật khách quan các hiện tượng ngôn ngữ thực tế. Luận án định vị nghiên cứu theo trường phái tiếp cận dữ liệu Web có kiểm soát chất lượng, khắc phục nhược điểm nhiễu cấu trúc bằng các giải pháp thuật toán thích ứng đặc thù cho cấu trúc HTML của các trang tin tức Việt Nam.
So sánh với các nghiên cứu quốc tế:
- So với nghiên cứu trích xuất thân văn bản BTE của Aidan Finn (2001), luận án khắc phục triệt để nhược điểm sót mã script phức tạp trong các trang tin điện tử hiện đại bằng cơ chế tiền xử lý loại bỏ vùng thẻ rác (Bước 0).
- So với kiến trúc truy vấn từ vựng Sketch Engine của Kilgarriff et al. (2004) triển khai trên các ngôn ngữ Ấn-Âu, nghiên cứu đã tiên phong giải mã bài toán ranh giới từ không dùng khoảng trắng và thiết lập hệ thống biểu thức chính quy biểu diễn 37 quan hệ ngữ pháp tiếng Việt.
Đóng góp lý thuyết và khung phân tích
+-------------------------------------------------------------+
| THU THẬP VÀ XỬ LÝ DỮ LIỆU TỪ INTERNET |
| (5000 Từ hạt giống -> 25.000 Truy vấn -> 188.325 URLs) |
+------------------------------+------------------------------+
|
v
+-------------------------------------------------------------+
| TIỀN XỬ LÝ & LỌC DỮ LIỆU |
| - BTE Cải tiến O(n^2) (Độ chính xác: 92% - 95%) |
| - Lọc trùng lặp Text::DeDuper (5-gram, Resemblance = 0.2) |
| - Kho ngữ liệu thô Vncopus: 100 triệu từ (1.09 GB) |
+------------------------------+------------------------------+
|
+------------------------+------------------------+
| |
v v
+------------------------------------------------+ +-----------------------------------------------+
| CHUẨN HÓA MÔ HÌNH CHÚ GIẢI | | KHAI THÁC KHO NGỮ LIỆU |
| - MAF (ISO 24611): Phân đoạn từ, Wordform | | 1. Nghiên cứu từ vựng (Sketch Engine): |
| - SynAF (ISO 24615): Cấu trúc cú pháp đa tầng | | - 37 Quan hệ ngữ pháp tiếng Việt |
| - Đối sánh danh mục dữ liệu chuẩn ISO 12620 | | - Thống kê Salience & Collocations |
+------------------------------------------------+ | 2. Phân tích cú pháp (VietTreebank): |
| - PCFG + PCYK Cải tiến (Cố định POS = 1) |
| - LTAG: Trích xuất & Lọc cây cơ bản Spine |
+-----------------------------------------------+
Đóng góp cho lý thuyết
Nghiên cứu tạo ra những bước tiến lý thuyết đáng kể:
- Mở rộng Lý thuyết Ngữ pháp Tạo sinh của Chomsky (1956, 1965): Hiện thực hóa mô hình Văn phạm phi ngữ cảnh kết hợp xác suất (PCFG) vào tiếng Việt – một ngôn ngữ đơn lập, không biến hình đuôi, nơi quan hệ ngữ pháp được xác lập chủ yếu qua trật tự từ và hư từ.
- Phát triển Lý thuyết Văn phạm Kết nối Cây (TAG) của Joshi (1975, 1997): Ứng dụng mô hình LTAG (Lexicalized Tree Adjoining Grammar) để phân tách tường minh quan hệ đối vị ngữ (Spine Trees) và quan hệ phụ trợ/đẳng lập (Auxiliary Trees), giải quyết triệt để bài toán phụ thuộc xa và hiện tượng đảo trật tự từ trong cú pháp tiếng Việt.
- Chuyển dịch mô thức (Paradigm Shift): Chuyển từ phương pháp biên soạn từ điển học định tính truyền thống sang mô hình Thống kê Phân bố Từ vựng học lượng hóa (Salience / Mutual Information Metric theo Church & Hanks, 1990; Kilgarriff, 2004), cho phép định lượng hóa chính xác độ trội ngữ nghĩa giữa các kết hợp từ.
Khung phân tích độc đáo
Khung phân tích của luận án là sự hợp nhất của ba trụ cột lý thuyết lớn:
- Lý thuyết Mã hóa Ngữ liệu: Khung chuẩn hóa chú giải hình thái MAF (ISO 24611) và cú pháp SynAF (ISO 24615), bảo đảm ánh xạ tương thích 1:1 với Danh mục phân loại dữ liệu chuẩn ISO 12620.
- Lý thuyết Trích xuất Nội dung Văn bản Cấu trúc: Kết hợp mô hình mật độ văn bản/thẻ nhị phân với thuật toán đối sánh shingle (Broder, 1997) để xử lý dữ liệu web quy mô lớn.
- Lý thuyết Văn phạm Thống kê Hình thức: Tích hợp bộ phân tích thống kê PCYK cải tiến trên cây dẫn xuất của VietTreebank với kho tri thức ngữ nghĩa từ điển học VietLex. Điều kiện biên (Boundary conditions): Khung phân tích được tối ưu hóa cho văn bản tiếng Việt hiện đại dạng viết (chuẩn chính tả báo chí và văn bản phổ thông), cấu trúc ngữ pháp tuân thủ các quy chuẩn phân tích thành phần của VietTreebank.
Phương pháp nghiên cứu tiên tiến
Thiết kế nghiên cứu
- Triết lý nghiên cứu: Thực chứng luận (Positivism) kết hợp với chủ nghĩa kinh nghiệm tính toán (Computational Empiricism). Nghiên cứu kiểm chứng các giả thuyết ngôn ngữ học thông qua phân tích dữ liệu quy mô lớn (100 triệu từ).
- Thiết kế đa tầng (Multi-level Design):
- Mức 1 (Hình thái - Từ vựng): Nhận diện ranh giới từ đa âm tiết, xác lập thuộc tính từ loại (POS tagging).
- Mức 2 (Ngữ pháp từ vựng): Phân tích các mẫu kết hợp cú pháp cục bộ và cấu trúc liên kết từ qua Sketch Engine.
- Mức 3 (Cú pháp câu toàn thể): Phân rã cấu trúc câu thành cây cú pháp phân cấp thông qua PCFG và LTAG.
Quy trình nghiên cứu rigorous
Quy trình xây dựng và xử lý dữ liệu vận hành qua 5 pha chặt chẽ:
[5000 Từ hạt giống (Wiki)]
│
▼
[Thuật toán 2.1: Sinh 25.000 Truy vấn (n=4)] ──> [Máy tìm kiếm Bing (Đa luồng)] ──> [188.325 URLs]
│
▼
[Kho văn bản thô 100 triệu từ (1.09 GB)] <── [Text::DeDuper (5-gram, w=0.2)] <── [BTE Cải tiến O(n^2)]
- Lựa chọn từ hạt giống: Xây dựng danh sách tần suất từ 57 MB văn bản Wiki tiếng Việt (6.8 triệu âm tiết đã loại bỏ các bài < 10 KB). Loại bỏ 1000 stop words có tần suất cao nhất, chọn 5000 từ có tần suất trung bình với tiêu chí bắt buộc chứa ít nhất một ký tự Unicode ngoài bảng mã ASCII.
- Sinh truy vấn và thu thập URL: Sử dụng thuật toán tổ hợp sinh truy vấn độ dài tối ưu $n=4$ (Thuật toán 2.1, độ phức tạp $O(n^2)$). Gửi 25.000 truy vấn đa luồng tới Bing API, thu về 188.325 URLs duy nhất sau khi sắp xếp cây nhị phân HeapSort ($O(n \log n)$).
- Lọc nội dung chính (BTE cải tiến):
- Bước 0: Loại bỏ các khối thẻ mã rác không chứa nội dung:
<input>,<script>,<img>,<style>,<marquee>,<!--...-->,<a>, và toàn bộ phần ngoài cặp thẻ<body>...</body>. - Bước 1: Xây dựng mảng nhị phân $binary_tokens[] \in {1, -1}$ tương ứng với thẻ HTML và từ văn bản. Gộp các phần tử đồng nhất liền kề để thu gọn kích thước ($O(n)$).
- Bước 2: Xác định cặp chỉ số tối ưu $[i, j]$ sao cho tổng số phần tử văn bản ($-1$) trong $[i, j]$ và số phần tử thẻ ($1$) ngoài $[i, j]$ đạt cực đại ($O(n^2)$).
- Kiểm định tính kết nối: Áp dụng ngưỡng tỷ lệ từ chức năng (500 từ chức năng đầu bảng phải chiếm $\ge 65%$ trong phân vị 70% của tài liệu).
- Bước 0: Loại bỏ các khối thẻ mã rác không chứa nội dung:
- Phát hiện trùng lặp gần (Near-duplicate Detection): Ứng dụng mô hình $w$-shingle ($w=5$) của Broder (1997) qua module
Text::DeDuper. Độ đo giống nhau (resemblance) giữa hai tài liệu $A, B$ được tính toán: $$r(A, B) = \frac{|S(A, w) \cap S(B, w)|}{|S(A, w) \cup S(B, w)|}$$ Thiết lập ngưỡng tương đồng $r = 0.2$ trên cửa sổ trượt (sliding window) 500 tệp cố định trong bộ nhớ để loại trừ văn bản sao chép. - Chuẩn hóa và Chú giải: Tích hợp công cụ tách từ
vnTokenizer(Lê Hồng Phương), gán nhãn từ loạivnTaggervà đối sánh nhãn cấu trúc cú pháp sang chuẩn MAF/SynAF của ISO/TC 37/SC 4.
Data và phân tích
- Đặc tính mẫu: Tập ngữ liệu thô thu thập đạt 100 triệu từ (1.09 GB). Tập huấn luyện cú pháp VietTreebank gồm 10.268 câu chuẩn.
- Kỹ thuật trích xuất văn phạm:
- PCFG: Trích rút tập luật phân tích thành phần $A \rightarrow \alpha$, ước lượng xác suất cực đại $P(A \rightarrow \alpha) = \frac{Count(A \rightarrow \alpha)}{\sum_\beta Count(A \rightarrow \beta)}$. Cải tiến thuật toán phân tích PCYK của Jurafsky & Martin bằng cách cố định xác suất phát xạ $P(w|POS) = 1$ cho các câu đã tiền xử lý gán nhãn từ loại chính xác, giảm thiểu không gian tìm kiếm.
- LTAG: Thuật toán bóc tách cây cơ bản xác định từ trung tâm (Head word) qua bảng phân cấp thành phần trung tâm, phân lập cấu trúc Spine và cây phụ trợ, đối sánh chéo với từ điển điện tử 35.000 mục từ (41.700 nghĩa) của VietLex để thanh lọc các mẫu cây cú pháp sai lệch.
Phát hiện đột phá và implications
Những phát hiện then chốt
- Hiệu năng vượt trội của thuật toán BTE cải tiến: Thử nghiệm đối sánh trực tiếp trên 100 tệp ngẫu nhiên từ 3 báo điện tử lớn nhất Việt Nam chứng minh thuật toán cải tiến vượt trội rõ rệt so với thuật toán BTE gốc của Aidan Finn:
- Báo Vietnamnet: Đạt tỷ lệ $93%$ nội dung hữu ích (so với $85%$ của Aidan Finn).
- Báo Dantri: Đạt tỷ lệ $92%$ (so với $86%$ của Aidan Finn).
- Báo Vnexpress: Đạt tỷ lệ $95%$ (so với $87%$ của Aidan Finn).
- Khám phá hiện tượng kết hợp từ vựng độc đáo: Thông qua độ đo Salience trên Sketch Engine với 37 quan hệ ngữ pháp, hệ thống đã chỉ ra sự phân hóa kết hợp từ sắc thái ngữ nghĩa rõ rệt giữa hai tính từ gần nghĩa "đẹp" và "xinh". Dữ liệu định lượng chỉ ra "đẹp" có phổ kết hợp rộng cả cụ thể lẫn trừu tượng (như "bức tranh đẹp", "tâm hồn đẹp", "thắng lợi đẹp"), trong khi "xinh" có độ tập trung cao trong quan hệ bổ ngữ hình thể con người ("gương mặt xinh", "cô gái xinh").
- Phát hiện cấu trúc cây cú pháp dị thường trong VietTreebank: Quá trình đối sánh giữa tập cây LTAG trích xuất tự động từ VietTreebank và tập cây chuẩn sinh ra từ khung từ điển cấu trúc của VietLex đã phát hiện và lọc bỏ các mẫu cây phân rã sai quy tắc ngữ pháp (như các nút gán nhãn thành phần thiếu từ trung tâm, lỗi cấu trúc phụ ngữ đảo).
- Chứng minh tính khả thi của mô hình học bán giám sát (Semi-supervised Learning): Kho ngữ liệu 100 triệu từ tạo lập tiền đề vững chắc cho việc mở rộng thuật toán Conditional Random Fields (CRF) theo mô hình của Isozaki et al. (2007) và Suzuki et al. (2008), vượt qua trần hiệu năng của các mô hình học có giám sát truyền thống bị giới hạn bởi tập mẫu nhỏ.
Implications đa chiều
- Về mặt lý thuyết: Chứng minh tính tương thích hoàn hảo của các khung chuẩn hóa trừu tượng ISO (MAF, SynAF) đối với ngôn ngữ đơn lập không biến hình như tiếng Việt; củng cố lý thuyết văn phạm LTAG trong việc biểu diễn cú pháp phức hợp.
- Về mặt phương pháp luận: Cung cấp quy trình khép kín, có thể tái lập hoàn toàn (fully replicable protocol) cho bài toán xây dựng kho ngữ liệu từ Internet cho các ngôn ngữ tài nguyên thấp (low-resource languages).
- Về ứng dụng thực tiễn: Tạo ra công cụ
Vncopusvà bộ ngữ liệu Sketch Engine tiếng Việt phục vụ trực tiếp cho các nhà từ điển học, các nhóm phát triển dịch máy tự động Anh-Việt và hệ thống hỏi đáp thông minh. - Khuyến nghị chính sách: Đề xuất Bộ Thông tin và Truyền thông, Viện Hàn lâm Khoa học và Công nghệ Việt Nam ban hành chuẩn chú giải MAF/SynAF làm tiêu chuẩn kỹ thuật quốc gia bắt buộc cho các dự án số hóa tài nguyên ngôn ngữ.
Limitations và Future Research
Nghiên cứu thẳng thắn thừa nhận các hạn chế khoa học:
- Độ bao phủ thể loại văn bản: Dữ liệu thu thập từ Internet chủ yếu tập trung vào thể loại báo chí, tin tức trực tuyến; các văn bản chuyên ngành sâu (y khoa, luật học cổ, văn học cổ điển) chưa đạt tỷ trọng cân bằng.
- Phụ thuộc vào công cụ tiền xử lý: Độ chính xác của các luật trích xuất văn phạm PCFG/LTAG chịu ảnh hưởng trực tiếp từ sai số tích lũy của các công cụ tách từ (
vnTokenizer) và gán nhãn từ loại (vnTagger). - Giới hạn phần cứng trong phân tích cú pháp: Độ phức tạp thời gian của bộ phân tích cú pháp LTAG vẫn ở mức đa thức bậc cao $O(n^6)$, đòi hỏi tài nguyên tính toán lớn khi xử lý các câu có độ dài trên 40 từ.
Chương trình nghiên cứu 5–10 năm tới:
- Mở rộng kho ngữ liệu lên quy mô hàng tỷ từ (Multi-gigaword Web Corpus) kết hợp kỹ thuật thu thập mạng xã hội và diễn đàn học thuật.
- Xây dựng mô hình Semantic Annotation Framework (SemAF) chuẩn hóa ngữ nghĩa và khung tri thức thực thể liên kết (Linked Open Data / Semantic Web).
- Tích hợp văn phạm trích xuất tự động vào các kiến trúc học sâu (Deep Learning) và mô hình ngôn ngữ lớn tiền huấn luyện (Pre-trained Language Models).
Tác động và ảnh hưởng
- Tác động học thuật: Đặt nền móng cho việc chuẩn hóa dữ liệu NLP tại Việt Nam. Các bài báo công bố từ luận án trên các tạp chí và hội thảo chuyên ngành trở thành tài liệu tham khảo then chốt trong lĩnh vực xử lý ngôn ngữ tiếng Việt.
- Chuyển đổi công nghiệp: Công cụ Vncopus và cấu hình Sketch Engine cung cấp giải pháp trực tiếp cho các nhà xuất bản từ điển (như Trung tâm Từ điển học VietLex), các doanh nghiệp phát triển cổng thông tin và máy tìm kiếm nội địa.
- Lợi ích xã hội: Thúc đẩy quá trình bảo tồn, chuẩn hóa và phát triển tiếng Việt số hóa trên không gian mạng toàn cầu, tạo điều kiện thuận lợi cho cộng đồng học máy tiếp cận nguồn tài nguyên mở.
Đối tượng hưởng lợi
- Nghiên cứu sinh & Nhà khoa học NLP: Tiếp cận phương pháp luận thu thập ngữ liệu chuẩn mực, kế thừa bộ luật văn phạm PCFG/LTAG và dữ liệu cây cú pháp đã làm sạch.
- Chuyên gia Từ điển học: Sử dụng hệ thống Sketch Engine tiếng Việt với 37 quan hệ ngữ pháp để biên soạn từ điển ngữ cảnh khách quan, chính xác gấp nhiều lần phương pháp tra cứu thủ công.
- Doanh nghiệp R&D Công nghệ thông tin: Tích hợp bộ mã nguồn mở Vncopus và mô hình chuẩn hóa MAF/SynAF vào các sản phẩm khai phá văn bản, giám sát truyền thông và phân tích cảm xúc khách hàng.
- Cơ quan Hoạch định Chính sách Khoa học: Sở hữu cơ sở dữ liệu thực nghiệm chuẩn xác để ban hành các tiêu chuẩn quốc gia về trao đổi tài nguyên ngôn ngữ điện tử.
Câu hỏi chuyên sâu
1. Đóng góp lý thuyết độc đáo nhất của luận án là gì?
Luận án đã mở rộng lý thuyết Văn phạm Kết nối Cây từ vựng hóa (LTAG) của Aravind Joshi cho tiếng Việt bằng cách xây dựng thuật toán trích xuất tự động tập cây cơ bản (Spine & Auxiliary Trees) từ VietTreebank kết hợp với tri thức từ điển điện tử VietLex. Đóng góp này chứng minh rằng cấu trúc cú pháp của một ngôn ngữ đơn lập hoàn toàn có thể được mô hình hóa toán học chính xác dưới dạng hệ thống cây kết nối từ vựng hóa, giải quyết triệt để sự nhập nhằng cú pháp mà văn phạm CFG thuần túy không xử lý được.
2. Đột phá phương pháp luận so với các nghiên cứu tiền nhiệm?
So với thuật toán BTE của Aidan Finn (2001) và quy trình BootCaT của Kilgarriff (2010), luận án tạo ra 2 đột phá cốt lõi:
- Phát triển bước tiền xử lý Bước 0 loại bỏ triệt để các thẻ mã HTML nâng cao và cấu trúc kịch bản nhúng, nâng tỷ lệ trích xuất nội dung thân văn bản chính xác từ $85% - 87%$ lên $92% - 95%$.
- Cải tiến thuật toán phân tích cú pháp thống kê PCYK của Martin bằng cơ chế cố định xác suất từ loại $P(w|POS) = 1$ cho văn bản đã tiền gán nhãn, giảm độ phức tạp tính toán và nâng cao độ chính xác phân tích cú pháp câu tiếng Việt.
3. Phát hiện thực nghiệm nào bất ngờ nhất từ dữ liệu?
Phát hiện bất ngờ nhất là sự tồn tại của các mẫu cây cú pháp không hợp lệ (sai lệch cấu trúc từ trung tâm) trong kho ngữ liệu chuẩn VietTreebank khi đối sánh với không gian ngữ pháp từ điển học. Điều này chứng minh rằng phương pháp gán nhãn thủ công hoặc bán tự động của con người luôn tiềm ẩn lỗi hệ thống, và việc sử dụng thuật toán trích xuất tự động đối sánh chéo là phương pháp kiểm định chất lượng (validation) hữu hiệu cho chính các ngân hàng cây cú pháp quốc gia.
4. Giao thức tái lập nghiên cứu (Replication Protocol) có được cung cấp đầy đủ?
Luận án cung cấp tường minh toàn bộ giao thức thực nghiệm:
- Bộ 5000 từ hạt giống và thuật toán sinh truy vấn ngẫu nhiên độ dài $n=4$ (Thuật toán 2.1).
- Thuật toán trích xuất BTE cải tiến với đầy đủ mã giả và thông số ngưỡng.
- Module lọc trùng lặp
Text::DeDuper(5-gram, $w=0.2$, sliding window = 500). - Hệ thống công cụ
Vncopusvà mã nguồn phân tích cú pháp PCFG/PCYK được công bố công khai tại cổng khoa học công nghệ của tác giả.
5. Tầm nhìn chương trình nghiên cứu 10 năm được định hình thế nào?
Lộ trình nghiên cứu dài hạn hướng tới: (1) Nâng cấp kho ngữ liệu lên quy mô Multi-Gigaword bao phủ toàn diện ngôn ngữ nói và viết đa phong cách; (2) Chuẩn hóa ngữ nghĩa cấp độ SemAF (ISO 24617); (3) Hợp nhất văn phạm hình thức thống kê với các mô hình học máy bán giám sát (SSL-CRF) và mạng nơ-ron sâu phục vụ hệ thống dịch máy tự động đa ngữ chất lượng cao.
Kết luận
Luận án của NCS Phan Thị Hà đã thực hiện một bước nhảy vọt trong nghiên cứu xử lý ngôn ngữ tự nhiên cho tiếng Việt với 5 đóng góp học thuật then chốt:
- Thiết lập công cụ và quy trình tự động hóa Vncopus: Thu thập thành công kho ngữ liệu thô quy mô 100 triệu từ (1.09 GB) từ Internet với thuật toán BTE cải tiến đạt độ chính xác trích xuất nội dung lên tới $95%$.
- Tiên phong chuẩn hóa quốc tế tài nguyên tiếng Việt: Xây dựng và ánh xạ thành công mô hình chú giải hình thái MAF (ISO 24611) và mô hình cú pháp SynAF (ISO 24615) tương thích hoàn toàn với danh mục ISO 12620.
- Hiện thực hóa hệ thống Sketch Engine tiếng Việt: Xây dựng bộ 37 quan hệ ngữ pháp cơ bản, mở ra kỷ nguyên nghiên cứu từ vựng học tính toán và biên soạn từ điển dựa trên dữ liệu định lượng tại Việt Nam.
- Tự động hóa trích xuất văn phạm hình thức PCFG: Cải tiến thuật toán PCYK phục vụ phân tích cú pháp thống kê tiếng Việt chính xác và tối ưu hóa thời gian tính toán.
- Ứng dụng thành công văn phạm kết nối cây LTAG: Phát triển thuật toán trích xuất tập cây cơ bản từ VietTreebank và từ điển học, xác lập công cụ kiểm định chất lượng ngân hàng cây cú pháp tự động.
Công trình không chỉ giải quyết triệt để sự thiếu hụt hạ tầng ngữ liệu tiếng Việt đương thời mà còn thiết lập chuẩn mực phương pháp luận vững chắc, mở ra các hướng nghiên cứu hiện đại về học bán giám sát và ngữ nghĩa học tính toán, góp phần đưa tài nguyên ngôn ngữ học Việt Nam hội nhập sâu rộng vào dòng chảy khoa học công nghệ quốc tế.
Trích đoạn nội dung luận án
Tải xuống để đọc toàn bộHọc viện Công nghệ Bưu chính Viễn thông Phan Thị Hà Nghiên cứu việc xây dựng, chuẩn hóa và khai thác kho ngữ liệu từ nguồn Internet cho xử lý tiếng Việt Chuyên ngành: Truyền dữ liệu và mạng máy tính Mã số: 62.01 Nghiên cứu sinh: Phan Thị Hà Cán bộ hướng dẫn: 1.TS Trần Hồng Quân 2. Nguyễn Thị Minh Huyền 2014 i LỜI CAM ĐOAN Tôi cam đoan rằng nội dung của luận án này là kết quả nghiên cứu của bản thân. Tất cả những tham khảo từ các nghiên cứu liên quan đều được nêu rõ nguồn gốc một cách rõ ràng trong danh mục tài liệu tham khảo được đề cập ở phần sau của luận án. Những đóng góp trong luận án là kết quả nghiên cứu của tác giả đã được công bố trong các bài báo của tác giả ở phần sau của luận án và chưa được công bố trong bất kỳ công trình khoa học nào khác.
Tác giả luận án Phan Thị Hà ii Lời cảm ơn Trước tiên, tôi muốn gửi lời cảm ơn đến Thầy Cô giáo hướng dẫn của tôi, PGS.TS Trần Hồng Quân, TS Nguyễn Thị Minh Huyền. Thầy, Cô đã tận tình chỉ bảo tôi từ những việc tưởng chừng đơn giản như cách thức thu thập tài liệu tham khảo cho đến phương pháp nghiên cứu hoa học. Sự tận tình hướng dẫn, cộng với sự động viên, khích lệ thường xuyên của Thầy Cô đã giúp tôi tự tin, say mê hơn trong con đường nghiên cứu khoa học. Tôi cảm thấy thực sự trưởng thành sau những năm được học tập và nghiên cứu dưới sự hướng dẫn của Thầy cô, một lần nữa em xin được cảm ơn Thầy Cô và kính chúc Thầy Cô luôn mạnh khỏe, hạnh phúc, thành công trên mọi lĩnh vực, đặc biệt là trên con đường khoa học.
Mong rằng sẽ có nhiều lớp nghiên cứu sinh lại tiếp tục được Thầy Cô hướng dẫn trong những năm tiếp theo. Tôi xin chân thành cảm ơn Tập đoàn Bưu Chính Viễn Thông, Ban lãnh đạo Học viện Công nghệ Bưu Chính Viễn Thông đã động viên và tạo điều kiện thuận lợi cho tôi trong suốt quá trình thực hiện luận án. Tôi cũng muốn bày tỏ lòng biết ơn đối với tập thể các Thầy Cô khoa Công nghệ Thông tin và các Thầy Cô Khoa Đào tạo Sau Đại học, Học Viện Công nghệ Bưu Chính Viễn Thông, nơi tôi làm việc và học tập trong những năm qua. Các Thầy Cô luôn tạo điều kiện để tôi hoàn thành tốt công việc của mình, và sự dạy dỗ của Quí thầy cô đã giúp tôi trưởng thành.
Xin bày tỏ lời cảm ơn của tôi đến các chuyên gia về xử lý ngôn ngữ tự nhiên, dự án KC01.01/06-10, trung tâm từ điển VietLex đã hỗ trợ việc thu thập tài liệu và các góp ý hữu ích về ý tưởng và kỹ thuật phục vụ cho nghiên cứu của tôi. Cuối cùng, chân thành cảm ơn người thân, bạn bè luôn bên cạnh động viên, hỗ trợ về mặt tinh thần để tôi vượt qua khó khăn và hoàn thành tốt luận án. iii MỤC LỤC MỤC LỤC .iii DANH MỤC HÌNH VẼ .vi DANH MỤC BẢNG .vii DANH MỤC CỤM TỪ VIẾT TẮT .viii MỞ ĐẦU. x Mục tiêu và phạm vi nghiên cứu của luận án .xiii Kết quả đạt được .xiv Bố cục của luận án.
xv CHƯƠNG 1. TỔNG QUAN VỀ KHO NGỮ LIỆU.1 Kho ngữ liệu văn bản.2 Xây dựng, chuẩn hóa và khai thác kho ngữ liệu.1 Thu thập kho ngữ liệu văn bản .2 Chú giải ngôn ngữ và vấn đề chuẩn hóa .3 Khai thác kho ngữ liệu.3 Kho ngữ liệu tiếng Việt .2 Các vấn đề được nghiên cứu trong luận án.4 Kết chương. XÂY DỰNG KHO NGỮ LIỆU THÔ TỪ INTERNET.2 Xây dựng kho ngữ liệu thô tiếng Việt .1 Lựa chọn danh sách từ hạt giống .2 Thu thập địa chỉ URL .3 Lọc nội dung chính của các trang web (URLs) .4 Phát hiện sự trùng lặp gần nhau.5 Xây dựng công cụ và kết quả thu thập kho ngữ liệu .3 Kết chương. 32 iv CHƯƠNG 3.
CHUẨN HÓA MÔ HÌNH CHÚ GIẢI TIẾNG VIỆT.2 Mô hình MAF của ISO/TC 37/SC 4.3 Mô hình SynAF của ISO/TC 37/SC 4 .4 Chuẩn hóa theo mô hình MAF cho tiếng Việt.1 Xác định đơn vị cơ sở (segment) .2 Hình thái từ (Wordform).3 Nội dung hình thái cú pháp.5 Chuẩn hóa theo mô hình SynAF cho tiếng Việt .6 Kết chương. KHAI THÁC KHO NGỮ LIỆU THÔ CHO NGHIÊN CỨU TỪ VỰNG TIẾNG VIỆT .1 Nghiên cứu từ vựng .3 Ngữ liệu trong Sketch Engine.2 Xây dựng ngữ liệu tiếng Việt cho Sketch Engine.1 Tách từ và gán nhãn từ loại.2 Xây dựng bộ quan hệ ngữ pháp tiếng Việt .3 Triển khai hệ thống Sketch Engine cho tiếng Việt .4 Đánh giá bộ quan hệ ngữ pháp tiếng Việt .3 Kết chương. KHAI THÁC KHO NGỮ LIỆU CÓ CHÚ GIẢI CHO PHÂN TÍCH CÚ PHÁP TIẾNG VIỆT .2 Văn phạm hình thức.1 Khái niệm chung về văn phạm .2 Văn phạm phi ngữ cảnh (Context Free Grammar - CFG) .3 Văn phạm kết nối cây (Tree Adjoining Grammar – TAG).3 Trích rút tự động văn phạm CFG cho tiếng Việt .1 Thuật toán trích rút từ VietTreebank .2 Phân tích cú pháp tiếng Việt với văn phạm PCFG .3 Thử nghiệm và đánh giá .4 Nhược điểm của văn phạm PCFG trong phân tích ngữ pháp .4 Trích rút tự động văn phạm LTAG cho tiếng Việt .1 Thuật toán trích rút từ VietTreebank .2 Xây dựng thuật toán trích rút từ từ điển tiếng Việt.3 So sánh, đánh giá tập cây khởi tạo trích rút từ VietTreebank và từ điển.5 Kết chương. 109 DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC CỦA NGHIÊN CỨU SINH LIÊN QUAN ĐẾN LUẬN ÁN.
112 TÀI LIỆU THAM KHẢO. 125 vi DANH MỤC HÌNH VẼ Hình 3. 1 Mô hình tổng quan của MAF [59]. Mô hình SynAF [60].
1 Danh sách tần suất và tính trội của các từ lân cận với tính từ “đẹp”. Phác thảo thông tin của 2 từ ”đẹp”, ”xinh”. Một số danh sách các từ có quan hệ ngữ pháp với tính từ “đẹp”. 1 Biểu diễn văn phạm G dưới dạng cây.
Phép thay thế. Phép kết nối .Ví dụ về dẫn xuất với phép kết nối và phép thế trong văn phạm TAG. Xử lý các cụm từ bằng thuật toán 5. Ví dụ minh họa việc xây dựng cây phân tích.
Cây phân tích cú pháp. Cây phân tích của cây cú pháp trong hình 5.7 sau khi chèn thêm nút .Các mẫu cây cơ sở spine (ứng với quan hệ đối–vị từ) và phụ trợ (ứng với quan hệ phụ trợ hoặc đẳng lập). Ghép các nút liên kết, đường đi trung tâm được đánh dấu bởi nét đôi. Số mẫu cây tăng dần theo kích thước của Treebank:.
Sơ đồ so sánh tập cây cơ bản. Một cây cơ bản không hợp lệ. 106 vii DANH MỤC BẢNG Bảng 1. Thống kê các kho ngữ liệu đơn ngữ tiếng Việt.
Thống kê số URL thu được của thuật toán 2. Tỷ lệ văn bản và thẻ xuất hiện trong phần nội dung chính của một số trang web tin tức Việt Nam. So sánh tỷ lệ “nội dung chính văn bản cần lấy/ toàn bộ nội dung văn bản trích rút được”. Kết quả thống kê thu thập tự động kho ngữ liệu từ web .Tập từ loại được đối sánh với danh mục phân loại dữ liệu chuẩn ISO 12620.
Tập nhãn cú pháp thành phần, nhãn phân loại câu được đối sánh với danh mục phân loại dữ liệu chuẩn ISO 12620 .Tập nhãn chức năng cú pháp đối sánh với danh mục phân loại dữ liệu chuẩn ISO 12620. Quá trình trích rút luật theo thuật toán 5. Số các luật thu được .Bảng thành phần trung tâm cho treebank tiếng Việt. Danh sách các đối.Ghép một số nhãn cú pháp của VietTreebank thành một.
Hai văn phạm G1, G2 được trích rút từ VietTreebank. Thống kê bộ cây cơ bản Spin từ từ điển so sánh với cây cơ bản của VietTreebank. 105 viii DANH MỤC CỤM TỪ VIẾT TẮT Cụm từ Cụm từ đầy đủ tiếng Anh Dich tiếng Việt viết tắt ANC The American National Corpus Kho ngữ liệu Quốc gia Mỹ API Application Programming Giao diện lập trình ứng dụng Interface BNC The British National Corpus Kho ngữ liệu Anh ngữ BTE Body Text Extraction Trích văn bản phần thân CES Copus Encoding Standard Tiêu chuẩn mã hóa kho ngữ liệu COCA The Copus of Contemporary Kho ngữ liệu Anh Mỹ hiện đại American English CRF Conditional Random Field Trường ngẫu nhiên có điều kiện HMM Hidden Markov Model Mô hình Markov ẩn HTML HyperText Markup Language Ngôn ngữ đánh dấu siêu văn bản I/O Input/Output Đầu vào/ đầu ra ISO International Organization for Tổ chức tiêu chuẩn hóa Quốc tế Standardization LAF Linguistic Annotation Khung chú giải ngôn ngữ học Framework LDC Linguistic Data Consortium Tổ chức dữ liệu ngôn ngữ học MAF Morphosyntactic Annotation Khung chú giải hình thái cú pháp Framewor MD5 Message Digest 5 Tóm tắt thông điệp MDFA Minimal deterministic nite state Otomat hữu hạn trạng thái tối automata thiểu MEM Maximum Entropy Model Mô hình Entropy cực đại NLP Natural Language Processing Xử lý ngôn ngữ tự nhiên ix POS Part-Of-Speech Từ loại SGML Standard Generalized Markup Ngôn ngữ đánh dấu tổng quát hóa Language chuẩn SynAF Syntactic Annotation Framework Mô hình chú giải cú pháp URL Uniform Resource Locator Định vị tài nguyên đồng nhất WFST Weighted Finit State Transducer Máy chuyển hữu hạn trạng thái có trọng số WWW Worl Wide Web Mạng toàn cầu XML eXtensible Markup Language Ngôn ngữ đánh dấu mở rộng CFG Context Free Grammar Văn phạm phi ngữ cảnh PCFG Probability Context Free Văn phạm phi ngữ cảnh kết hợp Grammar xác suất TAG Tree Adjoining Grammar Văn phạm kết nối cây LTAG Lexicalized Tree Adjoining Văn phạm kết nội cây từ vựng hóa Grammar CYK Cocke – Younger – Kasami Thuật toán CYK algorithm SSL Semi-supervised learning Học bán giám sát x MỞ ĐẦU Đặt vấn đề Những năm gần đây, xử lý ngôn ngữ tự nhiên (XLNNTN) đã trở thành một lĩnh vực khoa học công nghệ được coi là mũi nhọn, với một loạt ứng dụng liên quan đến Internet và Web, như tìm kiếm và trích chọn thông tin trên Web, khai phá văn bản, Web ngữ nghĩa, tóm tắt văn bản v. Các nghiên cứu và ứng dụng về xử lý ngôn ngữ trên thế giới đã có một lịch sử lâu dài và được chia thành các giai đoạn chính như sau [41]: Thời kỳ đầu tiên, bắt đầu từ những năm 1940-1950 mô hình ôtomat và các mô hình xác suất có ảnh hưởng sâu sắc đến xử lý ngôn ngữ.
Giai đoạn tiếp theo (1957-1970) xử lý ngôn ngữ được chia thành hai nhánh tách biệt, nhánh hình thức tập trung vào các vấn đề thuộc lĩnh vực lý thuyết ngôn ngữ hình thức và trí tuệ nhân tạo; kiểu ngẫu nhiên sử dụng trong nhận dạng như các phương pháp Bayes. Giai đoạn 1970-1983 xuất hiện bốn trường phái xử lý ngôn ngữ chính, đó là sử dụng phương pháp ngẫu nhiên; dựa vào logic; hiểu ngôn ngữ tự nhiên; mô hình hóa diễn ngôn.
Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ
Trích dẫn luận án này
Phan Thị Hà (2014). Kho ngữ liệu Internet cho xử lý tiếng Việt: Xây dựng & khai thác [Luận án tiến sĩ, Học viện Công nghệ Bưu chính Viễn thông]. LuanAn.net. https://luanan.net/cong-nghe-thong-tin/mang-may-tinh-truyen-thong/xay-dung-chuan-hoa-khai-thac-kho-ngu-lieu-internet-xu-ly-tieng-viet
Câu hỏi thường gặp
Luận án "Kho ngữ liệu Internet cho xử lý tiếng Việt: Xây dựng & khai thác" nghiên cứu về vấn đề gì?
Luận án tiến sĩ nghiên cứu xây dựng, chuẩn hóa & khai thác kho ngữ liệu tiếng Việt từ internet, ứng dụng hiệu quả cho xử lý ngôn ngữ.
Luận án "Kho ngữ liệu Internet cho xử lý tiếng Việt: Xây dựng & khai thác" được bảo vệ tại trường nào?
Luận án này được bảo vệ tại Học viện Công nghệ Bưu chính Viễn thông. Năm bảo vệ: 2014.
Luận án "Kho ngữ liệu Internet cho xử lý tiếng Việt: Xây dựng & khai thác" thuộc chuyên ngành gì?
Luận án "Kho ngữ liệu Internet cho xử lý tiếng Việt: Xây dựng & khai thác" thuộc chuyên ngành Truyền dữ liệu và mạng máy tính. Danh mục: Mạng Máy Tính & Truyền Thông.
Luận án "Kho ngữ liệu Internet cho xử lý tiếng Việt: Xây dựng & khai thác" có bao nhiêu trang?
Luận án "Kho ngữ liệu Internet cho xử lý tiếng Việt: Xây dựng & khai thác" có 151 trang. Bạn có thể xem trước một phần tài liệu ngay trên trang web trước khi tải về.
Cách tải luận án "Kho ngữ liệu Internet cho xử lý tiếng Việt: Xây dựng & khai thác" về máy như thế nào?
Để tải luận án về máy, bạn nhấn nút "Tải xuống ngay" trên trang này, sau đó hoàn tất thanh toán phí lưu trữ. File sẽ được tải xuống ngay sau khi thanh toán thành công. Hỗ trợ qua Zalo: 0559 297 239.