Luận án Tiến sĩ CNTT: Tự động xác định quan hệ ngữ nghĩa từ học máy thống kê

TRƯỜNG ĐẠI HỌC YALE ——————— TỰ ĐỘNG XÁC ĐỊNH QUAN HỆ NGỮ NGHĨA CỦA TỪ DỰA TRÊN HỌC MÁY THỐNG KÊ LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN TRƯỜNG ĐẠI HỌC YALE ——————— TỰ ĐỘNG XÁC ĐỊNH QUAN HỆ NGỮ NGHĨA CỦA TỪ DỰA TRÊN HỌC MÁY THỐNG KÊ Chuyên ngành: Khoa học máy tính Mã số: 9480101.01 LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS. Nguyễn Phương Thái LỜI CAM ĐOAN Tôi xin cam đoan luận án “Tự động xác định quan hệ ngữ nghĩa của từ dựa trên học máy thống kê” là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả được trình bày trong luận án là hoàn toàn trung thực và chưa từng được công bố trong bất kỳ một công trình nào khác. ■ Tôi đã trích dẫn đầy đủ các tài liệu tham khảo, công trình nghiên cứu liên quan ở trong nước và quốc tế.

Ngoại trừ các tài liệu tham khảo này, luận án hoàn toàn là công trình của riêng tôi. ■ Trong các công trình khoa học được công bố trong luận án, tôi đã thể hiện rõ ràng và chính xác đóng góp của các đồng tác giả và những gì do tôi đã đóng góp. ■ Luận án được hoàn thành trong thời gian tôi làm Nghiên cứu sinh tại Bộ môn Khoa học máy tính, Khoa Công nghệ Thông tin, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội. Tác giả: Hà Nội: i LỜI CẢM ƠN Trước hết, tôi muốn bày tỏ sự biết ơn đến PGS.

Nguyễn Phương Thái, cán bộ hướng dẫn, Thầy đã trực tiếp giảng dạy và định hướng tôi trong suốt thời gian học nghiên cứu sinh và thực hiện luận án này. Một vinh dự lớn cho tôi được học tập, nghiên cứu dưới sự hướng dẫn của Thầy. Tôi xin bày tỏ sự biết ơn sâu sắc đến GS. Nguyễn Thanh Thủy, Trường Đại học Công nghệ - Đại học Quốc Gia Hà Nội, PGS.

Lương Chi Mai, Viện Công nghệ Thông tin - Viện Hàn lâm Khoa học và Công nghệ Việt Nam, PGS. Bùi Thu Lâm, Học viện Kỹ thuật Mật mã, TS. Phạm Văn Lam - Viện Ngôn ngữ học - Viện Hàn lâm Khoa học Xã Hội Việt Nam, TS. Nguyễn Thị Minh Huyền, TS.

Lê Huy Tiễn, Trường Đại học Khoa học Tự nhiên - Đại học Quốc Gia Hà Nội, PGS. Thân Quang Khoát, PGS. Lê Thanh Hương, Trường Đại học Bách Khoa Hà Nội. Tôi xin được bày tỏ lòng biết ơn sâu sắc đến PGS.

Nguyễn Việt Hà, PGS. Hà Quang Thụy, TS. Nguyễn Văn Vinh, TS. Trần Quốc Long, TS.

Lê Nguyên Khôi, TS. Lê Đức Trọng cùng các Thầy Cô trong Bộ môn Khoa học máy tính, trường Đại học Công nghệ - Đại học Quốc Gia Hà Nội vì sự hướng dẫn, giúp đỡ cũng như những đóng góp rất hữu ích của các Thầy Cô cho luận án này. Tôi xin trân trọng cảm ơn Khoa Công nghệ thông tin, Phòng Đào tạo và Ban giám hiệu trường Đại học Công nghệ - Đại học Quốc Gia Hà Nội đã tạo điều kiện thuận lợi cho tôi trong suốt quá trình thực hiện luận án. Tôi cũng bày tỏ sự biết ơn đến Trường Đại học Kinh tế Kỹ thuật Công nghiệp đã tạo điều kiện về thời gian và tài chính cho tôi thực hiện luận án này.

Tôi muốn cảm ơn đến Ban chủ nhiệm, các cán bộ, giảng viên Khoa Công nghệ thông tin - Trường Đại học Kinh tế Kỹ thuật Công nghiệp đã cổ vũ động viên và sát cánh bên tôi trong suốt quá trình nghiên cứu. Tôi muốn cảm ơn đến tất cả những người bạn của tôi, những người luôn chia sẻ, động viên tôi bất cứ khi nào tôi cần và tôi luôn ghi nhớ điều đó. Cuối cùng, tôi xin bày tỏ lòng biết ơn vô hạn đối với cha mẹ, vợ, con và gia đình đã luôn ủng hộ và yêu thương tôi một cách vô điều kiện. Nếu không có sự ủng hộ của gia đình tôi không thể hoàn thành được luận án này.

ii iii TÓM TẮT Những năm gần đây, xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) là lĩnh vực được quan tâm nghiên cứu, với nhiều ứng dụng thực tiễn quan trọng như: nhận dạng tiếng nói và chữ viết, dịch máy, tìm kiếm thông tin, khai phá dữ liệu, v. NLP nói chung và xử lý ngôn ngữ tiếng Việt nói riêng là một lĩnh vực nghiên cứu khá rộng với nhiều bài toán phức tạp cần được giải quyết. Trong đó, tự động xác định quan hệ ngữ nghĩa của từ (Lexical Semantic Relation Determination - LSRD) là một trong những bài toán quan trọng và khó khăn nhất của NLP. Các mô hình xác định quan hệ ngữ nghĩa của từ là thành phần quan trọng trong nhiều hệ thống NLP như xây dựng cơ sở tri thức từ vựng, dịch máy, phân tích quan điểm người dùng, hệ thống hỏi đáp, v.

Trong khoảng mười năm trở lại đây, với tiếp cận học sâu mạnh mẽ, lĩnh vực NLP đã có bước phát triển nhanh chóng, có nhiều kết quả nghiên cứu mang tính đột phá. Tiếp cận học sâu hiện đại sử dụng các mạng nơ-ron nhiều tầng có cấu trúc phức tạp. Với sức mạnh xử lý vượt trội của các máy tính hiện đại, đặc biệt là các bộ xử lý đồ họa, các kiến trúc học sâu có khả năng học từ một lượng rất lớn dữ liệu. Mặc dù vậy, để các mô hình NLP xử lý tốt đối với các bài toán có ít dữ liệu, dữ liệu có nhiễu hoặc hiểu được các thủ pháp nghệ thuật như ẩn dụ, hoán dụ, v.v vẫn còn là một thách thức [73].

Việc tích hợp thêm các mô hình xác định quan hệ ngữ nghĩa của từ là một trong các cách tiếp cận để vượt qua những thách thức này. Các tiếp cận cho bài toán tự động xác định quan hệ ngữ nghĩa giữa các từ (từ hoặc khái niệm, thuật ngữ) có thể được chia thành hai tiếp cận chính: tiếp cận mẫu từ vựng - cú pháp và tiếp cận phân phối. Tiếp cận mẫu từ vựng - cú pháp còn được gọi là tiếp cận đường dẫn, sử dụng tập các mẫu từ vựng - cú pháp để đoán nhận quan hệ ngữ nghĩa của từ. Quan hệ ngữ nghĩa giữa hai từ được xác định dựa vào các mẫu đồng xuất hiện cùng chúng trong kho ngữ liệu.

Theo tiếp cận phân phối, các phương pháp sử dụng thông tin phân phối của từng từ trong kho ngữ liệu một cách riêng biệt, không đòi hỏi hai từ cần xác định quan hệ phải đồng xuất hiện trong kho ngữ liệu. Các phương pháp theo tiếp cận này được phân thành hai nhóm: thứ nhất, theo tiếp cận không giám sát gồm các phương pháp dựa trên biểu diễn từ bằng vector, sau đó sử dụng các độ đo không giám sát để phân tách quan hệ ngữ nghĩa; thứ hai, tiếp cận có giám sát gồm các phương pháp sử dụng mạng nơ-ron để phân lớp các quan hệ. Luận án này hướng đến nâng cao hiệu năng của các mô hình tự động xác định một số quan hệ ngữ nghĩa của từ theo tiếp cận có giám sát, sử dụng các mô hình học máy iv để xác định bốn quan hệ ngữ nghĩa: quan hệ bao thuộc, quan hệ đồng nghĩa, quan hệ trái nghĩa, và quan hệ tương đồng ngữ nghĩa. Nội dung chính của luận án như sau: Đối với bài toán xác định quan hệ bao thuộc (Hypernymy Recognition - HR), luận án đề xuất một mô hình mạng nơ-ron học các vector nhúng từ chuyên biệt từ các bộ ba gồm từ bao, từ thuộc và ngữ cảnh đồng xuất hiện của chúng.

Các vector nhúng từ học được phù hợp cho bài toán HR hơn các mô hình nhúng từ đã được đề xuất trước đó như Word2vec, fastText, GloVe, v. Bên cạnh đó, những đặc trưng về quan hệ ngữ nghĩa giữa các thành phần của các từ ghép đã được khai thác như là những dấu hiệu quan trọng giúp nhận ra quan hệ bao thuộc của cặp từ. Luận án đã đề xuất một thuật toán trích chọn những đặc trưng ngữ nghĩa mức dưới từ (Subword Semantic Feature). Thuật toán được đề xuất không những mã hóa được quan hệ ngữ nghĩa giữa các thành phần của cặp từ mà còn nắm bắt được cả thông tin vị trí của chúng trong các vector đặc trưng ngữ nghĩa mức dưới từ.

Để xác định quan hệ bao thuộc của cặp từ, mô hình phân lớp có giám sát máy vector hỗ trợ (Support Vector Machine) được sử dụng với đặc trưng đầu vào được kết hợp từ vector nhúng từ và vector đặc trưng ngữ nghĩa mức dưới từ. Kết quả thực nghiệm được đánh giá trên một số bộ dữ liệu chuẩn của cả tiếng Anh, tiếng Việt đã chứng minh mô hình được đề xuất trong luận án có hiệu năng cao hơn đáng kể so với các mô hình tốt nhất tại thời điểm công bố. Bên cạnh đó, luận án cũng xây dựng bộ dữ liệu VLE-999 dùng để đánh giá mô hình cho bài toán xác định quan hệ bao thuộc trong tiếng Việt, công bố bộ dữ liệu này cho cộng đồng nghiên cứu sử dụng. Một số kết quả nghiên cứu liên quan đến bài toán này được trình bày trong các công bố [CT1], [CT8], và [CT9] trong mục danh sách công trình khoa học.

Đối với bài toán phân tách các cặp từ theo quan hệ đồng nghĩa và trái nghĩa (Antonymy-Synonymy Classification - ASC), luận án đã đề xuất mô hình DVASNet - một mô hình mạng nơ-ron sử dụng không chỉ thông tin ngữ nghĩa phân phối của các từ mà còn có khả năng khai thác thông tin ngữ cảnh đồng xuất hiện của cặp từ. Bên cạnh đó, mô hình DVASNet cũng khai thác những đặc trưng riêng của tiếng Việt như thông tin tương hỗ, quan hệ ngữ nghĩa giữa các thành phần của từ này với các thành phần của từ kia trong một cặp từ, độ tương tự ngữ nghĩa giữ hai từ. Kết quả thực nghiệm được đánh giá trên một số bộ dữ liệu chuẩn tiếng Việt đã chứng minh DVASNet trong luận án có hiệu năng cao hơn từ 14% đến 17% theo độ đo F1 so với các mô hình trước đây. Thêm nữa, luận án đề xuất một mô hình xác định quan hệ trái nghĩa dựa trên mô hình nhúng từ chuyên biệt.

Theo đó, các cặp từ đồng nghĩa, trái nghĩa được trích từ WordNet và từ điển được dùng để học một mô hình không gian vector biểu diễn từ chuyên biệt, cùng với thông tin phân phối của từ trong kho v ngữ liệu, mô hình nhúng từ này được mã hóa thêm các thông tin về quan hệ đồng nghĩa, trái nghĩa. Trong chương này, luận án đã xây dựng bộ dữ liệu ViAS-1000 phục vụ nhu cầu đánh giá hiệu năng của các mô hình ASC, bộ dữ liệu này được công bố cho cộng đồng nghiên cứu sử dụng.