Luận án: Phân tích ý định từ văn bản ngắn trực tuyến tiếng Việt

LỜI CẢM ƠN Lời đầu tiên, tôi xin được bày tỏ sự biết ơn sâu sắc đến PGS. Phan Xuân Hiếu, cán bộ hướng dẫn khoa học, người đã trực tiếp định hướng và giúp đỡ tôi trong suốt quá trình nghiên cứu và thực hiện luận án. Thầy không chỉ truyền đạt cho tôi những kiến thức quan trọng về học thuật mà còn chia sẻ cho tôi nhiều kinh nghiệm quý giá trong con đường nghiên cứu khoa học. Một vinh dự lớn cho tôi được học tập, nghiên cứu dưới sự hướng dẫn của Thầy.

Tôi xin bày tỏ sự biết ơn chân thành đến các Thầy, Cô trong Bộ môn Hệ thống thông tin, đặc biệt là PGS. Hà Quang Thụy cùng các thành viên của Phòng thí nghiệm Khoa học Dữ liệu và Công nghệ Tri thức vì sự giúp đỡ cũng như những đóng góp chuyên môn hữu ích của các Thầy Cô cho luận án. Tôi xin trân trọng cảm ơn Khoa Công nghệ Thông tin, Phòng Đào tạo và Ban Giám hiệu Trường Đại học Công nghệ đã tạo điều kiện thuận lợi cho tôi trong suốt quá trình học tập và thực hiện luận án. Tôi cũng bày tỏ sự biết ơn đến Ban Giám hiệu, Ban Chủ nhiệm Khoa, và các đồng nghiệp của tôi tại Khoa Công nghệ Thông tin - Trường Đại học Giao thông Vận tải vì đã tạo điều kiện về thời gian, tài chính và đã luôn cổ vũ, hỗ trợ tôi trong suốt quá trình nghiên cứu.

Bên cạnh đó, tôi cũng xin gửi lời cảm ơn đến PGS. Trần Văn Long, cán bộ đồng hướng dẫn luận án của tôi, về những giúp đỡ hữu ích cho luận án. Tôi không thể quên cảm ơn những cộng sự của tôi trong nhóm nghiên cứu MDN–Team, những người đã đồng hành, sát cánh cùng tôi trong suốt quá trình nghiên cứu, hoàn thành luận án, và tôi sẽ luôn ghi nhớ điều đó. Ngoài ra, tôi muốn cảm ơn tất cả những người bạn của tôi vì sự động viên chia sẻ bất cứ khi nào tôi cần.

Cuối cùng, tôi xin bày tỏ lòng biết ơn vô hạn đối với bố mẹ, chồng, con và gia đình, những người đã luôn ủng hộ và yêu thương tôi một cách vô điều kiện. Nếu không có sự ủng hộ của gia đình và chồng con, tôi không thể hoàn thành được luận án này. ii Mục lục Lời cam đoan i Lời cảm ơn ii Mục lục ii Danh mục các từ viết tắt vi Danh mục các bảng viii Danh mục các hình vẽ x Mở đầu 1 Chương 1. Tổng quan về ý định và phân tích ý định 10 1.1 Ý định và thể hiện ý định trong ngôn ngữ .2 Ý định trong văn bản trực tuyến .3 Phân tích ý định: bối cảnh khoa học .1 Phân tích và xác định ý định từ truy vấn tìm kiếm .2 Phân tích ý định trong các bài đăng .4 Một số kỹ thuật khai phá dữ liệu và mô hình học máy .1 Cơ bản về kỹ thuật phân lớp .2 Cơ bản về kỹ thuật trích xuất thông tin .3 Cơ bản về mạng nơ ron .5 Kết luận chương.

Phân tích ý định từ văn bản trực tuyến 31 2.1 Phân tích ý định từ văn bản trực tuyến tiếng Việt .1 Xây dựng dữ liệu thực nghiệm .2 Khó khăn - Thách thức .2 Định nghĩa ý định người dùng: bối cảnh khoa học .1 Định nghĩa ý định người dùng theo tiếp cận từ điển .2 Định nghĩa ý định người dùng theo hướng cấu trúc .3 Định nghĩa ý định hướng miền quan tâm .1 Định nghĩa quan điểm của Bing Liu .2 Định nghĩa ý định của Bing Liu .3 Định nghĩa ý định hướng miền quan tâm của luận án .4 Tiến trình ba pha phân tích và xác định ý định .5 Kết luận chương. Phát hiện ý định và xác định miền quan tâm của ý định 51 3.1 Nghiên cứu trên thế giới về phát hiện ý định và xác định miền quan tâm của ý định .1 Phát hiện bài đăng trực tuyến mang ý định .2 Xác định miền quan tâm của ý định .2 Phát hiện ý định .1 Phát biểu bài toán .2 Mô hình giải quyết bài toán .3 Dữ liệu thực nghiệm .4 Thiết kế thực nghiệm .5 Kết quả thực nghiệm .3 Xác định miền quan tâm của ý định .1 Phát biểu bài toán .2 Mô hình giải quyết bài toán .3 Xây dựng tập các miền quan tâm .4 Dữ liệu thực nghiệm .5 Thiết kế thực nghiệm .6 Kết quả thực nghiệm .4 Kết luận chương. Phân tích và trích chọn nội dung ý định 79 4.2 Nghiên cứu trên thế giới về trích chọn nội dung ý định .3 Phát biểu bài toán .4 Trích chọn ý định theo tiếp cận học máy thống kê và học sâu .1 Xây dựng bộ nhãn thực nghiệm .2 Trích chọn ý định với phương pháp CRFs .3 Trích chọn ý định với phương pháp học sâu Bi–LSTM– CRFs .4 Độ đo đánh giá mô hình thực nghiệm .5 Thời gian thực nghiệm với mỗi mô hình .6 Dữ liệu thực nghiệm .7 Thiết kế thực nghiệm .8 Kết quả thực nghiệm .5 Trích chọn ý định dựa trên kết hợp các mô hình học sâu .1 Kỹ thuật học kết hợp (ensemble learning) .2 Xây dựng bộ nhãn thực nghiệm .3 Mô hình giải quyết bài toán .4 Dữ liệu thực nghiệm .5 Thiết kế thực nghiệm .6 Kết quả thực nghiệm .6 Kết luận chương. Phân tích và trích chọn ý định đa miền quan tâm 121 5.2 Nghiên cứu trên thế giới về thích nghi miền trong xác định ý định .3 Trích chọn nội dung ý định theo tiếp cận đa miền quan tâm .1 Phát biểu bài toán .2 Xây dựng bộ nhãn không phụ thuộc miền .3 Mô hình trích xuất ý định đa miền quan tâm .4 Dữ liệu thực nghiệm .5 Thiết kế thực nghiệm .6 Kết quả thực nghiệm .7 Mô phỏng mô hình trích xuất ý định đa miền quan tâm 144 5.4 Kết luận chương.

146 Kết luận 148 Danh mục các công trình khoa học 150 Tài liệu tham khảo 151 Phụ lục 159 v DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt Dạng đầy đủ Diễn giải/Tạm dịch Bi-LSTM Bidirectional Long Short Mạng bộ nhớ dài ngắn hai Term Memory chiều Bi-LSTM-CRFs Bidirectional Long Short Mạng bộ nhớ dài ngắn hai Term Memory - chiều trường ngẫu nhiên có Conditional Random Field điều kiện CNN Convolutional Neural Network Mạng nơ ron tích chập CRFs Conditional Random Fields Trường ngẫu nhiên có điều kiện EI Explicit Intent Ý định rõ EMD Entity Mentioned Xác định thực thể được Detection nhắc đến IE Information Extraction Trích xuất thông tin IH Intent Head Đầu của ý định II Implicit Intent Ý định ẩn IM Intent Modifiers Bổ nghĩa của ý định L-BFGS Limited-memory Broyden-Fletcher Giới hạn bộ nhớ BFGS Goldfarb Shanno LSTM Long Short Term Memory Mạng bộ nhớ ngắn dài vi ME Maximum Entropy Cực đại entropy NI Non Intent Không có ý định NER Named Entity Ricognition Nhận diện thực thể có tên POS Part Of Speech Thành phần của câu RNN Recurrent Neural Network Mạng nơ ron hồi quy SVMs Support Vector Machines Máy véc tơ hỗ trợ vii DANH MỤC CÁC BẢNG 1.1 Ví dụ về văn bản trực tuyến chứa và không chứa ý định .1 Đặc trưng dùng để huấn luyện mô hình lọc bài đăng mang ý định người dùng .2 Ý định của người dùng thuộc các miền quan tâm khác nhau .3 Ví dụ về một vài đặc trưng từ điển có trọng số cao cho mỗi miền quan tâm .4 Mười ba lớp miền quan tâm của ý định và ví dụ .5 Precision, recall và F1 -score của fold tốt nhất khi dùng SVMs và ME .6 Độ chính xác của từng lớp miền quan tâm khi sử dụng phương pháp CNN .1 Bộ 13 nhãn cho miền quan tâm Bất động sản .2 Bộ 9 nhãn cho miền quan tâm Mỹ phẩm & Làm đẹp .3 Ví dụ minh họa cho đặc trưng dạng biểu thức chính quy .4 Đặc trưng từ điển .5 Gán nhãn dữ liệu với bộ nhãn tương ứng .6 Trung bình F1-score với mỗi mô hình thực nghiệm thuộc miền quan tâm Mỹ phẩm & Làm đẹp .7 Trung bình F1-score với mỗi mô hình thực nghiệm thuộc miền quan tâm Bất động sản .8 Bộ 18 nhãn của miền Bất động sản (BĐS) .9 Bộ 15 nhãn của miền Du lịch .10 Bộ gồm 17 nhãn của miền Xe cộ .11 Độ chính xác đối với từng nhãn thu được trên miền Du lịch khi sử dụng phương pháp học kết hợp mà luận án đề xuất .12 Độ chính xác đối với từng nhãn thu được trên miền Xe cộ khi sử dụng phương pháp kết hợp mà luận án đề xuất .13 Độ chính xác đối với từng nhãn thu được trên miền Bất động sản khi sử dụng phương pháp kết hợp mà luận án đề xuất .14 Một số ví dụ về nhãn mô tả .1 Bộ 18 nhãn của miền Bất động sản (BĐS) .2 Bộ 15 nhãn của miền Du lịch .3 Bộ gồm 17 nhãn của miền Xe cộ .4 Bộ 10 nhãn không phụ thuộc miền .5 Sử dụng bộ nhãn không phụ thuộc miền trên một số miền quan tâm khác .6 Gán nhãn dữ liệu lần lượt với bộ nhãn riêng và bộ nhãn không phụ thuộc miền .7 Kết quả F1 trung bình đối với mỗi miền quan tâm cụ thể khi sử dụng bộ nhãn riêng và bộ nhãn không phụ thuộc miền tương ứng .8 Kết quả tốt nhất khi trích xuất từng nhãn trên miền Du lịch với bộ nhãn không phụ thuộc miền .9 Kết quả tốt nhất khi trích xuất từng nhãn trên miền Du lịch với bộ nhãn riêng .10 Kết quả tốt nhất khi trích xuất từng nhãn trên miền Xe cộ và Bất động sản với bộ nhãn riêng .11 Kết quả tốt nhất khi trích xuất tập 32 nhãn riêng đối với tổ hợp 3 miền quan tâm.12 Kết quả tốt nhất khi trích xuất tập 10 nhãn không phụ thuộc miền đối với tổ hợp 3 miền quan tâm.13 Ví dụ gán nhãn cho miền Bất động sản (BĐS) .14 Ví dụ gán nhãn cho miền Du lịch .15 Ví dụ gán nhãn cho miền Xe cộ. 161 ix DANH MỤC CÁC HÌNH VẼ 1.1 Quy tắc gán nhãn BIO .2 Chuỗi trạng thái tương ứng với chuỗi quan sát .3 Mô hình mạng nơ ron feed − forward nhiều tầng .4 Đồ thị tính toán trong kiến trúc RNNs .5 Kiến trúc một tế bào trong mô hình LSTM [46] .1 Một bài đăng mang ý định rõ trên phương tiện truyền thông xã hội Việt Nam .2 Ví dụ minh họa cho việc tiền xử lý dữ liệu .3 Quy trình ba pha Phân tích và xác định ý định người dùng .4 Ví dụ cụ thể một quá trình phân tích và xác định ý định người dùng trực tuyến .1 Mô phỏng mô hình phân lớp nhị phân với CNN .2 Độ chính xác F1 khi đánh giá chéo 4-fold với phương pháp ME 63 3.3 Độ chính xác F1 khi đánh giá chéo 4-fold với phương pháp SVMs 63 3.