Luận án tiến sĩ nghiên cứu cải tiến phân lớp đa nhãn văn bản và ứng dụng luận án

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ PHẠM THỊ NGÂN NGHIÊN CỨU CẢI TIẾN PHÂN LỚP ĐA NHÃN VĂN BẢN VÀ ỨNG DỤNG LUẬN ÁN TIẾN SĨ CÔNG NGHÊ THÔNG TIN Hà Nội – 2017 TIEU LUAN MOI download : skknchat@gmail.com ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ PHẠM THỊ NGÂN NGHIÊN CỨU CẢI TIẾN PHÂN LỚP ĐA NHÃN VĂN BẢN VÀ ỨNG DỤNG Chuyên ngành: Hệ thống thông tin Mã số: 62.04 LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: 1.TS HÀ QUANG THỤY 2.TS PHAN XUÂN HIẾU Hà Nội – 2017 TIEU LUAN MOI download : skknchat@gmail.com LỜI CAM ĐOAN Tôi xin cam đoan luận án này là công trình nghiên cứu của riêng tôi. Các kết quả được viết chung với các tác giả khác đều được sự đồng ý của các đồng tác giả trước khi đưa vào luận án. Các kết quả nêu trong luận án là trung thực và chưa từng được công bố trong các công trình nào khác. Nghiên cứu sinh Phạm Thị Ngân i TIEU LUAN MOI download : skknchat@gmail.com LỜI CẢM ƠN Luận án được thực hiện tại Bộ môn Hệ thống thông tin – Khoa Công nghệ thông tin – Trường Đại học Công nghệ - Đại học quốc gia Hà Nội dưới sự hướng dẫn khoa học của PGS.

Hà Quang Thụy và PGS. Phan Xuân Hiếu. Trước tiên tôi xin bày tỏ lòng biết ơn sâu sắc tới thầy Hà Quang Thụy và thầy Phan Xuân Hiếu, những người đã đưa tôi tiếp cận và đạt được những thành công trong lĩnh vực nghiên cứu của mình. Tôi đặc biệt gửi lời cảm ơn tới thầy Hà Quang Thụy đã luôn tận tâm, động viên, khuyến khích và chỉ dẫn tôi hoàn thành được bản luận án này.

Tôi xin bày tỏ lòng biết ơn tới thầy Nguyễn Trí Thành đã nhiệt tình hướng dẫn và truyền đạt các kinh nghiệm nghiên cứu trong quá trình tôi thực hiện luận án. Tôi xin chân thành cảm ơn tới tập thể các thầy cô giáo, các nhà khoa học thuộc Trường Đại học Công nghệ (đặc biệt là các thành viên của Phòng thí nghiệm khoa học dữ liệu và công nghệ tri thức – DS&KTlab) - Đại học Quốc gia Hà Nội đã giúp đỡ về chuyên môn và tạo điều kiện thuận lợi cho tôi trong suốt thời gian học tập và nghiên cứu. Tôi xin bày tỏ lòng cảm ơn chân thành tới các cộng sự đã cùng tôi thực hiện các công trình nghiên cứu và các bạn đồng nghiệp đã giúp đỡ, trao đổi và chia sẻ những kinh nghiệm về chuyên môn, đóng góp các ý kiến quý báu cho tôi trong quá trình nghiên cứu. Tôi xin trân trọng cảm ơn các thầy cô trong hội đồng chuyên môn đã đóng góp các ý kiến quý báu để tôi hoàn thiện luận án.

Tôi cũng bày tỏ lòng lòng cảm ơn sâu sắc tới Ban giám đốc Học viện Cảnh sát nhân dân; Tập thể lãnh đạo Bộ môn Toán-Tin học, Học viện Cảnh sát nhân dân đã tạo kiện thuận lợi cho tôi trong quá trình nghiên cứu; cảm ơn các đồng chí trong Bộ môn Toán-Tin học đã luôn ủng hộ, quan tâm và động viên tôi. Tôi luôn biết ơn những người thân trong gia đình, bố mẹ nội, bố mẹ ngoại, các anh chị em đã luôn chia sẻ khó khăn, động viên và là chỗ dựa tinh thần vững chắc cho tôi trong suốt thời gian qua. ii TIEU LUAN MOI download : skknchat@gmail.com MỤC LỤC LỜI CAM ĐOAN .ii MỤC LỤC. iii DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT .vii DANH MỤC CÁC BẢNG.

ix DANH MỤC CÁC HÌNH VẼ. TỪ PHÂN LỚP ĐƠN NHÃN TỚI PHÂN LỚP ĐA NHÃN. Từ phân lớp đơn nhãn đơn thể hiện tới phân lớp đa nhãn đa thể hiện. Phân lớp đơn nhãn.

Phân lớp đơn nhãn đa thể hiện. Phân lớp đa nhãn. Phân lớp đa nhãn đa thể hiện. Giới thiệu chung về phân lớp đa nhãn.

Kỹ thuật phân lớp đa nhãn. Tiếp cận chuyển đổi bài toán. Tiếp cận thích nghi thuật toán. Tóm tắt về các thuật toán được giới thiệu.

Dữ liệu đa nhãn. Các độ đo dữ liệu đa nhãn. Phân bố nhãn. Mối quan hệ giữa các nhãn.

Đánh giá phân lớp đa nhãn. Các độ đo dựa trên mẫu. Các độ đo dựa trên nhãn. Giảm chiều dữ liệu trong phân lớp đa nhãn.

36 iii TIEU LUAN MOI download : skknchat@gmail. Tiếp cận giảm chiều không gian đặc trưng đầu vào. Tiếp cận giảm chiều không gian nhãn đầu ra. Học bán giám sát cho phân lớp đa nhãn.

Kết luận chương 1. HAI MÔ HÌNH PHÂN LỚP ĐƠN NHÃN VĂN BẢN TIẾNG VIỆT. Mô hình nhận diện thực thể có tên dựa trên trường ngẫu nhiên có điều kiện và tiêu chuẩn kỳ vọng tổng quát. Nhận diện thực thể có tên.

Mô hình đề xuất. Sử dụng tiêu chuẩn kỳ vọng tổng quát vào mô hình trường nhẫu nhiên có điều kiện CRFs. Xây dựng tập ràng buộc cho tiêu chuẩn kỳ vọng tổng quát. Mô hình đề xuất cho bài toán nhận diện thực thể có tên.

Ứng dụng mô hình. Một mô hình phân lớp đơn nhãn trong hệ tư vấn xã hội. Sơ bộ về tư vấn xã hội. Mô hình đề xuất.

Ứng dụng mô hình. Kết luận chương. PHÂN LỚP ĐA NHÃN VĂN BẢN DỰA TRÊN BIỂU DIỄN DỮ LIỆU THEO CHỦ ĐỀ ẨN. Phân lớp đa nhãn văn bản dựa trên biểu diễn dữ liệu theo chủ đề ẩn.

Biểu diễn dữ liệu theo chủ đề ẩn. Mô hình phân lớp đa nhãn văn bản dựa trên biểu diễn dữ liệu theo chủ đề ẩn. Pha 1 – Huấn luyện mô hình. Pha 2 – Đánh giá mô hình huấn luyện .82 iv TIEU LUAN MOI download : skknchat@gmail.

Ứng dụng phân lớp đa nhãn đánh giá khách sạn. Xây dựng tập dữ liệu thực nghiệm. Kết quả thực nghiệm. Phân lớp đa nhãn văn bản dựa trên biểu diễn dữ liệu theo đồ thị khoảng cách các chủ đề ẩn.

Mô hình biểu diễn văn bản theo đồ thị khoảng cách. Biểu diễn dữ liệu theo đồ thị khoảng cách. Mô hình đồ thị khoảng cách và mô hình n-gram. Mô hình phân lớp đa nhãn văn bản dựa trên biểu diễn dữ liệu theo đồ thị khoảng cách chủ đề ẩn.

Pha huấn luyện mô hình. Pha phân lớp sử dụng mô hình huấn luyện. Ứng dụng phân lớp đa nhãn đánh giá khách sạn. Kết luận chương 3.

KỸ THUẬT BÁN GIÁM SÁT PHÂN LỚP ĐA NHÃN VĂN BẢN TIẾNG VIỆT. Tiếp cận phân cụm bán giám sát. Tiếp cận dựa trên ràng buộc. Tiếp cận dựa trên khoảng cách.

Mô hình phân lớp đa nhãn bán giám sát. Phát biểu bài toán phân lớp đa nhãn bán giám sát. Thuật toán phân lớp đa nhãn dựa trên kỹ thuật phân cụm bán giám sát106 4. Thuật toán TESC và LIFT.

Thuật toán phân lớp đa nhãn bán giám sát. Mô hình phân lớp đa nhãn bán giám sát đề xuất. Một mô hình ứng dụng phân lớp đa nhãn văn bản bán giám sát. Mô hình đề xuất.

117 v TIEU LUAN MOI download : skknchat@gmail. Huấn luyện mô hình. Phân lớp sử dụng mô hình huấn luyện. Ứng dụng phân lớp đa nhãn sử dụng mô hình đề xuất.

Kết luận chương 4. 124 DANH MỤC CÔNG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊN QUAN TỚI LUẬN ÁN. 128 TÀI LIỆU THAM KHẢO. 129 vi TIEU LUAN MOI download : skknchat@gmail.com DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Kí hiệu Tiếng Anh Tiếng Việt ANN Artificial neural network Mạng Nơ-ron nhân tạo Backpropagation for Multilabel Phân lớp đa nhãn mạng Nơron BPMLL Learning lan truyền ngược BR Binary Relevance Phân lớp nhị phân CC Classifier Chains Chuỗi bộ phân lớp Phương pháp tích hợp phụ CDE ChiDep Ensemble thuộc Chi CLR Calibrated Label Ranking Xếp hạng nhãn xác định CML Collective Multi-Label Classifier Bộ phân lớp đa nhãn nhóm CRFs Conditional Random Fields Trường ngẫu nhiên có điều kiện CTM Corelated Topic Model Mô hình chủ đề tương quan DTM Dynamic Topic Model Mô hình chủ đề động ECC Ensemble of Classifier Chains Tích hợp chuỗi bộ phân lớp Ensemble of Probabilistic Tích hợp chuỗi bộ phân lớp xác EPCC Classifier Chains suất EPS Ensemble of Pruned Sets Tích hợp các tập cắt tỉa FE Feature Extraction Trích chọn đặc trưng FS Feature Selection Lựa chọn đặc trưng Instance-Based Learning by Học dựa trên thực thể bằng hồi IBLR Logistic Regresion quy logic IG Information Gain Độ lợi thông tin kNN k Nearest Neighbour k láng giềng gần nhất LC Label Combination Kết hợp nhãn LP Label Powerset Tập lũy thừa nhãn LDA Latent Dirichlet Allocation Mô hình chủ đề ẩn Multi-Label Learning with Label Học đa nhãn với đặc trưng nhãn LIFT specIfic FeaTures riêng biệt LP Label Power set Tập lũy thừa nhãn LSA Latent Semantic Analysis Phân tích ngữ nghĩa ẩn MI Mutual Information Thông tin tương hỗ MIML Multi-Instance Multi-Label Đa nhãn đa thể hiện MLC Multi-Label Classiffication Phân lớp đa nhãn ML-DT Multi-Label Decision Tree Cây quyết định đa nhãn ML-kNN Multi-Label k Nearest Neighbour k Láng giềng gần nhất đa nhãn MLL Multi-Label Learning Học đa nhãn MLNB Multilabel Naive Bayes Naïve Bayes đa nhãn Multiclass Multilabel Associative MMAC Phân lớp kết hợp đa nhãn đa lớp Classification Multilabel Multiclass Thuật toán Perceptron phân lớp MMP Perceptron đa lớp đa nhãn vii TIEU LUAN MOI download : skknchat@gmail.624801 Thuật toán tối ưu đàn kiến đa MuLAM Multilabel Ant - Miner nhãn NER Named Entity Recognition Nhận dạng thực thể có tên PCA Principal Component Analysis Phân tích thành phần chính PCC Probabilistic Classifier Chains Chuỗi bộ phân lớp xác suất Thuật toán cây phân cụm dự PCT Predictive Clustering Trees đoán PMM1 Parametric Mixture Models Mô hình hòa trộn tham số PMM2 POS Part Of Speech Từ loại PS Pruned Sets Các tập bị cắt tỉa PW Pairwise Methods Phương pháp cặp đôi Ranking by Pairwise Phương pháp xếp hạng theo so RPC Comparision sánh cặp đôi Ranking via Single-label Xếp hạng thông qua học đơn RSL Learning nhãn SVM Support Vector Machine Máy vectơ hỗ trợ TExt classification using Semi- Phân lớp văn bản sử dụng phân TESC supervised Clustering cụm bán giám sát Term Frequency Inverse Trọng số về tần suất và độ quan TFIDF Document Frequency trọng của từ viii (LUAN.624801 TIEU LUAN MOI download : skknchat@gmail.624801 DANH MỤC CÁC BẢNG Bảng 1.1 Ví dụ về dữ liệu đa nhãn .2 Tóm tắt các thuật toán phân lớp đa nhãn .3 Bảng ký hiệu dữ liệu phân lớp thực và dự đoán .1 Mẫu ngữ cảnh từ vựng .2 Mẫu ngữ cảnh phát hiện tên thực thể.3 Kết quả thực nghiệm .4 Bảng đặc trưng tiểu sử và đặc trưng xã hội của người dùng .5 Kết quả thực nghiệm .1 Ví dụ về kết quả của mô hình chủ đề ẩn cho tài liệu .2 Ví dụ về dữ liệu đa nhãn .3 Tập dữ liệu thực nghiệm .4 Tập dữ liệu huấn luyện .