Luận án: Trích rút Thực thể Có Tên và Quan hệ Thực thể trong Văn bản Tiếng Việt - Sam Chanrathany

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI -----------*****------------ SAM CHANRATHANY TRÍCH RÚT THỰC THỂ CÓ TÊN VÀ QUAN HỆ THỰC THỂ TRONG VĂN BẢN TIẾNG VIỆT LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN Hà Nội - 2012 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI --------------- SAM CHANRATHANY TRÍCH RÚT THỰC THỂ CÓ TÊN VÀ QUAN HỆ THỰC THỂ TRONG VĂN BẢN TIẾNG VIỆT Chuyên ngành: Hệ thống Thông tin Mã số : 62.01 LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. Nguyễn Thanh Thủy 2. Lê Thanh Hương HÀ NỘI - 2012 Luận án được hoàn thành tại trường Đại học Bách khoa Hà Nội. Để hoàn thành luận án này, tác giả đã nhận được sự chỉ bảo tận tình, cùng những yêu cầu nghiêm khắc của GS.

Nguyễn Thanh Thủy, PGS. Lê Thanh Hương. Thầy, Cô đã truyền đạt rất nhiều kiến thức quí báu cũng như những kinh nghiệm nghiên cứu khoa học trong suốt thời gian tác giả làm nghiên cứu sinh. Lời đầu tiên, tác giả xin bày tỏ lòng kính trọng và biết ơn sâu sắc tới Thầy và Cô.

Tác giả xin chân thành gửi lời biết ơn đến: Ban lãnh đạo Viện Công nghệ thông tin và Truyền thông, Bộ môn Hệ thống Thông tin, Viện Đào tạo Sau đại học, Trung tâm Tính toán Hiệu năng cao, thuộc trường Đại học Bách khoa Hà Nội đã tạo điều kiện thuận lợi trong quá trình học tập, nghiên cứu và hoàn thành luận án. Tác giả cảm ơn các Thầy giáo, Cô giáo ở Bộ môn Hệ thống Thông tin-Viện Công nghệ Thông tin và Truyền thông, trường Đại học Bách khoa Hà Nội đã động viên và trao đổi kinh nghiệm để tác giả có thể hoàn thiện luận án. Tác giả cảm ơn TS. Nguyễn Hữu Đức và các cán bộ các anh chị em ở Trung tâm Tính toán Hiệu năng cao, đã tạo điều kiện, nhiệt tình giúp đỡ và trao đổi học hỏi trong quá trình làm luận án.

Sự quan tâm, mong mỏi của mọi thành viên trong gia đình là một trong động cơ để tác giả nỗ lực học tập, nghiên cứu. Luận án này như một món quà tinh thần, xin đáp lại những niềm quan tâm, mong mỏi đó. Cuối cùng, tác giả xin bày tỏ lòng biết ơn tới những người thân và bạn bè đã ưu ái, giúp đỡ, động viên, khích lệ để tác giả hoàn thành luận án này. L Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi.

Các kết quả được viết chung với các tác giả khác đều được sự đồng ý của đồng tác giả trước khi đưa vào luận án. Các kết quả trong luận án là trung thực và chưa từng được công bố trong bất kỳ công trình nào khác. Tác giả luận án Sam Chanrathany .1 Động cơ nghiên cứu của luận án .2 Mục tiêu và phạm vi nghiên cứu của luận án .1 Mục tiêu nghiên cứu .2 Phạm vi nghiên cứu .3 Đóng góp chính của luận án .4 Cấu trúc của luận án .5 Các thuật ngữ được sử dụng trong luận án .1 Bài toán trích rút thông tin .2 Bài toán trích rút thực thể .1 Các đặc trưng được sử dụng trong bài toán NER .2 Tình hình nghiên cứu ngoài nước về bài toán NER sử dụng học máy .3 Tình hình nghiên cứu trong nước về bài toán NER .3 Bài toán trích rút mối quan hệ giữa các thực thể (RE) .1 Các đặc trưng được sử dụng trong bài toán RE .2 Tình hình nghiên cứu ngoài nước về bài toán RE .3 Tình hình nghiên cứu trong nước về bài toán RE .4 Một số phương pháp học bán giám sát khác.5 Các phương pháp đánh giá kết quả trích rút .1 Cách đánh giá dựa trên độ trùng khớp .2 Cách đánh giá của MUC.6 Kết luận chương 2 .1 Mô hình trường ngẫu nhiên có điều kiện .1 Khái niệm mô hình trường ngẫu nhiên có điều kiện CRF .2 Huấn luyện CRF .3 Gán nhãn cho dữ liệu dạng chuỗi .2 Mô hình máy vectơ hỗ trợ .3 Mô hình Dirichlet ẩn .4 Các phương pháp học bán giám sát .1 Phương pháp lan truyền nhãn .2 Phương pháp bootstrapping .5 Kết luận chương 3 .1 Một số đặc điểm tiếng Việt ảnh hưởng đến việc trích rút thực thể .2 Trích rút thực thể sử dụng trường ngẫu nhiên có điều kiện .1 Mô hình học bán giám sát dựa trên kết hợp luật đồng tham chiếu về tên với CRF .2 Mô hình học bán giám sát sử dụng CRF theo dạng Bagging .3 Trích rút thực thể sử dụng phương pháp lan truyền nhãn .1 Phương pháp đo mức độ tương đồng giữa các từ.2 Điểm yếu của giải thuật lan truyền nhãn và cách cải tiến .4 Thử nghiệm và đánh giá .1 Tập dữ liệu và phương pháp thử nghiệm .2 Kết quả thực nghiệm .5 Kết luận chương 4 .1 Tính chất quan hệ giữa các thực thể trong văn bản tiếng Việt .2 Trích rút mối quan hệ dựa trên máy vectơ hỗ trợ SVM .1 Mô hình học có giám sát dựa trên phương pháp ngôn ngữ mức nông .2 Mô hình học bán giám sát dựa trên phương pháp ngôn ngữ mức nông theo kiểu Bagging Bootstrapping .3 Trích rút mối quan hệ dựa trên phương pháp lan truyền nhãn .1 Đo độ tương đồng giữa hai câu dựa trên phương pháp so trùng thuộc tính từ .2 Đo độ tương đồng giữa hai câu dựa trên phương pháp LDA .4 Thử nghiệm và đánh giá .1 Tập dữ liệu và phương pháp thử nghiệm .2 Kết quả thực nghiệm .5 Kết luận chương 5 .1 Các kết quả đạt được…………………………………………………….1 Kết quả về thuật giải……………………………………………………….2 Kết quả thử nghiệm……………………………………………………….2 Hướng phát triển……………………………………………………………. ACE Automatic Context Extraction BIO Begin Inside Outside CRFs Conditional Random Fields CONLL Computational Natural Language Learning EM Expectation Maximization GLK Global Context Kernel HMM Hidden Markov Model IE Information Extraction JSRE Java Simple Relation Extraction MEMM Maximum Entropy Markov Model NP Noun Phrase LCK Local Context Kernel LDA Latent Direchlet Alocattion MUC Message Understanding Conference NER Named Entity Regconition RE Relaiton Extraction SLK Shallow Linguistic Kernel SVM Support Vector Machine Bảng 2.1 Định dạng từ .2 Đặc trưng từ điển .3 Bảng so sánh nhãn của hệ thống so với nhãn được gán bằng tay, kèm theo mô tả lỗi tương ứng .1 Định dạng về tên thực thể .2 Nhóm luật nhận dạng thực thể (Nhóm luật 2 ) .3 Kết quả thực nghiệm của hệ thống NER sử dụng phương pháp học bán giám sát .4 So sánh kết quả lần lặp thứ 9 của 3 phương pháp nói trên .5 So sánh kết quả trích rút thực thể CRF có giám sát với lan truyền nhãn .1 So sánh hệ thống RE có giám sát các hàm nhân ngữ cảnh tổng hợp .2 So sánh kết quả hệ thống bán giám sát với hệ thống có giám sát .3 So sánh kết quả khi chưa chuẩn hoá và sau khi chuẩn hoá ma trận .4 So sánh kết quả phương pháp so trùng thuộc tính từ với LDA .5 So sánh độ đo F của ba phương pháp lan truyền nhãn sử dụng so trùng thuộc tính từ, SVM, và SVM kết hợp Bootstrapping………………………………………….1 Phạm vi nghiên cứu của luận án .1 Các thao tác chính của bài toán trích rút thông tin .2 Đồ thị phụ thuộc của ví dụ 2.1 Đồ thị vô hướng mô tả CRF.2 Siêu phẳng phân chia tập mẫu huấn luyện .3 Mô hình sinh LDA .4 Biểu diễn trực quan của phương pháp Bootstrapping.1 Câu trúc trong cây phân cấp ngữ nghĩa .1 Các mẫu kernel ngữ cảnh toàn cục của ví dụ 5.2 Các mẫu kernel ngữ cảnh cục bộ của ví dụ 5.73 1 CHƯƠNG 1 MỞ ĐẦU 1.1 Động cơ nghiên cứu của luận án (Information Extraction án , , , theo tên riêng [21 2 ch rút.

Kiên ( 58 5, 16, 86 c 3 , CRF) [58, 63], S HMM) [62 (Maximum Entropy Markov Model- MEMM) [13] 4 nhãn là tên sát, 1 Bootstrapping [7 , trung và ch trích rút thông i - nhãn, - , - i .2 Mục tiêu và phạm vi nghiên cứu của luận án 1.1 Mục tiêu nghiên cứu 61, 87, 99 22, 47, 100 Bootstrapping và 3 100 : (a) CRF tên.2 Phạm vi nghiên cứu , , ( - ), ( - ), Tách câu l Hình 1.3 Đóng góp chính của luận án V - 11. tê - Bagging [12 - 6 - nông. - nhân Bagging Bootstrapping [7, 12 - 8 1.4 Cấu trúc của luận án sáu SVM, LDA ba Bagging-Bootstrapping; (iii Bagging-bootstrpping [7, 12 1.5 Các thuật ngữ được sử dụng trong luận án - Phân lớp thực thể , th - Phân lớp quan hệ bài toán tìm và các câu thành , 9 , - Bộ phân lớp mô hình phân lớp mô hình trích rút - Tập dữ liệu huấn luyện - Bagging thêm các mô hình phân - Bootstrapping (Tự nâng) 10 CHƯƠNG 2 CÁC NGHIÊN CỨU LIÊN QUAN 2.1 Bài toán trích rút thông tin .1: Trích rút thông tin (Information Extraction - IE) trích rút thông tin là: Message Understanding Conference (MUC) [25, 44, 46, 103, 104] và Automatic Content Extraction (ACE) [6, 75]. rút : tr Recognition NER), trích rút (Relation Extraction (Co-Reference Resolution) rút 11 các protein và gene.

Theo MUC [31, 44, 47, 103, 104 : Hệ thống trích rút thông tin Trích Hình 2. Các bài toán trích rút thông tin 2.2 Bài toán trích rút thực thể Định nghĩa 2.2: Trích rút thực thể (Entity Extraction) - là sau này t (person), (organization), ngày tháng (date), (time), (percentage), trích rút -6 [44 phân , , -2- ), Loc ( ), Org ( Ví dụ 2.1: According to <Per>Robert Callahan</Per>, president of <Org> Eastern’s </Org> light attendants union, the past practice of <Org> Eastern’s</Org> parent, <Loc> Houston </Loc>-based <Org> Texas Air Corp.</Org>, has NER Rõ ràng là. thành hai 2, 17, 18, 90, 91 29, 30, 35 ) 13 , không t 2.1 Các đặc trưng được sử dụng trong bài toán NER Từ loại: Định dạng từ là Bảng 2. Các đặc trưng Ví dụ Case - - - Punctuation - Digit - - W3C,.) Morphology - - Token - Đặc trưng từ điển: t dictionary Bảng 2.

Các đặc trưng Ví dụ Danh sách chung - 14 - A - - - - - - 2.2 Tình hình nghiên cứu ngoài nước về bài toán NER sử dụng học máy án Học có giám sát gán nhãn cho i gán nhãn , ph các mô hình Maximum entropy [13, 55 66, 92 [11, 60, 63, 82]. , 15 thác t Học không giám sát , 41, 97]. Học bán giám sát sát 8, 28, 58]: Brin [18 và qui [A-Z][A-Za-z.,&] 5,30[A-Za- 16 các The Robots o (Paperback) Bernard Werber (Paperback) [28] vi Maury Coop N Mr. Liao [58] sung 17 Liao các hai 1.

Giả định xuất hiện nhiều lần: John 2. Giả định ngữ cảnh: cùng cùng Chi trong C 2.3 Tình hình nghiên cứu trong nước về bài toán NER [89 [76 .3 Bài toán trích rút mối quan hệ giữa các thực thể (RE) Định nghĩa 2.3: Trích rút mối quan hệ giữa các thực thể (Relation Extraction - RE) là g hai và , trung vào 2.