Luận án tiến sĩ: Nghiên cứu nhận dạng thực thể có tên và biểu hiện trong văn bản - Trần Mai Vũ, ĐHQG Hà Nội
"Nghiên cứu nhận dạng thực thể có tên và biểu hiện trong văn bản, đề xuất mô hình cải tiến hiệu quả xử lý ngôn ngữ tự nhiên."
Năm xuất bản
Số trang
138
Thời gian đọc
21 phút
Lượt xem
0
Lượt tải
0
Phí lưu trữ
40 Point
Tổng quan nhanh
- Chủ đề:
- 1. Tổng quan nhận dạng thực thể tên riêng tiếng Việt
- Số trang:
- 138 trang
- Trường:
- Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội
- Chuyên ngành:
- Hệ thống thông tin
- Tác giả:
- Trần Mai Vũ
- Năm:
- 2018
Tóm tắt nội dung luận án
I. Tổng quan nhận dạng thực thể tên riêng tiếng Việt
Nhận dạng thực thể tên riêng tiếng Việt đóng vai trò nền tảng trong lĩnh vực trí tuệ nhân tạo. Nhiệm vụ chính là xác định và phân loại các đối tượng định danh trong văn bản. Những đối tượng này bao gồm tên người, địa điểm, tổ chức và thời gian. Quy trình này cung cấp ngữ nghĩa quan trọng cho các ứng dụng xử lý dữ liệu phức tạp. Quá trình xử lý ngôn ngữ tự nhiên tiếng Việt đòi hỏi các mô hình chính xác cao. Độ chính xác của bước nhận dạng thực thể quyết định trực tiếp hiệu năng của các hệ thống khai phá tri thức cấp cao. Nhiều công trình nghiên cứu đã thiết lập các chuẩn mực xử lý cho tiếng Việt nhằm phục vụ số hóa tài liệu, tổng hợp tin tức và xây dựng trợ lý ảo thông minh.
1.1. Khái niệm và vai trò trong xử lý ngôn ngữ tự nhiên
Nhiệm vụ nhận dạng thực thể có tên nhằm định vị các chuỗi từ chỉ đối tượng cụ thể trong ngữ cảnh. Hệ thống gán nhãn cho từng chuỗi từ theo các danh mục định sẵn. Xử lý ngôn ngữ tự nhiên tiếng Việt coi đây là bước tiền xử lý then chốt. Kết quả nhận diện cung cấp đầu vào chất lượng cho hệ thống dịch máy, tóm tắt tự động và phân tích cảm xúc. Việc phát hiện chính xác danh tính đối tượng giúp loại bỏ nhiễu ngữ nghĩa. Từ đó, các thuật toán máy học có thể hiểu văn bản sâu sắc hơn. Toàn bộ quy trình trích xuất thông tin văn bản đều dựa vào tính chuẩn xác của giai đoạn này.
1.2. Thách thức phân định ranh giới và tách từ tiếng Việt
Đặc điểm đơn lập của tiếng Việt gây ra nhiều trở ngại cho quá trình bóc tách thực thể. Từ tiếng Việt có thể bao gồm từ đơn hoặc cụm từ ghép nhiều âm tiết. Khoảng trắng không đóng vai trò ranh giới từ như trong ngôn ngữ phương Tây. Do đó, bài toán tách từ tiếng Việt là bước bắt buộc trước khi nhận dạng thực thể. Một sai sót nhỏ ở khâu tách từ sẽ gây lỗi dây chuyền cho việc xác định ranh giới tên riêng. Sự kết hợp giữa danh từ chung và danh từ riêng thường dẫn đến hiện tượng mơ hồ cấu trúc cú pháp. Mô hình cần phân tích ngữ cảnh rộng để nhận diện chuẩn xác.
1.3. Quy chuẩn gán nhãn thực thể BIO trong cấu trúc câu
Quy ước gán nhãn thực thể BIO là tiêu chuẩn quốc tế phổ biến nhất trong biểu diễn dữ liệu chuỗi. Ký tự B đánh dấu sự bắt đầu của một thực thể tên riêng. Ký tự I chỉ các từ tiếp theo nằm bên trong cùng một thực thể. Ký tự O đại diện cho các từ không thuộc bất kỳ nhóm thực thể nào. Quy chuẩn này chuyển đổi bài toán nhận diện chuỗi thành bài toán phân loại từ theo vị trí. Việc áp dụng đúng định dạng giúp cấu trúc câu được chuẩn hóa đồng nhất. Dữ liệu sau khi gán nhãn BIO trở thành tập huấn luyện lý tưởng cho các mô hình học có giám sát hiện đại.
II. Thách thức Named Entity Recognition Vietnamese hiện nay
Quá trình triển khai Named Entity Recognition Vietnamese đối mặt với nhiều rào cản ngữ nghĩa học đặc thù. Tiếng Việt có tính nhập nhằng cao giữa danh từ chung và danh từ riêng. Các hiện tượng chuyển nghĩa, viết hoa tùy tiện và từ đồng âm xuất hiện dày đặc trên các nền tảng tin tức trực tuyến. Thiếu hụt nguồn ngữ liệu chuẩn hóa quy mô lớn cũng hạn chế khả năng tổng quát hóa của thuật toán. Bên cạnh đó, việc mở rộng mô hình sang các miền chuyên biệt như y sinh học hay pháp luật đòi hỏi kỹ thuật xử lý thích nghi phức tạp. Xử lý chính xác các thách thức này là chìa khóa nâng cao chất lượng khai phá dữ liệu văn bản.
2.1. Hiện tượng đa nghĩa và cấu trúc tên riêng phức tạp
Tên riêng tiếng Việt thường sử dụng các từ vựng trùng lặp với danh từ chung hàng ngày. Ví dụ tiêu biểu là các tên người như Mùa Thu, Bình Minh hay Thái Sơn. Nếu không phân tích kỹ ngữ cảnh, hệ thống rất dễ nhận diện sai loại từ. Thêm vào đó, thói quen viết hoa thiếu chuẩn mực trên mạng xã hội làm mất dấu hiệu nhận biết trực quan. Nhiều tên tổ chức chứa tên riêng lồng ghép với chức danh và địa danh. Cấu trúc lồng nhau này tạo ra bài toán phân định phân cấp đầy phức tạp đối với mọi thuật toán học máy hiện thời.
2.2. Sự thiếu hụt nguồn dữ liệu chuẩn hóa và từ điển
Các tập ngữ liệu tiếng Việt được gán nhãn đầy đủ thường có dung lượng khiêm tốn. Việc xây dựng từ điển tên riêng tốn kém thời gian và nhân lực chuyên môn. Danh sách địa danh hành chính, tên doanh nghiệp và tên người mới liên tục xuất hiện theo thời gian thực. Từ điển tĩnh không thể bao phủ toàn bộ biến thể từ vựng mới. Khi gặp từ ngoài bộ từ điển, mô hình dễ rơi vào tình trạng đoán sai nhãn. Sự thiếu hụt tài nguyên chuẩn hạn chế đáng kể khả năng huấn luyện các kiến trúc mạng nơ-ron sâu yêu cầu lượng dữ liệu khổng lồ.
2.3. Rào cản trích xuất thông tin văn bản y sinh học
Văn bản y sinh học chứa nhiều thuật ngữ khoa học, tên gen, protein và triệu chứng bệnh phức tạp. Tên các biểu hiện y học thường kéo dài qua nhiều từ đơn lẻ và có nhiều cách viết tắt. Việc trích xuất thông tin văn bản trong miền y sinh đòi hỏi mô hình phải thích nghi miền dữ liệu hiệu quả. Sự khác biệt phong cách viết giữa văn bản thường thức và bệnh án lâm sàng tạo ra độ lệch phân phối dữ liệu lớn. Do vậy, thuật toán cần tích hợp các tri thức bản thể học y sinh để cải thiện độ chính xác phân loại thực thể.
III. Mô hình BiLSTM CRF tiếng Việt và phương pháp học máy
Sự kết hợp giữa học máy thống kê và học sâu tạo nên bước chuyển mình mạnh mẽ cho các hệ thống nhận diện. Mô hình BiLSTM-CRF tiếng Việt trở thành một trong những kiến trúc tiêu chuẩn đạt hiệu năng vượt trội. Trước đó, các phương pháp truyền thống như Entropy cực đại và Trường ngẫu nhiên có điều kiện đã đặt nền móng vững chắc. Các phương pháp này tận dụng các bộ đặc trưng thủ công kết hợp từ điển ngoài. Sự phát triển của mạng nơ-ron hồi quy hai chiều cho phép tự động học biểu diễn đặc trưng ngữ cảnh từ hai hướng. Lớp giải mã CRF phía trên đảm bảo tính hợp lệ của chuỗi nhãn đầu ra.
3.1. Kỹ thuật Entropy cực đại và tìm kiếm chùm MEM BS
Mô hình Entropy cực đại xây dựng phân phối xác suất có điều kiện dựa trên tập đặc trưng lựa chọn. Kỹ thuật này không áp đặt các giả định độc lập phi thực tế giữa các thuộc tính. Để tìm chuỗi nhãn tối ưu, thuật toán giải mã tìm kiếm chùm Beam Search được áp dụng. Phương pháp này duy trì một số lượng giới hạn các giả thiết có xác suất cao nhất tại mỗi bước dịch chuyển. Nhờ đó, chi phí tính toán giảm đáng kể trong khi chất lượng nhãn tổng thể vẫn duy trì ở mức tối ưu. Kỹ thuật MEM-BS đã chứng minh hiệu quả trong việc gắn nhãn tên người và thuộc tính đi kèm.
3.2. Ứng dụng trường ngẫu nhiên có điều kiện tuyến tính
Trường ngẫu nhiên có điều kiện Linear-chain CRF khắc phục triệt để hiện tượng thiên vị nhãn của mô hình Maximum Entropy. CRF mô hình hóa trực tiếp xác suất phân phối chung của toàn bộ chuỗi nhãn theo chuỗi quan sát. Mô hình tối ưu hóa các hàm đặc trưng trạng thái và hàm đặc trưng chuyển tiếp. Mối tương quan giữa nhãn hiện tại và nhãn liền trước được duy trì chặt chẽ. Khả năng bao quát mối quan hệ tuần tự giúp CRF xác định chính xác ranh giới của các thực thể dài. Đây là công cụ cốt lõi trong các hệ thống trích xuất thông tin truyền thống.
3.3. Tích hợp BiLSTM CRF tối ưu trích xuất thuộc tính
Kiến trúc BiLSTM học biểu diễn ngữ cảnh quá khứ và tương lai của từng từ một cách tự động. Sau đó, lớp CRF đóng vai trò thẩm định tính logic của toàn bộ chuỗi gán nhãn. Cấu trúc này ngăn chặn hiện tượng gán nhãn phi lý như nhãn I đứng trước nhãn B. Việc kết hợp BiLSTM-CRF tiếng Việt nâng cao rõ rệt độ đo F1 trên các tập dữ liệu thử nghiệm. Mô hình nhận diện trơn tru cả tên người và các thuộc tính liên quan như chức vụ, nghề nghiệp hoặc nơi công tác. Đây là bước đột phá kỹ thuật trước thời kỳ bùng nổ của mạng Transformer.
IV. Ứng dụng mô hình Transformer cho NLP tiếng Việt mới
Sự ra đời của kiến trúc tự chú ý Transformer đã tái định hình toàn diện lĩnh vực xử lý ngôn ngữ tự nhiên. Ứng dụng mô hình Transformer cho NLP tiếng Việt mang lại những bước tiến nhảy vọt về độ chính xác và khả năng hiểu ngữ nghĩa sâu. Các cơ chế tiền huấn luyện trên khối lượng dữ liệu khổng lồ giúp mô hình nắm bắt cấu trúc từ vựng và ngữ pháp phức tạp. Nhờ đó, việc nhận diện thực thể tên riêng không còn phụ thuộc nặng nề vào các tập luật thủ công. Khả năng liên kết ngữ cảnh xa giúp phân biệt chính xác các thực thể đồng âm trong nhiều hoàn cảnh giao tiếp khác nhau.
4.1. Kiến trúc tiền huấn luyện chuyên sâu cho tiếng Việt
Mô hình PhoBERT xây dựng dựa trên kiến trúc RoBERTa và được tối ưu hóa đặc biệt cho dữ liệu tiếng Việt. Quá trình huấn luyện sử dụng phương pháp tách từ chuẩn xác ở cấp độ âm tiết và từ ghép. PhoBERT nắm bắt mối quan hệ ngữ nghĩa hai chiều sâu sắc giữa các thành phần câu. Biểu diễn véc-tơ ngữ cảnh động từ mô hình phản ánh chính xác sắc thái của từng từ trong câu. Việc áp dụng mô hình ngôn ngữ tiền huấn luyện giúp giải quyết bài toán thiếu hụt dữ liệu gán nhãn thông qua cơ chế tinh chỉnh có trọng số.
4.2. Tối ưu hóa biểu diễn ngữ cảnh phân cấp thực thể
Cơ chế Self-Attention đa đầu của Transformer cho phép mô hình theo dõi đồng thời nhiều mối quan hệ ngữ pháp khác nhau. Mô hình đánh giá tầm quan trọng của các từ bổ nghĩa xung quanh đối với thực thể đích. Biểu diễn ngữ cảnh phân cấp giúp phân tách ranh giới của thực thể phức hợp chứa nhiều thuộc tính con. Ví dụ, tên một cơ quan hành chính bao gồm cả địa danh và cấp bậc quản lý được nhận dạng trọn vẹn. Khả năng ánh xạ không gian vector liên tục giúp mô hình duy trì độ ổn định cao trước các biến thể cú pháp.
4.3. Đánh giá độ chính xác trên bộ dữ liệu VLSP NER
Bộ dữ liệu VLSP NER là tiêu chuẩn đánh giá quan trọng nhất cho các mô hình nhận dạng thực thể tiếng Việt. Bộ ngữ liệu cung cấp hàng nghìn văn bản tin tức được gán nhãn thủ công với độ tin cậy cao. Các tiêu chí đánh giá bao gồm độ chính xác Precision, độ bao phủ Recall và điểm số F1-Score tổng hòa. Các mô hình dựa trên Transformer liên tục thiết lập kỷ lục mới về điểm số F1 trên tập kiểm thử VLSP. Kết quả thực nghiệm khẳng định ưu thế vượt trội của phương pháp học sâu ngữ cảnh so với các mô hình học máy truyền thống.
V. Giải pháp trích xuất thông tin văn bản hỏi đáp tự do
Mục tiêu cuối cùng của nhận dạng thực thể là phục vụ các ứng dụng thực tiễn trong đời sống và sản xuất. Giải pháp trích xuất thông tin văn bản hỏi đáp tự do là một minh chứng tiêu biểu cho năng lực ứng dụng của công nghệ. Dữ liệu thực thể được trích xuất tự động giúp chuyển đổi các văn bản phi cấu trúc thành các cơ sở tri thức có tổ chức. Nhờ đó, các công cụ tìm kiếm và hệ thống hội thoại có thể truy xuất câu trả lời chính xác trong thời gian thực. Quy trình kết hợp nhận dạng tên người và thuộc tính tạo tiền đề cho các nền tảng trí tuệ nhân tạo hiện đại.
5.1. Xây dựng hệ thống hỏi đáp tên người tiếng Việt
Hệ thống hỏi đáp tên người tiếng Việt xử lý các truy vấn ngôn ngữ tự nhiên liên quan đến nhân vật lịch sử và người nổi tiếng. Hệ thống phân tích câu hỏi để xác định dạng thực thể đích và thuộc tính cần tìm. Công nghệ nhận dạng thực thể bóc tách tên người, thời gian, địa điểm và hành động trong kho văn bản. Sau đó, thuật toán so khớp ngữ nghĩa lựa chọn đoạn văn bản chứa câu trả lời chính xác nhất. Việc tích hợp nhận diện thực thể giúp tăng độ chính xác của câu trả lời và rút ngắn thời gian xử lý truy vấn.
5.2. Khai phá tri thức từ ngữ liệu và thuộc tính đối tượng
Các văn bản báo chí và tài liệu lưu trữ chứa lượng tri thức khổng lồ về các mối quan hệ xã hội. Quá trình trích xuất đồng thời thực thể và thuộc tính giúp tự động xây dựng đồ thị tri thức phong phú. Mỗi đối tượng tên người được liên kết với nghề nghiệp, tổ chức công tác và các sự kiện tham gia. Đồ thị tri thức này hỗ trợ đắc lực cho công tác tra cứu, phân tích xu hướng và giám sát thông tin truyền thông. Toàn bộ chu trình khai phá dữ liệu vận hành tự động mà không cần sự can thiệp thủ công từ con người.
5.3. Định hướng mở rộng nhận dạng thực thể trong tương lai
Công nghệ nhận dạng thực thể tiếp tục phát triển theo hướng đa miền, đa phương thức và ít dữ liệu mẫu. Việc kết hợp xử lý văn bản với giọng nói và hình ảnh mở ra nhiều hướng ứng dụng mới mẻ. Các kỹ thuật học chuyển giao và học vài mẫu giúp triển khai mô hình nhanh chóng trên các chuyên ngành mới. Hệ thống nhận dạng thực thể trong tương lai sẽ thấu hiểu ngữ cảnh đa văn hóa và xử lý ngôn ngữ giao tiếp đời thường chuẩn xác hơn. Đây là hướng đi then chốt nhằm nâng cao trải nghiệm tương tác giữa người và máy tính.
Mục lục chi tiết luận án
Tải xuống file đầy đủ để xem toàn bộ nội dung
Tải đầy đủ (138 trang)Trích đoạn nội dung luận án
Tải xuống để đọc toàn bộĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TRẦN MAI VŨ NGHIÊN CỨU NHẬN DẠNG THỰC THỂ CÓ TÊN VÀ THỰC THỂ BIỂU HIỆN TRONG VĂN BẢN VÀ ỨNG DỤNG LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN Hà Nội – 2018 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TRẦN MAI VŨ NGHIÊN CỨU NHẬN DẠNG THỰC THỂ CÓ TÊN VÀ THỰC THỂ BIỂU HIỆN TRONG VĂN BẢN VÀ ỨNG DỤNG Chuyên ngành: Hệ thống thông tin Mã số: 62.01 LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. Hà Quang Thụy 2. Nguyễn Lê Minh Hà Nội – 2018 Họ và tên tác giả luận án LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các kết quả được viết chung với các tác giả khác đều được sự đồng ý của các đồng tác giả trước khi đưa vào luận án.
Các kết quả nêu trong luận án là trung thực và chưa từng được công bố trong các công trình nào khác. Tác giả Trần Mai Vũ 1 LỜI CẢM ƠN Luận án được thực hiện tại Bộ môn Hệ thống thông tin - Khoa Công nghệ thông tin - Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội, dưới sự hướng dẫn khoa học của PGS. Hà Quang Thụy và PGS. Nguyễn Lê Minh.
Trước tiên tôi xin bày tỏ lòng biết ơn sâu sắc tới thầy PGS. Hà Quang Thụy và PGS. Nguyễn Lê Minh, những người đã đưa tôi đến với lĩnh vực nghiên cứu này. Các thầy đã tận tình giảng dạy, hướng dẫn giúp tôi tiếp cận và đạt được thành công trong công việc nghiên cứu của mình.
Các thầy đã luôn tận tâm động viên, khuyến khích và chỉ dẫn giúp tôi hoàn thành được bản luận án này. Tôi xin bày tỏ lòng biết ơn tới các Thầy Cô thuộc Khoa Công nghệ thông tin và cán bộ Phòng Đào tạo - Trường Đại học Công nghệ, đã tạo mọi điều kiện thuận lợi giúp đỡ tôi trong quá trình học tập và nghiên cứu tại trường. Tôi xin cảm ơn PGS. Nigel Collier và cộng sự đã đóng góp ý kiến quý báu giúp tôi hoàn thiện bản luận án.
Sự động viên, cổ vũ của bạn bè là nguồn động lực quan trọng để tôi hoàn thành luận án. Tôi xin bày tỏ lòng biết ơn sâu sắc tới gia đình, vợ và các con tôi đã tạo điểm tựa vững chắc cho tôi có được thành công như ngày hôm nay. Tác giả Trần Mai Vũ 2 MỤC LỤC LỜI CAM ĐOAN 1 LỜI CẢM ƠN 2 MỤC LỤC 3 DANH MỤC CÁC KÍ HIỆU VÀ CHỮ VIẾT TẮT 7 DANH MỤC CÁC BẢNG 8 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ 10 MỞ ĐẦU 11 Lý do chọn đề tài 11 Mục tiêu cụ thể và phạm vi nghiên cứu của luận án 12 Cấu trúc của luận án 15 Chương 1 - KHÁI QUÁT VỀ NHẬN DẠNG THỰC THỂ 17 1. Một số khái niệm cơ bản 17 1.
Định nghĩa bài toán nhận dạng thực thể 17 1. Thách thức 19 1. Ứng dụng của nhận dạng thực thể 21 1. Sơ lược về lịch sử nghiên cứu và một số hướng giải quyết bài toán 22 1.
Nhận dạng thực thể trong dữ liệu văn bản tiếng Việt và một số nghiên cứu liên quan 24 1. Những thách thức đối với xử lý dữ liệu tiếng Việt 24 1. Động cơ nghiên cứu 26 1. Các nghiên cứu liên quan 26 1.
Nhận dạng thực thể trong dữ liệu văn bản y sinh tiếng Anh và một số nghiên cứu liên quan 29 1. Những thách thức đối với xử lý dữ liệu y sinh 29 1. Động cơ nghiên cứu 30 1. Các nghiên cứu liên quan 31 3 1.
Tổng kết chương 34 Chương 2 – NHẬN DẠNG THỰC THỂ TÊN NGƯỜI KẾT HỢP VỚI NHẬN DẠNG THUỘC TÍNH THỰC THỂ CÓ TÊN TRONG VĂN BẢN TIẾNG VIỆT 36 2. Các nghiên cứu liên quan 38 2. Các nghiên cứu liên quan trên thế giới 38 2. Các nghiên cứu liên quan ở Việt Nam 39 2.
Một mô hình giải quyết bài toán nhận dạng thực thể tên người kết hợp với nhận dạng thuộc tính thực thể 40 2. Mô hình Entropy cực đại giải mã bằng tìm kiếm chùm (MEM+BS) 40 2. Phương pháp trường ngẫu nhiên có điều kiện (CRF) 41 2. Mô hình đề xuất 42 2.
Tập đặc trưng 46 2. Thực nghiệm, kết quả và đánh giá 47 2. Công cụ và dữ liệu đánh giá 47 2. Kết quả thực nghiệm đánh giá trên toàn hệ thống 49 2.
Kết quả thực nghiệm đánh giá trên từng nhãn 50 2. Mô hình áp dụng vào hệ thống hỏi đáp tên người tiếng Việt 52 2. Khái quát bài toán 52 2. Đặc trưng câu hỏi liên quan đến thực thể tên người trong tiếng Việt 53 2.
Mô hình đề xuất 55 2. Phương pháp và dữ liệu đánh giá mô hình hỏi đáp tự động 61 2. Thực nghiệm và đánh giá 61 2. Tổng kết chương 64 Chương 3 – NHẬN DẠNG THỰC THỂ BIỂU HIỆN TRONG VĂN BẢN Y SINH TIẾNG ANH 66 3.
Động cơ và khái quát bài toán nhận dạng thực thể biểu hiện 66 4 3. Một số khái niệm cơ bản liên quan đến thực thể biểu hiện và một số thực thể liên quan 69 3. Vấn đề về thích nghi miền trong nhận dạng thực thể y sinh 74 3. Mô hình nhận dạng thực thể biểu hiện và một số thực thể liên quan 75 3.
Dữ liệu đánh giá và tài nguyên hỗ trợ 77 3. Mô hình đề xuất 82 3. Tập đặc trưng và đánh giá đặc trưng 84 3. Phương pháp đánh giá 88 3.
Thực nghiệm 1: đánh giá hiệu quả của mô hình đề xuất với các kỹ thuật học máy khác nhau 89 3. Thực nghiệm 2: so sánh kết quả của mô hình đề xuất với một số nghiên cứu liên quan 90 3. Thực nghiệm 3: đánh giá đóng góp của từng tài nguyên đối với kết quả nhận diện thực thể 94 3. Thực nghiệm 4: ứng dụng mô hình đề xuất để nhận dạng thực thể y sinh trong cuộc thi BioCreAtIvE V CDR Task 95 3.
Thích nghi miền dữ liệu trong nhận dạng thực thể y sinh 97 3. Kết quả và đánh giá 99 3. Tổng kết chương 101 Chương 4 – MỘT MÔ HÌNH NÂNG CẤP HIỆU QUẢ NHẬN DẠNG THỰC THỂ Y SINH DỰA TRÊN KỸ THUẬT LAI GHÉP VÀ HỌC XẾP HẠNG 103 4. Mô hình nâng cấp nhận dạng thực thể biểu hiện và các thực thể liên quan 103 4.
Các phương pháp lai ghép được đề xuất 105 4.1 Phương pháp lai ghép sử dụng luật 105 4.2 Phương pháp lai ghép sử dụng học máy gán nhãn chuỗi 108 4.3 Phương pháp lai ghép sử dụng học xếp hạng 109 5 4. Thực nghiệm và đánh giá kết quả 111 4. Phương pháp đánh giá 111 4.2 Thực nghiệm đánh giá hiệu quả của từng phương pháp lai ghép 112 4.3 Thực nghiệm kiểm thử tin cậy trong quá trình đánh giá hiệu quả của các tài nguyên 114 4.4 Thảo luận và phân tích lỗi 115 4. Kết luận chương 118 KẾT LUẬN 120 DANH MỤC CÔNG TRÌNH KHOA HỌC CỦA TÁC GIẢ CÓ LIÊN QUAN ĐẾN LUẬN ÁN 122 TÀI LIỆU THAM KHẢO 123 6 DANH MỤC CÁC KÍ HIỆU VÀ CHỮ VIẾT TẮT Kí hiệu Tiếng Anh Tiếng Việt NER Named Entity Recognition Nhận dạng thực thể định danh NLP Natural Language Processing Xử lý ngôn ngữ tự nhiên BioNLP Biomedical Natural Language Xử lý ngôn ngữ tự nhiên cho Processing dữ liệu y sinh IE Information Extraction Trích xuất thông tin CRF Conditional Random Fields Trường ngẫu nhiên có điều kiện SVM Support Vector Machine Máy véctơ hỗ trợ SVM-LTR SVM-Learn to rank Học xếp hạng máy véctơ hỗ trợ ME Model, Maximum Entropy Model Mô hình Entropy cực đại Maxent Model MEM+BS Maximum Entropy Model Mô hình Entropy cực đại với with Beam Search giải mã tìm kiếm chùm 7 DANH MỤC CÁC BẢNG Bảng 2.
Một ví dụ về trích chọn thực thể tên người và các thuộc tính liên quan 37 Bảng 2. Các nhãn được sử dụng trong mô hình 43 Bảng 2. Tập đặc trưng được sử dụng 46 Bảng 2. Thống kê thực thể trong tập dữ liệu được gán nhãn 48 Bảng 2.
Kết quả đánh giá toàn hệ thống trên hai mô hình với hai phương pháp MEM+BS và CRF 49 Bảng 2. Kết quả thực nghiệm đối với từng nhãn 51 Bảng 2. Ví dụ về một số thành phần câu hỏi 56 Bảng 2. Các thành phần xuất hiện trong câu hỏi về thực thể tên người 57 Bảng 2.
Ví dụ gán nhãn tổng quát cho câu hỏi về thực thể tên người tiếng Việt 58 Bảng 2. Thống kê trên tập dữ liệu câu hỏi đánh giá 61 Bảng 2. Kết quả đánh giá thành phần phân tích câu hỏi 62 Bảng 2. Kết quả đánh giá của hệ thống trả lời tự động 63 Bảng 3.
Danh sách các bệnh tự miễn dịch được sử dụng để xây dựng dữ liệu Phenominer A 78 Bảng 3. Các đặc điểm của dữ liệu Phenominer A về bệnh tự miễn dịch và Phenominer B về bệnh tim mạch 80 Bảng 3. Các đặc trưng sử dụng trong thực nghiệm 84 Bảng 3. Thực nghiệm so sánh các phương pháp học máy khác nhau 90 Bảng 3.
Thực nghiệm so sánh mô hình đề xuất và các hệ thống khác 92 Bảng 3. Kết quả đánh giá tài nguyên của mô hình nhận dạng thực thể 94 Bảng 3. Thống kê trên ba tập dữ liệu của nhiệm vụ CDR [WPL15] 96 Bảng 3. Kết quả mô hình nhận dạng trên tập dữ liệu kiểm thử 96 Bảng 3.
Kết quả F1 của hệ thống NER sử dụng phương pháp thực nghiệm 1-6. Các đặc trưng được MEM + BS sử dụng để quyết định kết quả 109 Bảng 4. Kết quả của mô hình trên tập dữ liệu Phenominer A khi sử dụng các phương pháp khác nhau để lai ghép kết quả 112 8 Bảng 4. Kiểm thử độ tin cậy dựa trên thống kê về sự khác biệt hiệu năng sử dụng xấp xỉ ngẫu nhiên đối với các thực nghiệm loại bỏ lần lượt từng tài nguyên.
Kiểm thử độ tin cậy dựa trên thống kê về sự khác biệt hiệu năng sử dụng xấp xỉ ngẫu nhiên đối với các thực nghiệm 114 Bảng 4. Các lỗi của mô đun quyết định kết quả sử dụng danh sách ưu tiên (PL) và học xếp hạng sử dụng SVM (LTR) 116 9 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 0. Thống kê các công trình nghiên cứu liên quan đến cụm từ “named entity recognition” trên Springer từ 2002 - tháng 11/2017 11 Hình 0. Biểu đồ phân bố các công trình đã công bố của nghiên cứu sinh tương ứng với các chương của luận án 16 Hình 1.
Mô tả các độ đo độ chính xác, độ hồi tưởng và độ đo F1 20 Hình 1. Các nhiệm vụ về xử lý ngôn ngữ tự nhiên cho văn bản y sinh trong giai đoạn 2002-2014 [HL15] 31 Hình 2. Đồ thị vô hướng mô tả CRF 41 Hình 2.
Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ
Trích dẫn luận án này
Trần Mai Vũ (2018). Nghiên cứu nhận dạng thực thể có tên trong văn bản tiếng Việt [Luận án tiến sĩ, Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội]. LuanAn.net. https://luanan.net/ngon-ngu-hoc/ngon-ngu-hoc-ung-dung/nghien-cuu-nhan-dang-thuc-the-co-ten-va-bieu-hien-trong-van-ban
Câu hỏi thường gặp
Luận án "Nghiên cứu nhận dạng thực thể có tên trong văn bản tiếng Việt" nghiên cứu về vấn đề gì?
"Nghiên cứu nhận dạng thực thể có tên và biểu hiện trong văn bản, đề xuất mô hình cải tiến hiệu quả xử lý ngôn ngữ tự nhiên."
Luận án "Nghiên cứu nhận dạng thực thể có tên trong văn bản tiếng Việt" được bảo vệ tại trường nào?
Luận án này được bảo vệ tại Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội. Năm bảo vệ: 2018.
Luận án "Nghiên cứu nhận dạng thực thể có tên trong văn bản tiếng Việt" thuộc chuyên ngành gì?
Luận án "Nghiên cứu nhận dạng thực thể có tên trong văn bản tiếng Việt" thuộc chuyên ngành Hệ thống thông tin. Danh mục: Ngôn Ngữ Học Ứng Dụng.
Luận án "Nghiên cứu nhận dạng thực thể có tên trong văn bản tiếng Việt" có bao nhiêu trang?
Luận án "Nghiên cứu nhận dạng thực thể có tên trong văn bản tiếng Việt" có 138 trang. Bạn có thể xem trước một phần tài liệu ngay trên trang web trước khi tải về.
Cách tải luận án "Nghiên cứu nhận dạng thực thể có tên trong văn bản tiếng Việt" về máy như thế nào?
Để tải luận án về máy, bạn nhấn nút "Tải xuống ngay" trên trang này, sau đó hoàn tất thanh toán phí lưu trữ. File sẽ được tải xuống ngay sau khi thanh toán thành công. Hỗ trợ qua Zalo: 0559 297 239.