Luận án: Phương pháp phục vụ xếp hạng trang web trong tìm kiếm xuyên ngữ - Trường Đại học Bách khoa Đà Nẵng

LỜI CAM ĐOAN Tôi xin cam đoan: Luận án này là công trình nghiên cứu thực sự của cá nhân tôi, được thực hiện tại Trường Đại học Bách khoa, Đại học Đà Nẵng dưới sự hướng dẫn khoa học của PGS. Võ Trung Hùng và PGS. Huỳnh Công Pháp. Các số liệu, những kết luận nghiên cứu được trình bày trong luận án này là trung thực và chưa từng được công bố ở bất kỳ công trình nào của các tác giả khác.

Tôi xin chịu trách nhiệm về những lời cam đoan của tôi. Tác giả, Lâm Tùng Giang -i- MỤC LỤC MỞ ĐẦU. MỤC TIÊU, ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU. ĐÓNG GÓP CỦA LUẬN ÁN.

BỐ CỤC CỦA LUẬN ÁN. 8 CHƯƠNG 1: TỔNG QUAN VÀ ĐỀ XUẤT NGHIÊN CỨU. TRUY VẤN THÔNG TIN. Định nghĩa hình thức.

Sơ đồ xử lý của hệ thống truy vấn thông tin. Các mô hình truy vấn thông tin truyền thống. Khai thác quan hệ giữa các thuật ngữ trong văn bản. ĐÁNH GIÁ HỆ THỐNG TRUY VẤN THÔNG TIN.

Môi trường thực nghiệm. TRUY VẤN THÔNG TIN XUYÊN NGỮ. Các hướng tiếp cận. Các kỹ thuật dịch tự động.

CÁC KỸ THUẬT XẾP HẠNG LẠI. Xếp hạng và xếp hạng lại. Khai thác thông tin của các máy tìm kiếm có sẵn. Học xếp hạng.

Khai thác thông tin người sử dụng. XẾP HẠNG TRANG WEB. Đặc thù của tìm kiếm web. Các phương pháp xếp hạng trang Web.

Xếp hạng trang Web trong tìm kiếm xuyên ngữ. CÁC HẠN CHẾ VÀ ĐỀ XUẤT NGHIÊN CỨU. Đề xuất nghiên cứu. TIỂU KẾT CHƯƠNG.

41 CHƯƠNG 2: DỊCH TỰ ĐỘNG PHỤC VỤ TRUY VẤN XUYÊN NGỮ. CÁC PHƯƠNG PHÁP DỊCH TỰ ĐỘNG. Sử dụng máy dịch. Sử dụng kho ngữ liệu.

Sử dụng từ điển. Sử dụng ngôn ngữ trung gian. Sử dụng không gian ngữ nghĩa. Đánh giá chung.

KHỬ NHẬP NHẰNG. MÔ HÌNH SỬ DỤNG TỪ ĐIỂN MÁY. Xây dựng dữ liệu từ điển. Khử nhập nhằng dựa trên độ đo mức độ liên quan của cặp từ.

Các biến thể của công thức MI. Thuật toán chọn bản dịch tốt nhất. Xây dựng câu truy vấn. THỰC NGHIỆM ÁP DỤNG CÔNG THỨC SMI.

Môi trường thực nghiệm. Kết quả thực nghiệm. THỰC NGHIỆM TẠO BẢN DỊCH CÂU TRUY VẤN CÓ CẤU TRÚC. Môi trường thực nghiệm.

Cấu hình thực nghiệm. Kết quả thực nghiệm. TIỂU KẾT CHƯƠNG. 67 CHƯƠNG 3: HỖ TRỢ DỊCH CÂU TRUY VẤN.

CÁC KỸ THUẬT HỖ TRỢ DỊCH CÂU TRUY VẤN. Phân đoạn câu truy vấn ở ngôn ngữ nguồn. Mở rộng câu truy vấn. Thu hẹp câu truy vấn.

Xử lý thuật ngữ không có trong từ điển. PHÂN ĐOẠN CÂU TRUY VẤN. Sử dụng công cụ vnTagger. Thuật toán WLQS.

Kết hợp WLQS và công cụ vnTagger. ĐIỀU CHỈNH CÂU TRUY VẤN Ở NGÔN NGỮ ĐÍCH. Phản hồi ẩn. Phản hồi ẩn trong truy vấn xuyên ngữ.

Điều chỉnh câu truy vấn có cấu trúc ở ngôn ngữ đích. Cấu hình thực nghiệm. TIỂU KẾT CHƯƠNG. 89 CHƯƠNG 4: XẾP HẠNG LẠI.

HỌC XẾP HẠNG DỰA TRÊN LẬP TRÌNH DI TRUYỀN. Mô hình ứng dụng lập trình di truyền. Xây dựng công cụ và kết quả thực nghiệm. ĐỀ XUẤT CÁC MÔ HÌNH LÂN CẬN.

Mô hình CL-Büttcher. Mô hình xếp hạng CL-Rasolofo. Mô hình xếp hạng CL-HighDensity. Thực nghiệm việc ứng dụng mô hình lân cận xuyên ngữ.

HỌC XẾP HẠNG TRANG WEB. Các mô hình học xếp hạng. Môi trường thực nghiệm. Cấu hình thực nghiệm.

Kết quả thực nghiệm. TIỂU KẾT CHƯƠNG. 110 CHƯƠNG 5: HỆ THỐNG TÌM KIẾM WEB XUYÊN NGỮ VIỆT-ANH. THIẾT KẾ HỆ THỐNG.

Các thành phần hệ thống & sơ đồ thuật toán. Dữ liệu từ điển. Dữ liệu đánh chỉ mục. PHƯƠNG PHÁP THỰC NGHIỆM.

THỰC NGHIỆM CÁC GIẢI PHÁP DỊCH CÂU TRUY VẤN. Cấu hình thực nghiệm. Kết quả thực nghiệm. THỰC NGHIỆM ĐIỀU CHỈNH CÂU TRUY VẤN.

Cấu hình thực nghiệm. Kết quả thực nghiệm. THỰC NGHIỆM XẾP HẠNG LẠI. Cấu hình thực nghiệm.

Kết quả thực nghiệm. ĐÁNH GIÁ HIỆU QUẢ KẾT HỢP CÁC KỸ THUẬT. TIỂU KẾT CHƯƠNG. 128 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN.

Tóm tắt nội dung luận án. Các kết quả đạt được. HƯỚNG PHÁT TRIỂN. 132 TÀI LIỆU THAM KHẢO.

133 - vi - DANH MỤC HÌNH VẼ Hình 1.1: Quá trình xử lý của hệ thống truy vấn thông tin .2: Biểu đồ trung bình 11 điểm .3: Mô hình xếp hạng tìm kiếm Web đa ngữ .4: Sơ đồ xử lý giai đoạn truy vấn .1: Phân loại phương pháp mở rộng câu truy vấn.2: Phản hồi của người dùng .3: Phản hồi ẩn về độ phù hợp của kết quả tìm kiếm ban đầu .4: Đồ thị trung bình 11 điểm .1: Hệ thống tìm kiếm Web đa ngữ Việt-Anh .1: Các thành phần của hệ thống tìm kiếm Web Việt - Anh .2: Sơ đồ thuật toán của hệ thống.3: So sánh các cấu hình dùng 1 bản dịch .4: So sánh các cấu hình dùng 3 bản dịch .5: Kết quả của 5 lần huấn luyện của các phương pháp .6: Điểm MAP khi sử dụng phương án dịch Top_three_all .7: Điểm MAP khi sử dụng phương án dịch Top_three_weight. 128 - vii - DANH MỤC BẢNG Bảng 1.1 Thông tin sử dụng & đặc điểm của các mô hình xếp hạng.1: Cấu hình thực nghiệm .2: Kết quả thực nghiệm .3: So sánh P@k và MAP các cấu hình .1: Điểm số MAP .2: Số lượng tài liệu phù hợp tải về .1 Ví dụ thuộc tính của bộ sưu tập OHSUMED.2 So sánh giá trị MAP .3 So sánh giá trị NDCG@k.4: So sánh giá trị P@k .5: Điểm MAP của các cấu hình thực nghiệm .6: Mức độ tăng hiệu quả khi áp dụng mô hình lân cận .7: Các phương án hàm distance .8: Kết quả thực nghiệm .1: Các cấu hình đánh giá các giải pháp dịch câu truy vấn .2: So sánh các giải pháp dịch câu truy vấn .3: Cấu hình đánh giá kết quả điều chỉnh câu truy vấn .4: So sánh các giải pháp điều chỉnh câu truy vấn .5: Cấu hình thực nghiệm học xếp hạng .6: Kết quả thực nghiệm các phương pháp học xếp hạng .7: Đánh giá việc áp dụng các kỹ thuật đề xuất. 125 - viii - DANH MỤC TỪ VIẾT TẮT AP Average Precision CLEF Cross Language Evaluation Forum CLIR Cross Language Information Retrieval DF Document frequency FIRE Forum for Information Retrieval Evaluation GP Genetic Programming HITS Hypertext Induced Topic Search HTML Hyper Text Markup Language IDF Inverse Document Frequency IR Information Retrieval LETOR LEearning TO Rank LMIR Language Models in Information Retrieval LSI Latent Sematic Indexing MAP Mean Average Precision MI Mutual Information MRD Machine Readable Dictionary NDCG Normalized Discount Cumulative Gain PRF Pseudo-Relevance Feedback SMI Summary Mutual Information SVD Singular-Value Decomposition TF Term frequency TREC Text REtrieval Conference UNL Universal Network Language VSM Vector Space Model WLQS Word-Length-based Query Segmentation WWW Word Wide Web - ix - DANH MỤC THUẬT NGỮ Anchor Mốc, neo Authority Độ tin cậy Average Precision Độ chính xác trung bình Bag of Words Túi từ Bilingual Machine Readable Dictionary Từ điển máy song ngữ Binary Independence Retrieval – BIR Mô hình truy vấn nhị phân độc lập Boolean model Mô hình Boolean Cohesion Score Điểm liên kết Cross Language Information Retrieval - Truy vấn thông tin xuyên ngữ CLIR Cross-language Web Search Tìm kiếm web xuyên ngữ Data sparsity Tính thưa thớt dữ liệu Degree of similarity Mức độ tương tự Discounted Cumulative Gain Độ lợi tích lũy giảm dần Fuzzy-Logic model Mô hình lô-gic mờ Gain Function Hàm lợi ích Hub Trung tâm Hyper Text Markup Language-HTML Ngôn ngữ siêu văn bản Hyperlink Siêu liên kết Information Retrieval – IR Truy vấn thông tin Inverse document frequency – IDF Tần suất tài liệu nghịch đảo IR model Mô hình truy vấn thông tin Language Model – LMIR Mô hình ngôn ngữ Latent Sematic Indexing - LSI Mô hình chỉ mục ngữ nghĩa ngầm Learning to Rank Học xếp hạng Loss Function Hàm tổn thất Machine Learning - ML Học máy -x- Mean Average Precision Độ chính xác trung bình bình quân Meta tag Thẻ cung cấp thông tin trang web Mutual Information - MI Thông tin tương hỗ Precision Độ chính xác Probabilistic model Mô hình xác suất Proximity Model Mô hình lân cận Pseudo-Relevance Feedback – PRF Phản hồi giả Query Câu truy vấn Recall Độ bao phủ Regions models Mô hình vùng Relevant information Thông tin phù hợp Singular-Value Decomposition – SVD Phân tích giá trị đơn Summary Mutual Information Tổng thông tin tương hỗ Term frequency – TF Tần suất xuất hiện của thuật ngữ trong tài liệu Three-way data dữ liệu 3 hướng True Relevance Feedback Phản hồi thực sự Two-way data dữ liệu 2 hướng Vector Space model – VSM Mô hình không gian vec-tơ Word-length-based Query Segmentation Phân đoạn câu truy vấn dựa trên độ dài từ World Wide Web Mạng lưới thông tin toàn cầu - xi - MỞ ĐẦU 1. ĐẶT VẤN ĐỀ Hơn hai mươi năm qua, chúng ta chứng kiến sự phát triển và lớn mạnh vượt bậc của Internet và World Wide Web.

Đến cuối năm 2015, chỉ riêng Google đã đánh chỉ mục được khoảng 47 tỷ trang web1. Bên cạnh kích thước khổng lồ, sự tăng trưởng của World Wide Web còn thể hiện ở tính đa dạng của các ngôn ngữ được sử dụng trong các trang web. Đến thời điểm này, tiếng Anh tiếp tục là ngôn ngữ phổ biến nhất, được sử dụng tại 54% trong tổng số các website, tiếp theo là tiếng Nga và tiếng Đức, tương ứng là 6,1% và 5,7%. Riêng tiếng Việt được sử dụng tại khoảng 0,6% tổng số các website2.

Cùng với sự đa dạng về ngôn ngữ, việc tìm kiếm thông tin không còn giới hạn ở tiếng mẹ đẻ của người dùng mà đã được mở rộng ra các ngôn ngữ khác. Bài toán tìm kiếm web xuyên ngữ (Cross-Language Web Search) đặt ra nhiệm vụ từ nhu cầu thông tin của người dùng được trình bày ở một ngôn ngữ (gọi là ngôn ngữ nguồn), thực hiện việc xác định các trang web phù hợp được viết bằng một ngôn ngữ khác (gọi là ngôn ngữ đích). Việc giải quyết bài toán có ý nghĩa thực tế, cho phép người sử dụng truy cập các nguồn tài nguyên thông tin ở các ngôn ngữ khác nhau [134]. Nền tảng công nghệ để giải quyết bài toán tìm kiếm web xuyên ngữ là sự kết hợp các kỹ thuật áp dụng trong truy vấn thông tin xuyên ngữ (Cross-language Information Retrieval - CLIR) - một lĩnh vực con của truy vấn thông tin (Information Retrieval - IR) - và việc khai thác các đặc thù riêng của các trang web.

Truy vấn thông tin quan tâm vấn đề tìm kiếm thông tin phù hợp hay tài liệu chứa các thông tin như vậy dựa trên nhu cầu thông tin của người sử dụng từ một tập hợp lớn các tài liệu (được gọi là kho tài liệu). Nhu cầu thông tin được biểu diễn dưới dạng câu truy vấn.