Luận án nghiên cứu phương pháp tìm kiếm tài liệu dựa trên công thức toán - Học viện Công nghệ Bưu chính Viễn thông

i LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả nêu trong Luận án là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Tác giả Luận án ii LỜI CẢM ƠN Để hoàn thành được luận án này, đầu tiên, nghiên cứu sinh xin chân thành cảm ơn sự hướng dẫn khoa học và tận tình giúp đỡ của PGS. Võ Trung Hùng và TS.

Nguyễn Mạnh Hùng. Nghiên cứu sinh trân trọng cảm ơn Ban Giám đốc Học viện Công nghệ Bưu chính Viễn thông, Hội đồng tiến sĩ, Khoa Quốc tế và Đào tạo sau đại học đã tạo điều kiện thuận lợi cho nghiên cứu sinh thực hiện và hoàn thành chương trình nghiên cứu. Xin chân thành cảm ơn Quý thầy, cô đã đọc và góp ý kiến cho luận án. Nghiên cứu sinh chân thành cảm ơn Cơ quan Bộ Giáo dục và Đào tạo đã tạo điều kiện công tác thuận lợi để nghiên cứu sinh tham gia và hoàn thành khóa học này.

Cuối cùng, nghiên cứu sinh bày tỏ lòng biết ơn đến gia đình, người thân, những người bạn đã luôn bên cạnh, động viên và ủng hộ nghiên cứu sinh trong suốt thời gian qua. Nghiên cứu sinh Cao Xuân Tuấn iii MỤC LỤC LỜI CẢM ƠN. ii DANH MỤC CÁC TỪ VIẾT TẮT. vi DANH MỤC HÌNH VẼ.

vii DANH MỤC BẢNG. ix MỞ ĐẦU. TỔNG QUAN VỀ TÌM KIẾM VĂN BẢN VÀ CÔNG THỨC TOÁN. Khái niệm văn bản.

Hệ thống tìm kiếm văn bản. Tìm kiếm văn bản chứa công thức toán. Đặc thù của tìm kiếm văn bản chứa công thức toán. Các công cụ soạn thảo văn bản chứa công thức toán.

Biểu diễn văn bản chứa công thức toán. Lưu trữ văn bản chứa công thức toán. Tìm kiếm công thức toán với hệ thống MathWebSearch. Hướng tiếp cận của luận án.

Kết luận Chương 1. BIỂU DIỄN VÀ LƯU TRỮ CÔNG THỨC TOÁN. Mô hình biểu diễn và tìm kiếm công thức toán trong văn bản. Biểu diễn và lưu trữ công thức toán với MathML.

Soạn thảo và hiển thị công thức toán với Amaya. Sao chép công thức toán trong Amaya. Chuyển đổi công thức MathML với các định dạng khác. Kết luận Chương 2.

TÌM KIẾM TÀI LIỆU DỰA TRÊN CÔNG THỨC TOÁN. Bài toán tìm kiếm tài liệu. Tìm kiếm tài liệu dựa trên công thức toán. Mô hình đề xuất.

Mô-đun lập chỉ mục văn bản. Mô-đun tìm kiếm và hiển thị kết quả. Tìm kiếm tài liệu dựa trên Semantic Web. Mô tả ứng dụng Semantic Web toán học.

Mô hình đề xuất. Kết luận Chương 3. THỬ NGHIỆM VÀ ĐÁNH GIÁ. Chức năng soạn thảo và lưu trữ công thức toán.

Tìm kiếm trực tiếp công thức toán. Tìm kiếm trên Ontology. Tìm kiếm văn bản dựa trên công thức toán. Phát triển hệ thống thử nghiệm.

Mô tả chức năng hệ thống. Môi trường cài đặt hệ thống. Chuẩn bị dữ liệu. Đánh giá kết quả.

Phương pháp đánh giá. Kết quả thử nghiệm và đánh giá kết quả. Kết luận Chương 4. 87 DANH MỤC CÁC BÀI BÁO ĐÃ CÔNG BỐ.

90 TÀI LIỆU THAM KHẢO. 91 vi DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt Nghĩa Tiếng Anh Nghĩa Tiếng Việt CSS Cascading Style Sheets Tập tin định dạng theo tầng HTML HyperTeXt Markup Language Ngôn ngữ đánh dấu siêu văn bản MathML Mathematical Markup Language Ngôn ngữ đánh dấu toán học OLE Object Linking and Embedding Liên kết và nhúng đối tượng SVG Scalable Vector Graphics Ngôn ngữ đánh dấu miêu tả các hình ảnh đồ họa véc tơ hai chiều W3C The World Wide Web Consortium Tiêu chuẩn thiết kế Web WYSIWYG What You See Is What You Get Giao diện tương tác tức thời XHTML Extensible HyperTeXt Markup Ngôn ngữ đánh dấu siêu văn Language bản mở rộng XML eXtensible Markup Language Ngôn ngữ đánh dấu mở rộng URI Uniform Resource Identifier Định danh tài nguyên vii DANH MỤC HÌNH VẼ Hình 1. Kiến trúc tổng quan hệ thống lưu trữ và tìm kiếm văn bản. Nhập công thức bằng bảng chọn.

Hiển thị công thức trên màn hình soạn thảo. Cửa sổ soạn thảo trên TeXworks. Cửa sổ soạn thảo Microsoft Equation. Giao diện phần mềm Mathtype.

Công cụ MyEqText soạn thảo trực tiếp trong cửa sổ Microsoft Word. Cấu trúc của hệ thống ( MWS – 0. Kiến trúc hệ thống theo giải pháp 2. Kiến trúc hệ thống theo giải pháp 3.

Mô hình biểu diễn công thức toán trong văn bản truyền thống. Mô hình biểu diễn và lưu trữ công thức toán trong văn bản đề xuất. Minh họa cách trình bày công thức. Cấu trúc thành phần của mã nguồn mở Amaya.

Sơ đồ quá trình chuyển đổi dữ liệu trong ClipBoard. Chương trình thường trú Math Clipboard Converted. Thuật toán sao chép công thức qua ClipBoard. Mô hình chuyển đổi công thức từ MathML sang TeX.

Biểu diễn dạng cây của công thức MathML. Biểu diễn dưới dạng cây của đối tượng TeX. Mô hình hệ thống tìm kiếm thông tin. Mô hình tổng quát của quá trình tạo chỉ mục và tìm kiếm.

Mô hình quá trình tạo chỉ mục. Mô hình quá trình tìm kiếm. Mô hình hóa hệ thống Semantic Web toán học. Biểu diễn công thức theo dạng thẻ (tags).

Biểu diễn công thức theo dạng hình cây. Ví dụ về tìm kiếm ký tự a. Ví dụ tìm kiếm ký hiệu căn bậc 2. Tìm và thay thế công thức.

Mô hình xây dựng và khai thác kho dữ liệu. Giao diện tìm kiếm tài liệu với câu truy vấn là văn bản. Giao diện tìm kiếm có câu truy cấn là công thức toán. Tổ chức dữ liệu trên máy chủ lưu trữ.

Chi tiết cơ sở dữ liệu lưu trữ thông tin tài liệu. Cửa số tìm kiếm với câu truy vấn là công thức toán. Cửa tìm kiếm với câu truy vấn là nội dung văn bản. Mối tương quan giữa độ triệu hồi và độ chính xác theo kịch bản 1.

Mối tương quan giữa độ triệu hồi và độ chính xác theo kịch bản 2. 85 ix DANH MỤC BẢNG Bảng 1. So sánh các công cụ soạn thảo công thức toán .1 Một số thẻ đặc trưng của MathML. So sánh cách biểu diễn hai ngôn ngữ đánh dấu.

Mô tả tài liệu thực nghiệm. Bảng phân loại lĩnh vực của tài liệu. Bảng phân loại định dạng tài liệu. Kết quả phân tích tài liệu.

Thống kê truy vấn. Thống kê độ triệu hồi và độ chính xác theo kịch bản 1. Thống kê độ triệu hồi và độ chính xác theo kịch bản 2. Kết quả trung bình của độ triệu hồi và độ chính xác.

Lý do chọn đề tài Trong những năm gần đây, cùng với sự phát triển mạnh mẽ của mạng Internet và công nghệ Web là sự bùng nổ thông tin số. Số lượng người sử dụng và lượng thông tin sản sinh ra trên mạng Internet gia tăng rất nhanh và chúng ta có thể tìm thấy hầu hết thông tin cần thiết khi có nhu cầu. Đặc biệt, lượng thông tin liên quan đến khoa học, phục vụ học tập, nghiên cứu cũng gia tăng nhanh chóng và phong phú về lĩnh vực. Vì vậy, việc khai thác hiệu quả các tài liệu nói chung và các tài liệu khoa học nói riêng trên Internet có ý nghĩa quan trọng trong việc nâng cao chất lượng học tập và nghiên cứu, góp phần vào sự phát triển khoa học và kinh tế.

Theo số liệu thống kê, trong quá trình học tập và nghiên cứu thì con người đã chi phí khoảng 90% thời gian cho công tác tìm kiếm, phân tích và tổng hợp các tài liệu hiện có. Các công cụ tìm kiếm phổ biến hiện nay như Google, Yahoo, Bing… chỉ hỗ trợ mạnh việc tìm kiếm các dữ liệu dưới dạng văn bản và hình ảnh, việc tìm kiếm các dữ liệu đặc biệt như công thức toán thì các công cụ này hầu như chưa thực hiện được. Hiện nay, đã có nhiều công cụ cho phép soạn thảo và quản lý các công thức toán, nhưng việc tìm kiếm còn gặp nhiều khó khăn do chưa có chuẩn chung về biễn diễn và lưu trữ. Để tìm kiếm một tài liệu dựa trên công thức toán, chúng ta cần có một cơ chế thống nhất để mô tả, lưu trữ và tìm kiếm theo ngữ nghĩa tương ứng với công thức đó.

Hiện đã xuất hiện một số công cụ hỗ trợ việc biểu diễn các công thức toán trên môi trường Web, tuy nhiên các công cụ này chưa xác định được chuẩn mô hình và cách biểu diễn chung. Do sự đa dạng về cách biểu diễn công thức toán trong các tài liệu khoa học, dẫn đến khó khăn trong việc diễn giải công thức cần tìm kiếm đối với người dùng và so sánh sự tương đồng giữa chúng. Vì vậy, luận án này tập trung nghiên cứu đề xuất các mô hình phù hợp, phát triển các bộ công cụ để soạn thảo công thức, soạn thảo chú thích và tìm kiếm công thức toán và tìm kiếm tài liệu dựa trên công thức toán cũng như các giải pháp lưu 2 trữ, quản lý và khai thác dữ liệu các công thức toán trên các tài liệu, đặc biệt là trên môi trường Web. Tổng quan tình hình nghiên cứu Các nghiên cứu liên quan đến các tài liệu chứa công thức toán tập trung vào 3 hướng chính: 1) Các tiêu chuẩn để lưu trữ công thức toán trong các văn bản điện tử; 2) Soạn thảo và hiển thị các công thức toán trên các văn bản; 3) Tìm kiếm công thức toán.

Các nghiên cứu trên chủ yếu được thực hiện bởi các nhà khoa học ở nước ngoài, ở Việt Nam các nghiên cứu về vấn đề này chưa nhiều và kết quả còn khá khiêm tốn. Tình hình nghiên cứu trên thế giới Việc nghiên cứu các tiêu chuẩn để có thể lưu trữ và trao đổi các văn bản có chứa công thức toán đã được các nhà khoa học, các công ty nước ngoài quan tâm từ rất sớm như: tiêu chuẩn TeX/LaTeX (đề xuất bởi Donald Knuth từ năm 1969 và đến năm 1991 đã có nhiều phiên bản ra đời và hỗ trợ nhiều ngôn ngữ khác nhau) [27], [18]; tiêu chuẩn MathML (phát triển và phổ biến rộng rãi bởi W3C - World Wide Web Consortium) [9]. Bên cạnh các tiêu chuẩn lưu trữ, việc soạn thảo và xử lý các công thức toán được nhiều nhà khoa học quan tâm.