Luận án tiến sĩ khoa học máy tính: Mô hình lai dự báo mờ hướng dữ liệu - Nguyễn Đức Hiển, Đại học Huế 2019

ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN ĐỨC HIỂN XÂY DỰNG MÔ HÌNH LAI CHO BÀI TOÁN DỰ BÁO THEO TIẾP CẬN MỜ HƯỚNG DỮ LIỆU LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH HUẾ - NĂM 2019 ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN ĐỨC HIỂN XÂY DỰNG MÔ HÌNH LAI CHO BÀI TOÁN DỰ BÁO THEO TIẾP CẬN MỜ HƯỚNG DỮ LIỆU CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 9480101 LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: PGS. Lê Mạnh Thạnh HUẾ - NĂM 2019 LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu do tôi thực hiện dưới sự hướng dẫn của PGS. Lê Mạnh Thạnh. Các kết quả được viết chung với các tác giả khác đều được sự đồng ý của đồng tác giả trước khi đưa vào luận án.

Các kết quả trong luận án là trung thực và chưa từng được công bố trong bất kỳ công trình nào khác. Thừa Thiên Huế, ngày 20 tháng 06 năm 2019 Tác giả Nguyễn Đức Hiển i LỜI CẢM ƠN Luận án được thực hiện tại Khoa Công nghệ thông tin – Trường Đại học khoa học – Đại học Huế, dưới sự hướng dẫn của PGS. Lê Mạnh Thạnh. Tôi xin bày tỏ lòng biết ơn sâu sắc đến Thầy về định hướng khoa học, người đã động viên, trao đổi nhiều kiến thức và chỉ bảo tôi vượt qua những khó khăn để hoàn thành luận án này.

Tôi cũng xin gửi lời cảm ơn chân thành đến các nhà khoa học, tác giả của các công trình công bố đã được trích dẫn trong luận án, đây là những tư liệu quý, kiến thức liên quan quan trọng giúp Nghiên cứu sinh hoàn thành luận án; Xin cảm ơn đến tất cả các Thầy, Cô tại Khoa Công nghệ thông tin – Trường Đại học Khoa học – Đại học Huế và các nhà khoa học đã góp ý, phản biện các công trình nghiên cứu của tôi. Tôi trân trọng cảm ơn Khoa Công nghệ thông tin, Phòng đào tạo sau đại học thuộc Trường đại học Khoa học – Đại học Huế đã tạo điều kiện thuận lợi cho tôi trong suốt quá trình nghiên cứu thực hiện luận án. Xin cảm ơn Ban giám hiệu Trường cao đẳng Công nghệ thông tin, các đồng nghiệp tại Khoa Công nghệ thông tin đã quan tâm giúp đỡ, tạo điều kiện để tôi có thể thực hiện kế hoạch nghiên cứu đảm bảo tiến độ. Cuối cùng, tôi xin gửi lời cảm ơn sâu sắc tới gia đình, bạn bè, những người đã luôn ủng hộ, giúp đỡ và hỗ trợ tôi về mọi mặt để tôi yên tâm học tập đạt kết quả tốt.

Luận án cũng là món quà tinh thần mà tác giả trân trọng gửi tặng đến các thành viên trong Gia đình. ii DANH MỤC THUẬT NGỮ Thuật ngữ Tiếng Anh Viết tắt Diễn giải Tiếng Việt A priori knowledge Tri thức tiên nghiệm Adaptive-Network-based Mạng thích nghi dựa trên cơ sở hệ suy ANFIS Fuzzy Inference System luận mờ Artificial Neural Networks ANN Mạng nơ-ron nhân tạo Classification Phân lớp Clustering Phân cụm Data driven fuzzy models Mô hình mờ hướng dữ liệu Directional Symmetry DS Sự đổi hướng của dữ liệu thời gian Exponential Moving Average EMA Đường trung bình động hàm mũ Explanation-Based Learning EBL Học dựa trên sự giải thích Forecasting Dự báo Fuzzy models Mô hình mờ Fuzzy rules-based models Mô hình dựa trên luật mờ Genetic Algorithms GA Giải thuật di truyền Gross Domestic Product GDP Tổng sản phẩm quốc nội Hierarchical Clustering HC Phân cụm theo thứ bậc Interpretability Tính có thể diễn dịch được Knowledge-Based Inductive KBIL Học quy nạp dựa trên tri thức Learning Magnetic Resonance Imaging MRI Hình ảnh đa phổ cộng hưởng từ Mean Absolute Error MAE Sai số tuyệt đối trung bình Mean Absolute Percent Error MAPE Sai số phần trăm tuyệt đối trung bình Mean Square Error MSE Sai số bình phương trung bình Multi Inputs and Single MISO Hệ thống nhiều đầu vào và một đầu ra Output Normalize Mean Square Error NMSE Sai số bình phương trung bình chuẩn hóa Prediction Dự đoán Radial Basis Functions RBF Hàm cơ sở hướng tâm Radial Basis Network RBN Mạng nơ-ron RBN iii Regression Hồi quy Relative Difference in RDP Sai biệt tương đối (%) của giá Percentage of Price Relevance-Based Learning RBL Học dựa trên sự thích hợp Root Mean Squared Error RMSE Sai số bình phương trung bình gốc Self-Organizing Map SOM Mạng tự tổ chức / Bản đồ tự tổ chức Support Vector SV Véc-tơ hỗ trợ Support Vector Machine SVM Máy học véc-tơ hỗ trợ ε-Support Vector Regression ε-SVR Máy học véc-tơ hỗ trợ hồi quy SVM-based fuzzy models f-SVM Mô hình mờ dựa trên SVM SVM-based Interpretable SVM-IF Mô hình mờ có thể diễn dịch được Fuzzy models dựa trên SVM Takagi, Sugeno and Kang TSK Mô hình mờ TSK iv MỤC LỤC LỜI CAM ĐOAN .ii DANH MỤC THUẬT NGỮ. iii MỤC LỤC. v DANH MỤC BẢNG BIỂU.

viii DANH MỤC HÌNH ẢNH .ix MỞ ĐẦU. Tính cấp thiết của đề tài. Mục tiêu nghiên cứu. Cách tiếp cận và phương pháp nghiên cứu.

Phạm vi và đối tượng nghiên cứu. Đóng góp của luận án. Bố cục của luận án. TRÍCH XUẤT MÔ HÌNH MỜ HƯỚNG DỮ LIỆU DỰA TRÊN MÁY HỌC VÉC-TƠ HỖ TRỢ.

Cơ bản về logic mờ. Lý thuyết tập mờ. Luật mờ “IF-THEN”. Mô hình mờ hướng dữ liệu.

Mô hình mờ Mamdani. Mô hình mờ TSK. Sinh luật mờ từ dữ liệu. Máy học véc-tơ hỗ trợ.

Lý thuyết máy học Véc-tơ hỗ trợ. Máy học Véc-tơ hỗ trợ cho vấn đề tối ưu hóa hồi qui. Trích xuất mô hình mờ TSK dựa vào máy học véc-tơ hỗ trợ. Lựa chọn các tham số.

Chọn các tham số của hàm thành viên. Vai trò của tham số ε. Tổ chức thực nghiệm. Mô tả thực nghiệm.

Bài toán hồi quy phi tuyến. Bài toán dự báo dữ liệu chuỗi thời gian hỗn loạn Mackey-Glass. Tiểu kết Chương 1. TÍCH HỢP TRI THỨC TIÊN NGHIỆM VÀO MÔ HÌNH MỜ HƯỚNG DỮ LIỆU.

Tri thức tiên nghiệm. Vai trò của tri thức tiên nghiệm trong học mô hình mờ. Học dựa trên sự giải thích (EBL). Học dựa trên sự thích hợp (RBL).

Học quy nạp dựa trên tri thức (KBIL). Xác định tri thức tiên nghiệm để tích hợp vào mô hình mờ trích xuất từ máy học véc-tơ hỗ trợ. Tích hợp tri thức tiên nghiệm vào mô hình mờ trích xuất từ máy học véc-tơ hỗ trợ 61 2. Thuật toán SVM-IF.

Qui trình trích xuất mô hình mờ dựa trên thuật toán SVM-IF có lựa chọn giá trị tối ưu cho các tham số. Tổ chức thực nghiệm. Mô tả thực nghiệm. Bài toán hồi quy phi tuyến.

Bài toán dự báo dữ liệu chuỗi thời gian hỗn loạn Mackey-Glass. Hệ thống Lorenz. Tiểu kết Chương 2. LAI GHÉP KỸ THUẬT PHÂN CỤM VỚI MÔ HÌNH MỜ HƯỚNG DỮ LIỆU.

Bài toán dự báo. Dự báo dữ liệu chuỗi thời gian. Bài toán dự báo dữ liệu chuỗi thời gian. Đánh giá độ phù hợp của mô hình dự báo.

Đề xuất mô hình mờ dự báo dữ liệu chuỗi thời gian. Phân cụm dữ liệu đầu vào. Kỹ thuật phân cụm k-Means. Kỹ thuật phân cụm SOM.

Phân cụm dữ liệu đầu vào bằng SOM. Mô hình thực nghiệm cho bài toán dự báo giá giá cổ phiếu. Lựa chọn dữ liệu đầu vào. Lựa chọn các thông số đánh giá hiệu quả mô hình.

Triển khai thực nghiệm. Dữ liệu thực nghiệm. Phân tích kết quả thực nghiệm. Tiểu kết Chương 3.

108 Những công trình của tác giả liên quan đến luận án. 110 TÀI LIỆU THAM KHẢO. 112 vii DANH MỤC BẢNG BIỂU Bảng 1. Tập 6 luật trích xuất được.

Giá trị sai số RMSE trong các trường hợp thử nghiệm (C=10). Kết quả dự đoán trên 50 mẫu dữ liệu xác thực trong cho các trường hợp thực nghiệm của bài toán 1. Kết quả dự đoán trên 200 mẫu dữ liệu xác thực trong cho các trường hợp thực nghiệm của bài toán 1. Tập 6 luật trích xuất được từ mô hình đã tối ưu hóa.

So sánh kết quả các mô hình qua thông số RMSE. Diễn dịch ngữ nghĩa cho các luật ở Bảng 2. Tập 9 luật trích xuất được từ 800 mẫu dữ liệu huấn luyện của thực nghiệm 2. So sánh kết quả các mô hình qua thông số RMSE.

Tập luật trích xuất được từ 1000 mẫu dữ liệu huấn luyện. So sánh kết quả các mô hình qua thông số RMSE. Thể hiện các thuộc tính lựa chọn và công thức tính của chúng. Nguồn dữ liệu thực nghiệm.

Kết quả thử nghiệm trên mô hình SVM nguyên thủy. Kết quả thử nghiệm trên mô hình RBN. Kết quả thử nghiệm trên mô hình SOM+SVM. Kết quả thử nghiệm trên mô hình SOM+ANFIS.

Kết quả thử nghiệm trên mô hình SOM+f-SVM. Kết quả thử nghiệm trên mô hình SOM+SVM-IF. Tập 5 luật trong 1 phân cụm trích xuất từ dữ liệu huấn luyện của mã cổ phiếu S&P500 .105 viii DANH MỤC HÌNH ẢNH Hình 1. Đồ thị của 3 hàm thành viên phổ biến: (a) tam giác, (b) hình thang, (c) Gauss.

Cấu trúc cơ bản của một mô hình mờ. Hình ảnh phân lớp với SVM. Quá trình xác định hàm quyết định đầu ra của máy học véc-tơ hỗ trợ. Quá trình xác định hàm đầu ra của hệ thống mờ TSK.

Sơ đồ khối của thuật toán trích xuất tập luật mờ TSK dựa vào máy học véc-tơ hỗ trợ. Mối quan hệ giữa số lượng véc-tơ hỗ trợ và tham số 𝜀 (giá trị của 𝜀 tương ứng theo thứ tự các hình vẽ là 0. Thuật toán f-SVM. Thuật toán trích xuất tập luật mờ TSK dựa vào máy học véc-tơ hỗ trợ có lựa chọn giá trị tham số tối ưu.

Phân bố các hàm thành viên mờ: (a) trường hợp 50 luật ứng với 𝜀 = 0.0 và (b) trường hợp 6 luật ứng với 𝜀 = 0. Kịch bản học EBL. Kịch bản học RBL. Mô hình học KBIL.

Thuật toán SVM-IF. Thuật toán InterpretabilityTest. Quy trình trích xuất tập luật mờ TSK từ máy học véc-tơ hỗ trợ có tích hợp tri thức tiên nghiệm. Kết quả mô hình đã tối ưu hóa (RMSE = 0.

Kết quả dự đoán trên 200 mẫu dữ liệu xác thực của thực nghiệm 2.3 (trường hợp RMSE = 0. (a) Kết quả mô hình đã tối ưu hóa (RMSE = 0. Mô hình nhiều giai đoạn cho bài toán dự báo dữ liệu chuỗi thời gian. (a) Một ví dụ SOM.

(b) Phân bố lục giác và hình chữ nhật của SOM. Mô hình dự báo giá cổ phiếu lai ghép giữa SOM và f-SVM hoặc SVM-IF. Biểu đồ so sánh giá trị thông số NMSE. Biểu đồ so sánh giá trị thông số MAE.

Biểu đồ so sánh giá trị thông số DS .