Nghiên cứu phương pháp giảm chiều biến dựa trên hàm nhân và ứng dụng trong bài t

BỘ GIÁO DỤC VIỆN HÀN LÂM KHOA HỌC VÀ ĐÀO TẠO VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ ----------------------------- NGUYỄN MINH HẢI NGHIÊN CỨU PHƯƠNG PHÁP GIẢM CHIỀU BIẾN DỰA TRÊN HÀM NHÂN VÀ ỨNG DỤNG TRONG BÀI TOÁN DỰ BÁO KIM NGẠCH XUẤT KHẨU LUẬN ÁN TIẾN SĨ NGÀNH HỆ THỐNG THÔNG TIN Hà Nội - Năm 2024 i LỜI CAM ĐOAN Tôi xin cam đoan Luận án “Nghiên cứu phương pháp giảm chiều biến dựa trên hàm nhân và ứng dụng trong bài toán dự báo kim ngạch xuất khẩu” là Nghiên cứu nghiên cứu của tôi. Các Nghiên cứu được viết chung với các tác giả khác đều được sự đồng ý của các đồng tác giả trước khi đưa vào luận án. Những kết quả được trình bày trong luận án là hoàn toàn trung thực và chưa từng được công bố trong các Nghiên cứu nào khác. Luận án được hoàn thành trong thời gian tôi làm NCS tại phòng Nhận dạng và Công nghệ tri thức, Viện Công nghệ thông tin, Viện Hàn lâm Khoa học và Công nghệ Việt Nam.

Tác giả luận án NCS. Nguyễn Minh Hải ii LỜI CẢM ƠN Luận án tiến sĩ “Nghiên cứu phương pháp giảm chiều biến dựa trên hàm nhân và ứng dụng trong bài toán dự báo kim ngạch xuất khẩu” được thực hiện tại Viện Công nghệ Thông tin, Học viện Khoa học và Công nghệ, Viện Hàn lâm Khoa học và Công nghệ Việt Nam, dưới sự hướng dẫn khoa học của PGS. Đỗ Văn Thành và PGS. Nguyễn Đức Dũng.

Tôi xin được bày tỏ lòng biết ơn sâu sắc đến hai thầy hướng dẫn là PGS. Đỗ Văn Thành và PGS. Nguyễn Đức Dũng. Trong quá trình học tập, nghiên cứu và thực hiện luận án tôi đã nhận được sự hướng dẫn tận tình, các định hướng khoa học quan trọng và những bài học sâu sắc từ các thầy hướng dẫn.

Các thầy cũng đã luôn tận tâm động viên, khuyến khích và chỉ dẫn giúp đỡ tôi hoàn thành được bản luận án này. Tôi xin chân thành cảm ơn các Ban Lãnh đạo Viện Hàn lâm Khoa học và Công nghệ Việt Nam, Viện Công nghệ thông tin, Học viện Khoa học và Công nghệ, Ban quản lý Tòa nhà Vườn ươm và thầy PGS.TS Ngô Quốc Tạo, NCS Nguyễn Thị Thanh Mai, TS. Nguyễn Thị Phương, Phòng Nhận dạng và Công nghệ Tri thức, Viện Công nghệ thông tin đã luôn giúp đỡ, tạo điều kiện thuận lợi trong việc lưu trú cũng như quá trình học tập, nghiên cứu và thực hiện luận án này. Tôi xin cảm ơn Ban Giám hiệu, các thầy cô giảng viên Khoa Khoa học Cơ bản, Trường Đại học Công Nghiệp thành phố Hồ Chí Minh đã tạo điều kiện giúp đỡ tôi trong suốt thời gian học tập và nghiên cứu.

Cuối cùng, tôi xin bày tỏ lòng biết ơn sâu sắc tới Bố, Mẹ, Anh, Chị em trong gia đình hai bên Nội, bên Ngoại, Vợ và các con đã cho tôi điểm tựa vững chắc, tạo động lực để tôi hoàn thành luận án này. Nguyễn Minh Hải iii MỤC LỤC MỤC LỤC. iii Danh mục hình. vii Danh mục bảng.

viii Danh mục các từ viết tắt. ix Danh mục các thuật ngữ. xi MỞ ĐẦU. Cơ sở và động lực nghiên cứu.

Mục tiêu, đối tượng, phạm vi và phương pháp nghiên cứu .1 Mục tiêu nghiên cứu của luận án .2 Đối tượng nghiên cứu .3 Phạm vi nghiên cứu .4 Phương pháp nghiên cứu. Ý nghĩa lý luận và thực tiễn của luận án. Những đóng góp chính của luận án. Cấu trúc của luận án.

TỔNG QUAN PHƯƠNG PHÁP XÂY DỰNG MÔ HÌNH DỰ BÁO TRÊN TẬP DỮ LIỆU CHUỖI THỜI GIAN LỚN .1 Tổng quan các nghiên cứu trong và ngoài nước.1 Các nghiên cứu ngoài nước.1 Phương pháp xây dựng mô hình dự báo trên tập dữ liệu tần suất lấy mẫu giống nhau .2 Phương pháp xây dựng mô hình nowcast trên tập dữ liệu lớn tần suất hỗn hợp .2 Các nghiên cứu trong nước .2 Các vấn đề còn tồn tại .3 Một số kiến thức cơ sở.1 Các loại dữ liệu kinh tế - tài chính .2 Phân loại dự báo.1 Mô hình dự báo có điều kiện .2 Mô hình dự báo không điều kiện .3 Dữ liệu lớn .1 Khái niệm về dữ liệu lớn .2 Nhận diện một tập dữ liệu lớn .3 Thách thức của dữ liệu lớn .4 Giảm chiều dữ liệu .1 Độ đo hệ số tương quan Pearson: .2 Phương pháp PCA .3 Họ phương pháp SPCA .4 Thủ thuật hàm nhân .5 Phương pháp KPCA .5 Mô hình DFM .1 Mô hình BE nhân tố .2 Mô hình MIDAS nhân tố .6 Quy trình mô hình hóa dự báo kinh tế - tài chính .7 Các tiêu chuẩn đánh giá độ chính xác của mô hình .4 Kết luận Chương 1. PHƯƠNG PHÁP GIẢM CHIỀU BIẾN DỰA VÀO KỸ THUẬT HÀM NHÂN .1 Phương pháp giảm chiều biến dựa vào kỹ thuật hàm nhân.1 Phương pháp giảm chiều dựa vào kỹ thuật hàm nhân .2 Giảm chiều bằng sử dụng phương pháp KTPCA lặp .2 Hiệu suất giảm chiều biến của phương pháp KTPCA lặp .1 Đối với các tập dữ liệu tần suất lấy mẫu giống nhau .1 Tập dữ liệu thực nghiệm .2 Phương pháp thực nghiệm .2 Đối với các tập dữ liệu tần suất hỗn hợp .1 Tập dữ liệu thực nghiệm .2 Phương pháp thực nghiệm .3 Kết Luận Chương 2. DỰ BÁO TRÊN TẬP DỮ LIỆU CHUỖI THỜI GIAN LỚN SỬ DỤNG PHƯƠNG PHÁP GIẢM CHIỀU DỰA VÀO KỸ THUẬT HÀM NHÂN 77 3.1 Quy trình dự báo không và có điều kiện sử dụng phương pháp KTPCA lặp .2 Thuật toán dự báo trên tập dữ liệu chuỗi thời gian lớn .1 Thuật toán dự báo có điều kiện .2 Thuật toán dự báo không điều kiện.3 Độ phức tạp tính toán .1 Độ phức tạp tính toán của thuật toán CONF .2 Độ phức tạp tính toán của thuật toán UNCONF.3 Dự báo kim ngạch xuất khẩu sử dụng thuật toán dự báo .1 Xác định vấn đề dự báo.2 Các yếu tố tác động đến kim ngạch xuất khẩu và thu thập dữ liệu .1 Các yếu tố tác động đến kim ngạch xuất khẩu .2 Tập dữ liệu phục vụ dự báo .3 Dự báo không điều kiện kim ngạch xuất khẩu .1 Giai đoạn 1: Xử lý dữ liệu .3 Giai đoạn 3: Chiết xuất nhân tố và xây dựng mô hình dự báo .4 Giai đoạn 4: Thực hiện dự báo.5 Dự báo ngoài mẫu kim ngạch xuất khẩu .4 Dự báo có điều kiện kim ngạch xuất khẩu .1 Giai đoạn 1: Xử lý dữ liệu .2 Giai đoạn 2: Lựa chọn biến .3 Giai đoạn 3: Chiết xuất nhân tố bằng sử dụng phương pháp KTPCA LẶP .4 Giai đoạn 4: Xây dựng mô hình dự báo phụ và thực hiện dự báo 112 3.5 Dự báo kim ngạch xuất khẩu và xây dựng các kịch bản dự báo .4 Kết luận Chương 3. 121 DANH MỤC CÁC NGHIÊN CỨU CỦA TÁC GIẢ.

123 TÀI LIỆU THAM KHẢO. 135 vii Danh mục hình Hình 0.1 Cấu trúc Luận án .1: Hai giai đoạn chính trong quy trình xây dựng mô hình dự báo trên tập dữ liệu có số chiều cao [38] .2: Phân loại các kỹ thuật giảm chiều học thuộc tính .3: Phương pháp giảm chiều PCA và KPCA [47]. 40 Quá trình mô hình hóa dự báo kinh tế - tài chính [96].5: Ba pha cuối của quá trình mô hình hóa .1: Phương pháp KTPCA dựa vào mô hình có RMSE tốt nhất .2: So sánh hiệu suất giảm chiều của PCA và họ SPCA .3: Hiệu suất giảm chiều dựa vào mô hình BE.4: Hiệu suất giảm chiều dựa vào mô hình STEP3-MIDAS .5: Hiệu suất giảm chiều dựa vào mô hình PAW2-MIDAS.6: Hiệu suất giảm chiều dựa vào mô hình EAW-MIDAS .7: Hiệu suất giảm chiều dựa vào mô hình U-MIDAS.1: Quy trình dự báo không và có điều kiện. 79 viii Danh mục bảng Bảng 2.1: Sự khác nhau của các phương pháp PCA, KPCA, và KTPCA .2: Các đặc tính thống kê của các tập dữ liệu thực nghiệm .3: Khoảng cách trung bình tối thiểu giữa hai véc tơ cột của các tập dữ liệu .4: Hiệu suất giảm chiều của phương pháp KTPCA lặp.5: Hiệu suất giảm chiều của các phương pháp (RMSE) .6: Các đặc tính thống kê của các tập dữ liệu thực nghiệm .7: Hiệu suất giảm chiều biến của các phương pháp được đề xuất.8: Hiệu suất giảm chiều của PCA so với họ SPCA .1: So sánh hai cách tiếp cận xây dựng mô hình dự báo có điều kiện .2: Tập dữ liệu phục vụ dự báo kim ngạch xuất khẩu .3: Các chỉ số dẫn báo được chọn của biến EX .4: Kết quả giảm chiều bằng phương pháp KTPCA LẶP .5: So sánh kết quả dự báo kim ngạch xuất khẩu của các mô hình với thực tế107 Bảng 3.6: Các biến liên quan, không dư thừa với chỉ số kim ngạch xuất khẩu .7: Chiết xuất nhân tố bằng phương pháp KTPCA lặp .8: Kết quả dự báo 06 nhân tố .9: Dự báo của các biến giải thích của mô hình cầu xuất khẩu .10: Đặc trưng thống kê của các biến ngoại sinh .11: So sánh kết quả dự báo kim ngạch xuất khẩu với thực tế.

116 ix Danh mục các từ viết tắt STT Từ viết tắt Nội dung Giải thích Tiêu chuẩn thông tin 1 AIC Akaike information criteria Akaike Autoregressive Distributed 2 ARDL Trễ phân bố tự hồi quy Lag Autoregressive Intergrated Mô hình trung bình trượt 3 ARIMA model Moving Average Model tích hợp tự hồi quy 4 BE Bridge Equation Phương trình bắc cầu Bayesian information 5 BIC Tiêu chuẩn thông tin Bayes criteria The Best, Linear, and Ước lượng không chệch, 6 BLUE Unbiased Estimate tuyến tính và tốt nhất. Mô hình nhân tố động 7 DFM Dynamic Factor Model (DFM) Exponential Almon Mô hình MIDAS trọng số 8 EAW-MIDAS weighting MIDAS Almon hàm mũ Kernel Principal Component Phân tích thành phân chính 9 KPCA Analysis hàm nhân Least Absolute Shrinkage Toán tử lựa chọn và co rút 10 LASSO and Selection Operator tuyệt đối nhỏ nhất 11 MIDAS Mixed Data Sampling Lấy mẫu dữ liệu hỗn hợp Polynomial Almon Mô hình MIDAS trọng số 12 PAW-MIDAS weighting MIDAS Almon đa thức Principal Component 13 PCA Phân tích thành phần chính Analysis Sai số bình phương trung 14 RMSE Root Mean Squared Error bình chuẩn Robust Sparse Principal Phân tích thành phân chính 15 ROBSPCA Component Analysis thưa vững x Random Sparse Principal Phân tích thành phân chính 16 RSPCA Component Analysis thưa ngẫu nhiên Sparse Principal Component Phân tích thành phân chính 17 SPCA Analysis thưa Mô hình MIDAS trọng số 18 STEP-MIDAS STEP weighting MIDAS STEP Mô hình MIDAS không hạn 19 U-MIDAS Unrestricted MIDAS chế xi Danh mục các thuật ngữ STT Thuật ngữ Giải thích Tần suất là nói về kỳ (thời gian) thu thập dữ Biến tần suất cao/ tần suất 1 liệu. Biến có kỳ thu thập dữ liệu ngắn hơn được thấp gọi là biến có (hoặc ở) tần suất cao hơn.