Phương pháp VB: Lựa chọn biến và ước lượng tham số GLMM, MRDE-MN (Đào Thanh Tùng)

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN Đào Thanh Tùng LỰA CHỌN BIẾN, SỐ THÀNH PHẦN VÀ ƯỚC LƯỢNG THAM SỐ BẰNG PHƯƠNG PHÁP VB CHO CÁC MÔ HÌNH GLMM VÀ MRDE-MN LUẬN ÁN TIẾN SĨ TOÁN HỌC Hà Nội - 2020 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN Đào Thanh Tùng LỰA CHỌN BIẾN, SỐ THÀNH PHẦN VÀ ƯỚC LƯỢNG THAM SỐ BẰNG PHƯƠNG PHÁP VB CHO CÁC MÔ HÌNH GLMM VÀ MRDE-MN Chuyên ngành: Lý thuyết xác suất và thống kê toán học Mã số: 9460112.02 LUẬN ÁN TIẾN SĨ TOÁN HỌC Người hướng dẫn khoa học: PGS. TRẦN MINH NGỌC TS. TRẦN MẠNH CƯỜNG Hà Nội - 2020 LỜI CAM ĐOAN Tôi xin cam đoan những kết quả trình bày trong luận án là mới, đã được công bố trên các tạp chí Quốc tế. Các kết quả viết chung với hai hướng dẫn khoa học PGS.

Trần Minh Ngọc và TS. Trần Mạnh Cường đã được sự đồng ý của hai hướng dẫn khi đưa vào luận án. Những kết quả được trình bày trong luận án là trung thực và chưa từng được công bố trong bất kỳ công trình nào khác. Nghiên cứu sinh Đào Thanh Tùng i LỜI CẢM ƠN Trước hết, tôi xin bày tỏ lòng biết ơn chân thành đến hai cán bộ hướng dẫn khoa học: 1.

Trần Minh Ngọc. Trần Mạnh Cường. Đặc biệt PGS. Trần Minh Ngọc, người đã giao đề tài, tận tình chỉ bảo, hướng dẫn tôi trong suốt quá trình nghiên cứu và hoàn thành luận án.

Tác giả luận án chân thành cảm ơn lãnh đạo, các thầy, cô giáo và cán bộ Khoa Toán - Cơ - Tin học, Phòng Sau đại học – Trường Đại học Khoa học Tự nhiên - Đại học Quốc gia Hà Nội đã làm hết sức trách nhiệm, nhiệt tình giúp đỡ và tạo mọi điều kiện thuận lợi cho chúng tôi trong suốt quá trình nghiên cứu và hoàn thành luận án. Tác giả chân thành cảm ơn các đồng nghiệp ở Khoa Toán - Tin học và lãnh đạo Học viện Quân y đã tạo điều kiện giúp đỡ tôi làm việc và học tập. Cuối cùng, tác giả luận án xin dành lời cảm ơn đặc biệt tới gia đình, người thân và bạn bè, những người đã thường xuyên giúp đỡ, chia sẻ động viên và là chỗ dựa để tôi có thể hoàn thành luận án này! Tác giả xin chân thành cảm ơn! NCS. Đào Thanh Tùng ii Mục lục Lời cam đoan i Lời cảm ơn ii Bảng ký hiệu và viết tắt vii Mở đầu 1 Chương 1 Kiến thức chuẩn bị 12 1.1 Một số phân phối thường gặp .1 Phân phối Beta .2 Phân phối Gamma .3 Phân phối Gamma ngược .4 Phân phối chuẩn một chiều .5 Phân phối chuẩn nhiều chiều .6 Phân phối Wishart .2 Họ mũ và Mô hình hồi quy tuyến tính tổng quát .2 Mô hình hồi quy tuyến tính tổng quát .3 Mô hình hồi quy trộn .4 Phương pháp Bayes biến phân .1 Cơ sở toán học .2 Trường hợp MFVB .3 Trường hợp FFVB .5 Một số thuật toán tối ưu sử dụng trong luận án .1 Thuật toán Newton - Raphson .2 Thuật toán xấp xỉ ngẫu nhiên cho FFVB .3 Thuật toán đạo hàm theo hướng.

43 Chương 2 Lựa chọn biến và ước lượng tham số bằng phương pháp VB cho mô hình GLMM 44 2.1 Giới thiệu chung .2 Mô hình GLMM .3 Phương pháp VB ước lượng mode hậu nghiệm .4 Phương pháp VB để chọn biến và ước lượng tham số cho GLMM .1 Phân phối hậu nghiệm tối ưu VB cho β .2 Phân phối hậu nghiệm tối ưu VB cho b .3 Phân phối hậu nghiệm tối ưu VB cho Q .4 Phân phối hậu nghiệm tối ưu VB cho λ .5 Phân phối hậu nghiệm tối ưu VB cho φ .6 Lựa chọn các siêu tham số .7 Thuật toán VB .1 Nghiên cứu mô phỏng .2 Ứng dụng trên dữ liệu thực. 69 Chương 3 Lựa chọn biến, số thành phần và ước lượng tham số bằng phương pháp VB cho mô hình MRDE-MN 72 3.1 Giới thiệu chung .2 Mô hình MRDE-MN .1 Phân phối hậu nghiệm tối ưu VB cho β .2 Phân phối hậu nghiệm tối ưu VB cho T k .3 Phân phối hậu nghiệm tối ưu VB cho q ik .4 Phân phối hậu nghiệm tối ưu VB của γ .6 Thuật toán VB cho mô hình MRDE-MN .3 Lựa chọn số thành phần .4 Lựa chọn biến .1 Mô hình tiên nghiệm .2 Lựa chọn biến cho mean model .3 Lựa chọn biến cho gating model .4 Thuật toán đầy đủ .1 Nghiên cứu mô phỏng .2 Ứng dụng trên dữ liệu thực HILDA. 94 Kết luận và kiến nghị 97 Kết luận. 97 Kiến nghị về những nghiên cứu tiếp theo.

97 Danh mục công trình khoa học của tác giả liên quan đến luận án. 99 v Danh sách hình vẽ 1.1 Kết quả thực hiện 02 lần: lần 1 cột bên trái và lần 2 cột bên phải.2 Kết quả thực hiện mô phỏng bằng hai thuật toán. Thuật toán 1 là cột bên trái và Thuật toán 2 là cột bên phải. 36 vi Danh sách bảng 1.1 Bảng mô tả hàm liên kết ứng với các dạng hồi quy.2 Bảng kết quả hai lần thực hiện mô phỏng.3 Bảng kết quả thực hiện mô phỏng.4 Bảng kết quả thực hiện mô phỏng trên ba thuật toán.1 Kết quả mô phỏng hồi quy Poisson .2 Kết quả mô phỏng hồi quy logistic .1 Bảng giá trị đúng của các tham số β và γ .2 Bảng tóm tắt các chỉ số đánh giá hiệu quả của phương pháp.3 Các biến được chọn và các hệ số ước lượng trong mean model.4 Các biến được chọn và các hệ số ước lượng trong gating model.

96 vi Bảng ký hiệu và viết tắt AIC Akaike’s information criterion BIC Bayesian information criterion BaLasso Bayesian adaptive Lasso BMS Bayesian model selection CFR Correctly-Fitted Rate CGD Coordinate Gradient Descent EM Expectation Maximization FFVB Fixed Form Variational Bayes GLM Generalized Linear Model GLMM Generalized Linear Mixed Model Lasso Least absolute shrinkage and selection operator KL Kullback-Leibler MCMC Markov chain Monte Carlo MEM Mixtures of Expert Model MFVB Mean Form Variational Bayes ML Maximum Likelihood MLR Multivariate Linear Regression MRDE-MN Multivariate Regression Density Estimation with Mixtures of Normals MRM Mixtures Regression Model MSE Mean Squared Error vii OLS Ordinary Least Squares PML Penalized Maximum Likelihood PPS Partial Predictive Score RDE-MHN(k ) Regression Density Estimation with Mixtures of k Heteroscedastic Normals SGD Stochastic Gradient Descent VB Variational Bayes R Tập các số thực E hoặc [.] Kỳ vọng ∝ Tỷ lệ viii MỞ ĐẦU Lựa chọn mô hình là một bài toán cơ bản trong thống kê cũng như trong nhiều lĩnh vực khoa học khác. Fisher, có ba khía cạnh của một bài toán tổng quát về suy luận thống kê và dự báo: (1) mô tả và xây dựng mô hình, (2) ước lượng các tham số mô hình, và (3) ước tính độ chính xác. Về cơ bản, bài toán lựa chọn mô hình liên quan đến yếu tố (1) và (3) ở trên. Mục tiêu quan trọng trong phân tích dữ liệu là hiểu cấu trúc cơ bản trong dữ liệu.

Giả sử rằng chúng ta được cho một tập hợp các mô hình phản ánh một loạt các cấu trúc tiềm năng trong dữ liệu và nhiệm vụ là chọn trong số đó một mô hình giải thích tốt nhất hoặc phù hợp nhất với dữ liệu. Giả sử tập dữ liệu D = {(x1 , y1 ), (x2 , y2 ), ., (xn , yn )} được rút ra từ một mối quan hệ hàm y = ftrue (x) + nhiễu vấn đề là ta không biết biểu thức toán học của hàm ftrue , nó như một hộp đen, biến đổi x thành y và có sự tác động của nhiễu. Tìm hiểu về ftrue chính là tìm hiểu về cơ chế sinh ra dữ liệu y khi có x. Thông thường, ta không thể xác định được chính xác ftrue mà cần chọn trong một lớp hàm Fc nào đó một hàm fc phản ánh tốt nhất mối quan hệ của y theo x hay giải thích được y nhiều nhất theo một tiêu chuẩn nào đó.

Lớp hàm để chọn fc được hiểu là một lớp mô hình. Chỉ số "c" trong ký hiệu Fc ngụ ý tính phức tạp của lớp hàm (c viết tắt của chữ "complexity"). Việc chọn hàm fc như vậy là lựa chọn mô hình, bao gồm các vấn đề lựa chọn biến, ước lượng tham số của mô hình và đánh giá fc là tốt nhất 1 theo tiêu chuẩn nào đó. Trước khi nhà phân tích dữ liệu tiến hành lựa chọn một mô hình, họ cần phải biết tiêu chuẩn thế nào là một mô hình tốt.

Nói cách khác, mục tiêu của bài toán lựa chọn mô hình cần phải được xác định rõ ràng. Các mục tiêu khác nhau có thể dẫn đến các mô hình khác nhau. Các dạng mô hình Fc cũng cần được xác định trước, với c thuộc một tập hợp C nào đó. Lựa chọn mô hình sẽ là lựa chọn một chỉ số c ∈ C tốt nhất.

Với c được lựa chọn đó, ký hiệu fˆDc ∈ Fc là hàm hồi quy tốt nhất xấp xỉ ftrue. Có rất nhiều phương pháp lựa chọn mô hình nổi tiếng như phương pháp hợp lý cực đại phạt, phương pháp Bayes, phương pháp thực nghiệm. Để ước lượng tham số của mô hình có thể sử dụng phương pháp bình phương tối thiểu (Least Squares: LS) hoặc phương pháp hợp lý cực đại (Maximum Likelihood: ML). Giả sử D có phân phối mẫu là P(D|f ) thường gọi là hàm hợp lý.

Để ước lượng tham số của mô hình, phương pháp ML sẽ chọn fˆD c = arg max P(D|f ). f ∈Fc Chẳng hạn xét mô hình hồi quy tuyến tính thông thường y = βX + , khi đó Fc là lớp hàm tuyến tính hay mô hình hồi quy tuyến tính của X với c biến độc lập. Khi đó fˆDc = f c (β̂) trong đó β̂ là ước lượng hợp lý cực đại của β. Đối với việc chọn mô hình thì phương pháp hợp lý cực đại phạt (Penalized Maximum Likelihood: PML) chọn ĉ = arg min{−logP(D|fˆD c ) + pen(Fc )}.

c Đại lượng −logP(D|fˆDc ) + pen(Fc ) được xem là tiêu chuẩn để chọn lựa mô hình, số hạng phạt pen(Fc ) phụ thuộc vào cách tiếp cận được dùng. Trong tiêu chuẩn AIC thì pen(Fc ) = c, hoặc tiêu chuẩn BIC thì pen(Fc ) = c log2 n trong đó c là số tham số tự do của mô hình. Trong thực hành, hai tiêu chuẩn AIC và BIC là các tiêu chuẩn thông dụng nhất được sử dụng để lựa chọn mô hình. Trong nhiều 2 trường hợp, chúng dễ dàng sử dụng và mang lại kết quả tốt.

Một số phiên bản mở rộng của AIC cũng đã được đề xuất trong [6]. Lớp phương pháp lựa chọn mô hình thứ hai là các phương pháp lựa chọn mô hình Bayes (Bayesian Model Selection: BMS), các phương pháp này tỏ ra rất hiệu quả và ngày càng được sử dụng nhiều.