Luận án tiến sĩ: Lựa chọn biến, ước lượng tham số VB cho GLMM, MRDE-MN (Đào Thanh Tùng)

Phương pháp Bayes biến phân (Variational Bayes) đóng vai trò trung tâm trong luận án này. VB là một kỹ thuật thống kê xấp xỉ mạnh mẽ. Nó được sử dụng để suy luận trong các mô hình Bayesian phức tạp. Các mô hình này có phân phối hậu nghiệm (Posterior Distribution) không thể tính toán trực tiếp. Thay vào đó, VB tìm kiếm một phân phối xấp xỉ đơn giản. Phân phối này thuộc một lớp các phân phối dễ xử lý. Mục tiêu là làm cho phân phối xấp xỉ gần nhất có thể với phân phối hậu nghiệm thực tế. Mức độ gần gũi được đo bằng khoảng cách Kullback-Leibler (KL). Khoảng cách KL là một thước đo độ khác biệt giữa hai phân phối xác suất. Luận án phân tích chi tiết hai biến thể chính của VB. Đó là Mean Field Variational Bayes (MFVB) và Fixed Form Variational Bayes (FFVB). MFVB giả định sự độc lập có điều kiện giữa các nhóm tham số. FFVB áp đặt một dạng cố định cho phân phối xấp xỉ. Các nguyên tắc cơ bản của VB được trình bày một cách rõ ràng. Điều này bao gồm thiết lập phân phối xấp xỉ và tối ưu hóa các tham số của nó. Các bước này là nền tảng cho việc phát triển các thuật toán mới. Các thuật toán này giải quyết các vấn đề chọn biến và ước lượng tham số.

Việc tối ưu hóa trong Phương pháp Bayes biến phân (VB) được thực hiện thông qua việc tối đa hóa Hàm ELBO (Evidence Lower Bound). ELBO là cận dưới của log likelihood biên. Giá trị này cung cấp một thước đo chất lượng của phân phối xấp xỉ hiện tại. Bằng cách tối đa hóa ELBO, phân phối xấp xỉ được điều chỉnh. Nó trở nên gần hơn với phân phối hậu nghiệm thực tế. Luận án chi tiết các thuật toán lặp được sử dụng. Các thuật toán này cập nhật các tham số của phân phối xấp xỉ. Quy trình tối ưu hóa này thường bao gồm các bước lặp. Mỗi bước cải thiện giá trị ELBO. Điều này đảm bảo hội tụ đến một cực đại cục bộ. Quá trình tối đa hóa ELBO là xương sống của mọi thuật toán VB. Nó cho phép suy luận hiệu quả ngay cả trong các mô hình phức tạp. Nắm vững ELBO là chìa khóa để triển khai VB thành công. Các cải tiến trong tối ưu hóa ELBO góp phần vào sự hiệu quả của phương pháp. Luận án nhấn mạnh tầm quan trọng của ELBO trong toàn bộ quá trình nghiên cứu.

Luận án xem xét cẩn thận các lựa chọn Phân phối tiên nghiệm (Prior Distribution) phù hợp. Phân phối tiên nghiệm là yếu tố quan trọng trong mô hình Bayesian. Nó thể hiện niềm tin ban đầu về các tham số mô hình. Việc lựa chọn phân phối tiên nghiệm có ảnh hưởng đáng kể đến tính chất của Phân phối hậu nghiệm (Posterior Distribution). Luận án giới thiệu một số phân phối tiên nghiệm phổ biến. Chúng bao gồm phân phối chuẩn, Gamma, Inverse Gamma, Beta và Wishart. Mỗi phân phối có đặc tính riêng. Chúng phù hợp cho các loại tham số khác nhau. Ví dụ, phân phối Gamma và Inverse Gamma thường được dùng cho các tham số độ chính xác hoặc phương sai. Phân phối Beta được dùng cho các xác suất. Phân phối Wishart được dùng cho các ma trận hiệp phương sai. Việc lựa chọn thông minh các phân phối tiên nghiệm có thể giúp kiểm soát sự thưa thớt của mô hình. Nó hỗ trợ Chọn biến (Variable Selection) và tránh overfitting. Luận án thảo luận cách các siêu tham số của phân phối tiên nghiệm được thiết lập. Điều này tối ưu hóa hiệu suất của mô hình. Đây là một bước quan trọng trong việc xây dựng các mô hình GLMM và MRDE-MN.

Mô hình tuyến tính tổng quát hỗn hợp (GLMM) là một sự mở rộng của mô hình tuyến tính tổng quát (GLM). GLMM cho phép kết hợp cả hiệu ứng cố định và Hiệu ứng ngẫu nhiên (Random Effects). Các hiệu ứng ngẫu nhiên này giải thích sự biến thiên giữa các nhóm hoặc các đơn vị lặp lại. GLMM rất hữu ích trong nhiều lĩnh vực khoa học. Ví dụ như y sinh, khoa học xã hội và kinh tế. Tuy nhiên, việc suy luận và ước lượng tham số trong GLMM rất phức tạp. Phân phối hậu nghiệm (Posterior Distribution) thường không có dạng giải tích đóng. Điều này gây khó khăn cho việc Ước lượng tham số (Parameter Estimation) và Chọn biến (Variable Selection) truyền thống. Các phương pháp Monte Carlo chuỗi Markov (MCMC) thường tốn kém về mặt tính toán. Chúng đòi hỏi thời gian chạy dài. Luận án này đặt ra mục tiêu vượt qua những thách thức này. Nó sử dụng Phương pháp Bayes biến phân (Variational Bayes). VB cung cấp một giải pháp thay thế nhanh hơn. Nó vẫn duy trì được độ chính xác hợp lý. Việc tối ưu hóa các thành phần của GLMM là rất quan trọng.

Luận án phát triển một phương pháp Chọn biến (Variable Selection) hiệu quả cho Mô hình tuyến tính tổng quát hỗn hợp (GLMM). Phương pháp này dựa trên Phương pháp Bayes biến phân (Variational Bayes). Cơ chế hoạt động bao gồm việc gán các Phân phối tiên nghiệm (Prior Distribution) thưa cho các hệ số hồi quy. Các phân phối này có khả năng ép các hệ số của biến không quan trọng về gần bằng 0. Khi một hệ số biến trở nên gần bằng 0, biến tương ứng sẽ được loại bỏ khỏi mô hình. Điều này giúp giảm thiểu số lượng biến dự đoán. Kết quả là mô hình trở nên đơn giản hơn. Khả năng diễn giải mô hình cũng được cải thiện. Việc chọn biến không chỉ làm giảm nhiễu. Nó còn tăng cường độ chính xác dự đoán. Phương pháp VB cung cấp một khuôn khổ tự động. Nó cho phép đánh giá tầm quan trọng của từng biến. Điều này được thực hiện trong quá trình lặp của thuật toán. So với các phương pháp chọn biến truyền thống, cách tiếp cận này tích hợp trực tiếp vào quá trình suy luận Bayesian. Nó không cần các bước chọn biến riêng biệt sau khi ước lượng. Điều này làm tăng tính nhất quán và hiệu quả của toàn bộ quá trình.

Các tham số của Mô hình tuyến tính tổng quát hỗn hợp (GLMM) được ước lượng bằng Phương pháp Bayes biến phân (Variational Bayes). Luận án trình bày một quy trình chi tiết. Quy trình này dẫn xuất Phân phối hậu nghiệm (Posterior Distribution) tối ưu cho từng khối tham số. Các khối tham số bao gồm các hệ số của hiệu ứng cố định, Hiệu ứng ngẫu nhiên (Random Effects) và các tham số nhiễu. Để ước lượng các tham số này, Hàm ELBO (Evidence Lower Bound) được tối đa hóa. Các bước cập nhật lặp được xây dựng. Mỗi bước cập nhật một phân phối xấp xỉ cho một khối tham số, giữ các phân phối khác cố định. Quy trình này đảm bảo rằng các ước lượng tham số hội tụ. Nó tạo ra các giá trị ổn định và đáng tin cậy. Cách tiếp cận VB tránh được sự phức tạp của việc tích phân đa chiều. Đây là một thách thức lớn trong các phương pháp suy luận Bayesian truyền thống. Ước lượng tham số bằng VB cung cấp một giải pháp tính toán hiệu quả. Nó vẫn duy trì được tính chặt chẽ của khung Bayesian. Việc này rất quan trọng khi xử lý các mô hình GLMM lớn. Nó cũng quan trọng với các bộ dữ liệu phức tạp. Luận án chứng minh tính hiệu quả của phương pháp này thông qua các nghiên cứu mô phỏng và ứng dụng trên dữ liệu thực.

Mô hình MRDE-MN (Mixtures of Regressions with Dependent Errors and Multinomial components) là một khung mạnh mẽ. Nó được phát triển để xử lý các dạng dữ liệu phức tạp. Các dạng dữ liệu này thường xuất hiện trong nhiều lĩnh vực khác nhau. Đặc biệt là khi dữ liệu có cấu trúc hỗn hợp và mối quan hệ phức tạp. Mô hình này vượt trội trong việc mô hình hóa các mối quan hệ phi tuyến tính và không đồng nhất. Điều này không thể giải quyết hiệu quả bằng các mô hình hồi quy tuyến tính truyền thống. MRDE-MN cho phép dữ liệu thuộc về nhiều thành phần khác nhau. Mỗi thành phần có một mô hình hồi quy riêng. Các lỗi phụ thuộc được tính đến. Các thành phần đa thức hỗ trợ phân loại. Đây là một sự mở rộng đáng kể so với Mô hình hỗn hợp Gaussian (Gaussian Mixture Model) cơ bản. Luận án giới thiệu chi tiết cấu trúc của MRDE-MN. Nó làm rõ cách mô hình này có thể thích ứng với các đặc điểm dữ liệu đa dạng. Việc hiểu rõ MRDE-MN là nền tảng. Nó giúp phát triển các thuật toán suy luận hiệu quả. Đặc biệt là khi sử dụng Phương pháp Bayes biến phân (Variational Bayes).

Trong mô hình MRDE-MN, hai vấn đề quan trọng cần giải quyết. Một là lựa chọn số thành phần tối ưu trong mô hình hỗn hợp. Hai là Chọn biến (Variable Selection) quan trọng. Cả hai vấn đề này đều ảnh hưởng lớn đến hiệu suất mô hình. Việc chọn quá ít thành phần có thể làm mất đi cấu trúc tiềm ẩn của dữ liệu. Chọn quá nhiều thành phần lại dẫn đến overfitting và khó diễn giải. Tương tự, việc chọn biến đúng là cần thiết. Nó giúp xác định các yếu tố dự đoán có ý nghĩa thống kê. Điều này áp dụng cho cả mô hình trung bình (mean model) và mô hình cổng (gating model). Luận án đề xuất giải pháp dựa trên Phương pháp Bayes biến phân (Variational Bayes). VB cho phép đồng thời suy luận về số lượng thành phần. Nó cũng thực hiện chọn biến một cách tự động. Điều này được thực hiện thông qua việc sử dụng các Phân phối tiên nghiệm (Prior Distribution) thưa và các kỹ thuật loại bỏ thành phần không cần thiết. Phương pháp này cung cấp một cách tiếp cận tích hợp. Nó tránh được sự cần thiết của các bước chọn thành phần hoặc chọn biến riêng biệt, tốn kém. Việc tối ưu hóa số thành phần và chọn biến đóng góp vào sự mạnh mẽ và hiệu quả của MRDE-MN.

Một thuật toán Phương pháp Bayes biến phân (Variational Bayes) toàn diện được xây dựng cho mô hình MRDE-MN. Thuật toán này tích hợp đồng thời các quá trình chính. Đó là Chọn biến (Variable Selection), lựa chọn số thành phần, và Ước lượng tham số (Parameter Estimation). Để đạt được điều này, luận án dẫn xuất các Phân phối hậu nghiệm (Posterior Distribution) tối ưu cho tất cả các tham số mô hình. Điều này bao gồm các tham số của các thành phần hồi quy, tham số của mô hình cổng, và các tham số liên quan đến sai số. Thuật toán hoạt động theo các bước lặp. Mỗi bước cập nhật một khối tham số, giữ các khối khác cố định. Quá trình này được lặp lại cho đến khi Hàm ELBO (Evidence Lower Bound) hội tụ. Việc sử dụng VB cho phép suy luận hiệu quả. Nó tránh được sự phức tạp tính toán của các phương pháp Monte Carlo truyền thống. Giải pháp toàn diện này cải thiện đáng kể khả năng phân tích dữ liệu phức tạp. Nó cũng giúp khám phá các cấu trúc ẩn trong dữ liệu. Luận án cung cấp chi tiết về cách triển khai thuật toán. Nó cũng bao gồm các chiến lược tối ưu hóa để đảm bảo hội tụ nhanh chóng và ổn định. Điều này khẳng định tính ứng dụng cao của phương pháp đề xuất.

Luận án trình bày chi tiết quá trình dẫn xuất các Phân phối hậu nghiệm (Posterior Distribution) tối ưu. Đây là một bước đột phá quan trọng trong việc áp dụng Phương pháp Bayes biến phân (Variational Bayes). Các công thức giải tích được cung cấp. Chúng áp dụng cho từng khối tham số trong cả Mô hình tuyến tính tổng quát hỗn hợp (GLMM) và mô hình MRDE-MN. Đối với GLMM, các công thức bao gồm ước lượng cho các hệ số hiệu ứng cố định và Hiệu ứng ngẫu nhiên (Random Effects). Đối với MRDE-MN, các dẫn xuất bao gồm tham số của từng thành phần hồi quy và mô hình cổng. Việc dẫn xuất này rất phức tạp. Nó đòi hỏi sự hiểu biết sâu sắc về lý thuyết xác suất và thống kê. Các phân phối hậu nghiệm tối ưu này là nền tảng. Chúng cho phép các thuật toán VB hoạt động hiệu quả. Chúng cũng giúp đạt được ước lượng tham số chính xác. Quá trình này đảm bảo tính chặt chẽ của phương pháp. Nó cũng cung cấp một cơ sở vững chắc cho việc suy luận Bayesian. Đây là một đóng góp quan trọng của luận án.

Để đạt được Phân phối hậu nghiệm (Posterior Distribution) tối ưu, Hàm ELBO (Evidence Lower Bound) được tối đa hóa. Đây là một bước lặp trong Phương pháp Bayes biến phân (Variational Bayes). Luận án áp dụng và cải tiến nhiều thuật toán tối ưu hóa. Các thuật toán này bao gồm Newton-Raphson, thuật toán xấp xỉ ngẫu nhiên cho FFVB, và thuật toán đạo hàm theo hướng. Mỗi thuật toán có ưu điểm riêng. Newton-Raphson hiệu quả khi đạo hàm bậc hai có thể tính được. Thuật toán xấp xỉ ngẫu nhiên phù hợp cho các mô hình lớn. Thuật toán đạo hàm theo hướng hữu ích cho các hàm phức tạp. Việc sử dụng các kỹ thuật tối ưu hóa này rất quan trọng. Chúng đảm bảo tính hội tụ của thuật toán VB. Chúng cũng giúp đạt được ước lượng tham số nhanh chóng và ổn định. Luận án đi sâu vào cách các thuật toán này được tùy chỉnh. Nó phù hợp với cấu trúc cụ thể của GLMM và MRDE-MN. Điều này góp phần vào hiệu quả tính toán tổng thể của phương pháp. Nó cũng khẳng định tính mạnh mẽ trong việc xử lý các mô hình phức tạp.

Việc lựa chọn các siêu tham số phù hợp là một khía cạnh quan trọng. Nó ảnh hưởng lớn đến hiệu suất của các mô hình dựa trên Phương pháp Bayes biến phân (Variational Bayes). Siêu tham số xác định tính chất của Phân phối tiên nghiệm (Prior Distribution). Do đó, chúng có thể ảnh hưởng đến hình dạng của Phân phối hậu nghiệm (Posterior Distribution) và kết quả Ước lượng tham số (Parameter Estimation). Luận án thảo luận chi tiết về chiến lược lựa chọn siêu tham số. Điều này bao gồm các phương pháp để thiết lập giá trị ban đầu và điều chỉnh chúng trong quá trình suy luận. Một lựa chọn siêu tham số không phù hợp có thể dẫn đến overfitting hoặc underfitting. Nó cũng có thể ảnh hưởng đến khả năng Chọn biến (Variable Selection) chính xác. Các phương pháp dựa trên kinh nghiệm, cross-validation, hoặc các phương pháp Bayes cấp độ hai được xem xét. Mục tiêu là tối ưu hóa hiệu suất mô hình. Đồng thời, nó duy trì tính ổn định của các thuật toán. Luận án nhấn mạnh rằng việc lựa chọn siêu tham số cần được thực hiện cẩn thận. Đây là yếu tố then chốt để đảm bảo tính chính xác và tin cậy của kết quả nghiên cứu.

Các nghiên cứu mô phỏng được thực hiện một cách rộng rãi. Mục đích chính là kiểm chứng độ tin cậy và hiệu suất của các phương pháp đề xuất. Các kịch bản dữ liệu khác nhau được tạo ra. Chúng mô phỏng các điều kiện thực tế với các mức độ phức tạp khác nhau. Điều này cho phép đánh giá khả năng Chọn biến (Variable Selection) và Ước lượng tham số (Parameter Estimation) của Phương pháp Bayes biến phân (Variational Bayes). Các kết quả mô phỏng cho thấy các phương pháp hoạt động rất tốt. Chúng có khả năng nhận diện chính xác các biến quan trọng. Đồng thời, chúng cung cấp ước lượng tham số chính xác và ổn định. Điều này được thể hiện rõ ràng qua các bảng và biểu đồ minh họa trong luận án. Các yếu tố như kích thước mẫu, số lượng biến, và mức độ nhiễu được thay đổi. Mục đích là để đánh giá tính mạnh mẽ của phương pháp. So sánh với các phương pháp hiện có, cách tiếp cận VB thể hiện sự hiệu quả tính toán vượt trội. Nó vẫn duy trì được độ chính xác thống kê. Các nghiên cứu mô phỏng cung cấp bằng chứng thực nghiệm mạnh mẽ. Nó khẳng định giá trị của các cải tiến phương pháp luận.

Để minh chứng giá trị khoa học và tính ứng dụng của các phương pháp, luận án đã áp dụng chúng trên nhiều bộ dữ liệu thực tế. Các ứng dụng này bao gồm dữ liệu từ các bài toán hồi quy Poisson và hồi quy logistic. Đây là các dạng Mô hình tuyến tính tổng quát hỗn hợp (GLMM) phổ biến. Ngoài ra, phương pháp cũng được thử nghiệm trên dữ liệu HILDA (Household, Income and Labour Dynamics in Australia). Đây là một bộ dữ liệu phức tạp. Nó phù hợp với mô hình MRDE-MN. Các kết quả từ các ứng dụng này cung cấp cái nhìn sâu sắc. Nó cho thấy cách các phương pháp đề xuất hoạt động trong môi trường thực. Chúng có khả năng xử lý các thách thức của dữ liệu thực tế như thiếu dữ liệu, biến không liên tục và cấu trúc phụ thuộc. Việc phân tích trên dữ liệu thực không chỉ khẳng định tính chính xác của Ước lượng tham số (Parameter Estimation). Nó còn cho thấy khả năng Chọn biến (Variable Selection) hiệu quả. Các biến được chọn có ý nghĩa lâm sàng hoặc kinh tế. Điều này làm tăng độ tin cậy và tiện ích của các mô hình được xây dựng. Các ứng dụng thực tế là bằng chứng cuối cùng cho sự thành công của Phương pháp Bayes biến phân.

Luận án sử dụng một loạt các Tiêu chí thông tin Bayesian (AIC, BIC, DIC) và các chỉ số khác. Mục đích là để đánh giá hiệu quả của các phương pháp đề xuất một cách khách quan. AIC (Akaike’s Information Criterion) và BIC (Bayesian Information Criterion) giúp so sánh các mô hình. Chúng cân bằng giữa độ khớp dữ liệu và độ phức tạp của mô hình. DIC (Deviance Information Criterion) cũng được dùng rộng rãi trong suy luận Bayesian. Ngoài ra, các chỉ số như Tỷ lệ khớp đúng (Correctly-Fitted Rate, CFR) được sử dụng để đánh giá hiệu quả của Chọn biến (Variable Selection). CFR đo lường tỷ lệ các biến quan trọng được chọn đúng. Nó cũng đo tỷ lệ các biến không quan trọng bị loại bỏ đúng. Các chỉ số này cung cấp một cái nhìn toàn diện. Nó giúp đánh giá hiệu suất của thuật toán. Luận án phân tích chi tiết kết quả từ các tiêu chí này. Nó cho thấy sự vượt trội của phương pháp Phương pháp Bayes biến phân (Variational Bayes). Phương pháp này không chỉ cung cấp Ước lượng tham số (Parameter Estimation) chính xác. Nó còn giúp xây dựng các mô hình tối ưu với khả năng dự đoán cao và dễ diễn giải. Việc sử dụng đa dạng các tiêu chí đảm bảo tính chặt chẽ và đáng tin cậy của quá trình đánh giá.