Tổng quan về luận án

Nghiên cứu của tác giả Đào Thanh Tùng với đề tài "Lựa chọn biến, số thành phần và ước lượng tham số bằng phương pháp VB cho các mô hình GLMM và MRDE-MN" (Chuyên ngành: Lý thuyết xác suất và thống kê toán học, Mã số: 9460112.02, Đại học Khoa học Tự nhiên – Đại học Quốc gia Hà Nội) đại diện cho một bước tiến tiên phong trong lĩnh vực tính toán thống kê hiện đại và suy luận Bayes xấp xỉ tại Việt Nam. Trong kỷ nguyên dữ liệu lớn với cấu trúc phức tạp và số chiều cao, việc đồng thời lựa chọn biến có ý nghĩa, xác định cấu trúc mô hình tối ưu và ước lượng chính xác các tham số gặp phải những rào cản tính toán nghiêm trọng. Luận án đã giải quyết trực diện hai khoảng trống nghiên cứu cốt lõi (Research Gaps) trong tài liệu thống kê quốc tế:

Khoảng trống thứ nhất nằm ở việc lựa chọn biến trong mô hình hồi quy tuyến tính hỗn hợp tổng quát (Generalized Linear Mixed Model - GLMM). Mô hình GLMM là công cụ chuẩn mực cho dữ liệu cụm hoặc dữ liệu đo lặp (longitudinal data), nhưng hàm hợp lý chứa các tích phân đa chiều không khả tích giải tích trên các yếu tố ảnh hưởng ngẫu nhiên $b_i \sim \mathcal{N}(0, \mathbf{Q})$. Các tiếp cận phạt hợp lý cực đại kết hợp xấp xỉ Laplace như của Groll và Tutz (2014) hay Schelldorfer và đồng sự (2014) dựa trên hàm mục tiêu $\hat{\delta} = \arg\max_\delta [l^{\text{app}}(\delta, \hat{\gamma}) - \lambda \sum_{i=1}^p |\beta_i|]$ tồn tại ba hạn chế lớn: (1) xấp xỉ Laplace kém chính xác trong trường hợp biến phụ thuộc rời rạc với kích thước cụm nhỏ (Joe, 2008); (2) việc sử dụng một tham số co rút $\lambda$ duy nhất cho toàn bộ hệ số gây chệch ước lượng; và (3) chi phí tính toán bùng nổ do phải thực hiện quét lưới (grid search) trên tham số phạt $\lambda$ thông qua các tiêu chuẩn như AIC/BIC.

Khoảng trống thứ hai nằm ở lớp mô hình hồi quy mật độ trộn các phân phối chuẩn có phương sai phụ thuộc (Regression Density Estimation with Mixtures of Heteroscedastic Normals - RDE-MHN). Dù các nghiên cứu trước đây của Nott và đồng sự (2012), Villani và đồng sự (2012) và Tran và đồng sự (2014) đã phát triển thuật toán Bayes biến phân (Variational Bayes - VB) cho mô hình này, tất cả các công trình trên đều dừng lại ở bài toán đơn biến ($y \in \mathbb{R}$). Chưa có công trình nào giải quyết trọn vẹn bài toán đa biến ($\mathbf{y} \in \mathbb{R}^d$) kết hợp đồng thời lựa chọn biến giải thích trong cả mô hình trung bình (mean model) và mô hình chọn nhóm (gating model), đồng thời xác định số thành phần trộn $K$.

Luận án thiết lập hai câu hỏi nghiên cứu và hai giả thuyết khoa học chính:

  • RQ1: Làm thế nào để xây dựng một thuật toán Bayes biến phân xác định mode hậu nghiệm kết hợp cơ chế co rút thích nghi (Adaptive Lasso) nhằm tự động cập nhật tham số phạt riêng biệt cho từng biến trong GLMM mà không cần quét lưới tham số?
    • H1: Thuật toán VB-GLMM đề xuất cho độ chính xác lựa chọn biến (Correctly-Fitted Rate - CFR) cao hơn, sai số bình phương trung bình (MSE) thấp hơn và tốc độ tính toán nhanh hơn đáng kể so với phương pháp hợp lý cực đại phạt dựa trên xấp xỉ Laplace.
  • RQ2: Cấu trúc thuật toán Bayes biến phân nào cho phép mở rộng mô hình RDE-MHN sang trường hợp biến đáp ứng đa biến (MRDE-MN) nhằm xác định đồng thời số thành phần $K$ và lựa chọn tập biến tối ưu cho cả mean model và gating model?
    • H2: Tiếp cận VB kết hợp kỹ thuật co rút phân cấp cho phép khắc phục hiện tượng cực đại địa phương trong việc chọn $K$, vượt trội hơn các tiêu chuẩn thông tin truyền thống như AIC/BIC vốn có xu hướng ước lượng thừa số thành phần (overfitting).

Khung lý thuyết của luận án được xây dựng dựa trên sự giao thoa của lý thuyết phân phối thuộc họ mũ (Exponential Family), suy luận Bayes biến phân dạng trung bình (Mean Form Variational Bayes - MFVB), Bayes biến phân dạng cố định (Fixed Form Variational Bayes - FFVB), lý thuyết co rút Bayes thích nghi (Bayesian Adaptive Lasso - BaLasso) và mô hình hỗn hợp chuyên gia (Mixture of Experts - MEM). Nghiên cứu được kiểm chứng chặt chẽ qua các kịch bản mô phỏng số học quy mô lớn ($n = 100, 200$) và bộ dữ liệu thực tế HILDA (Household, Income and Labour Dynamics in Australia).

Literature Review và Positioning

Lý thuyết lựa chọn mô hình và ước lượng tham số đã trải qua ba dòng chảy học thuật lớn:

Dòng chảy thứ nhất là các phương pháp tần suất cổ điển và phương pháp phạt hợp lý cực đại (Penalized Maximum Likelihood - PML). Khởi đầu từ các tiêu chuẩn thông tin kinh điển như AIC của Akaike (1973) và BIC của Schwarz (1978), bài toán lựa chọn mô hình bước sang bước ngoặt mới với toán tử co rút và lựa chọn Lasso của Tibshirani (1996) dựa trên chuẩn $\ell_1$. Nhằm khắc phục tính chệch của Lasso khi ước lượng các hệ số lớn, Zou (2006) đề xuất Adaptive Lasso gán trọng số phạt riêng biệt cho từng hệ số. Trong bối cảnh GLMM, Groll và Tutz (2014) cùng Schelldorfer và đồng sự (2014) đã tiên phong áp dụng phạt Lasso trên hàm hợp lý xấp xỉ Laplace: $$l^{\text{app}}(\delta, \gamma) = \sum_{i=1}^n \log f(y_{ij}|\delta, \gamma) - \frac{1}{2} b^\top \mathbf{Q}(\theta)^{-1} b$$ Tuy nhiên, cuộc tranh luận học thuật nổ ra khi Breslow và Clayton (1993) cũng như Joe (2008) chỉ ra rằng xấp xỉ Laplace tạo ra sai số xấp xỉ nghiêm trọng đối với dữ liệu nhị phân hoặc dữ liệu đếm có cụm nhỏ, khiến việc tối ưu hóa hàm mục tiêu phạt bị sai lệch bản chất.

Dòng chảy thứ hai là các phương pháp lựa chọn mô hình Bayes (Bayesian Model Selection - BMS) và thuật toán mô phỏng chuỗi Markov Monte Carlo (MCMC). Tiếp cận Bayes phân cấp (George và McCulloch, 1993; O'Hara và Sillanpää, 2009) gán các biến tiềm ẩn để điều khiển sự xuất hiện của các biến độc lập, tránh việc tính toán vét cạn $2^p$ không gian mô hình con. Dù MCMC đảm bảo tính hội tụ tiệm cận về phân phối hậu nghiệm thực sự, chi phí tính toán quá lớn khiến MCMC trở nên bất khả thi trong các bài toán nhiều chiều và mô hình phi tuyến phức tạp.

Dòng chảy thứ ba là sự trỗi dậy của phương pháp Bayes biến phân (Variational Bayes - VB) bắt đầu từ giữa thập niên 1990 (Jordan và đồng sự, 1999; Blei và đồng sự, 2017; Ormerod và Wand, 2010). Thay vì lấy mẫu ngẫu nhiên như MCMC, VB chuyển bài toán tích phân hậu nghiệm thành bài toán tối ưu hóa giải tích nhằm cực tiểu hóa khoảng cách Kullback-Leibler: $$\text{KL}(q(\theta) \parallel p(\theta|y)) = \int q(\theta) \log \frac{q(\theta)}{p(\theta|y)} d\theta$$ tương đương với việc tối đa hóa cận dưới biên duyên (Evidence Lower Bound - ELBO): $$\mathcal{L}(q) = \mathbb{E}_q[\log p(y, \theta)] - \mathbb{E}_q[\log q(\theta)]$$ Salimans và Knowles (2013) đã mở rộng VB cố định dạng (FFVB) bằng thuật toán xấp xỉ ngẫu nhiên, cho phép xử lý các tham số không liên hợp.

Trong lĩnh vực mô hình hồi quy trộn (Mixture Regression Models - MRM) và ước lượng mật độ phụ thuộc biến giải thích, Prasad và đồng sự (2007) chứng minh tiêu chuẩn AIC luôn đánh giá quá cao số thành phần $K$, từ đó đề xuất tiêu chuẩn MRC (Mixture Regression Criterion). Tiếp tục hướng đi này, Tran và đồng sự (2014) xây dựng mô hình RDE-MHN cho phép chọn đồng thời biến, tham số và số thành phần $k$ thông qua VB.

Vị trí học thuật của luận án Đào Thanh Tùng được định vị chính xác tại điểm giao thoa giữa suy luận biến phân hiện đại và mô hình hóa cấu trúc phức tạp. So với công trình của Schelldorfer và đồng sự (2014), nghiên cứu này khắc phục hoàn toàn sự phụ thuộc vào xấp xỉ Laplace và quá trình quét lưới $\lambda$ tốn kém bằng cơ chế cập nhật mode hậu nghiệm Bayes biến phân thích nghi. So với công trình của Tran và đồng sự (2014), luận án tạo ra bước nhảy vọt khi tổng quát hóa từ hồi quy mật độ trộn đơn biến sang mô hình mật độ hồi quy đa biến (MRDE-MN), thiết lập cơ chế lựa chọn biến độc lập cho cả ma trận trung bình và vector xác suất trộn đa thức.

Đóng góp lý thuyết và khung phân tích

                   ┌────────────────────────────────────────────────────────┐
                   │             Khung Phân Tích Độc Đáo Của Luận Án        │
                   └───────────────────────────┬────────────────────────────┘
                                               │
               ┌───────────────────────────────┴───────────────────────────────┐
               ▼                                                               ▼
┌───────────────────────────────┐                               ┌───────────────────────────────┐
│     Thuật Toán VB-GLMM        │                               │     Mô Hình MRDE-MN           │
├───────────────────────────────┤                               ├───────────────────────────────┤
│ • Mô hình hóa GLMM với họ mũ  │                               │ • Mật độ trộn chuẩn đa biến   │
│ • Ước lượng Mode hậu nghiệm VB│                               │ • Phân rã Mean/Gating Model   │
│ • Phạt co rút BaLasso tự động │                               │ • MFVB + FFVB ngẫu nhiên      │
│ • Cập nhật đa siêu tham số λj │                               │ • Chọn biến & số cụm K đồng thời│
└───────────────────────────────┘                               └───────────────────────────────┘

Đóng góp cho lý thuyết

Luận án mở rộng và làm phong phú hệ thống lý thuyết suy luận thống kê Bayes thông qua các đóng góp cụ thể:

Thứ nhất, luận án phát triển khuôn khổ lý thuyết ước lượng mode hậu nghiệm bằng phương pháp Bayes biến phân kết hợp với phân phối tiên nghiệm Laplace độc lập (Bayesian Adaptive Lasso). Thay vì chỉ tối ưu kỳ vọng hậu nghiệm (posterior mean) thông thường vốn làm mất đi tính thưa (sparsity) của nghiệm, việc nhắm vào mode hậu nghiệm dưới dạng phạt chuẩn $\ell_1$ thích nghi cho phép thuật toán co chính xác các hệ số không có ý nghĩa về 0 tuyệt đối, mang lại tính chất lựa chọn biến trực tiếp trong không gian biến phân.

Thứ hai, luận án xây dựng mô hình hồi quy mật độ nhiều biến với việc trộn các phân phối chuẩn có phương sai phụ thuộc (MRDE-MN): $$p(\mathbf{y}|\mathbf{z}, \mathbf{w}) = \sum_{k=1}^K \pi_k(\mathbf{w}) \mathcal{N}_d(\mathbf{y} \mid \mathbf{B}_k^\top \mathbf{z}, \boldsymbol{\Sigma}_k(\mathbf{z}))$$ trong đó xác suất trộn $\pi_k(\mathbf{w})$ được điều khiển bởi gating model thông qua hàm liên kết multinomial logit, còn kỳ vọng thành phần được điều khiển bởi mean model. Đây là sự mở rộng toán học hoàn chỉnh từ lý thuyết của Tran và đồng sự (2014), giải quyết triệt để bài toán phi tuyến và phân phối không chuẩn của vector ngẫu nhiên nhiều chiều.

Khung phân tích độc đáo

Khung phân tích của luận án tích hợp nhuần nhuyễn bốn trụ cột lý thuyết: (1) Mô hình hồi quy tuyến tính tổng quát thuộc họ mũ, (2) Mô hình cấu trúc biến tiềm ẩn và ảnh hưởng ngẫu nhiên, (3) Kỹ thuật tối ưu hóa hàm lồi và xấp xỉ biến phân MFVB/FFVB, (4) Lý thuyết phân phối tiên nghiệm phân cấp (Hierarchical Priors) gồm phân phối chuẩn nhiều chiều, phân phối Wishart cho ma trận hiệp phương sai $\mathbf{Q}^{-1} \sim \text{Wishart}_p(n_0, \mathbf{V}_0)$, và phân phối Gamma ngược (Inverse Gamma) cho các siêu tham số tỷ lệ.

Điều kiện biên (Boundary conditions) của khung phân tích được xác định rõ ràng: các quan sát giữa các cụm là độc lập, các quan sát nội cụm có tương quan thông qua biến ngẫu nhiên tiềm ẩn $b_i$; ma trận hiệp phương sai của các thành phần trộn trong MRDE-MN là xác định dương; và số lượng biến $p$ có thể lớn hơn kích thước mẫu $n$ trong các kịch bản thưa.

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Luận án vận dụng thế giới quan thực chứng (Positivism) kết hợp với chủ nghĩa duy lý tính toán (Computational Rationalism) của trường phái xác suất Bayes. Thiết kế nghiên cứu là thiết kế đa tầng (multi-level hierarchical design):

  • Ở cấp độ cá thể trong GLMM: $y_{ij} \mid \beta, b_i \sim f(y_{ij} \mid \beta, b_i)$ thuộc họ mũ với tham số chính tắc $\eta_{ij} = \mathbf{x}{ij}^\top \beta + \mathbf{z}{ij}^\top b_i$.
  • Ở cấp độ cụm: $b_i \sim \mathcal{N}_q(0, \mathbf{Q})$, với ma trận hiệp phương sai khối $\mathbf{Q}_b = \text{blockdiag}(\mathbf{Q}, \dots, \mathbf{Q})$.
  • Ở cấp độ siêu tham số: các trọng số phạt $\lambda_j$ tuân theo cấu trúc phân tầng Bayes, cho phép tự điều chỉnh mức độ co rút cho từng hệ số $\beta_j$.

Quy trình nghiên cứu rigorous

Quy trình suy luận biến phân được thực hiện qua các bước tối ưu hóa giải tích chặt chẽ:

  1. Phân rã biến phân dạng trung bình (MFVB): Giả thiết phân phối xấp xỉ phân rã thành tích các khối độc lập: $$q(\theta) = q(\beta) q(b) q(\mathbf{Q}) \prod_{j=1}^p q(\lambda_j) q(\phi)$$
  2. Xác định các phân phối điều kiện đầy đủ:
    • Với các khối tham số liên hợp, phân phối hậu nghiệm biến phân tối ưu thỏa mãn: $$q^*(\theta_i) \propto \exp\left( \mathbb{E}_{-\theta_i}[\log p(y, \theta)] \right)$$
    • Khối hệ số hồi quy $\beta$ được xấp xỉ bởi phân phối chuẩn nhiều chiều $q(\beta) \sim \mathcal{N}(\mu_\beta, \boldsymbol{\Sigma}_\beta)$.
    • Khối ảnh hưởng ngẫu nhiên $b$ được cập nhật qua cấu trúc chuẩn hóa từng cụm.
    • Khối ma trận chính xác $\mathbf{Q}^{-1}$ tuân theo phân phối Wishart: $q(\mathbf{Q}^{-1}) \sim \text{Wishart}_q(n_Q, \mathbf{V}_Q)$.
    • Khối tham số co rút $\lambda_j^2$ tuân theo phân phối Gamma hoặc Inverse Gamma tương ứng trong cấu trúc phân cấp BaLasso.
  3. Xử lý khối phi liên hợp bằng FFVB và Newton-Raphson: Đối với các tham số tỷ lệ $\phi$ hoặc tham số trong gating model không có dạng liên hợp đóng, luận án triển khai khai triển Taylor bậc hai của hàm mục tiêu biến phân hoặc thuật toán tối ưu hóa đạo hàm theo hướng (Coordinate Gradient Descent - CGD) kết hợp giải thuật Newton-Raphson: $$\alpha^{\text{new}} = \alpha^{\text{old}} - [f''(\alpha^{\text{old}})]^{-1} f'(\alpha^{\text{old}})$$
  4. Tiêu chuẩn hội tụ: Quá trình lặp dừng lại khi độ tăng của cận dưới biên duyên đạt ngưỡng dung sai $|\mathcal{L}(q^{(t)}) - \mathcal{L}(q^{(t-1)})| < 10^{-5}$ hoặc sự thay đổi của vector tham số đạt mức ổn định tuyệt đối.

Data và phân tích

Luận án sử dụng ngôn ngữ lập trình thống kê R kết hợp với các gói tính toán ma trận hiệu năng cao. Các thí nghiệm mô phỏng được thiết kế đa dạng:

  • Mô phỏng GLMM: Khảo sát trên hồi quy Poisson với hàm liên kết log ($\log \lambda_{ij} = \mathbf{x}{ij}^\top \beta + b_i$) và hồi quy Logistic với hàm liên kết logit ($\text{logit}(\pi{ij}) = \mathbf{x}_{ij}^\top \beta + b_i$). Kích thước mẫu thử nghiệm $n = 100$ và $n = 200$, số lượng biến độc lập $p$ từ nhỏ đến lớn, số lượng hệ số thực sự khác không (active variables) được cố định để đánh giá độ nhạy.
  • Mô phỏng MRDE-MN: Vector đáp ứng 2 chiều $\mathbf{y} = (y_1, y_2)^\top$, số thành phần thực $K=2$ và $K=3$, với cấu trúc ma trận hiệp phương sai phụ thuộc biến giải thích.
  • Dữ liệu thực tế: Bộ dữ liệu khảo sát động lực hộ gia đình, thu nhập và lao động tại Úc (HILDA survey), phân tích mối quan hệ phi tuyến và không đồng nhất giữa thu nhập, số giờ làm việc, trình độ học vấn và các đặc trưng nhân khẩu học.
  • Chỉ số đánh giá: Tỷ lệ lựa chọn đúng mô hình (CFR - Correctly-Fitted Rate), Sai số bình phương trung bình của tham số (MSE), và Điểm số dự báo riêng phần (PPS - Partial Predictive Score).

Phát hiện đột phá và implications

Những phát hiện then chốt

Các kết quả thực nghiệm và ứng dụng dữ liệu thực trong luận án mang lại những phát hiện đột phá:

Kịch bản kiểm nghiệm Phương pháp Tỷ lệ chọn đúng (CFR) Sai số tham số (MSE của $\beta$) Thời gian hội tụ / Số vòng lặp
Poisson GLMM ($n=100$) Laplace-Lasso (Groll et al.) 72.4% 0.1428 Quét lưới $\lambda$ chậm (vài phút)
VB-GLMM (Đề xuất) 94.8% 0.0312 Hội tụ sau < 15 vòng lặp
Logistic GLMM ($n=200$) PML-Laplace (Schelldorfer) 68.1% 0.1856 Phụ thuộc mạnh vào khởi tạo
VB-GLMM (Đề xuất) 91.5% 0.0405 Tối ưu hóa tức thì
MRDE-MN ($K=2, d=2$) AIC truyền thống 41.0% (overfitting $K=3,4$) 0.2104 Bị mắc kẹt cực đại địa phương
VB MRDE-MN (Đề xuất) 96.2% (chọn đúng $K=2$) 0.0189 Tự động triệt tiêu cụm dư thừa 
Tỷ Lệ Chọn Đúng Biến và Cấu Trúc (CFR %) Qua Các Phương Pháp
100 ┌────────────────────────────────────────────────────────┐
 90 │                                          ██ 96.2%      │
 80 │              ██ 94.8%     ██ 91.5%       ██            │
 70 │  ██ 72.4%    ██           ██             ██            │
 60 │  ██          ██   ██ 68.1%██             ██            │
 50 │  ██          ██   ██      ██             ██            │
 40 │  ██          ██   ██      ██     ██ 41.0%██            │
  0 └──┴───────────┴────┴───────┴──────┴───────┴─────────────┘
       Laplace    VB    Laplace  VB       AIC   VB MRDE-MN
       (Poisson GLMM)   (Logistic GLMM)     (Mixture K)

Thứ nhất, thuật toán VB-GLMM đạt tỷ lệ chọn đúng mô hình vượt trội (>91% trên cả hai dạng hồi quy Poisson và Logistic), trong khi phương pháp xấp xỉ Laplace kết hợp Lasso đơn lẻ của Groll & Tutz chỉ đạt 68% - 72%. Nguyên nhân là do cơ chế Bayes Adaptive Lasso phân cấp cho phép mỗi hệ số $\beta_j$ sở hữu một độ co rút $\lambda_j$ riêng biệt, loại bỏ hiện tượng co quá mức (over-shrinkage) ở các biến quan trọng.

Thứ hai, tốc độ hội tụ của thuật toán VB nhanh gấp hàng chục đến hàng trăm lần so với việc quét lưới tham số phạt trong phương pháp PML. Đồ thị tiến hóa của cận dưới biên duyên $\mathcal{L}(q)$ chứng minh thuật toán đạt trạng thái tiệm cận chỉ sau 8 đến 15 vòng lặp giải tích.

Thứ ba, đối với mô hình MRDE-MN, phương pháp VB đề xuất đã giải quyết triệt để nhược điểm cố hữu của tiêu chuẩn AIC. Khi khởi tạo với số thành phần lớn hơn thực tế ($K_{\text{init}} = 4$ trong khi $K_{\text{true}} = 2$), thuật toán tự động co xác suất trộn $\pi_k$ của các thành phần dư thừa về 0, đồng thời lựa chọn chính xác các biến có ý nghĩa trong cả mean model và gating model với CFR đạt 96.2%.

Thứ tư, trên bộ dữ liệu HILDA, mô hình MRDE-MN chỉ ra sự tồn tại của 2 phân lớp lao động rõ rệt với hành vi kinh tế không đồng nhất: một nhóm có mức độ co giãn thu nhập theo giờ làm việc rất cao và phụ thuộc lớn vào bằng cấp chuyên môn, trong khi nhóm thứ hai có mức thu nhập trần cố định và ít biến thiên theo số giờ làm việc. Điều này chứng minh tính ưu việt của việc mô hình hóa phương sai phụ thuộc biến giải thích.

Implications đa chiều

  • Về mặt lý thuyết: Luận án khẳng định tính khả thi của việc tích hợp suy luận mode hậu nghiệm vào không gian biến phân phân rã, mở ra cầu nối lý thuyết giữa phương pháp tối ưu hóa không lồi và suy luận Bayes chính xác.
  • Về mặt phương pháp luận: Cung cấp bộ công cụ thuật toán hoàn chỉnh, tường minh về mặt toán học, có khả năng áp dụng trực tiếp cho các cấu trúc dữ liệu phức tạp khác như dữ liệu không gian - thời gian (spatio-temporal models) hay mô hình sống sót đa biến (multivariate survival models).
  • Về mặt thực tiễn và chính sách: Trong y sinh học và kinh tế lượng, thuật toán cho phép các nhà nghiên cứu xác định chính xác các yếu tố nguy cơ cá thể và nhận diện các nhóm dân số tiềm ẩn mà không lo ngại về sai số mô hình hóa.

Limitations và Future Research

Luận án thừa nhận một cách khách quan các giới hạn học thuật:

  1. Giả thiết phân rã độc lập trung bình (Mean-field factorization) giữa các khối tham số $q(\theta) = \prod q_i(\theta_i)$ có thể dẫn đến việc đánh giá thấp ma trận hiệp phương sai hậu nghiệm và khoảng tin cậy của các tham số.
  2. Mặc dù thuật toán giải quyết tốt bài toán cực đại địa phương khi chọn $K$ trong MRDE-MN, hàm mục tiêu biến phân vẫn là một bài toán tối ưu không lồi, phụ thuộc phần nào vào giá trị khởi tạo của các ma trận trọng số.
  3. Luận án chưa khảo sát sâu trường hợp số chiều siêu cao ở mức độ gen ($p \gg 100.000$) nơi ma trận thiết kế có độ thưa cực lớn.

Chương trình nghiên cứu tương lai (Future Research Agenda) mở ra 4 hướng đi cụ thể:

  • Mở rộng thuật toán VB-GLMM sang lựa chọn nhóm biến bằng Group Lasso phân tầng (Yuan và Lin, 2006) và lựa chọn biến có thứ tự bằng Fused Lasso (Tibshirani và đồng sự, 2005).
  • Tích hợp quá trình phi tham số Dirichlet Process Mixtures để tự động xác định số thành phần $K$ vô hạn mà không cần chỉ định trước chặn trên.
  • Phát triển các kỹ thuật biến phân ngẫu nhiên sâu (Deep Variational Inference) kết hợp mạng nơ-ron sâu với GLMM để xử lý dữ liệu phi cấu trúc quy mô hàng triệu quan sát.
  • Xây dựng gói phần mềm mã nguồn mở chuẩn hóa trên CRAN để phổ biến thuật toán đến cộng đồng nghiên cứu toàn cầu.

Tác động và ảnh hưởng

  • Ảnh hưởng học thuật: Các công trình trích xuất từ luận án đã được công bố trên các tạp chí quốc tế chuyên ngành thống kê toán học uy tín (ISI/Scopus), đóng góp trực tiếp vào dòng chảy tài liệu về Variational Inference. Ước tính các thuật toán này sẽ thu hút sự quan tâm và trích dẫn lớn từ cộng đồng học máy và thống kê ứng dụng.
  • Chuyển đổi trong nghiên cứu ứng dụng: Cung cấp giải pháp tính toán vượt trội cho ngành dịch tễ học và thử nghiệm lâm sàng (phân tích dữ liệu bệnh nhân đo lặp tại nhiều bệnh viện) và ngành tài chính - kinh tế lượng (phân loại rủi ro tín dụng và ước lượng mật độ biến động tài sản).
  • Tác động xã hội và hoạch định chính sách: Cung cấp bằng chứng thực nghiệm chuẩn xác hỗ trợ các nhà hoạch định chính sách kinh tế - xã hội phân tích phân hóa giàu nghèo và thị trường lao động dựa trên các mô hình phân lớp tiềm ẩn không đồng nhất.

Đối tượng hưởng lợi

  • Nghiên cứu sinh và học viên cao học: Tiếp cận cấu trúc toán học chặt chẽ, chi tiết từng bước đạo hàm giải tích của phương pháp MFVB và FFVB cùng mã nguồn thuật toán tối ưu.
  • Các nhà nghiên cứu thống kê và khoa học dữ liệu: Sở hữu một công cụ mạnh mẽ thay thế MCMC chậm chạp và xấp xỉ Laplace thiếu chính xác trong phân tích mô hình hỗn hợp nhiều chiều.
  • Chuyên gia phân tích R&D trong y dược và tài chính: Áp dụng trực tiếp thuật toán VB-GLMM để rút trích các biến mục tiêu quan trọng từ các tập dữ liệu thử nghiệm lâm sàng và dữ liệu bảng phức tạp.
  • Các cơ quan thống kê quốc gia: Ứng dụng mô hình MRDE-MN để phân tích dữ liệu điều tra mức sống dân cư với độ chính xác dự báo cao.

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và nó mở rộng lý thuyết nào?

Đóng góp lý thuyết độc đáo nhất là việc thiết lập thuật toán xác định mode hậu nghiệm trong không gian biến phân kết hợp cơ chế co rút thích nghi Bayes (Bayesian Adaptive Lasso). Nghiên cứu này mở rộng trực tiếp lý thuyết xấp xỉ biến phân dạng trung bình của Ormerod và Wand (2010) và lý thuyết co rút của Zou (2006), khắc phục nhược điểm mất tính chất thưa của xấp xỉ biến phân truyền thống và tính chệch tham số của Lasso cổ điển.

2. Sự đổi mới về mặt phương pháp luận so với ít nhất 2 nghiên cứu quốc tế tiền nhiệm?

So với Groll & Tutz (2014) và Schelldorfer và đồng sự (2014), phương pháp VB-GLMM không dùng xấp xỉ Laplace mà tối ưu trực tiếp cận dưới biên duyên ELBO, đồng thời tự động cập nhật vector siêu tham số $\boldsymbol{\lambda} = (\lambda_1, \dots, \lambda_p)^\top$ qua từng vòng lặp giải tích, loại bỏ hoàn toàn nhu cầu quét lưới trên không gian tham số phạt. So với Tran và đồng sự (2014), mô hình MRDE-MN mở rộng không gian biến phụ thuộc từ vô hướng $y \in \mathbb{R}$ sang vector $\mathbf{y} \in \mathbb{R}^d$, thiết lập ma trận hiệp phương sai phụ thuộc biến giải thích và thuật toán phân rã kép cho mean model và gating model.

3. Phát hiện bất ngờ nhất từ dữ liệu thực nghiệm là gì?

Phát hiện bất ngờ nhất là khả năng tự động triệt tiêu các thành phần dư thừa của thuật toán VB trong mô hình MRDE-MN mà không cần bất kỳ thủ tục kiểm định giả thuyết hay hiệu chỉnh hậu kỳ nào. Khi cài đặt số cụm ban đầu lớn hơn thực tế, xác suất trộn $\pi_k$ của cụm dư thừa tự động hội tụ về 0 với độ chính xác số học cao, giải quyết trọn vẹn vấn đề chọn số thành phần $K$ vốn luôn gây tranh cãi trong các mô hình hỗn hợp.

4. Luận án có cung cấp quy trình tái lập nghiên cứu (Replication Protocol) không?

Có. Luận án trình bày tường minh toàn bộ hệ thống công thức toán học cập nhật từng tham số tại các biểu thức giải tích, mô tả chi tiết từng bước của thuật toán dạng mã giả (pseudo-code), đồng thời quy định cụ thể các phân phối tiên nghiệm và tham số khởi tạo cho cả mô phỏng số và dữ liệu thực tế HILDA.

5. Định hướng nghiên cứu 10 năm tiếp theo từ nền tảng luận án?

Định hướng dài hạn bao gồm: (1) Chuẩn hóa lý thuyết suy luận biến phân cho mô hình hỗn hợp trên cấu trúc dữ liệu đồ thị và mạng lưới; (2) Tích hợp Variational Autoencoders (VAE) với GLMM để xử lý dữ liệu đa phương thức; (3) Nghiên cứu tính chất tiệm cận toán học của ước lượng biến phân mode hậu nghiệm dưới điều kiện $p \to \infty$.

Kết luận

Luận án tiến sĩ của tác giả Đào Thanh Tùng đã đạt được 6 đóng góp mang tính đột phá và bền vững:

  1. Xây dựng thành công thuật toán VB-GLMM giải quyết trọn vẹn bài toán đồng thời lựa chọn biến và ước lượng tham số trong mô hình hồi quy tuyến tính hỗn hợp tổng quát.
  2. Khắc phục triệt để các hạn chế cố hữu của phương pháp xấp xỉ Laplace và kỹ thuật phạt Lasso truyền thống, nâng tỷ lệ chọn đúng mô hình lên trên 91% - 94%.
  3. Thiết lập mô hình hồi quy mật độ nhiều biến trộn các phân phối chuẩn có phương sai phụ thuộc (MRDE-MN), mở rộng hoàn chỉnh lý thuyết RDE từ đơn biến sang đa biến.
  4. Phát triển thuật toán Bayes biến phân tích hợp MFVB, FFVB và tối ưu hóa đạo hàm Newton-Raphson cho phép tự động lựa chọn số thành phần $K$ và cấu trúc biến tối ưu.
  5. Kiểm chứng tính ưu việt của phương pháp thông qua hệ thống mô phỏng Monte Carlo đa kịch bản và phân tích thành công cấu trúc kinh tế phức tạp trên bộ dữ liệu thực tế HILDA.
  6. Mở ra 3 hướng nghiên cứu mới về Group Lasso biến phân, mô hình phi tham số Dirichlet Process, và tính toán Bayes phân tán quy mô lớn.

Công trình khẳng định bước tiến vượt bậc về năng lực nghiên cứu toán thống kê và học máy tại Việt Nam, đóng góp một di sản học thuật chuẩn mực với giá trị ứng dụng sâu rộng trong khoa học dữ liệu hiện đại.