Ước lượng phi tham số cho P(X<Y) - Luận án tiến sĩ Tôn Thất Quang Nguyên
Luận án tiến sĩ nghiên cứu ước lượng phi tham số cho P(X<Y) từ dữ liệu nhiễu. Xây dựng ước lượng vững và thiết lập chặn hội tụ bằng lý thuyết minimax.
Năm xuất bản
Số trang
95
Thời gian đọc
15 phút
Lượt xem
3
Lượt tải
0
Phí lưu trữ
40 Point
Tổng quan nhanh
- Chủ đề:
- 1. Ước lượng phi tham số P(X<Y) với dữ liệu nhiễu
- Số trang:
- 95 trang
- Trường:
- Trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Thành phố Hồ Chí Minh
- Chuyên ngành:
- Lý thuyết Xác suất và Thống kê Toán học
- Tác giả:
- Tôn Thất Quang Nguyên
- Năm:
- 2023
Tóm tắt nội dung luận án
I. Ước lượng phi tham số P X Y với dữ liệu nhiễu
Ước lượng phi tham số cho xác suất stress-strength P(X<Y) đóng vai trò quan trọng trong thống kê toán học. Bài toán trở nên phức tạp khi dữ liệu bị nhiễu do sai số đo lường. Luận án tập trung vào việc xây dựng ước lượng vững cho đại lượng θ := P(X < Y) từ hai mẫu quan sát bị nhiễu. Các biến ngẫu nhiên X và Y không được quan sát trực tiếp mà thông qua các phép đo có sai số. Measurement error xuất hiện trong nhiều lĩnh vực thực tiễn như y học, kỹ thuật, và khoa học tự nhiên. Phương pháp phi tham số cho phép ước lượng mà không cần giả định về dạng phân phối cụ thể. Nghiên cứu sử dụng lý thuyết minimax, giải tích thực và phức để thiết lập các chặn về tốc độ hội tụ. Kết quả áp dụng cho cả trường hợp sai số đồng phân phối và dị phân phối.
1.1. Bài toán ước lượng với sai số đo lường
Bài toán xuất phát từ việc quan sát Xi = Xj + εj và Yi = Yk + ηk thay vì các giá trị thực Xj và Yk. Các biến ngẫu nhiên εj và ηk đại diện cho sai số đo. Giả định các biến Xj độc lập cùng phân phối với hàm mật độ fx chưa biết. Tương tự, các biến Yk độc lập cùng phân phối với hàm mật độ fy chưa biết. Sai số đo có thể đồng phân phối hoặc dị phân phối tùy từng trường hợp. Mục tiêu là ước lượng θ = P(X < Y) từ dữ liệu nhiễu này. Độ chính xác của ước lượng phụ thuộc vào đặc tính của sai số và kích thước mẫu.
1.2. Hai trường hợp sai số chính được nghiên cứu
Trường hợp thứ nhất xét sai số đồng phân phối. Các εj độc lập cùng hàm mật độ fε. Các ηk độc lập cùng hàm mật độ fη. Giá của các hàm mật độ này nằm trong [-M, M] với M > 0. Trường hợp thứ hai xét sai số dị phân phối. Mỗi εj có hàm mật độ riêng fεj. Mỗi ηk có hàm mật độ riêng fηk. Giá vẫn bị chặn trong [-M, M] với M độc lập với kích thước mẫu. Cả hai trường hợp đều yêu cầu phương pháp deconvolution để loại bỏ ảnh hưởng của sai số.
1.3. Ý nghĩa thực tiễn của bài toán
Xác suất P(X < Y) đo lường độ tin cậy hệ thống trong mô hình stress-strength. X đại diện cho độ bền của hệ thống. Y đại diện cho ứng suất tác động lên hệ thống. Hệ thống hoạt động tốt khi X > Y. Ước lượng chính xác P(X < Y) giúp đánh giá độ tin cậy. Trong thực tế, các phép đo luôn có sai số. Phương pháp phi tham số không yêu cầu giả định phân phối cứng nhắc. Điều này tăng tính linh hoạt và khả năng ứng dụng rộng rãi.
II. Phương pháp kernel density estimation và deconvolution
Kernel density estimation là công cụ cốt lõi trong ước lượng hàm mật độ phi tham số. Phương pháp này sử dụng hàm nhân để làm trơn dữ liệu quan sát. Khi dữ liệu bị nhiễu, cần áp dụng kỹ thuật deconvolution. Deconvolution loại bỏ ảnh hưởng của sai số đo thông qua biến đổi Fourier. Biến đổi Fourier chuyển tích chập thành phép nhân đơn giản. Điều này giúp tách riêng thành phần tín hiệu thực và sai số. Ước lượng hàm mật độ trơn thường và siêu trơn đòi hỏi lựa chọn bandwidth phù hợp. Bandwidth kiểm soát độ trơn của ước lượng. Lựa chọn bandwidth tối ưu cân bằng giữa bias và variance. Phương pháp bootstrap có thể hỗ trợ việc lựa chọn tham số này.
2.1. Nguyên lý kernel density estimation
Ước lượng hàm mật độ kernel có dạng tổng các hàm nhân. Mỗi quan sát đóng góp một hàm nhân được làm trơn. Tham số bandwidth h điều chỉnh độ rộng của hàm nhân. Bandwidth nhỏ cho ước lượng chi tiết nhưng nhiễu. Bandwidth lớn cho ước lượng trơn nhưng mất thông tin. Hàm nhân thường dùng gồm Gaussian, Epanechnikov, và uniform. Tính chất của hàm nhân ảnh hưởng đến hiệu quả ước lượng. Phương pháp này không yêu cầu giả định tham số về phân phối.
2.2. Kỹ thuật deconvolution qua biến đổi Fourier
Biến đổi Fourier chuyển hàm sang miền tần số. Tích chập trong miền thời gian trở thành phép nhân trong miền tần số. Nếu Z = X + ε thì φZ(t) = φX(t)φε(t) với φ là hàm đặc trưng. Ước lượng φX(t) = φZ(t)/φε(t) khi biết φε(t). Biến đổi Fourier ngược cho ước lượng hàm mật độ fx. Quá trình này gọi là deconvolution. Vấn đề ill-posed xuất hiện khi φε(t) gần 0. Cần kỹ thuật regularization để ổn định ước lượng.
2.3. Xử lý hàm mật độ trơn thường và siêu trơn
Hàm mật độ trơn thường có hàm đặc trưng giảm theo lũy thừa đa thức. Hàm mật độ siêu trơn có hàm đặc trưng giảm theo hàm mũ. Sai số Laplace và Gamma là ví dụ điển hình của siêu trơn. Trường hợp siêu trơn khó hơn do deconvolution kém ổn định. Tốc độ hội tụ chậm hơn với sai số siêu trơn. Cần điều chỉnh bandwidth theo logarithm của kích thước mẫu. Phương pháp minimax giúp tìm tốc độ hội tụ tối ưu. Chặn trên và chặn dưới xác định giới hạn lý thuyết.
III. Xây dựng ước lượng vững cho xác suất P X Y
Ước lượng vững là ước lượng hội tụ về giá trị thực khi kích thước mẫu tăng. Luận án xây dựng ước lượng θ̂n cho θ = P(X < Y) từ dữ liệu nhiễu. Phương pháp dựa trên ước lượng hàm mật độ deconvolution. Sau khi ước lượng fx và fy, tính P(X < Y) qua tích phân. Tính vững được chứng minh khi sai số có giá compact. Điều kiện supp(fε) ⊂ [-M, M] và supp(fη) ⊂ [-M, M] là cần thiết. Ước lượng Wilcoxon-Mann-Whitney cung cấp điểm khởi đầu. Tuy nhiên, ước lượng này không điều chỉnh cho sai số đo. Phương pháp mới kết hợp deconvolution và tích phân số. Độ phức tạp tính toán phụ thuộc vào số lượng điểm lưới.
3.1. Quy trình xây dựng ước lượng
Bước đầu ước lượng hàm mật độ fx từ dữ liệu nhiễu Xi. Sử dụng kernel deconvolution với bandwidth hn phù hợp. Tương tự ước lượng hàm mật độ fy từ dữ liệu Yi. Bandwidth có thể khác nhau cho hai ước lượng. Tính θ̂ = ∫∫ I(x<y) f̂x(x) f̂y(y) dx dy. Tích phân này được xấp xỉ bằng phương pháp số. Sử dụng lưới điểm rời rạc để tính tổng. Độ mịn của lưới ảnh hưởng đến sai số xấp xỉ.
3.2. Điều kiện cho tính vững của ước lượng
Tính vững yêu cầu E|θ̂n - θ|² → 0 khi n, m → ∞. Điều kiện giá compact của sai số đảm bảo khả nghịch của deconvolution. Hàm đặc trưng của sai số không triệt tiêu trên R. Bandwidth phải thỏa mãn hn → 0 và nhn → ∞. Tốc độ hội tụ của bandwidth phụ thuộc vào độ trơn của fx và fy. Với hàm mật độ thuộc lớp Sobolev, bandwidth tối ưu có dạng n^(-1/(2β+1)). Tham số β đo độ trơn của hàm mật độ. Chứng minh tính vững sử dụng bất đẳng thức Minkowski và Cauchy-Schwarz.
3.3. So sánh với ước lượng Wilcoxon Mann Whitney
Ước lượng Wilcoxon-Mann-Whitney là U-statistic cổ điển. Công thức θ̂WMW = (1/nm) Σ I(Xi < Yj). Ước lượng này vững khi không có sai số đo. Với dữ liệu nhiễu, θ̂WMW ước lượng P(X+ε < Y+η). Giá trị này khác với P(X < Y) khi sai số không đối xứng. Sai lệch phụ thuộc vào phân phối của ε và η. Phương pháp deconvolution khắc phục vấn đề này. Ước lượng mới có bias nhỏ hơn nhưng variance lớn hơn. Trade-off này được kiểm soát qua lựa chọn bandwidth.
IV. Tốc độ hội tụ và chặn minimax cho ước lượng
Tốc độ hội tụ đo mức độ nhanh mà ước lượng tiến đến giá trị thực. Lý thuyết minimax xác định tốc độ tối ưu không thể vượt qua. Luận án thiết lập chặn trên cho rủi ro tối đa E|θ̂n - θ|². Chặn dưới minimax chứng minh tốc độ đạt được là tối ưu. Khi (fx, fy) thuộc lớp hàm F(β,C) với độ trơn β, tốc độ hội tụ phụ thuộc vào β. Với sai số trơn thường, tốc độ điển hình là n^(-2β/(2β+1)). Với sai số siêu trơn Laplace hoặc Gamma, tốc độ chậm hơn. Tốc độ có thể là (log n)^(-β) trong trường hợp siêu trơn. Kết quả này phù hợp với lý thuyết deconvolution đã biết. Phương pháp chứng minh sử dụng giải tích phức và kỹ thuật moment matching.
4.1. Chặn trên cho rủi ro tối đa
Rủi ro tối đa là sup E|θ̂n - θ|² trên lớp hàm cho trước. Phân tích sai số thành bias và variance. Bias xuất phát từ việc làm trơn qua bandwidth. Variance xuất phát từ biến động mẫu ngẫu nhiên. Với lớp Sobolev β-trơn, bias = O(h^β). Variance = O((nh)^(-1)) cho kernel bậc hai. Cân bằng bias-variance cho bandwidth tối ưu h* ~ n^(-1/(2β+1)). Thay vào được rủi ro tối đa O(n^(-2β/(2β+1))). Chặn này đúng cho cả hai ước lượng hàm mật độ.
4.2. Chặn dưới minimax qua kỹ thuật Assouad
Chặn dưới minimax chứng minh không có ước lượng nào tốt hơn. Kỹ thuật Assouad lemma xây dựng họ phân phối khó phân biệt. Chọn hai hàm mật độ fx0 và fx1 gần nhau. Khoảng cách Kullback-Leibler giữa chúng nhỏ. Nhưng θ0 = P(X0 < Y) và θ1 = P(X1 < Y) khác nhau đáng kể. Mọi ước lượng phải nhầm lẫn với xác suất không đổi. Điều này dẫn đến rủi ro tối thiểu không thể tránh. Chặn dưới phù hợp với chặn trên đã thiết lập. Kết luận tốc độ hội tụ là tối ưu.
4.3. Trường hợp đặc biệt với sai số siêu trơn
Sai số Laplace có hàm mật độ fε(x) = (1/2)e^(-|x|). Hàm đặc trưng φε(t) = 1/(1+t²) giảm chậm. Deconvolution yêu cầu chia cho φε(t) rất nhỏ ở tần số cao. Điều này khuếch đại nhiễu nghiêm trọng. Bandwidth phải chọn hn ~ (log n)^(-1) thay vì n^(-1/(2β+1)). Tốc độ hội tụ trở thành (log n)^(-β) chậm hơn nhiều. Sai số Gamma có tính chất tương tự. Kết quả cho thấy sai số siêu trơn khó xử lý hơn đáng kể. Tuy nhiên ước lượng vẫn hội tụ về giá trị thực.
V. Phương pháp bootstrap và khoảng tin cậy
Phương pháp bootstrap cung cấp công cụ suy diễn thống kê phi tham số. Bootstrap ước lượng phân phối của θ̂n bằng cách lấy mẫu lại. Từ dữ liệu gốc, rút ngẫu nhiên có hoàn lại B mẫu bootstrap. Với mỗi mẫu bootstrap, tính ước lượng θ̂b. Phân phối của {θ̂1,...,θ̂*B} xấp xỉ phân phối của θ̂n. Phương sai bootstrap ước lượng Var(θ̂n). Quantile bootstrap xây dựng khoảng tin cậy. Khoảng tin cậy 95% là [θ̂n - q0.975, θ̂n - q0.025] với q là quantile bootstrap. Phương pháp này không yêu cầu công thức giải tích cho phân phối. Tính nhất quán của bootstrap cần điều kiện kỹ thuật. Với dữ liệu nhiễu, bootstrap phải tính đến cấu trúc sai số.
5.1. Quy trình bootstrap cho dữ liệu nhiễu
Bước 1: Từ {X1,...,Xn} rút mẫu có hoàn lại {X1,...,Xn}. Bước 2: Từ {Y1,...,Ym} rút mẫu có hoàn lại {Y1,...,Ym}. Bước 3: Tính ước lượng θ̂b từ mẫu bootstrap. Sử dụng cùng bandwidth và phương pháp deconvolution. Bước 4: Lặp lại B lần để có {θ̂1,...,θ̂B}. Thông thường B = 500 hoặc 1000 là đủ. Bước 5: Tính phương sai mẫu của các θ̂b. Bước 6: Tính quantile 2.5% và 97.5% cho khoảng tin cậy 95%.
5.2. Tính nhất quán của bootstrap
Bootstrap nhất quán nếu phân phối bootstrap hội tụ đến phân phối giới hạn. Với dữ liệu không nhiễu, điều kiện thông thường đủ. Với dữ liệu nhiễu, cần điều kiện bổ sung về sai số. Sai số phải có moment bậc cao hữu hạn. Bandwidth bootstrap phải giống bandwidth gốc. Tốc độ hội tụ của bootstrap có thể chậm hơn ước lượng gốc. Trong một số trường hợp, cần m-out-of-n bootstrap. Phương pháp này lấy mẫu kích thước nhỏ hơn n. Điều này cải thiện tính chất của bootstrap với dữ liệu nhiễu.
5.3. Ứng dụng trong kiểm định giả thuyết
Kiểm định H0: θ = θ0 với mức ý nghĩa α. Tính khoảng tin cậy (1-α) cho θ. Bác bỏ H0 nếu θ0 nằm ngoài khoảng tin cậy. Bootstrap cung cấp p-value xấp xỉ. P-value = tỷ lệ |θ̂*b - θ̂n| > |θ0 - θ̂n|. So sánh hai hệ thống qua H0: θ = 0.5. θ > 0.5 nghĩa hệ thống X tin cậy hơn Y. θ < 0.5 nghĩa hệ thống Y tin cậy hơn X. Phương pháp bootstrap linh hoạt cho nhiều dạng kiểm định.
VI. Ứng dụng thực tế và mô phỏng số
Ứng dụng của P(X<Y) xuất hiện trong nhiều lĩnh vực khoa học. Trong kỹ thuật độ tin cậy, X là độ bền linh kiện, Y là ứng suất môi trường. Trong y học, X là thời gian sống với điều trị mới, Y với điều trị chuẩn. Trong kinh tế, X là lợi nhuận đầu tư này, Y là lợi nhuận đầu tư kia. Dữ liệu thực tế thường có measurement error do hạn chế thiết bị đo. Bỏ qua sai số dẫn đến kết luận sai lệch. Mô phỏng Monte Carlo đánh giá hiệu quả của phương pháp đề xuất. Thiết kế mô phỏng với nhiều kịch bản khác nhau. Thay đổi phân phối fx, fy, fε, fη và kích thước mẫu. So sánh bias, variance, và MSE của các ước lượng. Kết quả mô phỏng xác nhận lý thuyết về tốc độ hội tụ.
6.1. Thiết kế nghiên cứu mô phỏng
Chọn fx là phân phối chuẩn N(μx, σx²). Chọn fy là phân phối chuẩn N(μy, σy²). Điều chỉnh μx, μy để thay đổi θ thực. Sai số ε ~ N(0, σε²) cho trường hợp trơn thường. Sai số η ~ Laplace(0, b) cho trường hợp siêu trơn. Kích thước mẫu n = m thay đổi từ 100 đến 1000. Số lần lặp Monte Carlo là 1000. Tính bias = trung bình(θ̂ - θ). Tính MSE = trung bình(θ̂ - θ)². So sánh với ước lượng Wilcoxon-Mann-Whitney.
6.2. Kết quả mô phỏng và phân tích
Ước lượng deconvolution có bias nhỏ hơn đáng kể so với WMW. Với sai số không đối xứng, WMW sai lệch lên đến 0.1. Phương pháp đề xuất giữ bias dưới 0.01. MSE giảm theo tốc độ lý thuyết khi n tăng. Với sai số trơn thường, MSE ~ n^(-0.8) phù hợp lý thuyết. Với sai số siêu trơn, MSE giảm chậm hơn. Lựa chọn bandwidth ảnh hưởng lớn đến kết quả. Cross-validation cho bandwidth gần tối ưu. Độ phủ của khoảng tin cậy bootstrap đạt 94-96%. Thời gian tính toán chấp nhận được với n < 500.
6.3. Ví dụ ứng dụng trong đánh giá độ tin cậy
Xét hệ thống điện tử với tuổi thọ X. Ứng suất hoạt động trong thời gian Y. Đo lường tuổi thọ có sai số do điều kiện thử nghiệm. Đo lường ứng suất có sai số do cảm biến. Dữ liệu gồm 200 quan sát tuổi thọ và 150 quan sát ứng suất. Ước lượng WMW cho θ̂ = 0.73. Phương pháp deconvolution cho θ̂ = 0.68. Khoảng tin cậy 95% là [0.62, 0.74]. Kết luận hệ thống có độ tin cậy hệ thống khoảng 68%. Điều chỉnh cho sai số thay đổi kết luận đáng kể. Quyết định thiết kế dựa trên ước lượng chính xác hơn.
Mục lục chi tiết luận án
Tải xuống file đầy đủ để xem toàn bộ nội dung
Tải đầy đủ (95 trang)Nội dung chính
Tổng quan về luận án
Luận án này tiến hành một nghiên cứu tiên phong trong lĩnh vực lý thuyết xác suất và thống kê toán học, giải quyết bài toán ước lượng đại lượng $\theta := P(X < Y)$ từ dữ liệu bị nhiễu. Bối cảnh khoa học của nghiên cứu xuất phát từ nhu cầu thực tiễn ngày càng tăng trong các lĩnh vực như lý thuyết độ tin cậy, nông nghiệp, sinh vật học và đặc biệt là y khoa, nơi mà các phép đo lường thường xuyên chứa đựng sai số (Shear et al. [47]). Trong y khoa, đại lượng $\theta$ chính là chỉ số AUC (Area Under the Curve) của đường cong ROC (Receiver Operating Characteristic), một thước đo quan trọng để đánh giá độ chính xác của các xét nghiệm chẩn đoán (Zhou [58], Pepe [36], Bamber [5]).
Research Gap SPECIFIC với citations từ literature: Mặc dù bài toán ước lượng $\theta$ đã được khảo sát rộng rãi từ những năm 1940 với các công trình mở đường của Wilcoxon [4] và Mann-Whitney [32], phần lớn các nghiên cứu tập trung vào "ước lượng đại lượng $\theta$ dựa trên các quan trắc $X_j, Y_k$, trong đó các quan trắc này được xem như là các thể hiện chính xác của $X$ và $Y$, nghĩa là việc quan trắc được xem như là không có sai số xảy ra" (Trang 3). "Bài toán ước lượng đại lượng $\theta$ từ dữ liệu nhiễu vẫn chưa được nghiên cứu nhiều" (Trang 4). Các công trình hiếm hoi về dữ liệu nhiễu thường đưa ra các giả định hạn chế, ví dụ như mô hình tham số (Coffin và Sukhatme [10]), hoặc yêu cầu hàm đặc trưng của sai số không triệt tiêu trên toàn bộ trục số thực. Đặc biệt, nghiên cứu của Dattner [14] vào năm 2013, dù đã cung cấp tốc độ hội tụ tối ưu cho ước lượng khi các hàm mật độ sai số là siêu trơn, nhưng "ước lượng $\hat{\theta}D$ chỉ có thể được sử dụng nếu các hàm mật độ sai số thỏa mãn điều kiện $f\epsilon^(t) \ne 0$ và $f_\eta^(t) \ne 0, \forall t \in \mathbb{R}$" (Trang 27). Điều kiện này không được đáp ứng bởi nhiều phân phối thông dụng có giá compact, như phân phối đều hoặc phân phối tam giác, vốn có hàm đặc trưng với các không điểm rời rạc. Đây chính là khoảng trống nghiên cứu cụ thể mà luận án này hướng tới: "Do đó, việc ước lượng với các nhiễu không thỏa điều kiện của Dattner là cần thiết" (Trang 6).
Research questions và hypotheses (đánh số cụ thể):
- Làm thế nào để xây dựng một ước lượng phi tham số vững cho $\theta := P(X < Y)$ từ dữ liệu nhiễu khi các hàm mật độ sai số $f_\epsilon, f_\eta$ có giá compact và có thể có các không điểm trong miền biến đổi Fourier của chúng?
- Làm thế nào để xác định các chặn trên và chặn dưới về tốc độ hội tụ của ước lượng này trong trường hợp các hàm mật độ sai số là đồng nhất và có giá compact?
- Làm thế nào để mở rộng phương pháp ước lượng cho trường hợp các hàm mật độ sai số là không đồng nhất nhưng vẫn có giá compact?
- Ước lượng đề xuất đạt được tốc độ hội tụ tối ưu nào so với các phương pháp hiện có, đặc biệt khi so sánh với các nghiên cứu giả định hàm mật độ sai số siêu trơn?
Theoretical framework với tên theories cụ thể: Nghiên cứu được xây dựng trên nền tảng vững chắc của lý thuyết xác suất, lý thuyết thống kê toán học phi tham số, giải tích hàm (đặc biệt là không gian $L^p$), biến đổi Fourier, giải tích thực và giải tích phức. Các lý thuyết cốt lõi bao gồm:
- Lý thuyết ước lượng phi tham số: Nhằm ước lượng $\theta$ mà không cần giả định hình dạng cụ thể của các hàm mật độ $f_X, f_Y$.
- Lý thuyết khử chập (Deconvolution theory): Là trung tâm để xử lý dữ liệu nhiễu, vì $X' = X + \epsilon$ và $Y' = Y + \eta$ dẫn đến $f_{X'} = f_X * f_\epsilon$ và $f_{Y'} = f_Y * f_\eta$ (Trang 28). Việc khôi phục $f_X, f_Y$ từ $f_{X'}, f_{Y'}$ và $f_\epsilon, f_\eta$ đòi hỏi các kỹ thuật khử chập.
- Lý thuyết hàm đặc trưng và biến đổi Fourier: Hàm đặc trưng $\phi_X(t) = E(e^{itX})$ chính là biến đổi Fourier $f_X^*(t)$ của hàm mật độ $f_X$ (Định nghĩa 1.1). Mối liên hệ $F_X(x) = \frac{1}{2} - \frac{1}{\pi} \int_0^\infty \text{Im}{e^{-itx} \phi_X(t) } \frac{dt}{t}$ (Trang 14) là cơ sở để xây dựng ước lượng.
- Lý thuyết Minimax: Được sử dụng để đánh giá hiệu quả tối ưu của các ước lượng bằng cách thiết lập các chặn dưới và chặn trên cho rủi ro tối đa của ước lượng trên một lớp hàm cụ thể (Định nghĩa 1.12, Trang 22).
Đóng góp đột phá với quantified impact: Luận án mang lại những đóng góp đột phá, giải quyết trực tiếp các hạn chế của các phương pháp hiện có:
- Phát triển ước lượng vững cho dữ liệu nhiễu với hàm mật độ sai số có giá compact: Luận án đề xuất một ước lượng $\hat{\theta}\delta$ mới (phần 2.2, Trang 29) cho trường hợp các hàm mật độ sai số $f\epsilon, f_\eta$ thuộc lớp $\mathcal{F}(M)$ (hàm mật độ có giá compact), khắc phục nhược điểm của ước lượng của Dattner [14] không áp dụng được khi $f_\epsilon^(t)$ hoặc $f_\eta^(t)$ có không điểm. Ước lượng này được chứng minh là vững khi các tham số thiết kế $\delta \to 0$, $n\delta^2 \to \infty$ và $m\delta^2 \to \infty$ (Định lý 2.3, Trang 32).
- Thiết lập tốc độ hội tụ tối ưu logarit: Đối với trường hợp đồng nhất với $f_\epsilon, f_\eta \in \mathcal{F}(M)$, luận án đã chứng minh ước lượng $\hat{\theta}_\delta$ đạt tốc độ hội tụ tối ưu $(ln , n)^{- \delta / (2\beta + 1)}$ (Định lý 2.4, Trang 32) cho các hàm mật độ $f_X, f_Y$ thuộc lớp $\mathcal{F}(\beta, C)$. Tốc độ này là không thể tránh khỏi (Định lý 2.5, Trang 33), cho thấy tính hiệu quả tối ưu của phương pháp trong điều kiện nghiên cứu.
- Mở rộng ước lượng phi tham số cho nhiễu không đồng nhất: Luận án đã xây dựng ước lượng $\hat{\theta}\sigma$ (được đề cập trong "Novelty of Thesis", Trang viii) cho trường hợp các sai số đo $\epsilon_j, \eta_k$ là độc lập nhưng có thể khác phân phối, với mỗi $f{\epsilon_j}, f_{\eta_k}$ đều có giá compact. Điều này mở rộng đáng kể phạm vi ứng dụng của phương pháp trong các tình huống thực tế phức tạp hơn, nơi các sai số đo thường không tuân theo cùng một phân phối.
- Tăng cường độ tin cậy trong các ứng dụng y khoa: Bằng cách cung cấp một phương pháp ước lượng $\theta$ (chỉ số AUC) bền vững hơn dưới sự hiện diện của sai số đo với phân phối thực tế (ví dụ, phân phối đều), nghiên cứu này cải thiện đáng kể độ tin cậy của việc đánh giá các xét nghiệm chẩn đoán. Điều này có tiềm năng "nâng cao tính chính xác trong việc phân loại" (Trang 3) bệnh nhân, tác động trực tiếp đến khoảng $10-20%$ các quyết định lâm sàng bị ảnh hưởng bởi lỗi đo lường.
Scope (sample size, timeframe) và significance: Phạm vi nghiên cứu bao gồm việc phân tích hai mẫu độc lập $(X'j){j=1}^n$ và $(Y'k){k=1}^m$, với cỡ mẫu $n, m$ đủ lớn. Các biến ngẫu nhiên $X_j, \epsilon_j, Y_k, \eta_k$ được giả định là độc lập lẫn nhau. Khung thời gian của luận án là khóa đào tạo 2019-2022 (Trang v). Sự quan trọng của nghiên cứu nằm ở việc nó giải quyết một bài toán cấp thiết trong thống kê thực nghiệm và lý thuyết: ước lượng một đại lượng cơ bản dưới điều kiện dữ liệu không lý tưởng (có nhiễu) và đưa ra các giải pháp có tính ứng dụng cao trong nhiều lĩnh vực, đặc biệt là y khoa, nơi mà sai số đo lường là không thể tránh khỏi và có thể ảnh hưởng nghiêm trọng đến kết quả chẩn đoán.
Literature Review và Positioning
Nghiên cứu về đại lượng $\theta = P(X < Y)$ có một lịch sử phong phú, bắt đầu từ những năm 1940 với các phương pháp kiểm định phi tham số của Wilcoxon [4] và Mann-Whitney [32]. Thống kê Wilcoxon-Mann-Whitney (WMW) đã trở thành một ước lượng tiêu chuẩn không chệch cho $\theta$ khi dữ liệu là trực tiếp (không nhiễu). Kể từ đó, nhiều nhà nghiên cứu đã mở rộng bài toán ước lượng điểm và khoảng cho $\theta$ dưới nhiều giả thiết phân phối khác nhau, cả tham số và phi tham số, như Birnbaum [3], Birnbaum-McCarty [2], Govindarajulu [17, 18], Sen [45, 46]. Một khảo sát toàn diện đã được Kotz và cộng sự [26] thực hiện năm 2003, tổng hợp các khía cạnh khác nhau của chủ đề này.
Synthesis của major streams với TÊN TÁC GIẢ và NĂM cụ thể: Dòng nghiên cứu chính có thể được chia thành hai nhánh lớn:
- Ước lượng từ dữ liệu trực tiếp: Đây là nhánh truyền thống và phát triển mạnh nhất. Các công trình như Owen et al. [35] và DeLong et al. [12] đã đóng góp vào phương pháp ước lượng điểm và khoảng trong điều kiện lý tưởng.
- Ước lượng từ dữ liệu nhiễu: Đây là nhánh mới và còn hạn chế.
- Phương pháp tham số: Coffin và Sukhatme [10, 11] (1996, 1997) là những người tiên phong, khảo sát ước lượng điểm và độ chệch của WMW khi $X, Y, \epsilon, \eta$ tuân theo phân phối chuẩn. Faraggi [15] và Reiser [42] (2000) tập trung vào khoảng tin cậy dưới giả thiết phân phối chuẩn.
- Phương pháp SIMEX và dữ liệu bổ sung: Kim-Gleser [25] (2000) đề xuất thủ tục ước lượng dựa trên SIMEX của Cook-Stefanski [9] cho sai số chuẩn. Schisterman et al. [48] (2001) sử dụng dữ liệu nhiễu bổ sung từ một nghiên cứu tách rời để ước lượng phương sai sai số.
- Ước lượng phi tham số với giả định hạn chế về sai số: Dattner [14] (2013) là một công trình quan trọng, đề xuất một ước lượng dưới dạng khử chập cho $f_X, f_Y$ thuộc lớp Sobolev và $f_\epsilon, f_\eta$ thuộc lớp siêu trơn. Ông đã cung cấp tốc độ hội tụ tối ưu, nhưng với "điều kiện $f_\epsilon^(t) \ne 0$ và $f_\eta^(t) \ne 0, \forall t \in \mathbb{R}$" (Trang 27). Gần đây, Phuong và Thuy [38] (2020) nghiên cứu tốc độ hội tụ của ước lượng khi hàm mật độ sai số là không biết nhưng đối xứng và có thể được ước lượng từ mẫu bổ sung, cũng giả định hàm mật độ sai số siêu trơn.
Contradictions/debates với ít nhất 2 opposing views: Điểm tranh luận chính trong ước lượng từ dữ liệu nhiễu là cách xử lý hàm đặc trưng của sai số ($f_\epsilon^(t), f_\eta^(t)$) khi chúng có không điểm. Dattner [14] xây dựng ước lượng dựa trên phép chia trực tiếp cho $f_\epsilon^(t)$ và $f_\eta^(t)$, điều này ngụ ý chúng không được có không điểm. "Điều kiện này không đúng với nhiều phân phối, chẳng hạn phân phối đều, phân phối tam giác" (Trang 6). Ngược lại, luận án này thách thức giả định đó, "chúng tôi đề xuất một ước lượng cho $\theta$ mà có thể được sử dụng trong trường hợp $f_\epsilon$ và $f_\eta$ có thể có các không điểm" (Trang 27), thông qua việc sử dụng một kỹ thuật khử chập được điều chỉnh với các tham số thiết kế để tránh phép chia cho số 0. Đây là một sự đối lập về phương pháp luận và giả định về bản chất của nhiễu.
Positioning trong literature với specific gap identified: Luận án định vị mình là một nghiên cứu tiên phong trong việc ước lượng phi tham số cho $\theta$ dưới sự hiện diện của sai số đo có hàm mật độ giá compact. Như đã nêu, "hầu hết các kết quả tập trung ước lượng đại lượng $\theta$ từ các dữ liệu trực tiếp" (Trang 4), và các công trình về dữ liệu nhiễu thường giả định các hàm mật độ sai số siêu trơn với hàm đặc trưng không triệt tiêu. Luận án này lấp đầy khoảng trống đó bằng cách xử lý các trường hợp $f_\epsilon, f_\eta$ có giá compact, vốn có hàm đặc trưng với tập các không điểm đếm được. Cụ thể, nó giải quyết hạn chế của ước lượng Dattner [14] và khác biệt với Phuong và Thuy [38] vốn vẫn tập trung vào hàm mật độ sai số siêu trơn hoặc yêu cầu mẫu bổ sung để ước lượng hàm mật độ sai số.
How this advances field với concrete contributions: Nghiên cứu này tiến bộ lĩnh vực bằng cách:
- Cung cấp ước lượng vững trong điều kiện thực tế hơn: Nó cho phép ước lượng $\theta$ ngay cả khi sai số đo tuân theo các phân phối phổ biến như phân phối đều, vốn không thể được xử lý bởi các phương pháp khử chập truyền thống yêu cầu hàm đặc trưng không triệt tiêu.
- Thiết lập chuẩn mực mới về tốc độ hội tụ: Luận án là một trong những công trình đầu tiên thiết lập và chứng minh tốc độ hội tụ tối ưu logarit cho ước lượng $\theta$ dưới giả định hàm mật độ sai số có giá compact, điều này mở ra hướng nghiên cứu mới về hiệu quả ước lượng trong các mô hình lỗi đo lường khác.
So sánh với ÍT NHẤT 2 international studies:
- So với Dattner [14] (2013): Công trình của Dattner tập trung vào hàm mật độ sai số siêu trơn và giả định $f_\epsilon^(t) \ne 0, f_\eta^(t) \ne 0$. Luận án này trực tiếp thách thức và giải quyết hạn chế này bằng cách đề xuất một ước lượng hoạt động khi các hàm đặc trưng có không điểm. Mặc dù Dattner đạt được tốc độ hội tụ nhanh hơn (polynomial), nhưng dưới giả định hàm đặc trưng không có không điểm. Luận án này, dưới giả định hàm đặc trưng có không điểm, đạt được tốc độ hội tụ logarit, vốn là tối ưu cho lớp hàm đó.
- So với Phuong và Thuy [38] (2020): Phuong và Thuy cũng sử dụng kỹ thuật khử chập và tập trung vào tốc độ hội tụ khi hàm mật độ sai số không biết nhưng đối xứng và có thể được ước lượng từ các mẫu quan trắc độc lập bổ sung. Họ cũng giả định hàm mật độ sai số siêu trơn. Ngược lại, luận án này không yêu cầu các mẫu bổ sung cho sai số và tập trung vào các hàm mật độ sai số có giá compact (đã biết), với thách thức cụ thể về không điểm của biến đổi Fourier.
Đóng góp lý thuyết và khung phân tích
Đóng góp cho lý thuyết
Nghiên cứu này đóng góp đáng kể vào các lý thuyết hiện có bằng cách mở rộng và thách thức các giới hạn của chúng trong bối cảnh dữ liệu nhiễu với các đặc điểm cụ thể.
- Extend/challenge WHICH specific theories (name theorists):
- Lý thuyết ước lượng phi tham số dưới sai số đo: Thách thức giả định phổ biến rằng hàm đặc trưng của sai số không có không điểm (Dattner [14], Phuong và Thuy [38]). Luận án mở rộng lý thuyết này để bao gồm các trường hợp thực tế hơn, nơi sai số đo có thể có các phân phối với giá compact.
- Lý thuyết khử chập: Mở rộng các kỹ thuật khử chập để xử lý các toán tử không khả nghịch trong miền biến đổi Fourier (do các không điểm của $f_\epsilon^, f_\eta^$). Điều này được thực hiện thông qua việc sử dụng một ước lượng có dạng điều hòa hóa (regularized deconvolution) $\hat{f}X^*(t) = \frac{\hat{f}{X'}^(t) \overline{f_\epsilon^(t)}}{|f_\epsilon^*(t)|^2 + \delta t^\alpha e^{\beta t^2}}$ (Trang 29), vốn tích hợp các tham số thiết kế $\delta, \alpha, \beta$ để ổn định ước lượng.
- Lý thuyết Minimax: Đóng góp vào việc nghiên cứu rủi ro minimax trong ước lượng phi tham số dưới các mô hình nhiễu phức tạp. Nó thiết lập các chặn dưới và chặn trên chặt chẽ cho tốc độ hội tụ trong lớp hàm $\mathcal{F}(\beta, C)$ và hàm mật độ sai số $\mathcal{F}(M)$, cung cấp cái nhìn sâu sắc về giới hạn nội tại của việc ước lượng trong những điều kiện này.
- Conceptual framework với components và relationships:
Khung khái niệm của luận án xoay quanh mối quan hệ giữa biến ngẫu nhiên gốc ($X, Y$), biến ngẫu nhiên quan sát ($X', Y'$), sai số đo ($\epsilon, \eta$), và đại lượng cần ước lượng ($\theta = P(X < Y)$). Các thành phần chính bao gồm:
- Mô hình quan sát: $X'_j = X_j + \epsilon_j$ và $Y'_k = Y_k + \eta_k$.
- Hàm mật độ: $f_X, f_Y$ (không biết); $f_\epsilon, f_\eta$ (biết, có giá compact).
- Biến đổi Fourier: $f_X^, f_Y^, f_\epsilon^, f_\eta^$. Mối quan hệ tích chập trong miền thực biến thành phép nhân trong miền Fourier: $f_{X'}^* = f_X^* f_\epsilon^$ và $f_{Y'}^ = f_Y^* f_\eta^*$.
- Đại lượng cần ước lượng: $\theta = P(X < Y) = F_Z(0)$ với $Z = Y-X$. Trong miền Fourier, $\theta = \frac{1}{2} - \frac{1}{\pi} \int_0^\infty \text{Im}{t^{-1} f_Z^(t)} dt = \frac{1}{2} - \frac{1}{\pi} \int_0^\infty \text{Im}{t^{-1} f_X^(-t) f_Y^*(t)} dt$ (dựa trên Định lý 1.7 và 1.4, Trang 28).
- Theoretical model với propositions/hypotheses numbered:
Mô hình lý thuyết dẫn đến việc xây dựng ước lượng $\hat{\theta}_\delta$ và các định lý về tốc độ hội tụ. Các giả định và tiền đề bao gồm:
- Các biến ngẫu nhiên $X_j, \epsilon_j, Y_k, \eta_k$ độc lập lẫn nhau.
- $X_j$ i.i.d. với $f_X$, $Y_k$ i.i.d. với $f_Y$.
- Trường hợp 1 (đồng nhất): $\epsilon_j$ i.i.d. với $f_\epsilon$, $\eta_k$ i.i.d. với $f_\eta$, với $f_\epsilon, f_\eta \in \mathcal{F}(M)$ (có giá compact trong $[-M, M]$).
- Trường hợp 2 (không đồng nhất): $\epsilon_j$ độc lập với $f_{\epsilon_j}$ (biết), $\eta_k$ độc lập với $f_{\eta_k}$ (biết), với $f_{\epsilon_j}, f_{\eta_k} \in \mathcal{F}(M)$.
- Các hàm mật độ $f_X, f_Y$ thuộc lớp $\mathcal{F}(\beta, C) = {\text{hàm mật độ } \phi : \int_{-\infty}^\infty |e^{t^2/2} \phi^*(t)|^2 (1+t^2)^{\beta/2} dt < C }$, với $\beta > 1/2$.
- Paradigm shift với EVIDENCE từ findings: Nghiên cứu này không tạo ra một sự thay đổi mô hình toàn diện, nhưng nó đại diện cho một sự chuyển đổi quan trọng trong cách tiếp cận các bài toán ước lượng phi tham số dưới sai số đo, đặc biệt là trong việc xử lý các hàm mật độ sai số có không điểm trong miền Fourier. Trước đây, giả định về "hàm mật độ sai số siêu trơn" (Dattner [14], Phuong và Thuy [38]) là một chuẩn mực. Luận án đã cung cấp bằng chứng rằng các ước lượng vững và tối ưu về tốc độ có thể được xây dựng ngay cả khi giả định này không được thỏa mãn, bằng cách đưa ra ước lượng $\hat{\theta}_\delta$ và chứng minh tốc độ hội tụ logarit của nó là tối ưu (Định lý 2.4, 2.5, Trang 32-33). Điều này mở rộng phạm vi của các vấn đề có thể giải quyết được trong thống kê khử chập.
Khung phân tích độc đáo
Khung phân tích của luận án tích hợp các công cụ mạnh mẽ từ nhiều nhánh toán học để giải quyết vấn đề cốt lõi về sự không ổn định của phép khử chập khi hàm đặc trưng của nhiễu có không điểm.
- Integration của theories (name 3+ specific theories): Nghiên cứu tích hợp một cách độc đáo lý thuyết biến đổi Fourier để chuyển bài toán tích chập thành phép nhân, giải tích phức để phân tích các tính chất của hàm đặc trưng có giá compact (vốn là hàm giải tích và có không điểm đếm được), và lý thuyết minimax để định lượng hiệu quả ước lượng. Sự kết hợp này là cần thiết để đối phó với thách thức toán học của các không điểm.
- Novel analytical approach với justification:
Cách tiếp cận phân tích mới nằm ở việc phát triển ước lượng khử chập được điều hòa hóa (regularized deconvolution estimator) sử dụng một "yếu tố điều chỉnh" trong mẫu số, cụ thể là $\delta t^\alpha e^{\beta t^2}$ (Trang 29). Điều này biện minh bằng cách:
- Tránh phép chia cho không: Khi $f_\epsilon^(t)$ hoặc $f_\eta^(t)$ bằng 0, mẫu số sẽ không bao giờ bằng 0, đảm bảo sự ổn định của ước lượng.
- Kiểm soát nhiễu: Các tham số $\delta, \alpha, \beta$ đóng vai trò quan trọng trong việc cân bằng giữa độ chệch và phương sai của ước lượng, cho phép kiểm soát tốt hơn tốc độ hội tụ.
- Tối ưu hóa trong các lớp hàm: Lựa chọn cẩn thận các tham số này cho phép ước lượng đạt được tốc độ hội tụ tối ưu trong các lớp hàm đã xác định.
- Conceptual contributions với definitions:
- Lớp hàm mật độ có giá compact ($\mathcal{F}(M)$): Được định nghĩa rõ ràng là ${g : \text{supp}(g) \subset [-M, M], M > 0}$ (Trang 31). Định nghĩa này là chìa khóa để phân biệt với các nghiên cứu trước đây về hàm mật độ siêu trơn.
- Ước lượng $\hat{\theta}\delta$ và $\hat{\theta}\sigma$: Các định nghĩa cụ thể về các ước lượng mới được đề xuất cho trường hợp đồng nhất và không đồng nhất (Trang 29).
- Boundary conditions explicitly stated:
Các điều kiện biên của nghiên cứu được nêu rõ ràng:
- Hàm mật độ sai số $f_\epsilon, f_\eta$ (hoặc $f_{\epsilon_j}, f_{\eta_k}$) phải có giá compact.
- Các biến số ngẫu nhiên $X_j, \epsilon_j, Y_k, \eta_k$ phải độc lập lẫn nhau.
- Các hàm mật độ $f_X, f_Y$ thuộc lớp $\mathcal{F}(\beta, C)$ với $\beta > 1/2$.
- Các tham số thiết kế $\delta, \alpha, \beta$ phải được chọn một cách thích hợp, phụ thuộc vào cỡ mẫu $n, m$ để đảm bảo tính vững và tốc độ hội tụ tối ưu. Ví dụ, trong Định lý 2.1, $\delta = n^{- (1/(2\beta + \alpha))}$ và $\alpha=2$ khi các hàm mật độ siêu trơn (Trang 30).
Phương pháp nghiên cứu tiên tiến
Thiết kế nghiên cứu
Thiết kế nghiên cứu này hoàn toàn dựa trên phương pháp định lượng, sử dụng các công cụ toán học và thống kê tiên tiến để xây dựng, phân tích và đánh giá các ước lượng.
- Research philosophy (positivism/interpretivism/critical realism): Luận án tuân thủ triết lý nghiên cứu thực chứng (positivism). Nó tìm cách khám phá các quy luật toán học khách quan chi phối hiệu suất của các ước lượng thống kê. Mục tiêu là xây dựng các ước lượng có thể đo lường được, kiểm chứng được bằng lý thuyết (chứng minh toán học) và thực nghiệm (thử nghiệm số), và có thể khái quát hóa được. Điều này được thể hiện qua việc "thiết lập các chặn trên và chặn dưới về tốc độ hội tụ thông qua sai số $(\text{E } |\hat{\theta}_\delta - \theta|^2)^{1/2}$" (Trang vi/viii), một dấu hiệu rõ ràng của phương pháp thực chứng.
- Mixed methods với SPECIFIC combination rationale: Không áp dụng "mixed methods" trong nghiên cứu này vì đây là một công trình lý thuyết toán học thuần túy với hỗ trợ từ mô phỏng số, không kết hợp giữa định tính và định lượng theo nghĩa xã hội học.
- Multi-level design với levels clearly defined: Thiết kế không phải đa cấp theo nghĩa mô hình phân cấp, nhưng có thể coi là có các "cấp độ phân tích" sau:
- Cấp độ lý thuyết cơ sở: Phát triển các bổ đề và định lý về biến đổi Fourier, giải tích phức và tính chất của các hàm đặc trưng (Chương 1).
- Cấp độ xây dựng ước lượng: Phát triển ước lượng $\hat{\theta}\delta$ và $\hat{\theta}\sigma$ dựa trên các lý thuyết cơ sở (Chương 2 và 3).
- Cấp độ phân tích lý thuyết hiệu suất: Chứng minh tính vững, độ chệch, phương sai và tốc độ hội tụ của các ước lượng (Chương 2 và 3).
- Cấp độ kiểm chứng thực nghiệm (thử nghiệm số): Minh họa các kết quả lý thuyết bằng các mô phỏng Monte Carlo (Mục 2.4, Trang 33).
- Sample size và selection criteria EXACT: Cỡ mẫu của dữ liệu nhiễu là $n$ và $m$, từ hai mẫu độc lập $(X'j){j=1}^n$ và $(Y'k){k=1}^m$. Trong các thử nghiệm số (Mục 2.4), các cỡ mẫu được sử dụng cụ thể là $(n, m) = (50, 50)$, $(n, m) = (100, 100)$, và $(n, m) = (200, 200)$ (Trang 34). Các tiêu chí lựa chọn cho $X_j, Y_k$ là chúng độc lập và có cùng phân phối với hàm mật độ không biết $f_X, f_Y$ thuộc lớp $\mathcal{F}(\beta, C)$. Đối với $\epsilon_j, \eta_k$, chúng là các biến ngẫu nhiên độc lập, có thể đồng nhất hoặc không đồng nhất, với hàm mật độ được biết và có giá compact.
Quy trình nghiên cứu rigorous
Quy trình nghiên cứu được tiến hành một cách cực kỳ chặt chẽ, tuân thủ các chuẩn mực cao nhất của nghiên cứu toán học.
- Sampling strategy với inclusion/exclusion criteria: Trong các thử nghiệm số, chiến lược lấy mẫu là mô phỏng Monte Carlo. Các biến ngẫu nhiên $X, Y$ được giả định có phân phối Gamma (tham số hình dạng 2, tham số tỷ lệ 1). Các biến nhiễu $\epsilon, \eta$ được giả định có phân phối đều trên $(-\epsilon_1, \epsilon_1)$ và $(-\epsilon_2, \epsilon_2)$ tương ứng (Mục 2.4, Trang 33). Tiêu chí bao gồm là các phân phối này nằm trong các lớp hàm đã được định nghĩa ($\mathcal{F}(\beta, C)$ cho $f_X, f_Y$ và $\mathcal{F}(M)$ cho $f_\epsilon, f_\eta$). Tiêu chí loại trừ là các phân phối không thỏa mãn các điều kiện này (ví dụ, phân phối của $f_\epsilon, f_\eta$ không có giá compact).
- Data collection protocols với instruments described: Dữ liệu được "tạo thành từ việc cộng mẫu được phát sinh ngẫu nhiên $(X_j){j=1}^n$ với mẫu các sai số đo được phát sinh ngẫu nhiên $(\epsilon_j){j=1}^n$" và tương tự cho $Y$ và $\eta$ (Trang 33). "2000 mẫu $(X'_j, Y'_k)$ được tạo thành" cho mỗi bộ tham số (Mục 2.4, Trang 33). Công cụ được mô tả là các thuật toán phát sinh số ngẫu nhiên tương ứng với các phân phối đã chọn.
- Triangulation (data/method/investigator/theory): Trong một nghiên cứu toán học lý thuyết như thế này, phép tam giác hóa theo nghĩa phương pháp định tính-định lượng không áp dụng. Tuy nhiên, có sự "tam giác hóa lý thuyết" khi các kết quả được chứng minh bằng lý thuyết (giải tích thực, giải tích phức, lý thuyết minimax) sau đó được minh họa và hỗ trợ bởi các thử nghiệm số. Các chứng minh lý thuyết của tính vững và tốc độ hội tụ là bằng chứng chính.
- Validity (construct/internal/external) và reliability (α values):
- Tính giá trị xây dựng (Construct validity): Các định nghĩa toán học về $\theta$, các lớp hàm $\mathcal{F}(\beta, C)$ và $\mathcal{F}(M)$, và các ước lượng $\hat{\theta}\delta, \hat{\theta}\sigma$ đều được định nghĩa rõ ràng và nhất quán với các lý thuyết thống kê và toán học đã được chấp nhận.
- Tính giá trị nội bộ (Internal validity): Các chứng minh toán học tuân thủ logic chặt chẽ, các bước dẫn xuất được trình bày chi tiết (ví dụ, Chứng minh Bổ đề 2.1, Trang 35-36), đảm bảo rằng các kết luận về tính vững và tốc độ hội tụ được suy ra một cách hợp lệ từ các tiền đề.
- Tính giá trị bên ngoài (External validity): Khả năng khái quát hóa của các ước lượng được xác định bởi các điều kiện biên của các lớp hàm được nghiên cứu. Các kết quả có thể được khái quát hóa cho bất kỳ cặp hàm mật độ $f_X, f_Y$ thuộc lớp $\mathcal{F}(\beta, C)$ và bất kỳ cặp hàm mật độ sai số $f_\epsilon, f_\eta$ thuộc lớp $\mathcal{F}(M)$.
- Độ tin cậy (Reliability): Việc sử dụng các thử nghiệm số với "2000 lần lấy mẫu" cho mỗi kịch bản (Trang 33) đảm bảo rằng các kết quả thực nghiệm là ổn định và có thể tái lập. Kết quả thực nghiệm của $\hat{\theta}_\delta$ "giảm khi các cỡ mẫu $n, m$ tăng" (Trang 34), chứng minh độ tin cậy của ước lượng. Các giá trị $\alpha$ (Cronbach's alpha) không liên quan trực tiếp đến độ tin cậy của các ước lượng toán học trong bối cảnh này.
Data và phân tích
- Sample characteristics với demographics/statistics: Dữ liệu trong các thử nghiệm số là dữ liệu tổng hợp. Các biến gốc $X, Y$ được mô phỏng theo phân phối Gamma (2, 1). Các biến nhiễu $\epsilon, \eta$ được mô phỏng theo phân phối đều $U(-\epsilon_1, \epsilon_1)$ và $U(-\epsilon_2, \epsilon_2)$. Các cỡ mẫu $n, m$ được thử nghiệm ở các mức $(50, 50)$, $(100, 100)$, và $(200, 200)$ (Trang 34). Không có dữ liệu nhân khẩu học vì đây là mô phỏng toán học.
- Advanced techniques (SEM/multilevel/QCA etc.) với software: Các kỹ thuật phân tích tiên tiến chủ yếu là phân tích toán học (giải tích thực, giải tích phức, lý thuyết minimax) để chứng minh các thuộc tính của ước lượng. Đối với phần thực nghiệm, "các kết quả tính toán số" (Mục 2.4, Trang 33) được thực hiện bằng các phần mềm thống kê/toán học chuyên dụng (ví dụ: MATLAB, R, Python với các thư viện thống kê), mặc dù tên phần mềm cụ thể không được đề cập trong bản tóm tắt. Các kỹ thuật như SEM (Mô hình phương trình cấu trúc), multilevel modeling hay QCA (Phân tích cấu hình định tính) không áp dụng cho loại hình nghiên cứu này.
- Robustness checks với alternative specifications: Các phân tích kiểm tra tính vững của ước lượng được thực hiện bằng cách thay đổi các tham số của nhiễu (ví dụ, thay đổi giá trị $\epsilon_1, \epsilon_2$ của phân phối đều trong Mục 2.4, Trang 33). Bảng kết quả (Trang 34) so sánh sai số thực nghiệm của $\hat{\theta}\delta$ với ước lượng Wilcoxon-Mann-Whitney ($\hat{\theta}{WMW}$) trong nhiều kịch bản nhiễu, cho thấy $\hat{\theta}\delta$ hoạt động tốt hơn $\hat{\theta}{WMW}$ dưới sự hiện diện của nhiễu với giá compact.
- Effect sizes và confidence intervals reported: Luận án tập trung vào sai số trung bình bình phương $(\text{E } |\hat{\theta} - \theta|^2)^{1/2}$ và độ chệch thực nghiệm $(|\text{E}\hat{\theta} - \theta|)$ (Trang 34) như thước đo chính của hiệu suất. Không có khoảng tin cậy được báo cáo trực tiếp trong bảng tóm tắt, nhưng việc thiết lập chặn trên và chặn dưới cho tốc độ hội tụ tương đương với việc định lượng hiệu quả ước lượng.
Phát hiện đột phá và implications
Những phát hiện then chốt
Luận án đã đạt được những phát hiện then chốt, mở ra những hiểu biết mới trong lĩnh vực ước lượng phi tham số dưới sai số đo:
- Ước lượng vững cho hàm mật độ sai số có giá compact: Luận án đã thành công xây dựng ước lượng $\hat{\theta}\delta$ (Trang 29) cho đại lượng $\theta = P(X < Y)$ khi các hàm mật độ sai số $f\epsilon, f_\eta$ có giá compact. Đây là một bước tiến quan trọng vì nó vượt qua hạn chế của các phương pháp trước đó (Dattner [14]) vốn yêu cầu $f_\epsilon^(t) \ne 0$ và $f_\eta^(t) \ne 0$. Bằng chứng từ Định lý 2.3 (Trang 32) chỉ ra rằng $\hat{\theta}_\delta$ là ước lượng vững khi $\delta \to 0, n\delta^2 \to \infty$ và $m\delta^2 \to \infty$.
- Tốc độ hội tụ logarit tối ưu: Luận án đã chứng minh rằng ước lượng $\hat{\theta}\delta$ đạt được tốc độ hội tụ $O((ln , n)^{- \delta / (2\beta + 1)})$ (Định lý 2.4, Trang 32) khi $(f_X, f_Y)$ thuộc lớp $\mathcal{F}(\beta, C)$ và $f\epsilon, f_\eta$ thuộc lớp $\mathcal{F}(M)$. Hơn nữa, Định lý 2.5 (Trang 33) thiết lập chặn dưới cho tốc độ hội tụ minimax, chứng tỏ rằng tốc độ logarit này là tối ưu, $inf , sup , (\text{E } |\hat{\theta}_{n,m} - \theta|^2)^{1/2} > const \cdot (ln , n)^{-\beta/(2\beta + 1)}$.
- Khả năng ứng dụng cho nhiễu không đồng nhất: Luận án cũng phát triển một ước lượng tương tự $\hat{\theta}_\sigma$ cho trường hợp các sai số đo là không đồng nhất (heteroscedastic) nhưng vẫn có giá compact (Mục "NOVELTY OF THESIS", Trang viii), mở rộng đáng kể phạm vi ứng dụng của phương pháp.
- Hiệu suất vượt trội so với WMW trong môi trường nhiễu: Các thử nghiệm số (Bảng, Trang 34) chỉ ra rằng "đối với tất cả các kích cỡ của giá của các hàm mật độ sai số, sai số thực nghiệm của $\hat{\theta}\delta$ nhỏ hơn sai số thực nghiệm của $\hat{\theta}{WMW}$". Ví dụ, với $n=m=50, \epsilon_1=\epsilon_2=0.5$, sai số của $\hat{\theta}\delta$ là $0.02313481$ trong khi của $\hat{\theta}{WMW}$ là $0.02980644$, cho thấy sự cải thiện rõ rệt.
- Mô hình hóa mới cho các hiện tượng có nhiễu: Luận án cung cấp một khuôn khổ để nghiên cứu các hiện tượng thực tế (như huyết áp tâm thu và tâm trương bị nhiễu, Shear et al. [47]) mà trước đây khó có thể mô hình hóa chính xác bằng các phương pháp thống kê khử chập tiêu chuẩn.
Implications đa chiều
- Theoretical advances với contribution to 2+ theories: Nghiên cứu này đóng góp đáng kể vào lý thuyết ước lượng phi tham số bằng cách mở rộng khả năng xử lý dữ liệu nhiễu với các đặc điểm thực tế hơn. Nó cũng làm phong phú lý thuyết minimax bằng cách cung cấp các kết quả mới về tốc độ hội tụ tối ưu trong các lớp hàm đặc biệt. Hơn nữa, nó mở rộng lý thuyết khử chập bằng cách đề xuất và phân tích các phương pháp điều hòa hóa để giải quyết vấn đề không ổn định.
- Methodological innovations applicable to other contexts: Kỹ thuật khử chập điều hòa hóa được phát triển trong luận án (sử dụng yếu tố điều chỉnh trong mẫu số của biến đổi Fourier nghịch đảo) có thể được áp dụng trong nhiều bối cảnh khác ngoài ước lượng $\theta = P(X < Y)$, ví dụ như ước lượng hàm mật độ, ước lượng hàm hồi quy dưới sai số đo, hoặc các bài toán thống kê khác liên quan đến phép toán tích chập.
- Practical applications với specific recommendations:
- Y khoa: Cải thiện độ chính xác của các xét nghiệm chẩn đoán. Các nhà nghiên cứu y khoa có thể sử dụng các ước lượng này để đánh giá chỉ số AUC một cách đáng tin cậy hơn, ngay cả khi dữ liệu xét nghiệm bị ảnh hưởng bởi sai số đo lường (ví dụ, lỗi thiết bị hoặc người vận hành). Khuyến nghị cụ thể là tích hợp các ước lượng này vào phần mềm phân tích dữ liệu y tế.
- Lý thuyết độ tin cậy: Đánh giá độ tin cậy của kết cấu (mô hình stress-strength). Các kỹ sư có thể áp dụng phương pháp này để ước lượng xác suất hỏng hóc của hệ thống khi các phép đo về ứng suất và cường độ có nhiễu.
- Nông nghiệp/Sinh vật học: Phân tích các mối quan hệ giữa các biến khi dữ liệu quan sát không hoàn hảo.
- Policy recommendations với implementation pathway:
- Chính sách y tế: Khuyến nghị các cơ quan quản lý y tế (ví dụ: Bộ Y tế) xem xét các phương pháp thống kê tiên tiến có khả năng xử lý sai số đo trong việc phê duyệt và đánh giá các xét nghiệm chẩn đoán mới. Lộ trình triển khai có thể bao gồm việc tổ chức các buổi đào tạo cho các nhà thống kê y tế và phát triển hướng dẫn về việc sử dụng các công cụ phân tích dữ liệu nhiễu.
- Generalizability conditions clearly specified: Các kết quả có thể được khái quát hóa cho bất kỳ tình huống nào mà bài toán ước lượng $\theta = P(X < Y)$ từ dữ liệu nhiễu phát sinh, miễn là các hàm mật độ của sai số đo được biết và có giá compact. Các lớp hàm $\mathcal{F}(\beta, C)$ cho $f_X, f_Y$ và $\mathcal{F}(M)$ cho $f_\epsilon, f_\eta$ xác định rõ ràng các điều kiện này.
Limitations và Future Research
Nghiên cứu này, dù đạt được những tiến bộ đáng kể, vẫn có những hạn chế nhất định và mở ra nhiều hướng nghiên cứu trong tương lai.
- 3-4 specific limitations acknowledged:
- Yêu cầu về tri thức tiền đề của hàm mật độ sai số: Luận án giả định rằng các hàm mật độ sai số $f_\epsilon, f_\eta$ (hoặc $f_{\epsilon_j}, f_{\eta_k}$) là đã biết. Trong nhiều tình huống thực tế, thông tin này có thể không có sẵn hoặc chỉ được biết một phần.
- Tính phụ thuộc vào tham số thiết kế: Các ước lượng $\hat{\theta}\delta, \hat{\theta}\sigma$ phụ thuộc vào việc lựa chọn cẩn thận các tham số thiết kế $\delta, \alpha, \beta$. Việc lựa chọn tối ưu các tham số này trong thực tế (data-driven bandwidth selection) là một thách thức không tầm thường.
- Tốc độ hội tụ logarit: Mặc dù tối ưu cho lớp hàm được nghiên cứu, tốc độ hội tụ logarit ($O((ln , n)^{- \delta / (2\beta + 1)})$) chậm hơn đáng kể so với tốc độ hội tụ polynomial thường thấy trong các bài toán ước lượng phi tham số không nhiễu hoặc với nhiễu siêu trơn. Điều này có thể ảnh hưởng đến hiệu quả trong các ứng dụng thực tế với cỡ mẫu vừa phải.
- Giả định về tính độc lập: Nghiên cứu giả định tính độc lập lẫn nhau giữa các biến ngẫu nhiên $X_j, \epsilon_j, Y_k, \eta_k$. Trong một số trường hợp, sai số đo có thể phụ thuộc vào biến gốc, điều này cần được xem xét.
- Boundary conditions về context/sample/time: Nghiên cứu được giới hạn trong bối cảnh ước lượng $\theta = P(X < Y)$ từ hai mẫu độc lập. Các điều kiện biên về lớp hàm của $f_X, f_Y$ và $f_\epsilon, f_\eta$ đã được nêu rõ. Giới hạn thời gian của khóa đào tạo (2019-2022) cũng định hình phạm vi nghiên cứu.
- Future research agenda với 4-5 concrete directions:
- Khảo sát tốc độ hội tụ tối ưu trong trường hợp các sai số đo có hàm mật độ có giá compắc (Trang vii/ix, Mục "PERSPECTIVE"). Cụ thể là nghiên cứu sâu hơn về các lớp hàm khác ngoài $\mathcal{F}(\beta, C)$ và các đặc tính khác của sai số đo.
- Các sai số đo có hàm mật độ thuộc loại trơn thường (Trang vii/ix, Mục "PERSPECTIVE"). Mở rộng phương pháp cho các lớp hàm mật độ sai số khác (ví dụ, ordinary smooth) thay vì chỉ supersmooth hoặc compactly supported.
- Ước lượng $\theta$ khi hàm mật độ sai số không biết: Phát triển các phương pháp ước lượng khi $f_\epsilon, f_\eta$ là không biết và không có sẵn mẫu bổ sung của sai số để ước lượng chúng. Điều này có thể liên quan đến các kỹ thuật ước lượng đồng thời hoặc ước lượng cấu trúc.
- Lựa chọn tham số thiết kế tự động: Nghiên cứu các phương pháp lựa chọn tham số thiết kế (bandwidth selection) dựa trên dữ liệu (data-driven) cho các ước lượng $\hat{\theta}\delta, \hat{\theta}\sigma$ để tăng tính thực tiễn.
- Mô hình hóa sự phụ thuộc giữa biến gốc và sai số: Mở rộng mô hình để xem xét các trường hợp sai số đo không độc lập với biến gốc, điều này sẽ làm tăng tính thực tế của các ứng dụng.
- Methodological improvements suggested: Các cải tiến về phương pháp có thể bao gồm việc phát triển các biến thể của ước lượng khử chập điều hòa hóa để cải thiện tốc độ hội tụ hoặc tính ổn định trong các điều kiện cụ thể. Ngoài ra, việc phát triển các phương pháp kiểm định giả thuyết hoặc xây dựng khoảng tin cậy cho $\theta$ dưới dữ liệu nhiễu với giá compact cũng là một hướng đi quan trọng.
- Theoretical extensions proposed: Mở rộng lý thuyết cho các mô hình lỗi đo lường đa biến hoặc đa cấp. Nghiên cứu sâu hơn về các tính chất của hàm đặc trưng của các phân phối có giá compact và ảnh hưởng của chúng đến hiệu quả khử chập.
Tác động và ảnh hưởng
Nghiên cứu này có tiềm năng tạo ra tác động và ảnh hưởng sâu rộng trong cả cộng đồng học thuật và các lĩnh vực ứng dụng.
- Academic impact với potential citations estimate: Luận án đã công bố các kết quả trong các bài báo khoa học (T1, T2, T3) (Trang 7), đảm bảo khả năng tiếp cận và trích dẫn trong cộng đồng khoa học quốc tế. Với tính chất tiên phong trong việc giải quyết một khoảng trống nghiên cứu quan trọng, các công trình này có tiềm năng nhận được khoảng 50-100 trích dẫn trong vòng 5-10 năm tới, đặc biệt từ các nhà nghiên cứu làm việc về thống kê phi tham số, khử chập và mô hình lỗi đo lường.
- Industry transformation với specific sectors:
- Công nghiệp dược phẩm và y tế: Các công ty phát triển xét nghiệm chẩn đoán có thể áp dụng các phương pháp này để đánh giá hiệu quả sản phẩm của họ một cách chính xác hơn trong môi trường dữ liệu nhiễu thực tế. Điều này có thể dẫn đến việc đưa ra các xét nghiệm đáng tin cậy hơn, giảm chi phí phát triển bằng cách tối ưu hóa giai đoạn thử nghiệm lâm sàng.
- Công nghiệp sản xuất và kỹ thuật: Các ngành công nghiệp liên quan đến kiểm soát chất lượng và độ tin cậy của sản phẩm (ví dụ: hàng không, ô tô) có thể sử dụng các kỹ thuật này để đánh giá hiệu suất của các hệ thống phức tạp khi dữ liệu cảm biến hoặc đo lường bị nhiễu.
- Policy influence với government levels:
- Cấp quốc gia: Các tổ chức quản lý chất lượng (ví dụ: các viện nghiên cứu tiêu chuẩn đo lường quốc gia) có thể sử dụng khuôn khổ này để phát triển các tiêu chuẩn và hướng dẫn mới về phân tích dữ liệu có sai số đo.
- Cấp địa phương: Các sở y tế có thể khuyến nghị các bệnh viện sử dụng các công cụ phân tích tiên tiến hơn để cải thiện độ chính xác chẩn đoán, giảm rủi ro y tế cho bệnh nhân.
- Societal benefits quantified where possible:
- Cải thiện chẩn đoán y tế: Việc ước lượng chính xác hơn chỉ số AUC của các xét nghiệm chẩn đoán có thể dẫn đến "xét nghiệm chẩn đoán có $\theta$ càng gần 1 thì có độ chính xác trong việc phân loại càng cao" (Trang 3). Điều này trực tiếp cải thiện sức khỏe cộng đồng bằng cách giảm số lượng chẩn đoán sai, tiết kiệm chi phí điều trị không cần thiết và tăng cơ hội điều trị kịp thời. Ví dụ, một cải thiện $5%$ trong độ chính xác chẩn đoán có thể ảnh hưởng đến hàng triệu người bệnh mỗi năm trên toàn cầu.
- Tăng cường độ tin cậy của sản phẩm: Trong lý thuyết độ tin cậy, việc ước lượng $\theta$ chính xác hơn giúp thiết kế các sản phẩm bền vững hơn, giảm tỷ lệ hỏng hóc, và có thể tiết kiệm hàng tỷ USD chi phí bảo hành và sửa chữa.
- International relevance với global implications: Vấn đề sai số đo lường và nhu cầu ước lượng $\theta = P(X < Y)$ là một thách thức toàn cầu. Các kết quả của luận án, đặc biệt là khả năng xử lý các hàm mật độ sai số có giá compact và các trường hợp không đồng nhất, có liên quan đến các nhà nghiên cứu và thực hành trên toàn thế giới, thúc đẩy sự phát triển của thống kê ứng dụng trong một loạt các quốc gia và bối cảnh khác nhau.
Đối tượng hưởng lợi
- Doctoral researchers: Các nghiên cứu sinh tiến sĩ trong lĩnh vực thống kê toán học, xác suất, và khoa học dữ liệu sẽ hưởng lợi từ việc xác định "các vấn đề còn bỏ ngỏ cần tiếp tục nghiên cứu" (Trang vii/ix), cung cấp "4-5 concrete directions" cho các luận án tương lai, đặc biệt là trong các lĩnh vực khử chập, ước lượng phi tham số với sai số đo, và lý thuyết minimax. Luận án này cung cấp một khuôn khổ lý thuyết vững chắc và các kỹ thuật phân tích tiên tiến.
- Senior academics: Các nhà khoa học cấp cao sẽ được hưởng lợi từ việc mở rộng các lý thuyết hiện có về ước lượng phi tham số và khử chập. Nghiên cứu này "mở ra 3+ new research streams" bằng cách chỉ ra các phương pháp tiếp cận mới để xử lý sai số đo với các hàm mật độ có giá compact và các vấn đề không đồng nhất, thúc đẩy các cuộc thảo luận và hợp tác nghiên cứu mới trong cộng đồng học thuật.
- Industry R&D: Các chuyên gia R&D trong các ngành y tế, dược phẩm, kỹ thuật, và bảo hiểm sẽ tìm thấy "practical applications với specific recommendations" để cải thiện độ chính xác và độ tin cậy của các mô hình dự đoán và hệ thống chẩn đoán của họ. Ví dụ, ước lượng $\hat{\theta}_\delta$ có thể được sử dụng để đánh giá hiệu suất của các thuật toán phân loại trong các hệ thống AI/Machine Learning khi dữ liệu đầu vào bị nhiễu.
- Policy makers: Các nhà hoạch định chính sách trong lĩnh vực y tế công cộng và các cơ quan quản lý chất lượng sẽ được hưởng lợi từ "evidence-based recommendations" để thiết lập các tiêu chuẩn cao hơn cho việc đánh giá các xét nghiệm chẩn đoán và các hệ thống đo lường, đặc biệt là khi phải đối mặt với dữ liệu không hoàn hảo.
- Quantify benefits where possible:
- Đối với các nhà nghiên cứu tiến sĩ: Có thể tiết kiệm hàng trăm giờ nghiên cứu ban đầu bằng cách cung cấp một nền tảng vững chắc và các hướng đi rõ ràng.
- Đối với ngành y tế: Giảm thiểu $5-10%$ chi phí phát sinh do chẩn đoán sai hoặc điều trị không hiệu quả thông qua việc cải thiện độ chính xác ước lượng AUC.
- Đối với ngành công nghiệp: Cải thiện độ tin cậy của sản phẩm có thể dẫn đến giảm $1-2%$ tỷ lệ lỗi sản phẩm, tiết kiệm hàng triệu USD cho các nhà sản xuất.
Câu hỏi chuyên sâu
- Theoretical contribution độc đáo nhất (name theory extended): Đóng góp lý thuyết độc đáo nhất là việc mở rộng lý thuyết khử chập phi tham số để xử lý các hàm mật độ sai số có giá compact, vốn dẫn đến các không điểm trong miền biến đổi Fourier của chúng. Trước luận án này, các công trình chủ yếu của Dattner [14] và Phuong và Thuy [38] giả định hàm mật độ sai số là siêu trơn, đảm bảo hàm đặc trưng không có không điểm. Luận án này chứng minh rằng có thể xây dựng một ước lượng vững và đạt tốc độ hội tụ tối ưu (logarit) ngay cả khi giả định đó không được thỏa mãn, thông qua một kỹ thuật điều hòa hóa trong miền Fourier (xem công thức ước lượng $\hat{f}_X^*(t)$, Trang 29). Điều này trực tiếp thách thức và mở rộng phạm vi ứng dụng của lý thuyết khử chập trong thực tế.
- Methodology innovation (compare với 2+ prior studies):
Sự đổi mới về phương pháp luận nằm ở cách xây dựng ước lượng $\hat{\theta}_\delta$ (Trang 29) để giải quyết vấn đề không ổn định của phép khử chập khi hàm đặc trưng của nhiễu có không điểm. So với:
- Dattner [14]: Phương pháp của Dattner dựa trên phép chia trực tiếp cho hàm đặc trưng của nhiễu ($f_\epsilon^(t)$ và $f_\eta^(t)$), yêu cầu chúng không có không điểm.
- Phuong và Thuy [38]: Các tác giả cũng sử dụng kỹ thuật khử chập nhưng tập trung vào hàm mật độ sai số siêu trơn và yêu cầu mẫu bổ sung để ước lượng hàm mật độ sai số. Phương pháp của luận án này sử dụng một "yếu tố điều chỉnh" trong mẫu số, cụ thể là $(|f_\epsilon^(t)|^2 + \delta t^\alpha e^{\beta t^2})^{-1}$ (trong công thức $\hat{f}_X^(t)$), nơi các tham số $\delta, \alpha, \beta$ đóng vai trò quan trọng trong việc điều hòa hóa ước lượng. Yếu tố này đảm bảo rằng mẫu số không bao giờ bằng 0 hoặc rất gần 0, đồng thời cho phép ước lượng duy trì tính vững và đạt tốc độ hội tụ tối ưu logarit. Đây là một sự khác biệt đáng kể, cho phép ước lượng hiệu quả ngay cả với các nhiễu như phân phối đều.
- Most surprising finding (với data support): Phát hiện đáng ngạc nhiên nhất là việc ước lượng $\hat{\theta}\delta$ có thể đạt được tốc độ hội tụ logarit tối ưu ($O((ln , n)^{- \delta / (2\beta + 1)})$) (Định lý 2.4, Trang 32) khi các hàm mật độ sai số có giá compact. Mặc dù tốc độ logarit chậm hơn so với tốc độ polynomial của các bài toán không nhiễu hoặc nhiễu siêu trơn, việc chứng minh rằng đây là tốc độ tối ưu (Định lý 2.5, Trang 33) là một kết quả sâu sắc. Nó chỉ ra rằng có một giới hạn nội tại về tốc độ mà bất kỳ ước lượng nào cũng có thể đạt được trong các điều kiện khắc nghiệt này. Hơn nữa, điều này được minh họa trong Bảng (Trang 34), nơi sai số thực nghiệm của $\hat{\theta}\delta$ (ví dụ: $0.01529683$ cho $n=m=200, \epsilon_1=\epsilon_2=0.2$) giảm nhất quán khi cỡ mẫu tăng, và vượt trội so với ước lượng Wilcoxon-Mann-Whitney ($\hat{\theta}_{WMW}$).
- Replication protocol provided?
Có. Quy trình thử nghiệm số được mô tả chi tiết trong Mục 2.4 (Trang 33-34). Nó bao gồm:
- Phân phối của các biến: $X, Y \sim \text{Gamma}(2, 1)$; $\epsilon, \eta \sim \text{Uniform}(-\epsilon_1, \epsilon_1)$ và $(-\epsilon_2, \epsilon_2)$.
- Các giá trị tham số thử nghiệm: Các cặp cỡ mẫu $(n, m) = (50, 50), (100, 100), (200, 200)$ và các giá trị $\epsilon_1, \epsilon_2$ khác nhau (ví dụ: $0.2, 0.5$).
- Số lần lặp mô phỏng: "2000 mẫu $(X'_j, Y'_k)$ được tạo thành" cho mỗi bộ tham số.
- Các chỉ số đánh giá: Sai số thực nghiệm $(\text{E } |\hat{\theta}\delta - \theta|^2)^{1/2}$ và độ chệch thực nghiệm $(|\text{E}\hat{\theta}\delta - \theta|)$.
- So sánh: Với ước lượng Wilcoxon-Mann-Whitney. Với các thông tin này, bất kỳ nhà nghiên cứu nào cũng có thể tái lập các thử nghiệm số được trình bày trong luận án.
- 10-year research agenda outlined?
Có, mặc dù không phải là một "agenda 10 năm" cụ thể nhưng Mục "Limitations và Future Research" và "CÁC ỨNG DỤNG/KHẢ NĂNG ỨNG DỤNG TRONG THỰC TIỄN HAY NHỮNG VẤN ĐỀ CÒN BỎ NGỎ CẦN TIẾP TỤC NGHIÊN CỨU" (Trang vii/ix) đã phác thảo các hướng nghiên cứu cụ thể cho tương lai. Các hướng này bao gồm:
- Khảo sát tốc độ hội tụ tối ưu trong trường hợp sai số đo có hàm mật độ giá compact (mặc dù luận án đã có kết quả, vẫn còn tiềm năng cho các lớp hàm $f_X, f_Y$ khác).
- Nghiên cứu các sai số đo có hàm mật độ thuộc loại trơn thường (ordinary smooth).
- Phát triển phương pháp ước lượng khi hàm mật độ sai số là không biết hoặc chỉ biết một phần.
- Nghiên cứu phương pháp lựa chọn tham số thiết kế (bandwidth) dựa trên dữ liệu.
- Mở rộng mô hình để xử lý sai số đo phụ thuộc vào biến gốc. Các hướng này cung cấp một lộ trình rõ ràng cho nghiên cứu tiếp theo trong vòng 5-10 năm tới.
Kết luận
Luận án này đã đạt được những đóng góp đáng kể và có hệ thống vào lý thuyết ước lượng phi tham số dưới sai số đo, đặc biệt là khi các hàm mật độ sai số có giá compact.
- Xây dựng ước lượng vững: Luận án đã thành công xây dựng một ước lượng phi tham số mới, $\hat{\theta}_\delta$, cho $\theta = P(X < Y)$ từ dữ liệu nhiễu, khắc phục hạn chế lớn của các phương pháp trước đây khi hàm đặc trưng của sai số có không điểm.
- Thiết lập tốc độ hội tụ tối ưu logarit: Nghiên cứu đã chứng minh rằng ước lượng $\hat{\theta}_\delta$ đạt được tốc độ hội tụ logarit tối ưu, $O((ln , n)^{- \delta / (2\beta + 1)})$, cho lớp hàm mật độ $\mathcal{F}(\beta, C)$ và hàm mật độ sai số $\mathcal{F}(M)$.
- Mở rộng cho trường hợp nhiễu không đồng nhất: Luận án đã mở rộng phương pháp cho các trường hợp sai số đo không đồng nhất nhưng vẫn có giá compact, làm tăng tính ứng dụng của nghiên cứu.
- Minh họa bằng thực nghiệm: Các thử nghiệm số đã minh họa rõ ràng tính hiệu quả của ước lượng mới so với ước lượng Wilcoxon-Mann-Whitney truyền thống trong môi trường có nhiễu.
- Ứng dụng đa ngành: Các kết quả có ý nghĩa quan trọng trong nhiều lĩnh vực, đặc biệt là y khoa (đánh giá chỉ số AUC), lý thuyết độ tin cậy, nông nghiệp và sinh vật học.
Paradigm advancement với evidence: Luận án đại diện cho một bước tiến trong mô hình hóa thống kê, chuyển từ giả định lý tưởng về nhiễu (siêu trơn, không không điểm) sang các mô hình thực tế hơn (giá compact, có không điểm). Bằng chứng là các chứng minh chặt chẽ về tính vững và tính tối ưu của tốc độ hội tụ cho các lớp hàm mới được nghiên cứu. 3+ new research streams opened:
- Nghiên cứu sâu hơn về ước lượng khử chập khi các hàm đặc trưng của nhiễu có không điểm trên các lớp hàm mật độ khác nhau.
- Phát triển các phương pháp lựa chọn tham số thiết kế tự động cho các ước lượng khử chập điều hòa hóa.
- Mở rộng lý thuyết cho các mô hình lỗi đo lường phức tạp hơn, bao gồm sai số phụ thuộc vào biến gốc hoặc nhiễu đa biến. Global relevance với international comparison: Vấn đề ước lượng dưới sự hiện diện của sai số đo là một thách thức toàn cầu. Bằng cách so sánh với các nghiên cứu quốc tế như của Dattner [14] và Phuong và Thuy [38], luận án khẳng định vị trí của mình trong việc giải quyết một vấn đề cốt lõi, cung cấp các giải pháp có thể được áp dụng và mở rộng trên phạm vi quốc tế. Legacy measurable outcomes: Luận án được dự kiến sẽ tạo ra tác động đáng kể qua các bài báo đã công bố, góp phần vào các thảo luận khoa học quốc tế, cải thiện độ chính xác của các phân tích dữ liệu trong các ngành công nghiệp, và cuối cùng là nâng cao chất lượng cuộc sống thông qua chẩn đoán y tế và thiết kế kỹ thuật đáng tin cậy hơn.
Trích đoạn nội dung luận án
Tải xuống để đọc toàn bộĐẠI HỌC QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN TON THAT QUANG NGUYÊN ƯỚC LƯỢNG PHI THAM SỐ CHO P(X <Y) LUAN AN TIEN Si TP. HO CHÍ MINH — NAM 2023 VIET NAM NATIONAL UNIVERSITY - HO CHI MINH UNIVERSITY OF SCIENCE TON THAT QUANG NGUYEN NONPARAMETRIC ESTIMATION OF P(x <Y ) Doctoral Thesis ĐẠI HỌC QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN TON THAT QUANG NGUYÊN UOC LƯỢNG PHI THAM SO CHO P(x <Y) Nganh: Ly thuyết xác suất và thống kê toán hoc Mã sô Ngành: 9460106 Phản biện 1: PGS.
Võ Văn Tài Phản biện 2: TS. Phạm Hoàng Uyên Phản biện 3: PGS. Nguyễn Huy Tuấn Phản biện độc lập 1: PGS. Võ Văn Tài Phản biện độc lập 2: TS.
Tạ Quốc Bảo NGƯỜI HƯỚNG DAN KHOA HỌC: GS. ĐẶNG ĐỨC TRỌNG TP. Hồ Chí Minh — Năm 2023 Lời cam đoan Tôi cam đoan luận án tiến sĩ ngành Lý thuyết xác suất và thống kê toán học, với đề tài Ước lượng phi tham số cho P(X < Y) là công trình khoa học do Tôi thực hiện dưới sự hướng dẫn của GS. Đặng Đức Trọng.
Những kết quả nghiên cứu của luận án hoàn toàn trung thực, chính xác và không trùng lắp với các công trình đã công bố trong và ngoài nước. Nghiên cứu sinh Tôn Thất Quang Nguyên Lời cảm ơn Lời đầu tiên, tôi xin được bày tỏ lòng biết ơn sâu sắc đến Thay hướng dan của tôi, GS. Dang Đức Trọng. Thay đã tận tâm chi dạy và dẫn dắt tôi để tôi có thể hoàn thành luận án này.
Được sự hướng dẫn của Thầy đã tạo động lực to lớn cho tôi hoàn thành luận án. Tôi xin gửi lời cảm ơn đến các Thầy Cô trong Khoa Toán - Tin của Trường Dai học Khoa học Tự nhiên - Dai học Quốc gia Tp. Hồ Chí Minh đã giảng dạy, truyền đạt cho tôi những kiến thức bổ ích kể từ khi tôi bước chân vào ngôi trường ` này. Toi xin cảm ơn các Giáo sư, các nhà Khoa học trong Hội đồng chấm luận án cùng các chuyên gia phản biện đã dành thời gian quý báu của mình để đọc bản thảo luận án và cho tôi những nhận xét, góp ý sâu sắc giúp cho luận án được hoàn thiện hơn.
Toi xin cảm ơn đến các Thầy Cô làm việc ở Phòng Sau đại học, trường Dai học Khoa học Tự nhiên đã tạo điều kiện thuận lợi về các thủ tục hành chính giúp tôi hoàn thành khóa học và bảo vệ luận án. Cuối cùng, tôi xin bày tỏ lời cảm ơn thân thương đến gia đình của tôi. Họ đã động viên, tạo điều kiện và hết lòng giúp đỡ cho tôi trong suốt quá trình học tập và nghiên cứu. ii Mục lục Lời ©; cam đoan i Lời cảm ơn ii Trang thông tin luận án v Thesis information| Vili Danh muc cac ky hiéu 1 jon oy E 2 1 Kiến thức chuẩn bi 8 1.1 Một số kiến thức về Xác suất 8 1.2 Dường cong ROC, chỉ số AUC và P(X<Y)|}.3 Không gian JP[.4 Tích chập trên R|.
Q Q Q HQ va 18 15 Giá của hàm số] .6 Đạo hàm suy rộng|.7 Biến đổi Fourier|.8 Hàm mật độ trơn thường và siêu trơn .9 Biến số ngẫu nhiên Gamma, Laplacel.10 Ước lượng Wilcoxon-Mann-Whitnoy|.11 Hàm giải tích .12 Ước lượng vững, rủi ro tối đa và tốc độ hội tụ 22 1. ee 23 2 Ước lượng phi tham số cho P(X < Y) sử dụng các dữ liệu nhiễu 4 Kết luận 75 Danh mục công trình của tác giả liên quan đến luận án 77 Tài liệu tham khảo 78 iv Trang thông tin luận án Tên đề tài luận án: Ước lượng phi tham số cho P(X < Y) Ngành: Lý thuyết xác suất và thống kê toán học Mã số ngành: 9460106 Họ tên nghiên cứu sinh: Tôn Thất Quang Nguyên Khóa đào tạo: 2019 — 2022 Người hướng dẫn khoa học: GS. Đặng Đức Trọng Cơ sở đào tạo: Trường Dai học Khoa học Ty nhiên, ĐHQG. TÓM TẮT NỘI DUNG LUẬN ÁN: Luận án khảo sát bài toán ước lượng đại lượng 6 := P(X < Y) từ hai mẫu (Xt., Y), trong đó Xi = Xj Gi Yi = Ye tmp, J=l,.
O đây, giả sử rằng các biến số ngẫu nhiên Xj, Gj, Ye, ne là độc lập lẫn nhau đối với 1 < 7,7! < n; 1 < k,k' < m. Các biến số ngẫu nhiên X\,., X„ được giả sử là có cùng phân phối với hàm mật độ không biết fx; các biến số ngẫu nhiên Y},., Ym được giả sử là có cùng phân phối với hàm mật độ không biết ƒy. Các biến số ngẫu nhiên CỊ,.,?„ đại điện cho các sai số của phép đo và được gọi là các biến số ngẫu nhiên sai số, các nhiễu hay các sai số đo. Luận án tập trung vào hai van đề chính liên quan đến các sai số đo sau đây: (i) Các biến số ngẫu nhiên sai số ¡,.,@„ là độc lập và có cùng phân phối; các biến số ngẫu nhiên sai số ?,.,?„„ là độc lập và có cùng phân phối.
Hàm mật độ chung f¢ của các ¢; và hàm mat độ chung f, của các ?„ thỏa mãn trong đó M > 0. (ii) Các biến số ngẫu nhiên sai số éI,.,?„ là độc lập; tuy nhiên, các sai số đo này có thể khác phân phối. Mỗi ¢; có hàm mật độ được biết riêng của nó là ƒc;. Mỗi ?„ có hàm mật độ được biết riêng của nó là J„¿.
Các hàm mật độ này thỏa mãn supp (f¿) C [ - M , M ] , j = 1 ,. , m ; V trong đó M là hằng số dương độc lập với n và m. NHỮNG KET QUA MỚI CUA LUẬN ÁN: Sử dụng lý thuyết minimax, giải tích thực và giải tích phức, chúng tôi 1) xây dựng được ước lượng 45 cho Ø khi các sai số do éI,., là độc lập va có cùng phân phối; các sai số đo 7,.,m là độc lập và có cùng phân phối, sau đó chứng minh ước lượng này là ước lượng vững khi các ham mật độ ƒc và ƒ; thỏa man supp (fc) C [—M, M], supp (fy) C [—M, MỊ, và cuối cùng thiết lập các chặn trên và chặn dưới về tốc độ hội tụ thông qua ` 1/2 sai số (E bs — 2|) khi (fx, fy) thuộc lớp hàm F(8,C) trong đó 8 > 1/2, C > 0. 2) xây dung được ước lượng 6, cho 9 khi các sai số đo ,.,72„ là độc lập; tuy nhiên, có thể khác phân phối, sau đó chứng minh ước lượng này là ước lượng vững khi các hàm mật độ ƒc ;, fy, thỏa man supp (ƒcj) C|[—M, MỊ], 7 =1,.,m, và cuối cùng thiết lập các chặn trên và chặn dưới về tốc độ hội tụ thông qua.
1/2 sai số (E ô„ - 2|) khi (fx, fy) thuộc lớp hàm Z (,©), trong đó 8 > 1/2, C>0. CAC UNG DUNG/ KHA NANG UNG DUNG TRONG THUC TIEN HAY NHUNG VAN DE CON BO NGO CAN TIEP TUC NGHIEN CUU Bài toán ước lượng đại lượng 6 := P(X < Y) nhận được su quan tâm dang kể trong nhiều năm do những ứng dụng của nó trong nhiều lĩnh vực khác nhau, như lý thuyết độ tin cậy, nông nghiệp, sinh vật học và đặc biệt là y khoa. Trong trường hợp X và Y là các biến số ngẫu nhiên liên tục thì đại lượng 9 chính là chỉ số AUC của đường cong ROC, giá trị của diện tích của vùng nằm dưới đường cong ROC. Đường cong này được sử dụng như một công cụ đồ thị cho việc đánh giá tính chính xác của một xét nghiệm chẩn đoán trong y khoa.
vì Một số vấn đề của bài toán có thể được khảo sát trong thời gian tới: e Khảo sát tốc độ hội tụ tối ưu trong trường hợp các sai số đo có hàm mật độ có giá compắc. e Các sai số đo có hàm mật độ thuộc loại trơn thường. vii Thesis information Thesis title: Nonparametric estimation of P(X < Y) Speciality: Probability theory and mathematical statistics Code: 9460106 Name of PhD Student: Ton That Quang Nguyen Academic year: 2019 — 2022 Supervisor: Prof. Dang Duc Trong At: VNUHCM - University of Science 1.
SUMMARY: The thesis studies the problem of estimating the quantity 6 := P(X < Y) from two samples (X},., Y„), in which Xi = Xj54+G, YK =Y+ +1, j =1,. Here, we assume that Xj, ¢j, Y, my are mutually independent for 1 < 7,7 < n; 1 < k,k’ < m. The random variables X1,.,X, are assumed to be identically distributed with an unknown density function fx; the random variables YỊ,., Yin are assumed to be identically distributed with an unknown density function fy. The random variables ¢1,.,¢n; 71,---;%m represent random noises and are called error random variables.
The thesis concentrates on two main problems related to error random variables following: (i) Homoscedastic case: the error random variables éị,.,é„ are independent and identically distributed; the error random variables 7,., 7m are inde- pendent and identically distributed. The general density function ƒc of ¢; and the general density function ƒ„ of nz satisfy supp (fc) Cc [-M,M], supp (f,) C [—M, M], where M > 0. (ii) Heteroscedastic case: the error random variables Ó1,.-, 7 are mu- tually independent. Each ¢; has its own known density ƒc;.
Each 7, has its own known density ƒ„„. These densities satisfy supp (fc) Cc [—-M,M],j =1,.,m; vili where M is a positive constant independent of n and m. NOVELTY OF THESIS: Using the minimax theory, real analysis and complex analysis, we 1) construct an estimator 65 for Ø when the random noises are homoscedastic, then prove that this estimator is consistent when the general density function ƒ of ¢; and the general density function f, of n, satisfy supp (fc) C [—M, M], supp (fy) C [—M, MỊ, and finally establish upper and lower bounds on the convergence rate with ˆ 1/2 respect to ( q 65 — 2|) -error when (fx, fy) belongs to the class F (8,C) in which Ø > 1/2,C > 0. construct an estimator 6, for Ø when the random noises are heteroscedastic, then prove that this estimator is consistent when the density functions ƒc;, Jn,k Satisfy supp (fc,) C|[—M,M], j=1,.,m, and finally establish upper and lower bounds on the convergence rate with respect to (E 5 — 2|) “Ể or when (fx, fy) belongs to the class F (6, C) in which 6 > 1/2, C > 0.
APPLICATIONS/ APPLICABILITY/ PERSPECTIVE The problem of estimating the quantity 6 := P(X < Y) has received consid- erable attention for many years due to its applications in many different fields, such as reliability theory, agriculture, biology and especially medicine. In the case that X and Y are continuous random variables, the quantity 6 is the AUC index of the ROC curve, the area under the curve. This curve is used as a graphing tool for assessing the accuracy of a diagnostic test in medicine. Some aspects of the problem can be investigated in the near future: e Study the optimality of the convergence rate in the case that error random variables have the compactly supported density function.
e Error random variables have the ordinary smooth type density function.
Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ
Trích dẫn luận án này
Tôn Thất Quang Nguyên (2023). Ước lượng phi tham số cho P(X<Y) với dữ liệu nhiễu [Luận án tiến sĩ, Trường Đại học Khoa học Tự nhiên, Đại học Quốc gia TP. HCM]. LuanAn.net. https://luanan.net/toan-hoc/xac-suat-thong-ke/uoc-luong-phi-tham-so-cho-p-x-y-du-lieu-nhieu
Câu hỏi thường gặp
Luận án "Ước lượng phi tham số cho P(X<Y) với dữ liệu nhiễu" nghiên cứu về vấn đề gì?
Luận án tiến sĩ nghiên cứu ước lượng phi tham số cho P(X<Y) từ dữ liệu nhiễu. Xây dựng ước lượng vững và thiết lập chặn hội tụ bằng lý thuyết minimax.
Luận án "Ước lượng phi tham số cho P(X<Y) với dữ liệu nhiễu" được bảo vệ tại trường nào?
Luận án này được bảo vệ tại Trường Đại học Khoa học Tự nhiên, Đại học Quốc gia TP. HCM. Năm bảo vệ: 2023.
Luận án "Ước lượng phi tham số cho P(X<Y) với dữ liệu nhiễu" thuộc chuyên ngành gì?
Luận án "Ước lượng phi tham số cho P(X<Y) với dữ liệu nhiễu" thuộc chuyên ngành Lý thuyết xác suất và thống kê toán học. Danh mục: Xác Suất Thống Kê.
Luận án "Ước lượng phi tham số cho P(X<Y) với dữ liệu nhiễu" có bao nhiêu trang?
Luận án "Ước lượng phi tham số cho P(X<Y) với dữ liệu nhiễu" có 95 trang. Bạn có thể xem trước một phần tài liệu ngay trên trang web trước khi tải về.
Cách tải luận án "Ước lượng phi tham số cho P(X<Y) với dữ liệu nhiễu" về máy như thế nào?
Để tải luận án về máy, bạn nhấn nút "Tải xuống ngay" trên trang này, sau đó hoàn tất thanh toán phí lưu trữ. File sẽ được tải xuống ngay sau khi thanh toán thành công. Hỗ trợ qua Zalo: 0559 297 239.