Luận án: Giải tích & Tối ưu Toán học cho Phân lớp, Phân đoạn Ảnh Học Máy

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI LÊ BÍCH PHƯỢNG ÁP DỤNG CÁC PHƯƠNG PHÁP GIẢI TÍCH VÀ TỐI ƯU TOÁN HỌC VÀO PHÂN LỚP NHỊ PHÂN VÀ PHÂN ĐOẠN HÌNH ẢNH TRONG HỌC MÁY LUẬN ÁN TIẾN SĨ TOÁN HỌC Hà Nội - 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI LÊ BÍCH PHƯỢNG ÁP DỤNG CÁC PHƯƠNG PHÁP GIẢI TÍCH VÀ TỐI ƯU TOÁN HỌC VÀO PHÂN LỚP NHỊ PHÂN VÀ PHÂN ĐOẠN HÌNH ẢNH TRONG HỌC MÁY Ngành: Toán học Mã số: 9460101 LUẬN ÁN TIẾN SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC HD1: PGS. NGUYỄN XUÂN THẢO HD2: GS. NGUYỄN TIẾN DŨNG Hà Nội - 2023 LỜI CAM ĐOAN Luận án này được viết dựa trên những nghiên cứu của tác giả tại Đại học Bách khoa Hà Nội, dưới sự hướng dẫn của thầy PGS. Nguyễn Xuân Thảo và thầy GS.

Nguyễn Tiến Dũng. Các kết quả trong luận án này là mới và chưa từng công bố trong bất kỳ công trình khoa học nào của tác giả khác. Hà Nội, ngày 24 tháng 3 năm 2023 Nghiên cứu sinh Lê Bích Phượng TM. Tập thể hướng dẫn PGS.

Nguyễn Xuân Thảo LỜI CẢM ƠN Luận án được hoàn thành tại Đại học Bách khoa Hà Nội, dưới sự hướng dẫn khoa học tận tình của thầy PGS. Nguyễn Xuân Thảo và thầy GS. Nguyễn Tiến Dũng. Tác giả xin bày tỏ lòng biết ơn chân thành và sâu sắc nhất tới các thầy.

Tác giả xin chân thành cảm ơn Viện Toán ứng dụng và Tin học cũng như Phòng Đào tạo - Đại học Bách khoa Hà Nội đã tạo mọi điều kiện thuận lợi cho tác giả trong suốt quá trình học tập và nghiên cứu tại đây. Tác giả xin bày tỏ lòng biết ơn sâu sắc đến GS. Nguyễn Hùng Sơn (Đại học Tổng hợp Warszawa, Ba Lan) và TS. Nguyễn Thị Thúy Nga (Torus Actions SAS) người thầy và người bạn đã luôn động viên tác giả trong quá trình học tập, nghiên cứu và có những ý kiến đóng góp sâu sắc về nội dung khi tác giả hoàn thành luận án.

Tác giả xin chân thành cảm ơn Ban Giám hiệu, các thầy cô trong Khoa Khoa học Cơ bản, Bộ môn Toán, Trường Đại học Mỏ - Địa chất, nơi tác giả đang công tác, đã tạo mọi điều kiện thuận lợi cho tác giả trong quá trình hoàn thành luận án. Cuối cùng và đặc biệt quan trọng, tác giả xin gửi lời cảm ơn từ tận đáy lòng đến gia đình mình, nơi luôn dành cho tác giả tình yêu thương vô hạn. Trong quá trình học tập và hoàn thành luận án, các thành viên trong gia đình đã luôn sát cánh, động viên và ủng hộ tác giả, đó chính là nguồn động lực to lớn giúp tác giả hoàn thành luận án của mình. Tác giả Lê Bích Phượng MỤC LỤC LỜI CAM ĐOAN.

1 DANH MỤC CÁC KÍ HIỆU. 3 DANH MỤC CÁC CHỮ VIẾT TẮT. 4 DANH MỤC CÁC BẢNG. 5 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ.

6 DANH MỤC CÁC THUẬT NGỮ CƠ BẢN. 8 DANH MỤC CÁC ĐỊNH NGHĨA QUAN TRỌNG. KIẾN THỨC CHUẨN BỊ 20 1.1 Mô hình chung của quá trình học máy .2 Dữ liệu cho học máy .3 Các “đặc trưng” trong học máy .4 Kiểm tra hiệu quả của máy .5 Biểu quyết và kiểm định chéo .6 Tối ưu dựa trên Gradient .7 Phép tích chập và mạng nơ-ron tích chập .8 Kết luận và bình luận cuối chương. ĐỘ CHÍNH XÁC CỦA MÁY PHÂN LOẠI NHỊ PHÂN 38 2.1 Các thước đo độ chính xác của máy phân loại nhị phân .1 Âm tính, dương tính và ba tỉ lệ cơ bản .2 Độ chính xác có trọng số (weighted accuracy) .3 Độ chính xác cân bằng (balanced accuracy) .2 Đường cong ROC và các thước đo độ chính xác của các máy phân loại nhị phân mềm 45 2.3 Phép chiếu thông tin, hàm sigmoid và máy tối ưu .4 Cải thiện độ chính xác bằng biểu quyết .5 Kết luận và bình luận cuối chương.

ẢNH HƯỞNG CỦA HÀM MẤT MÁT ĐẾN CÁC BÀI TOÁN PHÂN LOẠI NHỊ PHÂN 57 3.1 Tổng quan về các hàm mất mát (loss function) .1 Các hàm mất mát hồi quy .2 Các hàm mất mát phân loại (phân lớp) .3 Các hàm mất mát thường dùng trong bài toán phân đoạn hình ảnh .2 Học máy vi phân và hàm mất mát .3 Hàm mất mát lồi và xác suất bị bóp méo .4 Các hàm mất mát không lồi và các bẫy ngẫu nhiên .5 Kết luận và bình luận cuối chương. TỐI ƯU HÓA PHÂN ĐOẠN HÌNH ẢNH BẰNG BIỂU QUYẾT TÔ-PÔ 76 4.1 Phương pháp biểu quyết tô-pô .1 Phân đoạn hình ảnh và khoảng cách Jaccard .2 Biểu quyết số học .3 Biểu quyết tô-pô: Dạng đơn giản nhất .4 Biểu quyết tô-pô địa phương .5 Biểu quyết kết hợp (biểu quyết lai): tô-pô và số học .2 Tính hợp lý của biểu quyết tô-pô .1 Trường hợp một chiều .2 Trường hợp hai chiều .3 Các kết quả thực nghiệm của biểu quyết tô-pô .1 Phân đoạn muối trong các hình ảnh địa chấn .2 Phân đoạn khuôn mặt người .3 Phân đoạn mạch máu .4 Kết luận và bình luận cuối chương. 108 DANH MỤC CÁC CÔNG TRÌNH CÔNG BỐ CỦA LUẬN ÁN. 109 TÀI LIỆU THAM KHẢO.

110 2 DANH MỤC CÁC KÍ HIỆU Kí hiệu Ý nghĩa ≫ Lớn hơn đáng kể ≈ Xấp xỉ ∇x f (x) Gradient của hàm số f ∂ ∂xi f (x) Đạo hàm riêng của hàm số f theo biến xi uT Vec-tơ chuyển vị của vec-tơ u ∗ Tích chập Σ Tổng ∼ Tuân theo quy luật phân phối (trong xác suất) ∼ Tương đương (trong giải tích) P(X > x) Xác suất để biến ngẫu nhiên X lớn hơn giá trị x exp Hàm e mũ R +∞ x Tích phân từ x đến +∞ ◦ Phép hợp thành ϕ−1 Ánh xạ ngược của ánh xạ ϕ P (Y (x) = 1|ϕ(x) = φ) Xác suất của Y (x) = 1 với điều kiện ϕ(x) = φ R Tập hợp các số thực Q Tích ∩ Giao của hai tập hợp ||u|| Chuẩn của véc-tơ u R f (a)da Tích phân trên toàn bộ miền xác định của a R Ω f (x)dx Tích phân trên tập Ω (0, 1) Khoảng từ 0 đến 1 [0, 1] Đoạn từ 0 đến 1 3 DANH MỤC CÁC CHỮ VIẾT TẮT Viết tắt Ý nghĩa Từ gốc tiếng Anh AI Trí tuệ nhân tạo Artificial Intelligence ANN Mạng nơ-ron nhân tạo Artificial Neural Network AUC Diện tích dưới đường cong Area Under the Curve BA Độ chính xác cân bằng Balanced Accuracy CNN Mạng nơ-ron dạng tích chập Convolutional Neural Network DL Học sâu Deep Learning FN Tỷ lệ âm tính giả False Negative rate FP Tỷ lệ dương tính giả False Positive rate hb Nửa mù half blind IoT Internet kết nối vạn vật Internet of Things IOU Giao chia cho hợp Intersection Over Union LF Hàm mất mát Loss Function MAE Trung bình giá trị tuyệt đối độ lỗi Mean Absolute Error MBA Độ chính xác cân bằng cao nhất Maximal Balanced Accuracy MBE Trung bình độ lỗi thiên vị Mean Bias Error ML Học máy Machine Learning MOM Tối thiểu trên tối đa Min Over Max MSE Trung bình bình phương độ lỗi Mean Square Error MWA Độ chính xác có trọng cao nhất Maximally Weighted Accuracy PR Tỉ lệ chính xác Precision Rate RNN Mạng nơ-ron hồi quy Recurrent Neural Network ROC Đường cong đặc trưng hoạt động Receiver Operating Characteristic SVM Máy vec-tơ hỗ trợ Support Vector Machine TP Tỷ lệ dương tính thật True Positive rate TN Tỷ lệ âm tính thật True Negative rate WA Độ chính xác có trọng Weighted Accuracy 4 DANH MỤC CÁC BẢNG Bảng Tên bảng Trang Bảng 2.1 Bảng tổng kết về các thước đo độ chính xác 44 Bảng 3.1 Máy bay với không phải máy bay 72 Bảng 3.2 Chó với không phải chó 73 Bảng 4.1 So sánh các phương pháp biểu quyết trên 5 fold của tập dữ liệu muối 94 Bảng 4.2 So sánh các phương pháp biểu quyết trên 10 fold của tập dữ liệu muối 97 Bảng 4.3 So sánh các phương pháp biểu quyết trên 10 fold của tập dữ liệu muối sử dụng binary accuracy 98 Bảng 4.4 So sánh các phương pháp biểu quyết trên 10 fold của tập dữ liệu khuôn mặt người 103 Bảng 4.5 So sánh các phương pháp biểu quyết trên 15 fold của tập dữ liệu DRIVE 106 5 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình Chú thích Trang Hình 1.1 Một ví dụ sơ đồ mạng nơ-ron: các nút tròn là “nơ-ron”, các đường nối là “axon”.2 Một quá trình huấn luyện điển hình.3 Một phần fresco của Mantegna tại nhà thờ Emeritani 29 Hình 1.4 Mô tả phương pháp k-fold Cross Validation 31 Hình 1.5 Trượt Gradient 33 Hình 1.6 Các loại điểm tới hạn 33 Hình 1.7 Xấp xỉ giá trị cực tiểu 34 Hình 2.1 Cách chia tập dữ liệu Ω 39 Hình 2.2 Đường cong ROC và đường tiếp tuyến tại điểm mà trung bình có trọng lớn nhất.1 Các hàm mất mát thường dùng trong bài toán phân đoạn hình ảnh.2 Dáng điệu một số hàm mất mát lồi. Hàm mất mát cross-entropy (hàm log) đã được điều chỉnh bằng cách cho thêm một số dương epsilon rất nhỏ để tránh tình huống ln0.3 Một số hàm mất mát được sử dụng cho thí nghiệm học máy phân loại nhị phân trên tập CIFAR-10.4 Rơi vào bẫy sau đó thoát ra sau các bước học máy. Vấn đề phân loại “Mèo và không phải mèo” trên CIFAR-10, huấn luyện với VGG16 và hàm brokenloss1. Khi ở trong bẫy, máy lấy mọi ảnh mèo (sensitivity = 1, specificity = 0 tại mức threshold σ = 0.5 Rơi vào bẫy và không thoát ra được, brokenloss1, c=1, r=9.6 Một ví dụ khác về rơi vào bẫy rồi thoát ra, brokenloss3, c=2, r=9.1 Một ví dụ cho biểu quyết tô-pô địa phương với s = 1.2 Một ví dụ về bỏ phiếu kết hợp.

Tại vòng 1, segmentator 5 and segmentator 7 sẽ bị loại trừ vì chúng cách xa những cái khác, phần còn lại vào vòng 2 sử dụng biểu quyết số học (có thể mềm hoặc cứng) 84 Hình 4.3 So sánh biểu quyết số học (biểu quyết trung bình) và phương pháp biểu quyết tô-pô trong trường hợp 1 chiều (a) {Si }ni=1 độc lập và tuân theo quy luật N (0, 1); (b) {Si }ni=1 độc lập và tuân theo quy luật U(0, 1).4 So sánh trong trường hợp 2 chiều với cùng một phân phối của xi nhưng khác f .5 So sánh khi f là hàm đối xứng, xi ∼ U(−1, 1), f (x) = x3. (a) Hiển thị cho tất cả các mẫu; (b) Phóng to một phần của các mẫu.6 So sánh các mức độ không chắc chắn khác nhau của các annotation xi , f (x) = x2 .7 Ví dụ thứ nhất: Biểu quyết tô-pô so với biểu quyết số học trong phân đoạn muối.8 Ví dụ thứ hai: Biểu quyết tô-pô so với biểu quyết số học trong phân đoạn muối.9 Ví dụ thứ ba: Biểu quyết tô-pô so với biểu quyết số học trong phân đoạn muối.