Luận án: Nghiên cứu kỹ thuật học sâu phân vùng polyp ảnh nội soi đại tràng

i BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ QUỐC PHÒNG VIỆN KHOA HỌC LỜIVÀ CAMCÔNG NGHỆ QUÂN SỰ ĐOAN Tôi xin cam đoan, đây là công trình nghiên cứu của riêng tôi. Những nội dung, số liệu và kết quả trình bày trong luận án là hoàn toàn trung thực và chưa từng được công bố trong bất cứ công trình nào khác. Các dữ liệu tham khảo được trích dẫn đầy đủ. LÊ THỊ THU HỒNG Hà Nội, ngày tháng năm 2022 Tác giả NGHIÊN CỨU, PHÁT TRIỂN MỘT SỐ KỸ THUẬT HỌC SÂU ÁP DỤNG CHO PHÂN VÙNG Lê Thị Thu Hồng TRÊN POLYP ẢNH NỘI SOI ĐẠI TRÀNG LUẬN ÁN TIẾN SĨ TOÁN HỌC Hà Nội – 2022 iii MỤC LỤC Trang DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT, THUẬT NGỮ.

vi DANH MỤC BẢNG BIỂU. viii DANH MỤC CÁC HÌNH VẼ. 1 CHƯƠNG 1 TỔNG QUAN VỀ BÀI TOÁN PHÂN VÙNG POLYP TRÊN ẢNH NỘI SOI ĐẠI TRÀNG. Bài toán tự động phân vùng polyp trên ảnh nội soi đại tràng.

Giới thiệu bài toán. Các bộ dữ liệu ảnh nội soi đại tràng chuẩn đã được công bố. Kỹ thuật học sâu cho phân vùng đối tượng trên ảnh. Kỹ thuật học sâu.

Kỹ thuật học chuyển giao. Mạng học sâu phân vùng đối tượng trên ảnh. Đánh giá phương pháp phân vùng đối tượng trên ảnh. Tăng cường dữ liệu cho hệ thống học sâu.

Mạng sinh dữ liệu có điều kiện CGAN. Phương pháp học tự giám sát các đặc trưng thị giác của ảnh. Tình hình nghiên cứu bài toán phân tích ảnh nội soi đại tràng. Tình hình nghiên cứu trên thế giới.

Tình hình nghiên cứu trong nước. Những vấn đề còn tồn tại. Những vấn đề luận án tập trung giải quyết. Kết luận Chương 1.

39 CHƯƠNG 2 MÔ HÌNH PHÂN VÙNG POLYP ĐẠI TRÀNG DỰA TRÊN MẠNG UNET CẢI TIẾN VÀ HÀM MẤT MÁT BẤT ĐỐI XỨNG KẾT HỢP. Phương pháp đề xuất. Kiến trúc mô hình học sâu đề xuất cho phân vùng polyp trên ảnh nội soi đại tràng. Mạng UNet điều chỉnh cho phân vùng polyp trên ảnh nội soi đại tràng.

Tích hợp lớp CRF-RNN vào mạng UNet. Hàm mất mát bất đối xứng kết hợp AsymCE. Phương pháp học chuyển giao cho huấn luyện mô hình đề xuất. Thử nghiệm và đánh giá các kết quả.

Các bộ dữ liệu thử nghiệm và các phương pháp tăng cường dữ liệu huấn luyện. Môi trường cài đặt huấn luyện mô hình và các độ đo đánh giá mô hình. Đánh giá hiệu quả của từng kỹ thuật trong phương pháp đề xuất (Ablation study). Đánh giá độ phức tạp của mô hình đề xuất.

So sánh, đánh giá kết quả của phương pháp đề xuất với các phương pháp mới được công bố gần đây. Kết luận Chương 2. 71 CHƯƠNG 3 PHƯƠNG PHÁP HỌC TỰ GIÁM SÁT ĐẶC TRƯNG THỊ GIÁC CỦA ẢNH NỘI SOI ĐẠI TRÀNG CHO PHÂN VÙNG. Phương pháp đề xuất.

Mô hình hệ thống học tự giám sát các đặc trưng thị giác cho phân vùng polyp trên ảnh nội soi đại tràng. Mạng tái tạo ảnh nội soi đại tràng. Phân vùng polyp sử dụng chuyển giao tri thức đã học từ mạng 79 tái tạo ảnh nội soi đại tràng. Thử nghiệm và đánh giá các kết quả.

Các bộ dữ liệu thử nghiệm. Cài đặt các mô hình. Kết quả tái tạo ảnh. Kết quả phân vùng polyp.

So sánh độ chính xác phân vùng polyp của phương pháp đề xuất với các phương pháp mới hiện nay. Kết luận Chương 3. 89 CHƯƠNG 4 PHƯƠNG PHÁP SINH DỮ LIỆU ẢNH NỘI SOI ĐẠI TRÀNG CÓ NHÃN PHÂN VÙNG POLYP. Phương pháp đề xuất.

Mạng sinh ảnh nội soi đại tràng chứa polyp PolypGenPix2Pix. Kỹ thuật sinh điều kiện đầu vào cho mạng sinh ảnh. Thử nghiệm và đánh giá các kết quả. Các bộ dữ liệu thử nghiệm.

Môi trường cài đặt huấn luyện mô hình và các độ đo đánh giá mô hình. Kết quả sinh ảnh nội soi chứa polyp của mô hình PolypGenPix2Pix. Đánh giá hiệu quả của kỹ thuật sinh điều kiện đầu vào cho mạng sinh ảnh nội soi. So sánh độ chính xác của mô hình học sâu phân vùng polyp được tăng cường dữ liệu bởi mô hình sinh ảnh.

Kết luận Chương 4. Các kết quả nghiên cứu của luận án. Những đóng góp mới của luận án. Hướng nghiên cứu tiếp theo.

106 DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ. 107 TÀI LIỆU THAM KHẢO. 108 vi DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT Ký hiệu, chữ viết tắt Ý nghĩa ℝ𝒏 Tập các vector số thực n chiều |𝓓| Số lượng các phần tử của tập hợp 𝒟 X∪Y Hợp của hai tập hợp X và Y X∩Y Giao của hai tập hợp X và Y 𝑓(∙) Hàm số log⁡(∙) Logarit tự nhiên exp⁡(∙) Hàm mũ (∙)𝑇 Chuyển vị của ma trận hoặc vector ‖∙‖𝑝 Dạng chuẩn p ‖∙‖ Dạng chuẩn 2 𝑃(∙) Phân phối xác suất 𝑧~𝑃 Biến ngẫu nhiên z với phân phối xác suất P 𝑃(𝑋|𝑌) Xác suất có điều kiện X|Y 𝔼𝑥 [𝑓(𝑥)] Kỳ vọng của hàm f(x) Baseline Cơ sở CE Cross-Entropy CGAN Mạng sinh dữ liệu đối nghịch có điều kiện (Conditional GAN) CNN Mạng nơ-ron tích chập Convolution Tích chập CRC Ung thư đại tràng (ColoRectal Cancer) CRF Mô hình xác suất trường ngẫu nhiên có điều kiện (Conditional Random Field) CV Thị giác máy tính (Computer Vision) Data Augumentation Tăng cường dữ liệu Decoder Bộ giải mã Deconvolution Giải tích chập Discriminative model Mô hình phân biệt Encoder Bộ mã hóa vii GAN Mạng sinh dữ liệu đối nghịch (GAN- Generative Adversarial Networks) GD Thuật toán hạ gradient (Gradient Descent) Generative model Mô hình sinh Image classification Phân loại ảnh Knowlegde Transfer Chuyển giao kiến thức Loss function Hàm mất mát MSE Trung bình bình phương lỗi (Mean Squared Error) NCS Nghiên cứu sinh PACS Hệ thống lưu trữ và truyền dữ liệu hình ảnh (Picture Archiving and Communication Systems) Polyp Đối tượng bất thường trong đại tràng có nguy cơ phát triển thành ung thư đại tràng Polyp classification Phân loại polyp Polyp detection Phát hiện polyp Polyp mask Ảnh nhị phân thể hiện hình dạng polyp Polyp segmentation Phân vùng polyp Regularization Điều chuẩn RNN Mạng nơ-ron hồi quy (Recurrent Neural Network) Self-supervised learning Học tự giám sát Self-supervised visual Học tự giám sát các đặc trưng thị giác feature learning Semi-suppervised learning Học bán giám sát SSIM Độ tương tự về mặt cấu trúc (Structure Similarity Index Measure) Supervised learning Học có giám sát Testing set Tập dữ liệu kiểm tra Training set Tập dữ liệu huấn luyện Transfer learning Học chuyển giao Unsupervised learning Học không giám sát Validing set Tập dữ liệu xác thực viii DANH MỤC CÁC BẢNG Trang Bảng 1. Các bộ dữ liệu ảnh nội soi đại tràng chuẩn được công bố cho các mô hình học máy.

Các công trình nghiên cứu phân tích ảnh nội soi đại tràng. Các hàm mất mát sử dụng cho huấn luyện mô hình phân vùng polyp trên ảnh nội soi đại tràng. Độ chính xác mạng UNet điều chỉnh với các bộ mã hóa khác nhau. Độ chính xác của mô các mô hình UNet khi có tích hợp lớp CRF-RNN và khi không có tích hợp lớp CRF-RNN .4 Độ chính xác phân vùng polyp của mạng UNet được huấn luyện bằng các hàm mất mát khác nhau.

So sánh độ chính xác mô hình huấn luyện sử dụng phương pháp học chuyển giao. Độ phức tạp của mạng Unet cải tiến với các bộ mã hóa khác nhau cho phân vùng polyp. So sánh độ chính xác của các mô hình huấn luyện và đánh giá trên cùng bộ dữ liệu CVC-ClinicDB. So sánh độ chính xác của các mô hình huấn luyện và đánh giá trên cùng bộ dữ liệu Kvarsir-SEG.

So sánh độ chính xác của các mô hình được huấn luyện bằng. 68 bộ dữ liệu CVC-ClinicDB, kiểm thử trên hai bộ dữ liệu ETIS-Larib và CVC- ColonDB. So sánh điểm số Dice và IoU của mô hình huấn luyện bằng bộ Kvasir-SEG, kiểm thử trên hai bộ dữ liệu ETIS-Larib và CVC- ColonDB. So sánh điểm số Dice và IoU của mô hình huấn luyện bằng dữ liệu trộn giữa 2 bộ Kvasir-SEG và ClinicDB, kiểm thử trên hai bộ dữ liệu ETIS-Larib và CVC-ColonDB.

Độ chính xác của mạng tái tạo ảnh với tỉ lệ nhiễu khác nhau. Độ chính xác của mạng phân vùng polyp học chuyển giao từ mạng tái tạo ảnh với tỉ lệ nhiễu khác nhau. Độ chính xác của mạng phân vùng polyp với phương pháp học chuyển giao khác nhau. So sánh điểm số Dice của các phương pháp phân vùng polyp.

Kết quả tăng cường dữ liệu huấn luyện trên bộ dữ liệu kiểm thử CVC-ColonDB. Kết quả tăng cường dữ liệu huấn luyện trên bộ dữ liệu kiểm thử ETIS-Larib. So sánh kết quả tăng cường dữ liệu với số lượng dữ liệu tăng cường khác nhau trên bộ dữ liệu kiểm thử CVC-ColonDB. So sánh kết quả tăng cường dữ liệu với số lượng dữ liệu tăng cường khác nhau trên bộ dữ liệu kiểm thử ETIS-Larib.

103 x DANH MỤC CÁC HÌNH VẼ Trang Hình 1. Minh họa thủ thuật nội soi đại tràng. Hệ thống CADx hỗ trợ chuẩn đoán nội soi đại tràng. Phân vùng polyp trên ảnh nội soi đại tràng.

Các trường hợp khó phân vùng polyp. Ví dụ minh họa dữ liệu không cân bằng. Ví dụ minh họa bộ dữ liệu CVC-ClinicDB. Ví dụ minh họa bộ dữ liệu Kvasir-Seg.

Kiến trúc mô hình học sâu phân vùng ảnh. Kiến trúc mạng UNet. Minh họa điểm số Dice. Minh họa chỉ số IoU.

Phương pháp học tự giám sát các đặc trưng thị giác máy tính. Tổng quan kiến trúc mô hình phân vùng polyp trên ảnh nội soi đại tràng. Mạng UNet cho phân vùng polyp trên ảnh nội soi đại tràng. Kiến trúc bộ mã hóa EfficientB7.

Khối Upsample2D của bộ giải mã. Cấu trúc lớp CRF-RNN tích hợp trong mô hình phân vùng polyp. Các phương thức học chuyển giao. Ví dụ các phép biến đổi ảnh dùng cho tăng cường dữ liệu.

Biểu đồ độ chính xác của mạng UNet điều chỉnh. Biểu đồ so sánh điểm số Dice của mô hình có và không có tích hợp lớp CRF-RNN. Biểu đồ so sánh điểm số Dice của mô hình được huấn luyện bằng các hàm mất mát khác nhau. Ảnh hưởng của các hàm mất mát trong quá trình học.

Phân vùng polyp được tạo ra bởi các tùy biến của mô hình đề xuất. Tổng quan kiến trúc hệ thống học tự giám sát các đặc trưng thị giác cho phân vùng polyp trên ảnh nội soi đại tràng. Ví dụ các phép biến đổi ảnh tạo đầu vào cho mạng tái tạo ảnh. Mô hình mạng tái tạo ảnh nội soi đại tràng.

Minh họa các phương pháp học chuyển giao từ mạng tái tạo ảnh nội soi sang mạng phân vùng polyp .