Luận án TS Hồ Đắc Quán: Tiếp cận máy học giải PDE xử lý ảnh y khoa

HO DAC QUAN TIEP CAN MAY HOC TRONG GIAI PHUONG TRINH DAO HAM RIENG, UNG DUNG TRONG XU LY ANH Y KHOA LUẬN AN TIEN SĨ TP. HO CHÍ MINH - NAM 2023 ĐẠI HỌC QUOC GIA TP.HCM TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN HO DAC QUAN Ngành: Cơ sở toán cho tin học Mã số ngành: 62460110 Phản biện 1: PGS. Hoang Van Dũng Phản biện 2: TS. Nguyễn Viết Hưng Phản biện 3: TS.

Huỳnh Thế Đăng Phản biện độc lập 1: PGS. Nguyễn Đình Thuân Phản biện độc lập 2: PGS. Hoàng Văn Dũng NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS. HUỲNH TRUNG HIẾU TP.

HÒ CHÍ MINH - NĂM 2023 LỜI CAM ĐOAN Tôi cam đoan luận án tiến sĩ ngành: Cơ sở toán cho tin học, với đề tài “Tiếp cận máy học trong giải phương trình đạo hàm riêng, ứng dụng trong xử lý ảnh y khoa” là công trình khoa học do Tôi thực hiện dưới sự hướng dẫn của PGS. Huỳnh Trung Hiếu. Những kết quả nghiên cứu của luận án hoàn toàn trung thực, chính xác và không trùng lắp với các công trình đã công bô trong va ngoài nước. Nghiên cứu sinh là tác giả chính của 02 bài báo SCIE [CT2,CT4], một bài báo hội thảo quốc tế [CT3], một bài báo hội thảo trong nước [CT1].

Nghiên cứu sinh Hồ Đắc Quán il LOI CAM ON Lời đầu tiên nghiên cứu sinh xin bày tỏ sự kính trong, lòng biết on chân thành đến Thay, PGS. Huỳnh Trung Hiếu, đã chỉ bảo, hướng dẫn tận tình, động viên, tạo mọi điều kiện cho nghiên cứu sinh trong suốt quá trình học tập, nghiên cứu, và đã đóng góp nhiều ý kiến quý báu, băng sự nỗ lực của bản thân nghiên cứu sinh đã hoàn thành luận án này. Nghiên cứu sinh cũng xin gửi lời cảm ơn đến tất cả Quý thầy cô giảng dạy chuyên ngành Cơ sở toán cho tin học thuộc Khoa Toán trường Đại học Khoa học tự nhiên Tp. Hồ Chí Minh, đã giảng dạy, tạo điều kiện cho nghiên cứu sinh trong suốt thời gian học tập, nghiên cứu.

Xin cảm ơn Quý thầy cô phòng Sau Đại học đã tô chức, và tạo điều kiện hỗ trợ nghiên cứu sinh trong quá trình học tập và nghiên cứu. Xin cảm ơn các Thầy Cô và các nhà khoa học phản biện, đã nhiệt tình hỗ trợ và đóng góp ý kiến cho việc hoàn thiện luận án. Nghiên cứu sinh xin gửi lời cảm ơn đến nhà Trường và Khoa Công nghệ thông tin trường Đại học Công nghiệp thành phố Hồ Chí Minh, nơi nghiên cứu sinh đang công tác đã hỗ trợ nghiên cứu sinh trong suốt quá trình học tập và nghiên cứu. Cuối lời, tôi chân thành cảm ơn gia đình, bạn bè đồng nghiệp đã góp ý, giúp đỡ, hỗ trợ trong công việc, cũng như động viên về mặt tinh thần giúp tôi vượt qua khó khăn dé hoàn thành luận án.

11 TÓM TÁT LUẬN ÁN Phương trình đạo hàm riêng (Partial Differential Equation - PDE) đóng vai trò quan trọng trong nhiều lĩnh vực khác nhau của kỹ thuật và khoa học. Nhiều bài toán trong các lĩnh vực vật lý, kỹ thuật, sinh học, kinh tẾ, xử lý ảnh, v. được mô hình hóa dưới dạng PDE. Tuy nhiên việc xác định nghiệm PDE nói chung không đơn giản và phần lớn không có nghiệm giải tích.

Việc xác định nghiệm của PDE bằng phương pháp số như sai phân hữu hạn với độ chính xác cao đòi hỏi miền tính toán phải chia thành các ô lưới thật mịn, vì vậy yêu cầu về chi phí tính toán lớn. Một trong những tiếp cận gần đây đề tìm nghiệm xấp xỉ của PDE là sử dụng mạng nơron (Artificial Neural Networks - ANN). Luận án này hướng đến các tiếp cận dựa trên ANN kết hợp với các phương pháp lay mẫu dé giải lớp bài toán khuếch tán đối lưu. Trên cơ sở tổng quan các phương pháp giải PDE mà trong đó có phân tích tổng hợp điểm yếu, điểm mạnh giữa các phương pháp, nghiên cứu sinh đề xuất hai thuật toán huấn luyện mạng ELMNN và ELMNET để giải phương trình đạo hàm riêng tuyến tinh dang elliptic và AD-PDE (Advection Diffusion Partial Differential Equation).

Kết quả thực nghiệm cho thấy phương pháp đề xuất cải thiện về tốc độ huấn luyện mạng cũng như độ chính xác so với các phương pháp tiếp cận ANN gần đây. Trong luận án này, các phương pháp được đề xuất giải PDE ứng dụng trong xử lý ảnh, bao gồm khử nhiễu ảnh và nhận dạng hành vi trong y tế. Việc đánh giá kết quả về khử nhiễu ảnh được thực nghiệm dựa trên tập ảnh hai chiều, trong khi việc nhận dạng hành vi dựa trên việc giám sát quá trình rửa tay theo quy định của tô chức y tế thế giới (World Health Organization - WHO). Các từ khóa: Phuong trình khuếch tán đối lưu; Mạng noron; Thuật toán huấn luyện cực tri; Vệ sinh tay; Mạng phương trình vi phân đạo hàm riêng; Thuật toán rừng ngẫu nhiên, Mạng LTC; Mạng hồi qui theo thời gian thực; Phương trình khuếch tán phi tuyến.

iv ABSTRACT Partial differential equations (PDE) play an important role in many different fields of engineering and science. Some of the key issues in physics, engineering, biology, economics, and image processing are represented by partial differential equations. However, determining the solutions of partial partial equations is not always easy process due to lacking analytical solutions. Numerical methods as Finite difference method with high accuracy requires the computational domain to be divided into very fine grid cells, which results in a large computational cost.

This problem can be addressed by using artificial neural network. The aim of this thesis is to develope a neural network-based approach that is combined with sampling methods to solve diffusion problems. Based on an overview of existing PDE solution methods, new network training algorithms called ELMNN and ELMNET are proposed to solve linear partial differential equations of the form of elliptic and AD-PDE. The experimental results indicate that the proposed methods enhance the training speed and accuracy of the network compared to recent neural network approaches.

In the healthcare application, the proposed methods are applied to solve partial differential equations in image processing, including image denoising and behavioral recognition. The 2D image set is used for experimental evaluation of image denoising results, while the behavioral identification is evaluated through monitoring hand washing processes that comply with WHO regulations. Keywords: Advection-diffusion partial differential equation; Artificial neural network; Extreme learning machine; Hand hygiene; Ordinary differential equation network; Random forest; Liquid time-constant network; Continuous-time recurrent neural network; Nonlinear diffusion equation. MỤC LỤC LOI CAM ĐOANN.11 1111111121101 re ii LOL CẢM ON.

iv ABSTRACTun cescsscsssessessesssessessecssssussuesssssessussussussssssessussusssssssssecsussusssessessessussusssessessessueesseseeseess V MỤC LLỤC.1111 erye vi DANH MỤC CÁC HÌNH VE, DO THI .----- 2 2 SS+2E‡2E2EE2EEEEEE2E211221221 212121.X DANH MỤC CAC BẢNG. xii DANH MỤC CÁC KÝ HIỆU, CÁC CHU VIET TẮTT.- ¿2 + ++£xzxzx+zzxzrxees xiii Chương 1: GIỚI THIỆU.- 2-2 2 E+SE+SE£+EE2EE#EE£EEEEEE2EEEEEEEEEEEEEEEEEEEE171711211211 1111110. Tinh cần thiết tiếp cận máy học giải phương trình đạo ham riêng. Sự cần thiết của phương trình đạo hàm riêng trong xử lý ảnh.

Tổng quan tình hình nghiên cứu.-------- ¿22 2 E+EE££E£EE+EE£EEtEEEEEEEEEEEerkrrkerrsees 4 1. Các kết quả liên quan.----- 2 5¿+5++2+++EE+2EEEEEESEE2EEE2E1221E221 21122122121. Một số tiếp cận giải PDE hiện may .---2¿25c©5222S222+vEE+SEE2Exerkrerxrerxees 7 1. Mục tiêu nghiÊn CỨU.

- ó5 2111 * TT HH HH 10 1. Đối tượng nghiên CỨU.- ¿- ¿+ k9SE+EE2ESE£EEEEEEE1E11211217111112112117111 1111111 re. Pham vi nghién CUU n6. Phương pháp nghiÊn CỨU.- 6 6112111911191 911 1119101 11H TH HH HH 11 1.

Đóng góp chính của luận án.-- --- ¿+ 111v v19 TH TH ng ng nàng 12 1. Bố cục của luận án. - -- ¿- 2 %+Ss+SE£2E£2EE2E12E1E7121121121121171711211211111111. xe 13 Chương 2: CƠ SỞ LÝ THUUYÊT.- - 2 2 2S +E£SEÉEEÊEE2EE2E1EE2E9E15212112112171711111 1.

Phương trình đạo ham riéng .-- - - -- G2 1921133911 13911 19111911 118111 g1 ng ng rệt 15 2. Khái niệm phương trình đạo hàm rIÊng. Phân loại phương trình đạo hàm riêng với hai biến độc lập. Phuong trinh nhiét.

Phuong phap sai phan. Xử ly anh dựa trên phương trình dao ham riÊng. Một số mạng noron hồi quy ứng dụng trong nhận dạng hành vi. Nhận dạng hành động.

Vệ sinh tay trong ứng dụng nhận dạng hành vi. Mạng noron ODE,. c1 9H HH HH TH HH HH. Mạng noron CT-RNN.

LH TH HH HH HH HH HH 31 2. Mạng noron CT-GR. Histogram of Oriented Gradient (HOG). Rut trich HOG trong ah 1n.

Chuẩn hóa vecto đặc trưng cho từng bIOCK. Tong két ChUON Nnn. 43 Chương 3: TIẾP CAN MAY HOC TRONG GIẢI PHƯƠNG TRÌNH DAO HAM RIÊNG 44 3. Bài toán PDE tuyến tính dang elliptiC.----- 2 2S s+SE£EE2EE2EE2EeEEeEEeEkeExzrrrrerree 46 3.

Kiến trúc mạng truyền thang một lớp an giải PDE dang elliptic. Thuật toán ELMNN giải bài toán PDE dang elÏIptIC. Bài toán PDE tuyến tính dạng paraboliC. Ham phan du AD-PDE va điểm huấn luyện SLFN.

Thuật toán ELMNET giải AD-PDEE. Gà vn ng ng re 55 3. Bai todn PDE phi tuy@n. Phurong phap Euler.

Xấp xi PDE tuyến tính kết hợp với khai triển Taylor. Mạng noron nhân fạO. Tổng kết ChUONG.ceccecsesscsessessesessessessesscsvcsssessessessesssssssesssssesussussscsessessessesseaneaseaes 65 Chương 4:ỨNG DỤNG PHƯƠNG TRÌNH ĐẠO HÀM RIÊNG TRONG XỬ LÝ ẢNH Y KHOA 67 4. Ứng dụng phương trình dao hàm riêng trong khử nhiễu ảnh.

Thuật toán khử nhiễu anh sử dung NDE dựa trên ANN. Ứng dụng phương trình đạo hàm riêng trong nhận dạng hành vi. Hệ thống giám sát quá trình rửa tay. Cay Liquid Time-Consstant.

Giải ODE sử dụng ELMNET 00. 86 Chương 5: KET QUA THUC NGHIEM. Thuật toán ELMNN giải PDE dang elliptic 0. Bai toán Poisson với f(x, y) = Sim (TEX)SEN (TY).

Bài toán Poisson với f(x, y) =@ — XX — 2 + y3 + OY. eee eet eee reels91 5. Thuật toán ELMNET giải AID-PDE. Bai todn 1Dt 0.

Bai toán 2Dt AD-PDEE,.- HH nh TT TH Hà HT nh nành 98 5. Ứng dụng phương trình đạo hàm riêng trong khử nhiễu ảnh. Thực nghiệm với ảnh thông thường. Thực nghiệm với ảnh y KhOa.-- - c1 1121191 S1 9 ng ng ng ng 104 5.

Ứng dụng phương trình đạo hàm riêng trong nhận dạng hành vi. Mô tả tập dữ liệu và chi tiết hiện thực. Đánh giá kết quả thực nghiệm và thảo luận.---2- 2-5 s22sz+zz+c++zxezsez 107 5. Tổng kết chương.--- 2 2© S£2EE+EE£EE£EEEEEE2E12E157171711711211111171.211 111111 xe 115 Chương 6: KET LUẬN VÀ HƯỚNG PHAT TRIÉN.

Tóm tắt nội dung thực hiện .--- 2-2 c SE£SE9EE+EE2EEEEEEEEEEEEEEEEEEEEEEEErkrrkrrree 118 6. Đánh giá mục tiêu dat được và đóng góp khoa hoc. Hướng phát triỂn.----¿- ¿+ ©S+S£+EE£EE£EE£EE2E12E12717171121121121111711211211 11.11 cxe 120 DANH MỤC CÔNG TRÌNH ĐÃ CÔNG BỒ.-2-22- 52c 2E2E2EE22EE2EEEEEEErrrrrrred 121 TAI LIEU THAM KHAO We .oceccssessessssssssesssesssssessssssssscsecsusasssssssscsessussusssessessessessuesseesessess 122 ix DANH MỤC CÁC HÌNH VE, DO THỊ Hiih 2. Lưới sai phân hữu hạn.

Biéu diễn sự khuếch tán ánh 1010 1n. Cac bước rửa tay theo WHO [6/7]. 2S Hy ygrey 28 Hình 2. Một khối phần dư ResNet [80].

Trường vectơ mẫu của hệ thống động. Lược đồ của CT-RNN, một mạng kết nối hỗn loạn ngẫu nhiên. Mô hình GRU [§4].-- 2G 252191991 9111112111119 TH HH Hư 37 Hình 2. Mạng nơron GRU (trái) và Mạng noron CT-GRU (phải) [85].

Một khối gồm 9 6 [86].--- 2-2 £+S£2EE+EE£EE£EEE2EE2EEEEEEEEEEEEEEEEEEErkerkree 39 Hình 2. Các khối được đặt chồng lên nhau [86]. HOG của ảnh [77].-- 6 6 3111191991191 111 11111911 HH HH 41 Hình 2.