Luận án tiến sĩ: Phát triển mạng nơron tế bào đa tương tác và khả năng ứng dụng - Học viện Công nghệ Bưu chính Viễn thông

i MỤC LỤC LỜI CAM ĐOAN .ii DANH MỤC CÁC TỪ VIẾT TẮT .iii DANH MỤC CÁC KÝ HIỆU TOÁN HỌC. v DANH MỤC BẢNG .vii DANH MỤC HÌNH VẼ. viii MỞ ĐẦU. Tính cấp thiết của luận án.

Mục tiêu nghiên cứu của luận án. Đối tượng và phạm vi nghiên cứu. Phương pháp nghiên cứu. Đóng góp của luận án.

Cấu trúc của luận án. TỔNG QUAN VỀ MẠNG NƠRON TẾ BÀO .1 Tổng quan về mạng nơron nhân tạo .1 Mô hình cấu trúc mạng nơron nhân tạo .1 Mô hình một nơ ron Mc.2 Phân loại mạng nơron nhân tạo .2 Học trong mạng nơron nhân tạo .1 Học có tín hiệu chỉ đạo .2 Học không có tín hiệu chỉ đạo .2 Mạng nơron tế bào chuẩn của Leon O.2 Sơ đồ nguyên lý hoạt động .3 Mô hình toán học của mạng nơron tế bào .4 Mạch điện của một tế bào .5 Mô hình hình học của nơron tế bào chuẩn.6 Động học của mạng nơ ron tế bào .1 Giới hạn trạng thái xij của mạng nơ ron tế bào chuẩn .2 Hàm Lyapunov của mạng nơron tế bào chuẩn .3 Phương pháp xây dựng hàm E(t) .4 Chứng minh đạo hàm của hàm E(t) không dương .5 Xác định của hàm Lyapunov E(t).3 Tình hình nghiên cứu CNN trên thế giới và Việt Nam .1 Nghiên cứu về cấu trúc của CNN .1 Mạng nơron tế bào một lớp và có trễ .2 Mạng nơron tế bào nhiều lớp .3 Mạng nơron tế bào lai mờ .4 Mạng nơron tế bào bậc cao .2 Ổn định của mạng nơron tế bào .3 Học trong mạng nơron tế bào .2 Bộ nhớ liên kết .4 Ứng dụng mạng nơron tế bào .1 Ứng dụng mạng nơron tế bào trên thế giới .2 Ứng dụng mạng nơron tế bào tại Việt Nam .4 Phát biểu bài toán nghiên cứu .5 Kết luận chương 1. PHÁT TRIỂN CẤU TRÚC VÀ PHÂN TÍCH ỔN ĐỊNH CỦA MẠNG NƠ RON TẾ BÀO BẬC CAO. Mạng nơron tế bào bậc hai .1 Mô hình toán học của mạng nơron tế bào bậc hai .2 Ổn định mạng nơron tế bào bậc hai .3 Chứng minh hàm E(t) là hàm bị chặn .4 Chứng minh đạo hàm của hàm E(t) không dương .5 Tính ổn định trạng thái xij (t) và đầu ra yij (t) của CNN bậc hai.

Mô hình hình học của mạng nơron tế bào bậc hai. Mạng nơ ron tế bào bậc cao .1 Mô hình của mạng nơron tế bào bậc cao .2 Ổn định mạng nơ ron tế bào bậc cao .3 Chứng minh hàm E(t) cho CNN bậc cao là hàm bị chặn .4 Chứng minh đạo hàm hàm E(t) cho CNN bậc cao không dương. Ổn định trạng thái xij (t) và ổn định đầu ra yij (t) của CNN bậc cao. Mô phỏng cấu trúc và xác định tính ổn định của CNN bậc cao.

Bài toán mô phỏng. Kịch bản mô phỏng. Công cụ mô phỏng .5 Kết quả mô phỏng CNN .4 Kết luận chương 2. BỘ NHỚ LIÊN KẾT VÀ ỨNG DỤNG CỦA MẠNG NƠRON TẾ BÀO BẬC CAO .1 Bộ nhớ liên kết .2 Bộ nhớ liên kết trong mạng nơron tế bào.1 Bộ nhớ liên kết của CNN chuẩn .1 Mô hình toán học cấu trúc bộ nhớ liên kết .2 Bộ nhớ lên kết A(i, j;k,l) .3 Bài toán nhận dạng mẫu sử dụng CNN chuẩn làm bộ nhớ liên kết .2 Bộ nhớ liên kết sử dụng CNN bậc hai .1 Mô hình toán học cấu trúc bộ nhớ liên kết bậc hai .2 Mô hình học hay bộ nhớ lên kết bậc hai .3 Bài toán nhận dạng mẫu sử dụng CNN bậc hai làm bộ nhớ liên kết .3 Mô hình ứng dụng thử nghiệm CNN bậc cao .1 Mô hình tích hợp CNN bậc hai với STM32 và FPGA .1 Kiến trúc của FPGA .2 Xử lý ảnh trên nền STM2 .3 CNN bậc hai trên nền tảng FPGA và STM2 .4 Bàn luận và đánh giá.2 Một số ứng dụng khác của CNN bậc cao .1 Ứng dụng CNN bậc hai trong bài toán nuôi trồng .2 Ứng dụng CNN bậc hai trong cảnh báo sớm cho bệnh nhân dung thuốc kháng Vitamin K .4 Kết luận chương 3.

95 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA LUẬN ÁN. Hướng phát triển của luận án. 96 CÔNG TRÌNH KHOA HỌC CỦA NGHIÊN CỨU SINH. 97 TÀI LIỆU THAM KHẢO.

123 i LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các kết quả được công bố với các tác giả khác đều được sự đồng ý của các đồng tác giả trước khi đưa vào luận án. Các kết quả trong luận án là trung thực và chưa từng được công bố trong bất kỳ công trình nào khác. Tác giả luận án Nguyễn Tài Tuyên ii LỜI CẢM ƠN Luận án được thực hiện tại Viện Nghiên cứu Điện tử, Tin học, Tự động hóa, dưới sự hướng dẫn của PGS.

Nguyễn Quang Hoan và TS. Tôi xin bày tỏ lòng biết ơn sâu sắc tới PGS. Nguyễn Quang Hoan, TS. Ngô Văn Sỹ người đã động viên, trao đổi nhiều kiến thức và chỉ bảo tôi vượt qua những khó khăn để hoàn thành luận án này.

Tôi cũng xin gửi lời cảm ơn chân thành tới Viện trưởng, TS. Nguyễn Thế Truyện, PGS. Nguyễn Hồng Vũ và các nhà khoa học khác tại Viện Nghiên cứu Điện tử, Tin học, Tự động hóa (VIELINA), bộ Công Thương đã có những trao đổi, góp ý để tôi hoàn thiện luận án và giúp đỡ tôi trong quá trình học tập, nghiên cứu. Xin gửi lời cảm ơn đến Ban Giám đốc Học viện Công nghệ Bưu chính Viễn thông đã tạo điều kiện, quan tâm giúp đỡ để tôi có thể hoàn thành luận án.

Cuối cùng, tôi xin gửi lời cảm ơn sâu sắc tới gia đình, bạn bè, những người đã luôn ủng hộ, giúp đỡ và hỗ trợ tôi về mọi mặt để tôi hoàn thành luận án. Tác giả luận án Nguyễn Tài Tuyên iii DANH MỤC CÁC TỪ VIẾT TẮT ART Adaptive Resonance Theory Lý thuyết cộng hưởng thích nghi ARM Advanced RISC Machine Bộ xử lý dựa trên kiến trúc RISC BAM Bidirectional Associative Memory Bộ nhớ liên kết hai chiều CNN Cellular Neural Networks Mạng nơron tế bào CNN-UM CNN Universal Machine Máy tính vạn năng CNN CMOS Complementary Metal Oxide Chất bán dẫn ôxit kim loại bù Semiconductor IEEE Institute of Electrical and Electronics Viện Kỹ sư Điện và Điện tử Engineers FIRDDCNNs Fuzzy Delayed Reaction-Diffusion Mạng nơron tế bào khuếch tán mờ Cellular Neural Networks có trễ. FPGA Field Programmable Gate Array Mảng cổng logic có thể lập trình được HiCNN Higher-order Cellar Neural Network Mạng nơron tế bào bậc cao HSYNC Horizontal SYNChronization Đồng bộ ngang IO Input Outside Đầu vào bên ngoài INR International Normalized Ratio Tỷ lệ chuẩn hóa quốc tế về đông máu LUT Look Up Table Bảng dò tìm MCNN Multi-Layer Cellular Neural Mạng nơron tế bào nhiều lớp Networks MCUs Microcontroller Unit Bộ vi điều khiển MLP Multi-Layer Perceptron Perceptron nhiều lớp MTA Magyar Tudományos Akadémia Viện Hàn lâm Khoa học Hungary PC Personal Computer Máy tính cá nhân PE Processing Element Phần tử xử lý RAM Random Access Memory Bộ nhớ truy cập ngẫu nhiên RC Resistor, Capacitor Điện trở, tụ điện iv RBF Radial Basis Function Hàm cơ sở xuyên tâm RISC Reduced Instruction Set Computer Máy tính có tập lệnh đơn giản hóa ROM Read Only Memory Bộ nhớ chỉ đọc RPLA Recurrent Perceptron Learning Thuật toán học perceptron hồi quy Algorithm SC-CNN State Controlled Cellular Neural Mạng nơron tế bào điều chỉnh Network trạng thái SOM Self-Organizing Feature Maps Bản đồ tự tổ chức STM32 ST Microelectronic 32 Mạch tích hợp vi điều khiển 32 bit của STMicroelectronics TCP/IP Transmission Control Protocol/ Giao thức điều khiển truyền nhận/ Internet Protocol Giao thức liên mạng UART Universal Asynchronous Receiver/ Bộ truyền nhận dữ liệu nối tiếp Transmitter không đồng bộ VLSI Very-Large-Scale Integration Mạch tích hợp cỡ lớn VSYNC Vertical Synchronization Đồng bộ dọc v DANH MỤC CÁC KÝ HIỆU TOÁN HỌC Ký hiệu Diễn giải A(i,j; k,l;…;q,z) Các tham số phản hồi đến tế bào thứ (i,j) từ các đầu ra (k,l;…;q,z) của mạng nơron tế bào bậc cao B(i,j; k,l;…;q,z) Các tham số đầu vào ngoài đến tế bào thứ (i,j) từ các đầu vào (k,l;…;q,z) của mạng nơron tế bào bậc cao C Tụ điện của tế bào (i,j) C(i,j); C(k,l) Tế bào tại (i,j); (k,l) Emax Giá trị lớn nhất của hàm Lyapunov hoặc hàm năng lượng F (.) Hàm mô tả cấu trúc G(.) Vectơ hàm tương tác đầu ra gi (.) Hàm tương tác đầu ra của nơron thứ i g(x j ) Hàm truyền đạt (Transfer Function) hay hàm kích hoạt (Activation Function) hay hàm chặn (Squashing Function) của nơron j I hoặc W0 Độ lệch (Bias) hoặc ngưỡng (Threshold) của nơron I ij Ngưỡng, xác định ngưỡng kích thích hay ức chế (hằng số) M Số hàng của mảng (ma trận) nơron tế bào N Số cột của mảng (ma trận) nơron tế bào N r (i, j ); N r (k , l ) Các tế bào láng giềng N của tế bào (i,j); (k,l) với bán kính r R , Rx , R y Điện trở tương ứng với tế bào (i,j), với trạng thái x, đầu ra y u Vectơ đầu vào ngoài uij ; uk ,l Biến vào (ij) và (kl) của nơron tế bào v (t ) Tổng các đầu vào mô tả thế năng tác động ở thân nơron vi Tổng các đầu vào của nơron j Wij Độ lệch trọng số kết nối nơron thứ j tới nơron thứ i wij Trọng số ngoài đến tế bào (ij) w jk Trọng số tương ứng với các đầu vào thứ k tới nơron j vi wkl Trọng số phản hồi từ đầu ra của tế bào (kl) x (t ) Vectơ trạng thái xij (t ) ; xkl (t ) Biến trạng thái của tế bào (ij); (kl) yij (t ) ; ykl (t ) Đầu ra của nơron tế bào (ij); (kl)  Hệ số chỉ tốc độ học  Tích phân xij (t ) ; I Tuyệt đối với biến xij(t) hoặc với giá trị I vii DANH MỤC BẢNG Bảng 3.1 Ma trận kết nối giữa đầu vào i, j và đầu ra k, l .2 Ma trận A(i, j; k , l ) vectơ Y .3 Ma trận A(i, j; k , l ) , vectơ Y và trạng thái X .4 Gọi lại mẫu đã được học của bộ nhớ liên kết CNN chuẩn .5 Bộ nhớ liên kết CNN chuẩn nhận mẫu sai 1 bit .6 Ma trận A(i, j; k , l; m, n) của bộ nhớ liên kết CNN bậc hai .7 Pha học của bộ nhớ liên kết CNN bậc hai .8 Tính vectơ trạng thái của bộ nhớ liên kết CNN bậc hai .1 Tính số đầu vào ngoài của một tế bào với bán kính r .2 Tính số đầu vào ngoài của tế bào dạng tổng quát với bán kính r. 121 viii DANH MỤC HÌNH VẼ Hình 1.1 Mô hình nơron McCulloch-Pitts .2 Hàm tuyến tính .3 Hàm bước nhảy đơn cực .4 Hàm Sigmoid đơn cực.5 Hàm Sigmoid lưỡng cực .6 Phân loại mạng nơron nhân tạo .7 Năng lượng mạng E(x) .8 Minh họa cấu trúc mạng liên kết hai chiều .