Luận án tiến sĩ: Phương pháp học trọng số mạng nơ ron tế bào bậc hai

BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ CÔNG THƯƠNG VIỆN NGHIÊN CỨU ĐIỆN TỬ, TIN HỌC, TỰ ĐỘNG HÓA --***-- DƯƠNG ĐỨC ANH PHÁT TRIỂN MỘT SỐ PHƯƠNG PHÁP HỌC TRỌNG SỐ CHO MẠNG NƠ RON TẾ BÀO BẬC HAI LUẬN ÁN TIẾN SĨ KỸ THUẬT HÀ NỘI, NĂM 2024 BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ CÔNG THƯƠNG VIỆN NGHIÊN CỨU ĐIỆN TỬ, TIN HỌC, TỰ ĐỘNG HÓA --***-- DƯƠNG ĐỨC ANH PHÁT TRIỂN MỘT SỐ PHƯƠNG PHÁP HỌC TRỌNG SỐ CHO MẠNG NƠ RON TẾ BÀO BẬC HAI CHUYÊN NGÀNH: KỸ THUẬT ĐIỆN TỬ MÃ SỐ: 9520203 LUẬN ÁN TIẾN SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC 1. NGUYỄN QUANG HOAN 2. NGUYỄN HỒNG VŨ HÀ NỘI, NĂM 2024 i MỤC LỤC MỤC LỤC. i LỜI CAM ĐOAN.

iii LỜI CẢM ƠN. iv DANH MỤC CÁC TỪ VIẾT TẮT .v DANH MỤC CÁC KÝ HIỆU TOÁN HỌC. vii DANH MỤC BẢNG. ix DANH MỤC HÌNH VẼ.

Tính cấp thiết của đề tài luận án. Mục tiêu nghiên cứu của luận án. Đối tượng và phạm vi nghiên cứu. Phương pháp nghiên cứu.

Đề xuất mới của luận án. Cấu trúc của luận án .xv CHƯƠNG 1. TỔNG QUAN VỀ CẤU TRÚC VÀ LUẬT HỌC MẠNG NƠ RON. Cấu trúc và luật học trong mạng nơ ron.

Khái niệm và phân loại học trong mạng nơ ron. Cấu trúc và luật học của mạng nơ ron bậc nhất truyền thẳng. Cấu trúc và luật học mạng nơ ron bậc nhất hồi quy. Mạng nơ ron bậc hai dạng đa thức và ý nghĩa.

Các nghiên cứu về mạng nơ ron tế bào và luật học. Các nghiên cứu về mạng nơ ron tế bào ở ngoài nước. Các nghiên cứu và công bố về mạng nơ ron tế bào tại Việt Nam. Đặt vấn đề nghiên cứu cho luận án.

Phát biểu bài toán. Dự kiến kết quả. Kết luận chương 1. THUẬT TOÁN PERCEPTRON HỒI QUY .34 CHO MẠNG NƠ RON TẾ BÀO BẬC HAI.

Mạng nơ ron tế bào bậc hai. Mô hình toán học nơ ron tế bào bậc hai. Mô tả các thành phần của SOCeNNs. Phân tích tính ổn định của mạng nơ ron tế bào bậc hai.

Phát triển luật học trong mạng nơ ron tế bào bậc hai. Thuật toán học có giám sát cho SOCeNNs - Luật học SORPLA. Tính hội tụ của thuật toán Perceptron hồi quy mạng nơ ron tế bào bậc hai. Thử nghiệm thuật toán SORPLA cho bài toán xử lý ảnh.

Đánh giá các bộ trọng số của thuật toán SORPLA. Xử lý ảnh dùng mạng nơ ron tế bào. Thuật toán PySOCeNNs xác định biên ảnh. Kết quả thử nghiệm.

Kết luận chương 2. GIẢI THUẬT DI TRUYỀN CHO MẠNG NƠ RON TẾ BÀO. Giải thuật di truyền. Giải thuật di truyền cho mạng nơ ron tế bào.

Giải thuật di truyền tính trọng số cho mạng nơ ron tế bào chuẩn. Giải thuật di truyền tính trọng số cho mạng nơ ron tế bào bậc hai. Thuật toán lai giải thuật di truyền với thuật toán Perceptron hồi quy. Thuật toán lai giải thuật di truyền với thuật toán Perceptron hồi quy cho mạng nơ ron tế bào chuẩn.

Thuật toán lai giải thuật di truyền với thuật toán Perceptron hồi quy cho mạng nơ ron tế bào bậc hai. Đánh giá và so sánh các thuật toán đề xuất. Cơ sở đánh giá thuật toán. Các phương pháp đánh giá.

Kết luận chương 3 .104 DANH MỤC CÁC CÔNG BỐ CỦA LUẬN ÁN.106 TÀI LIỆU THAM KHẢO .108 PHỤ LỤC 01: CÁC LƯU ĐỒ THUẬT TOÁN TẠI LUẬN ÁN .116 PHỤ LỤC 02: ĐẦU NGOÀI BÊN NGOÀI BẬC HAI CỦA TẾ BÀO C(i,j) .122 PHỤ LỤC 03: ĐẦU RA PHẢN HỒI BẬC HAI CỦA TẾ BÀO C(i,j).123 iii LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các kết quả được công bố với các tác giả khác đều được sự đồng ý của các đồng tác giả trước khi đưa vào luận án. Các kết quả trong luận án là trung thực và chưa từng được công bố trong bất kỳ công trình nào khác. TÁC GIẢ LUẬN ÁN DƯƠNG ĐỨC ANH iv LỜI CẢM ƠN Luận án được thực hiện tại Viện nghiên cứu Điện tử, Tin học, Tự động hóa, dưới sự hướng dẫn của PGS.

Nguyễn Quang Hoan và PGS. Tôi xin bày tỏ lòng biết ơn sâu sắc tới PGS. Nguyễn Quang Hoan cùng PGS. Nguyễn Hồng Vũ đã luôn động viên, trao đổi nhiều kiến thức và chỉ bảo tôi vượt qua những khó khăn để hoàn thành luận án này.

Tôi cũng xin gửi lời cảm ơn chân thành tới TS. Nguyễn Thế Truyện – Viện trưởng, cùng các nhà khoa học, các đồng nghiệp tại Viện nghiên cứu Điện tử, Tin học, Tự động hóa (VIELINA), Bộ Công Thương đã có những trao đổi, góp ý để tôi hoàn thiện luận án và giúp đỡ tôi trong quá trình học tập, nghiên cứu. Cuối cùng, tôi xin gửi lời cảm ơn sâu sắc tới gia đình, bạn bè, những người đã luôn ủng hộ, giúp đỡ và hỗ trợ tôi về mọi mặt để tôi hoàn thành luận án. TÁC GIẢ LUẬN ÁN DƯƠNG ĐỨC ANH v DANH MỤC CÁC TỪ VIẾT TẮT ACE Analogic Cellular Engine Phương pháp tế bào tương tự ADALINE Adaptive Linear (Neuron) Element Phần tử (nơ ron) tuyến tính thích nghi ADAS Advanced Driver Assistance Systems Hệ thống hỗ trợ lái xe nâng cao ARM Advanced RISC Machine Máy RISC nâng cao ASICs Application Specific Integrated Circuits Mạch tích hợp cho ứng dụng cụ thể BAM Bidirectional Associative Memory Bộ nhớ liên kết hai chiều CASE Cellular Analogic System Eye Mắt hệ thống tương tự tế bào BIPED Barcelona Images for Perceptual Edge Hình ảnh Barcelona cho dò biên cảm Detection nhận BSDS500 Berkeley Segmentation Dataset 500 Bộ dữ liệu phân đoạn Berkeley 500 CNNA Cellular Nanoscale Networks Các ứng dụng mạng nơ ron tế bào kích Applications thước nano CNNs Convolutional Neural Networks Mạng nơ ron tích chập CeNNs Cellular Neural Networks Mạng nơ ron tế bào CeNN-UM CeNNs Universal Machine Máy tính đa năng tế bào DAL Distributed Asynchronous Learning Học không đồng bộ phân tán DSP Digital Signal Processing Xử lý tín hiệu số EBL Experience-Based Learning Học dựa trên kinh nghiệm FIRDDCeNNs Fuzzy Delayed Reaction-Diffusion Mạng nơ ron tế bào khuếch tán-mờ Cellular Neural Networks có trễ FPGA Field Programmable Gate Array Mảng cổng logic lập trình được GA Genetic Algorithm Giải thuật di truyền GACeNNs Genetic Algorithm for Cellular Neural Giải thuật di truyền cho mạng nơ ron Networks tế bào GASOCeNNs Genetic Algorithm for Second-Order Giải thuật di truyền cho mạng nơ ron Cellular Neural Networks tế bào bậc hai GASORPLA Genetic Algorithm and Second Order Thuật toán di truyền lai Perceptron hồi Recurrent Perceptron Learning Algorithm quy bậc hai GPU Graphics Processing Unit Đơn vị xử lý đồ họa HOCeNNs High Order Cellular Neural Networks Mạng nơ rơn tế bào bậc cao IoT Internet of Things Internet vạn vật KBIL Knowledge Based Inductive Learning Học quy nạp dựa trên trí thức LMS Least Mean Square Luật học bình phương tối thiểu LSTM Long Short-Term Memory Mạng bộ nhớ liên kết ngắn dài MCeNNs Multi-Layer Cellular Neural Networks Mạng nơ ron tế bào nhiều lớp vi MLP Multi-Layer Perceptron Perceptron nhiều lớp MRAC Model Reference Adaptive Control Điều khiển thích nghi quy chiếu mẫu NCS Nghiên cứu sinh NST Chromosomes Nhiễm sắc thể PyCeNNs Python Cellular Neural Networks Mạng nơ ron tế bào Python PySOCeNNs Python Second Order Cellular Neural Mạng nơ ron tế bào bậc hai Python Networks PCI-X Peripheral Component Interconnect Liên kết ngoại vi mở rộng eXtended RBL Resource-Based Learning Học dựa trên tài nguyên RISC Reduced Instruction Set Computer Máy tính tập lệnh rút gọn RNN Recurrent Neural Networks Mạng nơ ron hồi quy RPLA Recurrent Perceptron Learning Algorithm Thuật toán học Perceptron hồi quy RvNNs Recursive Neural Networks Mạng nơ ron đệ quy SOCeNNs Second Order Cellular Neural Networks Mạng nơ ron tế bào bậc hai SORPLA Second Order Recurrent Perceptron Thuật toán học Perceptron hồi quy Learning Algorithm bậc hai UAV Unmanned Aerial Vehicle Thiết bị bay không người lái VAE Variational Autoencoder Bộ mã hóa tự động biến đổi WAMS Wide-Area Monitoring System Hệ thống giám sát diện rộng vii DANH MỤC CÁC KÝ HIỆU TOÁN HỌC Ký hiệu Diễn giải Ma trận trọng số phản hồi mạng nơ ron tế bào bậc nhất, bậc hai A1, A2, A21, …, A29 tương ứng Trọng số phản hồi đối với tế bào thứ (i,j) từ các đầu ra lân cận thứ A2(i,j; k,l;m,n) (k,l), (m,n) của mạng nơ ron tế bào bậc hai A1(i,j;k,l), Trọng số phản hồi đối với tế bào thứ (i,j) từ các đầu ra lân cận A21(i,j;k,l),… (k,l) của mạng nơ ron tế bào bậc nhất, bậc hai tương ứng a11, a211,., a295 Các toán hạng trong ma trận trọng số phản hồi đầu ra Ma trận trọng số điều khiển đầu vào mạng nơ ron tế bào bậc nhất, B1, B2, B21, …, B29 bậc hai tương ứng B2(i,j; k,l;m,n) Trọng số đầu vào đối với tế bào thứ (i,j) từ các đầu vào lân cận thứ (k,l), (m,n) của mạng nơ ron tế bào bậc hai B1(i,j;k,l), Trọng số đầu vào đối với tế bào thứ (i,j) từ các đầu ra lân cân thứ B21(i,j;k,l).