Luận án tiến sĩ: Cải tiến thuật toán học mạng nơ-ron cho bài toán lỗi đặc biệt

Viện Nghiên cứu Điện tử, Tin học, Tự động hóa Nguyễn Thị Thanh Nga Về một phương pháp cải tiến thuật toán học của mạng nơ ron cho bài toán có mặt lỗi đặc biệt trong nhận dạng Chuyên ngành: Kỹ thuật điện tử Họ và tên NCS: Nguyễn Thị Thanh Nga Khóa đào tạo: 2008-2012 Người hướng dẫn khoa học: PGS. Nguyễn Hữu Công 2014 Luận án Tiến sĩ Kỹ thuật 2013 MỤC LỤC MỞ ĐẦU. 7 CHƢƠNG 1 : MẠNG NƠRON VÀ QUÁ TRÌNH HỌC CỦA MẠNG NƠRON. Giới thiệu về mạng nơron và quá trình học của mạng nơron.

Mạng nơron và các phƣơng pháp học. Đánh giá các nhân tố của quá trình học. Khởi tạo các trọng số. Hằng số quán tính.

Nhận dạng hệ thống sử dụng mạng nơron. Nhận dạng hệ thống. Nhận dạng hệ thống sử dụng mạng nơron. Mặt lỗi đặc biệt khi luyện mạng nơron.

Mặt lỗi đặc biệt khi luyện mạng nơron. Ví dụ về bài toán dẫn đến mặt lỗi đặc biệt. Mô phỏng quá trình luyện mạng nơron khi sử dụng Toolbox của Matlab 22 1. Ví dụ với mạng nơron có mặt lỗi bình thƣờng.

Ví dụ với mạng nơron có mặt lỗi đặc biệt. Tổng quan về tình hình nghiên cứu trong và ngoài nƣớc 26 1. Điểm qua một số công trình nghiên cứu về mạng nơron và ứng dụng. Các công trình trong và ngoài nƣớc nghiên cứu về thuật toán học của mạng nơron.

Kết luận chƣơng 1. 38 CHƢƠNG 2: THUẬT TOÁN VƢỢT KHE TRONG QUÁ TRÌNH LUYỆN MẠNG NƠRON. Thuật toán vƣợt khe. Tính hội tụ và điều kiện tối ƣu.

Thuật toán vƣợt khe. Nguyên lý vượt khe. 48 1 Luận án Tiến sĩ Kỹ thuật 2013 2. Xác định bước vượt khe .2 Ứng dụng thuật toán vƣợt khe trong quá trình luyện mạng nơron .3 Minh họa thuật toán.

Công tác chuẩn bị. Điều chỉnh trọng số lớp ra. Điều chỉnh trọng số lớp ẩn. Cấu trúc mạng.

Các thƣ viện và hàm mạng. Hàm khởi tạo trọng số. Thủ tục tính bước học vượt khe. Thủ tục huấn luyện mạng, HUANLUYENVUOTKHE().

Kết quả chạy chƣơng trình và so sánh. Chạy chương trình. So sánh các phương án. Kết luận chƣơng 2.

76 CHƢƠNG 3: ĐỀ XUẤT MÔ HÌNH KẾT HỢP THUẬT DI TRUYỀN VÀ THUẬT TOÁN VƢỢT KHE ĐỂ CẢI TIẾN QUÁ TRÌNH HỌC CỦA MẠNG NƠRON MLP CÓ MẶT LỖI ĐẶC BIỆT. Khảo sát độ hội tụ của quá trình luyện mạng nơron bằng kỹ thuật lan truyền ngƣợc nguyên thủy với các bộ khởi tạo trọng số ban đầu khác nhau. Khảo sát độ hội tụ của quá trình luyện mạng nơron có mặt lỗi đặc biệt bằng kỹ thuật lan truyền ngƣợc kết hợp thuật toán vƣợt khe với các bộ khởi tạo trọng số ban đầu khác nhau 80 3. Đề xuất mô hình kết hợp giải thuật di truyền và thuật toán vƣợt khe trong quá trình luyện mạng nơron.

Áp dụng mô hình kết hợp giải thuật di truyền và thuật toán vƣợt khe trong quá trình luyện mạng nơron vào bài toán nhận dạng. Kết luận chƣơng 3. 94 KẾT LUẬN CHUNG VÀ ĐỀ XUẤT HƢỚNG NGHIÊN CỨU. 95 2 Luận án Tiến sĩ Kỹ thuật 2013 CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ.

99 TÀI LIỆU THAM KHẢO. 106 3 Luận án Tiến sĩ Kỹ thuật 2013 DANH MỤC BẢNG BIỂU, HÌNH VẼ Bảng 2. Các hàm kích hoạt (transfer function) tiêu biểu .2: Tập hồ sơ mẫu đầu vào {0 1 2 3 4 5 6 7 8 9} .3: Tập hồ sơ mẫu đầu vào {! @ # $ % ^ & * ( )}. Kết quả khi nhận dạng hệ thống phi tuyến tĩnh .2: Kết quả khi nhận dạng hệ thống động học phi tuyến .3: Kết quả khi nhận dạng hệ thống có mặt lỗi dạng lòng khe.

So sánh GA và BP với sai số là 0.5: So sánh GA và BP với sai số là 0.6: So sánh GA và BP với sai số khác nhau. Điều khiển theo nguyên tắc phản hồi đầu ra .2: Mô hình nhận dạng cơ bản. Mặt sai số dạng lòng khe .4: Kỷ nguyên luyện mạng ví dụ 1 .5: Cấu trúc mạng nơron cho nhận dạng chữ .6: Kết quả luyện mạng nơron với các phương pháp lan truyền ngược khác nhau (traingd, traingdm, traindx, trainda) .1: Quỹ đạo dao động với sai số dạng lòng khe .3: Xác định bước vượt khe  v .4: Lưu đồ thuật toán tính bước vượt khe.6:Các đường đồng mức dạng khe .7:Lưu đồ thuật toán huấn luyện mạng nơron với bước học vượt khe.1: Sơ đồ thuật toán kết hợp giải thuật vượt khe và di truyền cho luyện mạng MLP .2: Hoạt động của mạng MLP cải tiến. 93 Hình a: So sánh hoạt động của mạng MLP thuần túy và MLP cải tiến.

97 4 Luận án Tiến sĩ Kỹ thuật 2013 CÁC TỪ VIẾT TẮT ADLINE ADAptive Linear Neural, mạng tuyến tính thích nghi đơn lớp ANN Artificial Neural Network, mạng nơron nhân tạo BP BackPropagation, lan truyền ngƣợc BPTT BackPropagation -Through-Time, lan truyền ngƣợc xuyên tâm LDDN Layered Digital Dynamic Network, mạng nơron động LMS Least Mean Square, trung bình bình phƣơng nhỏ nhất NNs Neural NetworkS, mạng nơron RTRL Real-Time Recurrent Learning, thuật học hồi qui thời gian thực SDBP Steepest Descent BackPropagation, kỹ thuật lan truyền ngƣợc giảm dốc nhất OBP Optical BackPropagation, kỹ thuật lan truyền ngƣợc “tốc độ ánh sáng” VLBP Variable Learning rate BackPropagation algorithm, kỹ thuật lan truyền ngƣợc với tốc độ học thay đổi. MLP MultiLayer Perceptron, mạng truyền thẳng nhiều lớp GA Genetic Algorithms, giải thuật di truyền 5 Luận án Tiến sĩ Kỹ thuật 2013 LỜI CAM ĐOAN Tôi xin cam đoan luận án này là công trình nghiên cứu khoa học của tôi và không trùng lặp với bất cứ công trình khoa học nào khác. Các số liệu trình bày trong luận án đã đƣợc kiểm tra kỹ và phản ánh hoàn toàn trung thực. Các kết quả nghiên cứu do tác giả đề xuất chƣa từng đƣợc công bố trên bất kỳ tạp chí nào đến thời điểm này ngoài những công trình của tác giả.

Ngày 14 tháng 10 năm 2013 Tác giả luận án Nguyễn Thị Thanh Nga 6 Luận án Tiến sĩ Kỹ thuật 2013 MỞ ĐẦU Trong rất nhiều lĩnh vực nhƣ điều khiển, tự động hóa, công nghệ thông tin…, nhận dạng đƣợc đối tƣợng là vấn đề mấu chốt quyết định sự thành công của bài toán. Phần lớn các đối tƣợng trong thực tế đều là phi tuyến với độ phi tuyến khác nhau. Mạng nơron có khả năng xấp xỉ các hàm phi tuyến một cách đầy đủ và chính xác, nó đƣợc sử dụng tốt cho các mô hình động học phi tuyến. Điều quan trọng là thuật lan truyền ngƣợc tĩnh và động của mạng nơron đƣợc sử dụng để hiệu chỉnh các tham số trong quá trình nhận dạng.

Cơ sở toán học của việc khẳng định rằng mạng nơron là công cụ xấp xỉ vạn năng các hàm số liên tục dựa trên các định lý Stone – Weierstrass và Kolmogorov[15]. Việc sử dụng định lý Stone – Weierstrass để chứng minh khả năng xấp xỉ của mạng noron đã đƣợc các tác giả Hornik et al., Funahashi, Cotter, Blum đƣa ra từ năm 1989. Các mạng nơron thỏa mãn định lý Stone – Weierstrass có thể kể đến là mạng lƣợng giác, mạng hai lớp với hàm kích hoạt sigmoid, mạng hai lớp với hàm kích hoạt McCulloch – Pitts(MC - P) và mạng với hàm cơ sở xuyên tâm(RBF)[16], [17], [18], [19]. Việc sử dụng định lý Kolmogorov để biểu diễn chính xác hàm liên tục và đƣa ra sơ đồ mạng nơron tƣơng ứng đã đƣợc Hecht - Nielsen và Lorentz công bố[20], [21], [22].

Mạng nơron là một trong những công cụ nhận dạng tốt nhất vì các đặc trƣng sau: Khả năng học từ kinh nghiệm (khả năng đƣợc huấn luyện), khả năng xử lý song song với tốc độ xử lý nhanh, khả năng học thích nghi, khả năng khái quát hoá cho các đầu vào không đƣợc huấn luyện, ví dụ dựa vào cách học mạng có thể sẽ tiên đoán đầu ra từ đầu vào không biết trƣớc [23], [24]. Hiện nay, một công cụ phần mềm đƣợc ứng dụng rất hiệu quả trong các lĩnh vực về điều khiển, tự động hóa, công nghệ thông tin đó là Matlab. Khi sử dụng bộ công cụ Neural Network Toolbox, chúng ta có thể luyện mạng để nhận dạng đƣợc một số đối tƣợng tuyến tính và phi tuyến. Bộ công cụ cung cấp cho chúng ta một số 7 Luận án Tiến sĩ Kỹ thuật 2013 phƣơng pháp luyện mạng nơron, trong đó kỹ thuật lan truyền ngƣợc đƣợc ứng dụng rộng rãi hơn cả.

Ở đó chúng ta có thể lựa chọn các bƣớc học khác nhau phục vụ cho quá trình luyện mạng nhƣ: Traingd (Basic gradient descent), Traingdm (Gradient descent with momentum), Traingdx (Adaptive learning rate), Trainbfg (BFGS quasi- Newton). Một nhƣợc điểm khi dùng mạng nơron là chƣa có phƣơng pháp luận chung khi thiết kế cấu trúc mạng cho các bài toán nhận dạng và điều khiển mà phải cần tới kiến thức của chuyên gia. Mặt khác khi xấp xỉ mạng nơron với một hệ phi tuyến sẽ khó khăn khi luyện mạng vì có thể không tìm đƣợc điểm tối ƣu toàn cục. Vậy, tồn tại lớn nhất gặp phải là tìm nghiệm tối ƣu toàn cục, đặc biệt áp dụng cho các bài toán lớn, các hệ thống điều khiển quá trình.

Giải thuật di truyền (Genetic Algorithms-GA) đƣợc biết đến nhƣ một giải thuật tìm kiếm dựa trên học thuyết về chọn lọc tự nhiên và nó cho phép ta đạt đƣợc tới cực trị toàn cục. Thực ra, GA thuộc lớp các thuật toán xác suất, nhƣng lại rất khác những thuật toán ngẫu nhiên vì chúng kết hợp các phần tử tìm kiếm trực tiếp và ngẫu nhiên. Khác biệt quan trọng giữa phƣơng pháp tìm kiếm của GA và các phƣơng pháp tìm kiếm khác là GA duy trì và xử lý một tập các lời giải (quần thể) - tất cả các phƣơng pháp khác chỉ xử lý một điểm trong không gian tìm kiếm. Chính vì thế, GA mạnh hơn các phƣơng pháp tìm kiếm hiện có rất nhiều.

Hiện nay, việc nghiên cứu các thuật toán tìm nghiệm tối ƣu toàn cục khi luyện mạng nơron đã đƣợc một số tác giả nghiên cứu áp dụng [27], [28], [29]. Tuy nhiên khi sử dụng mạng nơron để xấp xỉ một số đối tƣợng phi tuyến mà mặt lỗi sinh ra có dạng lòng khe [28], việc huấn luyện mạng gặp rất nhiều khó khăn. Nội dung đề tài sẽ đi nghiên cứu một thuật toán tìm điểm tối ƣu toàn cục trong quá trình luyện mạng nơron bằng thuật toán vƣợt khe có sự kết hợp với giải thuật di truyền. Mục tiêu - Đề xuất mô hình kết hợp thuật toán vƣợt khe và giải thuật di truyền để huấn luyện mạng nơron.