Mạng nơron và Quá trình học mạng nơron: Luận án Tiến sĩ Kỹ thuật 2013

Luận án Tiễn sĩ Kỹ thuật 2013 MỤC LỤC MỞ ĐẦU. Hi 7 CHƯƠNG 1 : MẠNG NƠRON VÀ QUÁ TRÌNH HỌC CỦA MẠNG NƠRON. Giới thiệu về mạng noron và quá trình học của mạng nơron. Mạng nơron và các phương pháp học.

Đánh giá các nhân tố của quá trình học. ---- ¿+ ++s©++se+x+xxzxezxezezxerxsre 13 IIPN (¡7. Nhận dạng hệ thống sử dụng mạng noron_. Nhận dạng hệ thống.

-- --¿- ¿252 +SSE2ESE£EE£EEEEEEEEEEEEEEEEEEErkerkerrrkerkrrrrkerree 14 1. Nhận dạng hệ thống sử dụng mạng nøoron 1. Mặt lỗi đặc biệt khi luyện mạng noron. Mặt lỗi đặc biệt khi luyện mạng nơron.

Ví dụ về bài toán dẫn đến mặt lỗi đặc biệt. Mô phỏng quá trình luyện mạng noron khi sử dụng Toolbox của Matlab 22 1. Ví dụ với mạng nơron có mặt lỗi bình thường. Ví dụ với mạng nơron có mặt lỗi đặc biệt.

Tống quan về tình hình nghiên cứu trong và ngoài nước 26 1. Điểm qua một số công trình nghiên cứu về mạng noron và ứng dụng. Các công trình trong và ngoài nước nghiên cứu về thuật toán học của mạng nơron. Kết luận chương 1.

CHƯƠNG 2: THUẬT TOÁN VƯỢT KHE TRONG QUÁ TRÌNH LUYỆN MẠNG NƠRON ¬—. 40 VN Ôn, oan. Tính hội tụ và điều kiện tối ưu. -- - 2 +52 +E£E++EE+EeEzEeEEerkrxerxerrxerxrrrrxerrree 41 P6 áo si.

48 Luận án Tiễn sĩ Kỹ thuật 2013 PS P1017.2 Ứng dụng thuật toán vượt khe trong quá trình luyện mạng noron. COng tic CHUAN Dj. Điều chính trong 86 6p rd oecccccccccesccssssssessessesessessessssessesesssssesessessesssseseesssesseaneseeseesess 59 2. Điều chính trọng số LO p Gi eecceccccccccsccccsssscssesvssessessessssessesesssssesessessesssseseesssesseaneseesessess 60 2.

Cấu trúc mạng.-- -- - + 5% sSx+EE+E£Ek2EEkEEEEEEEEEEETEEEEEEEEEEEEEEEEEEEETEEEEEEETEEEkrrrrkerrree 62 2. Các thư viện và hàm mạng. - - - + 6 11x 1 2 21 HT nh HH TH nh Hàn nh ren 64 h5 18. Hàm khởi tạo fFỌHg SỐ.

0S St St TH. Thủ tục tính bước học vượt kÏu€_. Thú tục huấn luyện mạng, HUANLUYENVUOTKHE(). Kết quả chạy chương trình và so sánh.

69 VU VY, 7n he ố. Kết luận chương 2.76 CHƯƠNG 3: ĐÈ XUẤT MÔ HÌNH KÉT HỢP THUẬT DI TRUYÈN VÀ THUẬT TOÁN VƯỢT KHE ĐỀ CẢI TIỀN QUÁ TRÌNH HỌC CỦA MẠNG NƠRON MLP (90907809) E7\(06i50 00010587. Khảo sát độ hội tụ của quá trình luyện mạng noron bằng kỹ thuật lan truyền ngược nguyên thủy với các bộ khởi tạo trọng số ban đầu khác nhau. Khao sát độ hội tụ của quá trình luyện mạng noron có mặt lỗi đặc biệt bằng kỹ thuật lan truyền ngược kết hợp thuật toán vượt khe với các bộ khởi tạo trọng số ban đầu khác nhau 80 3.

Đề xuất mô hình kết hợp giải thuật di truyền và thuật toán vượt khe trong quá 03)0180)/318. Áp dụng mô hình kết hợp giải thuật di truyền và thuật toán vượt khe trong quá trình luyện mạng nơoron vào bài toán nhận dạng 3. Kết luận chương 3. xe 94 KÉT LUẬN CHUNG VÀ ĐÈ XUẤT HƯỚNG NGHIÊN CỨU.

95 Luận án Tiễn sĩ Kỹ thuật 2013 (0. 99 TAI LIEU THAM KHẢO. 106 Luận án Tiễn sĩ Kỹ thuật 2013 DANH MỤC BẢNG BIÊU, HÌNH VẼ Bảng 2. Các hàm kích hoạt (transfer function) tiêu biểu.2: Tập hỗ sơ mẫu đầu vào {0 1 2 3 4 5 6 7 8 9}.3: Tập hỗ sơ mẫu đầu vào {! @ #8 % ^ & * ()À.

Kết quả khi nhận dạng hệ thống phi tuyến tĩnh.2: Kết quả khi nhận dạng hệ thống động học phi tuyỄn.3: Kết quả khi nhận dạng hệ thống có mặt lỗi dạng lòng khe. So sánh GA và BP với sai số là (.-ccc5cccc5ccceccerecrersrxerrree 85 Bảng 3.5: So sánh GA và BP với sai số là 0.-©cccc5ccccccccccxercces 86 Bảng 3.6: So sánh GA và BP với sai số khác HÏqM. Diéu khiển theo nguyên tac phan N6i AGU VO cecceccssesssvesssesssesssessssesees 15 Hinh 1.2: M6 hinh nhdin dang CO DAN wecececcsccseesessesseseeseseeseeseeseneeseeseeseseeseeseeseaes 18 Hình 1. Mặt sai số dang l6ng ke ceeseccsssssssssssssssssssssssssssessssessssessssesssesssecesseeess 19 Hình 1.4: Kỷ nguyên luyện mạng VÍ đÌụ_ Ï.

«5S S+ SE seEseseeeeerserseeere 24 Hinh 1.5: Cau tric mang noron Cho nhận dạng Chữữ.6: Kết quả luyện mạng nơron với các phương pháp lan truyền ngược khác nhau (traingd, traingdm, traindx, tra111đá)) .1: Quỹ đạo đao động với sai số dạng lòng khe.3: Xác định bước VƯỢt kh€ @ŒŸ .c SG St kh ren 50 Hình 2.4: Lưu đô thuật toán tỉnh bước vượt khe.6:Các đường đồng mức dạng kNC ceecsecsssessssesssssssssisssssssssessssessssesssssessseeess 57 Hình 2.7:1u đô thuật toán huấn luyện mạng noron với bước học vượt khe.1: Sơ đồ thuật toán kết hợp giải thuật vượt khe và di truyền cho luyện mạng Hình 3.2: Hoạt động của mạng MLP cải CHEN cescesseessessessssssessesssessessesseessesseeseessees 93 Hinh a: So sénh hoat d6ng ctia mang MLP thuan túy và MLP cải tiến. 97 Luận án Tiễn sĩ Kỹ thuật 2013 ADLINE ANN BP BPTT LDDN LMS NNs RTRL SDBP OBP VLBP MLP GA CAC TU VIET TAT ADAptive Linear Neural, mang tuyén tính thích nghi đơn lớp Artificial Neural Network, mang noron nhan tao BackPropagation, lan truyền ngược BackPropagation -Through-Time, lan truyền ngược xuyên tâm Layered Digital Dynamic Network, mang noron động Least Mean Square, trung bình bình phương nhỏ nhất Neural NetworkS, mang noron Real-Time Recurrent Learning, thuat hoc hồi qui thời gian thực Steepest Descent BackPropagation, kỹ thuật lan truyền ngược giảm đốc nhất Optical BackPropagation, kỹ thuật lan truyền ngược “tốc độ ánh sáng” Variable Learning rate BackPropagation algorithm, kỹ thuật lan truyền ngược với tốc độ học thay đồi. MultiLayer Perceptron, mạng truyền thắng nhiều lớp Genetic Algorithms, giải thuật đi truyền Luận án Tiễn sĩ Kỹ thuật 2013 LỜI CAM ĐOAN Tôi xim cam đoan luận án này là công trình nghiên cứu khoa học của tôi và không trùng lặp với bất cứ công trình khoa học nào khác. Các số liệu trình bày trong luận án đã được kiểm tra kỹ và phản ánh hoàn toàn trung thực.

Các kết quả nghiên cứu do tac giả đề xuất chưa từng được công bố trên bất kỳ tạp chí nào đến thời điểm này ngoài những công trình của tác giả. Ngày 14 tháng 10 øăm 2013 Tác giả luận án Nguyễn Thị Thanh Nga Luận án Tiễn sĩ Kỹ thuật 2013 MỞ ĐẦU Trong rất nhiều lĩnh vực như điều khiển, tự động hóa, công nghệ thông tin., nhận dạng được đối tượng là vấn đề mẫu chốt quyết định sự thành công của bài toán. Phần lớn các đối tượng trong thực tế đều là phi tuyến với độ phi tuyến khác nhau. Mạng noron có khả năng xấp xỉ các hàm phi tuyến một cách đầy đủ và chính xác, nó được sử dụng tốt cho các mô hình động học phi tuyến.

Điều quan trọng là thuật lan truyền ngược tĩnh và động của mạng nơron được sử dụng để hiệu chỉnh các tham số trong quá trình nhận dạng. Cơ sở toán học của việc khẳng định rằng mang noron là công cụ xấp xỉ vạn năng các hàm số liên tục dựa trên các định ly Stone — Weierstrass va Kolmogorov[15]. Việc sử dụng định lý Stone — Weierstrass để chứng minh khả năng xấp xỉ của mạng noron đã được các tác giả Hornik et al., Funahashi, Cotter, Blum dua ra từ năm 1989. Các mạng nơron thỏa mãn định lý Stone — Weierstrass có thê kế đến là mạng lượng giác, mạng hai lớp với hàm kích hoạt sigmoid, mạng hai lớp với hàm kích hoạt McCulloch — Pitts(MC - P) và mạng với hàm cơ sở xuyên tâm(RBF){16], [17], [18], [19].

Viéc sir dung dinh ly Kolmogorov dé biéu dién chinh xdc ham lién tuc va đưa ra sơ đồ mạng nơron tương ứng đã được Hecht - Nielsen và Lorentz công b6[20], [21], [22]. Mạng nơron là một trong những công cụ nhận dạng tốt nhất vì các đặc trưng sau: Khả năng học từ kinh nghiệm (khả năng được huấn luyện), khả năng xử lý song song với tốc độ xử lý nhanh, khả năng học thích nghi, khả năng khái quát hoá cho các đầu vào không được huấn luyện, ví dụ dựa vào cách học mạng có thê sẽ tiên đoán đầu ra từ đầu vào không biết trước [23], [24]. Hiện nay, một công cụ phần mềm được ứng dụng rất hiệu quả trong các lĩnh vực về điều khiển, tự động hóa, công nghệ thông tin đó là Matlab. Khi sử dụng bộ công cụ Neural Network Toolbox, chúng ta có thể luyện mạng để nhận dạng được một số đối tượng tuyến tính và phi tuyến.

Bộ công cụ cung cấp cho chúng ta một số Luận án Tiễn sĩ Kỹ thuật 2013 phương pháp luyện mạng nơron, trong đó kỹ thuật lan truyền ngược được ứng dụng rộng rãi hơn cả. Ở đó chúng ta có thể lựa chọn các bước học khác nhau phục vụ cho quá trình luyện mạng như: Traingd (Basic gradient descent), Traingdm (Gradient descent with momentum), Traingdx (Adaptive learning rate), Trainbfg (BFGS quasi- Newton). Một nhược điểm khi dùng mạng nơron là chưa có phương pháp luận chung khi thiết kế cầu trúc mạng cho các bài toán nhận dạng và điều khiển mà phải cần tới kiến thức của chuyên gia. Mặt khác khi xắp xỉ mạng noron với một hệ phi tuyến sẽ khó khăn khi luyện mạng vì có thê không tìm được điểm tối ưu toàn cục.

Vậy, tồn tại lớn nhất gặp phải là tìm nghiệm tối ưu toàn cục, đặc biệt áp dụng cho các bài toán lớn, các hệ thống điều khiển quá trình. Giải thuật di truyền (Genetic Algorithms-GA) được biết đến như một giải thuật tìm kiếm dựa trên học thuyết về chọn lọc tự nhiên và nó cho phép ta đạt được tới cực trị toàn cục. Thực ra, GA thuộc lớp các thuật toán xác suất, nhưng lại rất khác những thuật toán ngẫu nhiên vì chúng kết hợp các phần tử tìm kiếm trực tiếp và ngẫu nhiên. Khác biệt quan trọng giữa phương pháp tìm kiếm của GA và các phương pháp tìm kiếm khác là GA duy trì và xử lý một tập các lời giải (quần thê) - tất cả các phương pháp khác chỉ xử lý một điểm trong không gian tìm kiếm.

Chính vì thế, GA mạnh hơn các phương pháp tìm kiếm hiện có rất nhiều. Hiện nay, việc nghiên cứu các thuật toán tìm nghiệm tối ưu toàn cục khi luyện mạng nơron đã được một số tác giả nghiên cứu áp dụng [27], [28], [29]. Tuy nhiên khi sử dụng mạng nơron đề xấp xỉ một số đối tượng phi tuyến mà mặt lỗi sinh ra có đạng lòng khe [28], việc huấn luyện mạng gặp rất nhiều khó khăn. Nội dung đề tài sẽ đi nghiên cứu một thuật toán tìm điểm tối ưu toàn cục trong quá trình luyện mạng noron bằng thuật toán vượt khe có sự kết hợp với giải thuật di truyền.

Mục tiêu - Đề xuất mô hình kết hợp thuật toán vượt khe và giải thuật di truyền để huấn luyện mạng noron. Luận án Tiễn sĩ Kỹ thuật 2013 - Xây dựng bộ công cụ phần mềm đề luyện mạng nơron cho một số bài toán có mặt lỗi đặc biệt, làm cơ sở bổ sung vào Neural Toolbox Matlab. Nội dung chính - Nghiên cứu lí thuyết về mạng nơron và quá trình học của mạng nơron. - Nghiên cứu lí thuyết về thuật toán vượt khe và xây dựng thuật toán tính bước học vượt khe.