Luận án phát triển cấu trúc thuật học của mạng nơron tự tổ chức - Nghiên cứu tại Viện Công nghệ Thông tin - Viện Hàn lâm Khoa học và Công nghệ Việt Nam

1 Lời cam đoan Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các kết quả được công bố với các tác giả khác đều được sự đồng ý của các đồng tác giả trước khi đưa vào luận án. Các kết quả nêu trong luận án là trung thực và chưa từng được công bố trong bất kỳ công trình nào khác. NGHIÊN CỨU SINH Lê Anh Tú 2 Lời cảm ơn Luận án được thực hiện tại Viện Công nghệ Thông tin - Viện Hàn lâm Khoa học và Công nghệ Việt Nam, dưới sự hướng dẫn của PGS.

Nguyễn Quang Hoan. Tôi xin bày tỏ lòng biết ơn sâu sắc tới PGS. Nguyễn Quang Hoan, người đã động viên, trao đổi nhiều kiến thức và chỉ bảo tôi vượt qua những khó khăn để hoàn thành luận án này. Tôi cũng xin gửi lời cảm ơn chân thành tới PGS.

Lương Chi Mai, PGS. Đặng Văn Đức, TS. Nguyễn Đức Dũng và các nhà khoa học khác tại Viện Công nghệ Thông tin - Viện Hàn lâm Khoa học và Công nghệ Việt Nam đã có những trao đổi và góp ý để tôi hoàn thiện luận án, cũng như đã đã giúp đỡ tôi trong quá trình học tập, nghiên cứu. Xin gửi lời cảm ơn đến Ban Giám hiệu Trường Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên đã tạo điều kiện, quan tâm giúp đỡ để tôi có thể hoàn thành luận án.

Cuối cùng, tôi xin gửi lời cảm ơn sâu sắc tới gia đình, bạn bè, những người đã luôn ủng hộ, giúp đỡ và hỗ trợ tôi về mọi mặt để tôi yên tâm học tập đạt kết quả tốt. 3 MỤC LỤC Lời cam đoan .3 Danh mục các từ viết tắt .7 Danh mục các ký hiệu toán học .9 Danh mục các bảng.11 Danh mục các hình vẽ, đồ thị .12 Danh mục các định nghĩa, định lý, bổ đề .13 Danh mục các thuật toán .19 TỔNG QUAN VỀ CÁC MÔ HÌNH MẠNG NƠRON TỰ TỔ CHỨC. Tổng quan về mạng nơron nhân tạo. Khái niệm mạng nơron nhân tạo.

Các kiến trúc căn bản của mạng nơron nhân tạo. Các phương pháp học. Lịch sử và xu hướng phát triển mạng nơron nhân tạo. Mạng nơron tự tổ chức.

Cấu trúc mạng nơron tự tổ chức. Thuật toán học của mạng nơron tự tổ chức. Đánh giá chất lượng bản đồ đặc trưng của mạng nơron tự tổ chức. Hạn chế của mạng nơron tự tổ chức và các biện pháp khắc phục.

Kết quả nghiên cứu trong và ngoài nước về cải tiến cấu trúc, phương pháp học của mạng nơron tự tổ chức. Kết quả nghiên cứu trong nước. Kết quả nghiên cứu ngoài nước. Đặc điểm chung của các phương thức cải tiến mạng nơron tự tổ chức.

Kết luận chương 1 .44 4 HAI PHƯƠNG THỨC CẢI THIỆN CHẤT LƯỢNG BẢN ĐỒ ĐẶC TRƯNG CỦA MẠNG NƠRON TỰ TỔ CHỨC. Tổng quan về cải thiện chất lượng bản đồ đặc trưng của mạng nơron tự tổ chức. Điều chỉnh hàm lân cận để cải thiện chất lượng bản đồ đặc trưng. Một số dạng hàm lân cận của mạng nơron tự tổ chức.

Điều chỉnh tham số của hàm lân cận đối xứng dạng mũ. Thuật toán điều chỉnh trọng số nơron để giảm lỗi lượng tử. Thuật toán điều chỉnh trọng số nơron. Các tập dữ liệu sử dụng cho thực nghiệm.

Thực nghiệm hàm lân cận mũ với tham số điều chỉnh. Mục tiêu thực nghiệm. Phương pháp thực nghiệm. Các tham số khởi tạo mạng.

Kết quả thực nghiệm. So sánh hàm lân cận điều chỉnh với một số dạng hàm lân cận khác. Thực nghiệm thuật toán Batch-IMQS. Mục tiêu thực nghiệm.

Phương pháp thực nghiệm. Các tham số khởi tạo mạng. Kết quả thực nghiệm. Kết luận chương 2 .76 MỘT MẠNG NƠRON TỰ TỔ CHỨC CÓ CẤU TRÚC PHÂN TẦNG TĂNG TRƯỞNG VÀ THUẬT TOÁN HỌC BÁN GIÁM SÁT CHO BÀI TOÁN PHÂN LỚP DỮ LIỆU.

Tổng quan về các mạng nơron tự tổ chức cải tiến học giám sát, bán giám sát cho phân lớp dữ liệu. Phát biểu bài toán phân lớp dữ liệu. Một cấu trúc phân tầng tăng trưởng và thuật toán học bán giám sát của mạng nơron tự tổ chức cho bài toán phân lớp dữ liệu. Các cấu trúc nền tảng để xây dựng mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát cho phân lớp dữ liệu.

Cấu trúc mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát cho phân lớp dữ liệu. Thuật toán huấn luyện và kiểm thử của mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát cho phân lớp dữ liệu. Thực nghiệm mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát cho phân lớp dữ liệu. Mục tiêu thực nghiệm.

Phương pháp thực nghiệm. Các tham số khởi tạo mạng. Kết quả thực nghiệm. So sánh mô hình đề xuất với một số phương thức khác.

Kết luận chương 3 .102 MỞ RỘNG CẤU TRÚC, THUẬT TOÁN HỌC CỦA MẠNG NƠRON TỰ TỔ CHỨC CHO BÀI TOÁN PHÂN CỤM DỮ LIỆU. Tổng quan về sử dụng mạng nơron tự tổ chức cho phân cụm dữ liệu. Phát biểu bài toán phân cụm dữ liệu. Cải tiến thuật toán học mạng nơron tự tổ chức cho phân cụm dữ liệu.

Ý tưởng của thuật toán cải tiến. Thuật toán học cải tiến của mạng nơron tự tổ chức cho phân cụm dữ liệu. Mở rộng cấu trúc mạng nơron tự tổ chức cho phân cụm dữ liệu. Cấu trúc mạng nơron tự tổ chức mở rộng hai lớp.

Thuật toán huấn luyện mạng nơron tự tổ chức mở rộng hai lớp. Thực nghiệm thuật toán học cải tiến và mạng tự tổ chức mở rộng hai lớp. Mục tiêu thực nghiệm. Phương pháp thực nghiệm.

Các tham số khởi tạo mạng. Kết quả thực nghiệm. So sánh các phương thức đề xuất với một số phương thức khác. Kết luận chương 4 .121 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI LUẬN ÁN .123 CÁC CÔNG TRÌNH KHOA HỌC CỦA NGHIÊN CỨU SINH .125 TÀI LIỆU THAM KHẢO .134 Phụ lục 1: Một số độ đo theo cặp đánh giá chất lượng gom cụm.134 Phụ lục 2: Độ chính xác phân loại (Accuracy) .136 7 Danh mục các từ viết tắt Từ viết tắt Diễn giải AHIGG Adaptive Hierarchical Incremental Grid Growing ANN Artificial Neural Network BDK Bi-Directional Kohonen BMU Best Matching Unit BoA Bubble of Activity BSOM Bayesian Self-Organizing Map CCS Cohn's CSS (Constrained Semi-Supervised) CPN Counter Propagation Network CS2GS Constrained SemiSupervised GSOM CSPA Cluster-based Similarity Partitioning Algorithm DCS Davidson's CSS (Constrained Semi-Supervised) DM Distortion Measure ET Evolving Tree GCS Growing Cell Structure GG Growing Grid GHSOM Growing Hierarchical SOM GHSSOM Growing Hierarchical Semi-Supervised SOM GHTSOM Growing Hierarchical Tree SOM GMM Gaussian Mixture Model GNG Growing Neural Gas GSOM Growing SOM GWCA Generalized Weighted Cluster Aggregation HFM Hierarchical Feature Map HGPA Hyper-Graph-Partitioning Algorithm HTS Hierarchical Tree Structure IGG Incremental Grid Growing IMQS Improving Map Quality of SOM KGSOM Kernel GSOM KNN k-Nearest Neighbor NG Neural Gas 8 NMFC Nonnegative Matrix Factorization based Consensus QE Quantization Error RCS Ruiz's CSS (Constrained Semi-Supervised) RSOM Recurrent Self-Organizing Map SC Spectral Clustering SKN Supervised Kohonen Network sNet-SOM Supervising Network Self-Organizing Map SOM Self Organizing Map SOM-P SOM-Partitional SOMSR SOM with Selective Refractoriness SOTA Self-Organizing Tree Algorithm SOTM Self Organising Tree Map SSGSOM Semi-Supervised GSOM SVM Support Vector Machine TE Topographic Error TP Topographic Product TRN Topology Representing Network TSSOM Tree-Structured SOM TSVQ Tree-Structured VQ TTOCONROT TTOSOM with Conditional Rotations TTOSOM Tree-Based Topology-Oriented SOM WC Weighted Consensus XYF X–Y Fused Network 9 Danh mục các ký hiệu toán học Ký hiệu Diễn giải  Hằng số thời gian  Tham số điều chỉnh mức độ giảm kích thước của nút con so với nút cha  Tham số xác định ngưỡng phân ly ,  Tham số ngưỡng ab Kích thước lớp Kohonen ceil() Hàm làm tròn lên center Tâm cụm dữ liệu d(x,wi) Khoảng cách giữa vector x và vector wi d, y Mẫu đầu ra e Nhãn lỗi Ed Hàm lỗi đánh giá mức độ biến dạng của bản đồ hci(t) Hàm lân cận của nơron i xác định tại lần huấn luyện thứ t L0 Tỉ lệ học khởi tạo của toàn mạng Li(0) Tỉ lệ học khởi tạo của nơron thứ i Li(t) Tỉ lệ học của nơron thứ i tại lần học thứ t m, g Các nút trên cây phân tầng GHSSOM N Tổng số mẫu có trong tập dữ liệu N0, R0 Bán kính lân cận khởi tạo Nc(t), R(t) Bán kính lân cận tại lần học thứ t Nq Nơron thứ q pij(t) Xác suất nơron thứ i (lớp 1) thuộc vào nhóm của nơron thứ j (lớp 2) tại lần huấn luyện thứ t Q Tổng khoảng cách của các mẫu đầu vào đối với trọng số của nơron q, p Các tham số điều chỉnh cho hàm lân cận QE Lỗi lượng tử của mạng qei Lỗi lượng tử của nơron i r Tổng số cụm (nhóm) Sc Khoảng cách trọng tâm của tập dữ liệu t Lần huấn luyện (lần học thứ t) 10 T Tổng số lần huấn luyện mạng T0 Tổng số lần huấn luyện nút gốc V, I, J Tập dữ liệu wc Vector trọng số của nơron chiến thắng (BMU) wi Vector trọng số của nơron thứ i wi(t) Vector trọng số của nơron thứ i tại lần học thứ t wij Thành phần trọng số của nơron thứ i ứng với đầu vào thứ j x(t) Mẫu đầu vào tại lần học thứ t 11 Danh mục các bảng Bảng 1.

1 So sánh một số mạng nơron ra đời trước năm 1990. 2 So sánh các biến thể SOM không sử dụng cấu trúc cây. 3 So sánh các biến thể SOM sử dụng cấu trúc cây. 4 So sánh các mạng nơron tự tổ chức có giám sát.

1 Thông tin về các tập dữ liệu sử dụng để thực nghiệm. 2 Kết quả thực nghiệm khi cố định tham số p=2, thay đổi tham số q. 3 Kết quả thực nghiệm khi thay đổi tham số p, cố định tham số q. 4 So sánh độ đo QE, TE của một số dạng hàm lân cận.

5 Kết quả thực nghiệm thuật toán Batch-IMQS. 1 Tham số q của hàm lân cận áp dụng cho các tập dữ liệu. 2 Kết quả phân lớp của GHSSOMv1. 3 Kết quả phân lớp của GHSSOMv2.

4 Kết quả phân lớp Iris của GHSSOM và một số phương thức. 5 Kết quả phân lớp của GHSSOM và một số phương thức cài đặt trong WEKA. 6 Kết quả phân lớp của LibSVM. 1 So sánh các phương pháp phân cụm dữ liệu của SOM.

2 Kết quả thực nghiệm phân cụm của SOM-P và SOM-2. 3 So sánh SOM-P, SOM-2 với GWCA và một số phương thức khác. 4 So sánh SOM-P, SOM-2 với GSOM và KGSOM. 5 So sánh SOM-P, SOM-2 với một số phương thức khác .