Luận án tiến sĩ CNTT: Nâng cao hiệu năng mô hình RBF rút gọn cho bài toán phân lớp

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Phạm Quốc Thắng LUAN AN TIEN SI CONG NGHE THONG TIN Ha Noi — 2022 DAI HỌC QUOC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Phạm Quốc Thắng Chuyên ngành: Khoa học máy tính Mã số: 9.01 LUẬN ÁN TIEN SĨ CÔNG NGHỆ THONG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: 1.TS Nguyễn Thanh Thủy 2.TS Nguyễn Đức Dũng Hà Nội — 2022 LỜI CAM ĐOAN Toi xin cam đoan các kết quả trình bày trong luận án là công trình nghiên cứu của tôi dưới sự hướng dẫn của các cán bộ hướng dẫn. Các số liệu, các kết quả trình bày trong luận án hoàn toàn trung thực và chưa được công bố trong các công trình trước đây. Các dữ liệu tham khảo được trích dẫn day đủ. Hà Nội, ngàu tháng năm 2022 Phạm Quốc Thắng LỜI CẢM ƠN Trong quá trình nghiên cứu và hoàn thành luận án, nghiên cứu sinh đã nhận được sự định hướng, giúp đỡ, các ý kiến đóng góp quý báu và những lời động viên của các nhà khoa học, các thầy cô giáo, đồng nghiệp và gia đình.

Trước tiên, nghiên cứu sinh xin bày tỏ lòng biết ơn sâu sắc tới các thầy GS.TS Nguyễn Thanh Thủy, PGS.TS Nguyễn Đức Dũng đã tận tình hướng dẫn, động viên và giúp đỡ trong quá trình nghiên cứu. Cho phép nghiên cứu sinh chân thành cảm ơn các thầy cô giáo, các nhà khoa học của Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội đã có các góp ý quý báu cho nghiên cứu sinh trong quá trình thực hiện luận án này. Nghiên cứu sinh chân thành cảm ơn Ban Giám hiệu, Khoa Khoa học Tự nhiên - Công nghệ, Trường Đại học Tây Bắc đã tạo điều kiện thuận lợi để nghiên cứu sinh hoàn thành nhiệm vụ nghiên cứu. Cuối cùng, nghiên cứu sinh bày tỏ lời cảm ơn tới các đồng nghiệp, gia đình, bạn bè đã luôn động viên, chia sẻ, ủng hộ và giúp đỡ nghiên cứu sinh vượt qua khó khăn để đạt được những kết quả nghiên cứu trong luận án này.

NCS Phạm Quốc Thắng 1 MỤC LUC LOICAMON.0000 cee en ii MỤC LỤC. ee iii DANH MỤC CAC KY HIỆU, CÁC CHU VIET TAT. vi DANH MỤC CAC HINH VE. vi DANH MỤC CAC BANG BIEU.

ix MỞ DAU. eee 1 CHƯƠNG 1. MO HINH RBF RUT GON TRONG BÀI TOÁN PHAN LỚP 7 1.1 Giới thiệu mô hình RBE.2 SVM: mô hình phân lớp RBF dựa trên lề cực dai. 8 121 SVM tuyến tính.22 SVM phi tuyến sử dụng hàm nhân RBF.3 RVM: mô hình phân lớp RBF dựa trên suy luận Bayes.1 Mô hình Bayes rút gọn.2 Phân lớp với mô hình Bayes rút gọn.4 Độ phức tap tính toán của các thuật toán .41 Độ phức tạp tính toán củaSVM.2 Độ phức tạp tính toán của RVM.5 Mô hình lai học sâu và RBF.1 Mô hình học sâu trong phân lốp .2 Mô hình lai CNN-SVM.3 Dé xuất mô hình lai CNN-RBF tổng quat.0 000000000 cee 29 11 CHƯƠNG 2.

CAC THUẬT TOÁN HUAN LUYỆN NHANH MÔ HÌNH RBF RUT GON 30 2.1 Các phương pháp huấn luyện mô hình RBF rút gon.1 Các kỹ thuật tang tốeSVM.2 Các kỹ thuật tăng tốeRVM.2 Dữ liệu thực nghiệm và đánh giá hiệu nang phân lớp.1 Dữ liệu thực nghiệm .2 Đánh giá hiệu năng phân lớp .3 Thuật toán SimpSVM ngẫu nhiên.1 Thuật toán SimpSVM-GD.2 Đề xuất thuật toán SimpSVM-SVD .4 Thuật toán FastRVM.41 Thuật toán RVM2.2 Đề xuất thuật toán FastRVM.9 Kết chương. UNG DUNG MÔ HÌNH RBF RUT GON TRONG PHAN LỚP DOI TUGNG 62 3.1 Phân lớp nhận dạng ngôn ngữ ký hiệu .1 Mô tả tập dữ liệu.2 Trích chọn đặc trung .13 Lựa chọn tham số.4 Phân lớp ký hiệu .2 Phân lớp nhận dạng cử chỉ người .1 Tập dữ liệu. Trích chọn đặc trưng.4 Phân lớp cử chỉ, hành động. Phân lớp nhận dạng ảnh hoa .1 Tap dữ liệu 2.2 Trích chọn đặc trung .3 Lựa chọn tham s6.4 Phân lớp anh hoa.00 0000000002 eee KET LUAN 89 DANH MUC CONG TRINH KHOA HOC 92 TAI LIEU THAM KHAO 93 DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT CNN Convolutional Neural Network DBN_ Deep Belief Network DCA_ Discriminant Canonical Analysis DDT Deep Decision Tree DL Deep Learning EM Expectation-Maximization FN False Negative FP False Positive GPU Graphics Processing Unit LOP Local Occupancy Patterns RBF Radial Basis Function RV Relevance Vector RVM_ Relevance Vector Machine SV Support Vector 5VM_ Support Vector Machine TN True Negative TP True Positive VC Vapnik-Chervonenkis vi DANH MỤC CÁC HÌNH VE Hình 1.1 Siêu phẳng phân tách tập mẫu trong không gian R#.2 Siêu phẳng phân chia hai tập mẫu .3 Tập mẫu không thể phân hoạch bằng một siêu phẳng .4 Một mặt phân chia phi tuyến trở thành một siêu phẳng trong không gian lớn hơn .5 Mô hình CNN phân lớp ảnh.6 Mô hình lai CNN-SVM nhận dạng chữ viết tay [52].7 Mô hình lai CNN-RBF tổng quát.1 So sánh thời gian huấn luyện giữa các SimpSVM.2 Tốc độ rút gọn va độ chính xác giữa các SVM rit gọn .3 Dồ thị của /(a;) đối với a; (trên thang do log) [77].4 Thời gian huấn luyện giữa RVM2 và RVM [7ð].5 Lỗi phân lớp và độ rút gọn của mô hình RVM2 và RVM [75] 58 Hình 3.1 Cách diễn đạt từ "thanks" trong ngôn ngữ Auslan [25] .2 Găng tay dụng cụ cùng các cảm biến ghi lại dit liệu cử chỉ biểu thị ký hiệu trong ngôn ngữ Auslan (nguồn: Internet).

Tìm kiếm trên ô lưới để tìm các giá trị tham số Ở,+.4 Kiểm tra chéo 5-fold cho các mô hình thực nghiệm .5 D6 chính xác và độ đo 1 của các thuật toán SVM, SimpSVM- GD, SimpSVM-SVD, RVM2 và FastRVM trên 3 kiểu đặc trưng .6 Số vectơ cơ sở của các thuật toán SVM, SimpSVM-GD, SimpSVM-SVD, RVM2 và FastRVM trên 3 kiểu đặc trưng .7 Thời gian huấn luyện của SimpSVM-GD, SimpSVM-SVD, RVM2 và FastRVM với 3 loại đặc trưng .8 Cảm biến Kinect của Microsoft (nguồn: Internet) .9 Cảm biến Kinect ghi lại dữ liệu về khung xương (nguồn: Internet). cu go 73 Hình 3.10 Minh họa các ví dụ về 12 cử chỉ trong MSRC-12 (nguồn: Internet) .11 Độ chính xác va độ do F'1 của các mô hình SVM, SimpSVM- GD, SimpSVM-SVD, RVM2 và FastRVM trong phân lóp cử chỉ 0150000.12 Số hàm cơ sở của các mô hình học được bởi SVM, SimpSVM- GD, SimpSVM-SVD, RVM2 và FastRVM trong phân lớp cử chỉ 05190.13 Thời gian huấn luyện của các mô hình học được bởi SimpSVM- GD, SimpSVM-SVD, RVM2 và FastRVM trong phân lớp cử chỉ HPƯỜI. LH nu ng g g v k kg k v k k va 78 Hình 3.14 Minh họa ví dụ về ảnh các loài hoa trong 2 tập dữ liệu Oxford 17-Flowers và Oxford 102-Flowers [5l].15 Mo hình sử dung CNN để trích chon đặc trưng tự động của Hình 3.16 Độ chính xác và độ đo F1 của các mô hình CNN, CNN-SVM, CNN-SimpSVM-GD, SimpSVM-SVD, CNN-RVM2 và CNN-FastRVM trong phân lớp ảnh hoa.17 Số hàm cơ sở của các mô hình học được bởi CNN, CNN- SVM, CNN-SimpSVM-GD, CNN-SimpSVM-SVD, CNN-RVM2 và CNN-FastRVM trong phân lớp ảnh hoa.18 Thời gian huấn luyện của các mô hình học được bởi CNN, CNN-SVM, CNN-SimpSVM-GD, CNN-SimpSVM-SVD, CNN-RVM2 và CNN-FastRVM trong phân lớp ảnh hoa. 86 1X DANH MỤC CAC BANG BIEU Bảng 2.1 Các tap dữ liệu và tham số thiết lap sử dung trong thực nghiệm so sánh hiệu năng các SimpSVM.2 Các tham số thiết lap sử dung trong thực nghiệm so sánh hiệu năng SimpSVM-GD với SVM gốc.

Độ chính xác dự đoán của SimpSVM-GD với tốc độ tăng tốc pha kiểm thử khác nhau trên các tập dữ liệu .4 Độ chính xác dự đoán của các SimpSVM với tốc độ tăng tốc pha kiểm thử khác nhau trên các tập dữ liệu .5 Thời gian huấn luyện của các SimpSVM trên các tập dữ liệu 49 Bảng 2.6 Các tham số trong thực nghiệm so sánh hiệu năng FastRVM với RVM2.7 Độ chính xác và thời gian huấn luyện của các thuật toán RVM2 và FastRVM_.1 Danh sách các kênh thông tin của tập dữ liệu Auslan.2_ Kết quả phân lớp nhận dạng ngôn ngữ ký hiệu .3 So sánh kết quả của các phương pháp học máy dùng để phân lớp ngôn ngữ ký hiệu Auslan .4 Kết quả phân lớp nhận dạng cử chingudi.5 Tốc độ pha kiểm thử của các phương pháp trong nhận dang cử chỉ người. HH ee va 77 Bang 3.6 So sánh kết qua của các phương pháp hoc máy dùng để phân lớp cử chỉ người. ee ee 79 Bang 3.7 Tham số huấn luyện mang ResNet18 tinh chỉnh .8 Kết quả phân lớp nhận dang ảnh hoa .9 So sánh kết quả của các phương pháp phân lớp ảnh hoa. 88 xi MỞ ĐẦU Tính cấp thiết của đề tai nghiên cứu: Ngày nay, sự bùng nổ như vũ bão của CNTT và kỹ thuật số dẫn đến dữ liệu trong thực tế gia tăng nhanh chóng cả về dung lượng lẫn chủng loại.

Học máy và khai phá dữ liệu trở thành công cụ hiệu quả giúp con người giải quyết vấn đề xử lý, phân tích thông tin, dữ liệu một cách tự động. Phân lớp đối tượng là một trong những chủ đề chính trong học máy và khai phá dữ liệu, đã và đang được cộng đồng nghiên cứu và doanh nghiệp quan tâm do sự cần thiết và khả năng ứng dụng thực tiễn trong nhiều lĩnh vực của cuộc sống. Phân lớp (classfication) là tiến trình xử lý nhằm xếp dữ liệu hay đối tượng được xem xét vào một trong các lớp được định nghĩa trước. Các mẫu dữ liệu chính là các đối tượng được phân lớp, được chuyên gia đo đạc, quan sát trực tiếp trên thực tế.

Khi đó, giá trị thuộc tính của các đối tượng mẫu có vai trò quan trọng, theo nghĩa do các đối tượng mẫu đã được xếp vào các lớp tương ứng, mỗi lớp sẽ được đặc trưng bởi tập các giá trị thuộc tính của các đối tượng mẫu chứa trong lớp đó. Phân lớp đối tượng là nhiệm vụ dễ dàng đối với con người, nhưng lại là một bài toán phức tạp đối với máy móc. Quá trình phân lớp thường bao gồm các bước chính. Bước đầu tiên, thu thập dữ liệu, tiền xử lý và trích chọn đặc trưng.

Bước thứ hai, gọi là pha huấn luyện, phân tích di liệu và xây dựng mô hình phân lớp phù hợp dựa trên dữ liệu huấn luyện. Bước thứ ba, gọi là pha kiểm thử, đánh giá hiệu năng của mô hình phân lớp trên dữ liệu kiểm thử. Cuối cùng, nếu hiệu năng của mô hình phân lớp được khẳng định thì mô hình phân lớp đó được sử dụng để phân lớp cho đối tượng dữ liệu mới về sau. Phân lớp đối tượng được sử dụng rộng rãi trong nhiều miền ứng dụng khác 1 nhau như: nhận dạng ngôn ngữ ký hiệu, cử chỉ, hành động, nhận dạng ảnh y sinh, sinh trắc học, ảnh giám sát bằng video, điều hướng xe, giám sát trực quan công nghiệp, điều hướng robot, viễn thám.

Thực tiễn luôn đặt ra yêu cầu kết quả nhận dạng chính xác cao đi cùng với thời gian thực hiện nhanh, đây là một thách thức rất lớn.