Luận án Tiến sĩ: Nâng cao hiệu năng mô hình RBF rút gọn cho bài toán phân lớp 2024

Mô hình RBF (Radial Basis Function) là một công cụ mạnh mẽ trong học máy, đặc biệt trong các bài toán phân lớp và hồi quy. Cấu trúc mạng RBF bao gồm ba lớp: lớp đầu vào, lớp ẩn với các hàm cơ sở xuyên tâm, và lớp đầu ra. Mỗi hàm cơ sở có tâm và độ rộng riêng, phản ứng mạnh nhất khi dữ liệu đầu vào gần tâm của nó. Điều này cho phép mô hình RBF học các mối quan hệ phi tuyến phức tạp trong dữ liệu. Tuy nhiên, việc huấn luyện mô hình RBF truyền thống có thể tốn kém về mặt tính toán, đặc biệt với dữ liệu lớn. Các phương pháp RBF rút gọn ra đời nhằm giải quyết vấn đề này. Mục tiêu là giảm số lượng các hàm cơ sở mà vẫn duy trì hiệu năng mô hình cao. Điều này giúp tăng tốc độ huấn luyện và dự đoán, làm cho mô hình RBF trở nên thiết thực hơn trong nhiều ứng dụng.

Hai trong số các mô hình RBF phổ biến nhất là Support Vector Machine (SVM) và Relevance Vector Machine (RVM). SVM sử dụng hàm nhân RBF để ánh xạ dữ liệu vào không gian đặc trưng có chiều cao hơn, cho phép tìm kiếm một siêu phẳng phân lớp tối ưu với lề cực đại. SVM hiệu quả nhưng có thể tạo ra số lượng Support Vector (SV) lớn, làm tăng độ phức tạp tính toán. RVM, ngược lại, là một mô hình Bayes rút gọn dựa trên suy luận Bayes. RVM cũng sử dụng hàm nhân RBF nhưng có khả năng tạo ra một mô hình RBF rút gọn hơn đáng kể bằng cách xác định ít Relevance Vector (RV) hơn so với SV của SVM. Số lượng RV ít hơn giúp cải thiện hiệu năng mô hình về mặt tốc độ dự đoán và yêu cầu bộ nhớ, đồng thời vẫn duy trì độ chính xác cao trong bài toán phân lớp. Nghiên cứu khám phá cách tối ưu hóa RBF thông qua việc so sánh và cải tiến các thuật toán này.

Mô hình học sâu (Deep Learning) đã chứng minh khả năng vượt trội trong việc trích chọn đặc trưng tự động và khử chiều dữ liệu. Kết hợp mô hình học sâu với mô hình RBF mở ra hướng nghiên cứu mới để nâng cao hiệu năng mô hình phân lớp. Luận án xem xét mô hình lai CNN-SVM, nơi mạng nơ-ron tích chập (CNN) được sử dụng để trích xuất đặc trưng mạnh mẽ từ dữ liệu thô, sau đó SVM thực hiện phân lớp trên các đặc trưng này. Đi xa hơn, luận án đề xuất mô hình lai CNN-RBF tổng quát. Mô hình này tận dụng khả năng học đặc trưng của CNN và khả năng phân lớp hiệu quả của mạng RBF. Sự kết hợp này nhằm khắc phục nhược điểm của từng mô hình riêng lẻ, tạo ra một thuật toán phân lớp mạnh mẽ hơn, đặc biệt đối với dữ liệu phức tạp như ảnh và chuỗi thời gian, từ đó nâng cao hiệu năng mô hình tổng thể.

Để nâng cao hiệu năng mô hình và giảm độ phức tạp tính toán, nhiều kỹ thuật tối ưu hóa RBF đã được phát triển. Đối với SVM, các kỹ thuật tăng tốc bao gồm sử dụng các phương pháp tập con (subset methods), tối ưu hóa từng phần (decomposition methods) hoặc các thuật toán ngẫu nhiên. Các kỹ thuật này giúp xử lý các tập dữ liệu lớn hơn mà vẫn giữ được đặc tính phân lớp của SVM. Đối với RVM, các cải tiến thường tập trung vào việc tối ưu hóa quy trình ước tính tham số Bayes và lựa chọn Relevance Vector. Mục tiêu là giảm số lượng các vector liên quan, từ đó tạo ra một mô hình RBF rút gọn và nhanh hơn trong quá trình dự đoán. Việc kết hợp các chiến lược này giúp rút ngắn đáng kể thời gian huấn luyện của mô hình RBF, đồng thời duy trì độ chính xác cần thiết cho bài toán phân lớp trong học có giám sát.

Thuật toán SimpSVM ngẫu nhiên được phát triển nhằm tối ưu hóa RBF trong ngữ cảnh của SVM. SimpSVM-GD là một phiên bản khởi điểm, nhưng luận án đề xuất một thuật toán mới: SimpSVM-SVD (Singular Value Decomposition). SimpSVM-SVD sử dụng phân tích giá trị suy biến để lựa chọn các Support Vector một cách hiệu quả hơn. Kỹ thuật này giúp giảm số lượng SV, tạo ra một mô hình RBF rút gọn mà vẫn duy trì khả năng phân lớp cao. Việc giảm số lượng SV trực tiếp cải thiện hiệu năng mô hình về mặt tốc độ huấn luyện và dự đoán. SimpSVM-SVD tận dụng các đặc tính của dữ liệu để tìm ra một tập hợp các SV đại diện hơn, từ đó khử chiều một cách hiệu quả và giảm độ phức tạp tính toán của mạng RBF. Kết quả là một thuật toán phân lớp nhanh hơn và hiệu quả hơn cho các ứng dụng thực tế.

Trong nỗ lực tối ưu hóa RBF cho RVM, luận án cũng nghiên cứu và đề xuất thuật toán FastRVM. Các thuật toán trước đó như RVM2 đã đạt được những cải tiến nhất định so với RVM gốc. Tuy nhiên, FastRVM được thiết kế để đẩy nhanh hơn nữa quá trình huấn luyện và phân lớp. FastRVM tập trung vào việc tinh chỉnh cơ chế lựa chọn Relevance Vector và cập nhật tham số Bayes. Mục tiêu là xác định nhanh chóng các RV quan trọng nhất, từ đó xây dựng một mô hình RBF rút gọn với số lượng vector cơ sở tối thiểu. Điều này làm giảm đáng kể độ phức tạp tính toán và thời gian cần thiết để huấn luyện mô hình RBF. FastRVM mang lại hiệu năng mô hình vượt trội, đặc biệt hữu ích trong các tình huống yêu cầu học máy nhanh chóng và đáng tin cậy trên các tập dữ liệu lớn, giúp mở rộng ứng dụng của học có giám sát.

Để đánh giá hiệu năng phân lớp của các mô hình RBF rút gọn, nhiều tập dữ liệu thực nghiệm đa dạng đã được sử dụng. Các tập dữ liệu này bao gồm các bộ dữ liệu chuẩn trong học máy cũng như các tập dữ liệu thực tế từ các bài toán phân lớp cụ thể. Việc lựa chọn kỹ lưỡng các tập dữ liệu đảm bảo rằng các thuật toán phân lớp được kiểm tra trong nhiều kịch bản khác nhau. Điều này giúp đánh giá khả năng tổng quát hóa và độ bền của các phương pháp tối ưu hóa RBF. Môi trường thực nghiệm được thiết lập để đảm bảo tính công bằng trong các phép so sánh. Các tham số của mô hình RBF được tinh chỉnh cẩn thận để đạt được hiệu năng mô hình tối ưu trên từng tập dữ liệu, phản ánh điều kiện ứng dụng thực tế.

Các tiêu chí đánh giá hiệu năng phân lớp đóng vai trò quan trọng trong việc định lượng sự cải thiện của các mô hình RBF rút gọn. Độ chính xác (Accuracy), độ đo F1-score, độ nhạy (Recall) và độ đặc hiệu (Precision) là những chỉ số chính được sử dụng để đánh giá chất lượng phân lớp. Ngoài ra, thời gian huấn luyện và số lượng Support Vector (SV) hoặc Relevance Vector (RV) được dùng để đo lường độ phức tạp tính toán và mức độ rút gọn của mô hình RBF. Một mô hình RBF rút gọn lý tưởng phải có độ chính xác cao, thời gian huấn luyện ngắn và số lượng vector cơ sở nhỏ. Các tiêu chí này cung cấp một cái nhìn toàn diện về hiệu năng mô hình, cho phép so sánh khách quan giữa các thuật toán phân lớp khác nhau trong học máy.

Kết quả so sánh giữa các thuật toán phân lớp được đề xuất (SimpSVM-SVD, FastRVM) và các phương pháp hiện có (SVM, RVM2) cho thấy những cải tiến rõ rệt. Các mô hình RBF rút gọn được tối ưu hóa đã chứng minh khả năng giảm đáng kể thời gian huấn luyện. Đồng thời, hiệu năng mô hình về độ chính xác và độ đo F1-score vẫn được duy trì ở mức cao hoặc thậm chí được cải thiện. Đặc biệt, số lượng Support Vector và Relevance Vector giảm đáng kể, khẳng định hiệu quả của các kỹ thuật tối ưu hóa RBF trong việc tạo ra mô hình RBF rút gọn hơn. Điều này không chỉ giúp giảm độ phức tạp tính toán mà còn tăng tính khả thi của việc triển khai mạng RBF trên các ứng dụng yêu cầu tốc độ và hiệu quả bộ nhớ, đặc biệt trong học có giám sát.

Bài toán phân lớp nhận dạng ngôn ngữ ký hiệu là một ứng dụng quan trọng của mô hình RBF rút gọn. Dữ liệu trong lĩnh vực này thường là chuỗi thời gian hoặc hình ảnh của các cử chỉ. Việc trích chọn đặc trưng phù hợp là yếu tố then chốt. Mô hình RBF được huấn luyện trên các đặc trưng này để phân loại các ký hiệu khác nhau. Các phương pháp tối ưu hóa RBF đã giúp cải thiện hiệu năng mô hình về tốc độ và độ chính xác trong việc nhận dạng. Điều này có ý nghĩa lớn đối với việc phát triển các hệ thống hỗ trợ giao tiếp cho người khiếm thính. Khả năng xử lý dữ liệu phức tạp và cung cấp kết quả phân lớp nhanh chóng làm cho mô hình RBF rút gọn trở thành một lựa chọn lý tưởng cho ứng dụng này trong học máy.

Nhận dạng cử chỉ người là một lĩnh vực khác nơi mô hình RBF rút gọn thể hiện hiệu quả. Cử chỉ có thể được sử dụng để điều khiển thiết bị hoặc tương tác trong môi trường thực tế ảo. Thách thức nằm ở sự đa dạng của cử chỉ và điều kiện ánh sáng khác nhau. Mô hình RBF được sử dụng để phân lớp các cử chỉ dựa trên các đặc trưng không gian và thời gian. Các thuật toán như SimpSVM-SVD và FastRVM đã giúp nâng cao hiệu năng mô hình bằng cách rút gọn mạng RBF và tăng tốc độ xử lý. Khả năng khử chiều của mô hình RBF cũng giúp xử lý các đặc trưng có chiều cao. Ứng dụng này chứng minh tiềm năng của học có giám sát và thuật toán phân lớp hiệu quả trong việc tạo ra các giao diện người-máy tự nhiên hơn.

Bài toán phân lớp nhận dạng ảnh hoa là một ứng dụng tiêu biểu khác cho mô hình RBF rút gọn. Đối với ảnh, việc trích xuất đặc trưng là bước quan trọng. Các đặc trưng hình ảnh được đưa vào mô hình RBF để phân loại các loài hoa khác nhau. Các phương pháp tối ưu hóa RBF đã cải thiện đáng kể hiệu năng mô hình trong việc phân loại ảnh, đạt được độ chính xác cao. Điều này đặc biệt có giá trị trong các hệ thống nhận dạng tự động hoặc trong lĩnh vực thực vật học. Mạng RBF với khả năng học các ranh giới phân lớp phức tạp chứng tỏ tính ưu việt. Việc áp dụng các thuật toán phân lớp nhanh hơn giúp xử lý lượng lớn ảnh một cách hiệu quả, đóng góp vào sự phát triển của học máy trong thị giác máy tính.