Luận án tiến sĩ về mô hình mạng nơ ron xung nhị phân - Đinh Văn Ngác

Học sâu là nhánh của trí tuệ nhân tạo. Nó sử dụng mạng nơ ron nhiều lớp để học từ dữ liệu. Các ứng dụng đa dạng, từ nhận dạng giọng nói đến xử lý ngôn ngữ tự nhiên. Trong xử lý ảnh, học sâu đạt được những bước tiến vượt bậc. Các bài toán như phân loại ảnh, phát hiện đối tượng, phân đoạn ảnh được giải quyết hiệu quả. Các mô hình như CNN đã trở thành tiêu chuẩn. Tuy nhiên, các mô hình này thường yêu cầu tài nguyên tính toán lớn. Điều này gây khó khăn khi triển khai trên phần cứng nhúng. Tối ưu hóa mô hình là cần thiết.

Mạng nơ ron xung (SNN) là thế hệ mạng nơ ron thứ ba. SNN xử lý thông tin dưới dạng xung nhị phân. Các SNN có tiềm năng tiết kiệm năng lượng. SNN phù hợp với các thiết bị di động, IoT. Mạng nơ ron xung nhị phân (BSNN) là một cải tiến. BSNN sử dụng trọng số nhị phân (-1 hoặc 1). Việc nhị phân hóa trọng số giúp giảm kích thước mô hình. Nó cũng đơn giản hóa các phép tính. Điều này tối ưu hóa việc sử dụng tài nguyên phần cứng. BSNN đặc biệt thích hợp cho Edge-AI. Hiệu quả tính toán được cải thiện đáng kể.

Nghiên cứu về SNN và BSNN còn đối mặt nhiều thách thức. Việc huấn luyện SNN phức tạp hơn DNN. Vấn đề gradient không liên tục cần được giải quyết. Hiệu suất của BSNN thường thấp hơn DNN đầy đủ. Tối ưu hóa kiến trúc và phương pháp huấn luyện là cần thiết. Khả năng chống chịu trước tấn công đối nghịch cũng là một mối quan tâm. Các thiết bị Edge-AI cần được bảo vệ. Định hướng nghiên cứu tập trung vào cải thiện độ chính xác. Đồng thời, tối ưu hóa năng lượng và tài nguyên. Phát triển các phương pháp phòng thủ là ưu tiên.

Một kiến trúc mạng nơ ron xung nhị phân mới được đề xuất. Kiến trúc này tích hợp toàn bộ trọng số nhị phân. Các nơ ron xung được thiết kế để hoạt động hiệu quả. Chúng sử dụng cơ chế tích lũy và phát xung. Quá trình nhị phân hóa trọng số diễn ra trong quá trình huấn luyện. Kỹ thuật này giảm đáng kể số lượng bit cho mỗi trọng số. Điều này giúp giảm bộ nhớ cần thiết. Nó cũng tăng tốc độ tính toán trên phần cứng. Kiến trúc cũng xem xét các bước thời gian không đồng nhất. Điều này cho phép sự linh hoạt hơn trong xử lý xung. Mục tiêu là tối ưu hóa cả về độ chính xác và hiệu năng.

Huấn luyện mạng nơ ron xung nhị phân gặp nhiều khó khăn. Gradient của hàm kích hoạt xung không liên tục. Để giải quyết, phương pháp gradient thay thế được áp dụng. Phương pháp này cho phép lan truyền ngược gradient. Nó giúp tối ưu hóa trọng số nhị phân. Các tham số huấn luyện được tinh chỉnh kỹ lưỡng. Tốc độ học và hệ số tỉ lệ được điều chỉnh. Mục tiêu là đạt được sự hội tụ ổn định. Đồng thời, độ chính xác của mô hình được duy trì cao nhất. Quá trình huấn luyện diễn ra trên các tập dữ liệu lớn. Các kỹ thuật như chuẩn hóa batch cũng được tích hợp. Điều này cải thiện khả năng tổng quát hóa.

Để thực thi BSNN hiệu quả trên phần cứng, kiến trúc tính toán trong bộ nhớ được phát triển. Kiến trúc này dựa trên phép tính XNOR. Phép tính XNOR thay thế phép nhân-tích lũy (MAC) truyền thống. Phép tính XNOR đơn giản hơn và tiết kiệm năng lượng. Một mảng XNOR được thiết kế đặc biệt. Mảng này thực hiện các phép tính cho BSNN. Các tính toán được thực hiện trực tiếp trong bộ nhớ. Điều này giảm thiểu việc di chuyển dữ liệu. Giảm di chuyển dữ liệu giúp tiết kiệm năng lượng. Nó cũng tăng tốc độ xử lý. Kiến trúc này đặc biệt phù hợp cho các thiết bị Edge-AI. Nơi hiệu quả năng lượng là yếu tố then chốt.

Mô hình BSNN đề xuất được thử nghiệm trên các tập dữ liệu MNIST và CIFAR-10. Các tập dữ liệu này là chuẩn mực trong nghiên cứu học sâu. MNIST bao gồm các chữ số viết tay. CIFAR-10 chứa 10 loại hình ảnh tự nhiên. Kết quả thử nghiệm cho thấy độ chính xác cao. Mô hình đạt được hiệu suất cạnh tranh so với các phương pháp hiện đại. Điều này chứng minh tính khả thi của BSNN. Nó có thể được ứng dụng trong các tác vụ phân loại ảnh thực tế. Việc cài đặt các tham số huấn luyện được mô tả chi tiết. Điều này giúp đảm bảo tính lặp lại của thí nghiệm.

Các tham số huấn luyện có ảnh hưởng lớn đến hiệu suất mô hình. Nghiên cứu khảo sát ảnh hưởng của bước thời gian. Nó cũng xem xét hệ số tỉ lệ của bộ tạo số ngẫu nhiên (SNG). Số lần tích lũy tại lớp đầu tiên cũng được phân tích. Độ sâu của cấu trúc mạng là một yếu tố khác. Ảnh hưởng của tính ngẫu nhiên của khối SNG cũng được đánh giá. Các thử nghiệm chỉ ra cách các tham số này tác động đến độ chính xác. Việc hiểu rõ các yếu tố này giúp tối ưu hóa quá trình huấn luyện. Điều này dẫn đến mô hình BSNN có hiệu quả tốt hơn.

Mô hình BSNN đề xuất được so sánh với các mô hình BSNN khác. Các tiêu chí so sánh bao gồm độ chính xác và hiệu quả tính toán. Các mô hình hiện có thường gặp khó khăn. Chúng có thể có độ chính xác thấp hơn hoặc tiêu thụ nhiều tài nguyên hơn. Mô hình đề xuất cho thấy sự cân bằng tốt hơn. Nó đạt được độ chính xác cao trong khi vẫn duy trì hiệu quả năng lượng. Kết quả này khẳng định ưu điểm của kiến trúc mới. Nó cũng chứng minh hiệu quả của phương pháp huấn luyện. Mô hình này là một bước tiến quan trọng cho tính toán Edge-AI.

Các tấn công đối nghịch được phân loại thành nhiều loại. Chúng bao gồm tấn công hộp đen và hộp trắng. Các thuật toán như FGSM, PGD thường được sử dụng. Chúng tạo ra các mẫu đối nghịch bằng cách thêm nhiễu vào dữ liệu đầu vào. Tác động của tấn công đối nghịch lên mạng nơ ron sâu là đáng kể. Nó có thể khiến mô hình đưa ra dự đoán sai lệch hoàn toàn. Điều này gây nguy hiểm trong các ứng dụng quan trọng. Ví dụ như xe tự lái hoặc chẩn đoán y tế. Việc hiểu rõ cơ chế tấn công là bước đầu tiên để phòng thủ hiệu quả.

Để nâng cao khả năng chống chịu tấn công, phương pháp huấn luyện EFAT được đề xuất. EFAT là viết tắt của "Enhanced Adversarial Fine-Tuning". Phương pháp này tích hợp mẫu đối nghịch vào quá trình huấn luyện. Nó giúp mô hình học cách nhận diện và xử lý các nhiễu loạn. EFAT được điều chỉnh đặc biệt cho mạng nơ ron nhị phân (BNN) và mạng nơ ron xung nhị phân (BSNN). Việc tính toán gradient cho BSNN trong bối cảnh đối nghịch được xem xét. Điều này là quan trọng do tính chất không liên tục của hàm kích hoạt xung. Phương pháp này cải thiện đáng kể độ bền của mô hình.

Mô hình BSNN đề xuất được đánh giá khả năng phòng thủ. Thử nghiệm thực hiện trên tập dữ liệu MNIST và CIFAR-10. Các tấn công đối nghịch được tạo ra. Khả năng phân loại của mô hình dưới các tấn công này được đo lường. Kết quả cho thấy sự cải thiện đáng kể về độ bền. Phương pháp EFAT giúp BSNN duy trì độ chính xác cao hơn. Nó vượt trội so với các mô hình không được huấn luyện phòng thủ. Kết quả này chứng tỏ hiệu quả của phương pháp đề xuất. Nó là một bước tiến quan trọng trong việc bảo vệ các mô hình AI tại biên.