Luận án Tiếng Việt Kỹ thuật Phần mềm - Phương pháp đảm bảo tính chắc chắn cho mô hình học sâu

Mục tiêu chính là đề xuất các phương pháp đảm bảo tính chắc chắn. Phạm vi nghiên cứu tập trung vào mô hình học sâu cho phân loại ảnh. Bài toán phân loại ảnh là nền tảng của nhiều ứng dụng thực tế. Nghiên cứu bao gồm tấn công đối kháng và phòng thủ đối kháng. Tấn công đối kháng không định hướng và có định hướng đều được xem xét. Phòng thủ sử dụng mô hình mã hóa tự động là trọng tâm. Hiệu chuẩn độ tự tin (confidence calibration) cũng được nghiên cứu. Định lượng bất định (uncertainty quantification) giúp đánh giá rủi ro dự đoán. Ổn định dự đoán mạng nơ-ron là tiêu chí đánh giá quan trọng. Phạm vi bao gồm cả lý thuyết và thực nghiệm chi tiết.

Luận án đóng góp nhiều phương pháp mới có giá trị. Phương pháp HA4FNN sử dụng bộ giải phỏng đoán tấn công không định hướng. Phương pháp PatternAttack cải thiện chất lượng ảnh đối kháng có định hướng. Phương pháp QI4AE kết hợp mô hình mã hóa tự động với thuật toán tham lam. Phương pháp SCAADefender cải thiện tính chắc chắn mô hình tích chập. Mỗi phương pháp giải quyết một bài toán cụ thể trong chu trình đảm bảo robustness. Kết quả thực nghiệm chứng minh hiệu quả vượt trội so với phương pháp hiện có. Các đóng góp mở rộng hiểu biết về kháng nhiễu mô hình deep learning. Phương pháp có tiềm năng ứng dụng trong hệ thống an toàn thực tế.

Luận án gồm bảy chương chính được sắp xếp logic. Chương 2 trình bày kiến thức nền tảng về mạng học sâu và tấn công đối kháng. Chương 3 đề xuất phương pháp tấn công không định hướng mới. Chương 4 đề xuất phương pháp tấn công có định hướng cải tiến. Chương 5 cải thiện chất lượng ảnh đối kháng bằng thuật toán tham lam. Chương 6 đề xuất phương pháp phòng thủ sử dụng mã hóa tự động. Chương 7 tổng kết kết quả và hướng phát triển tiếp theo. Các chương có mối quan hệ mật thiết với nhau. Kết quả tấn công phục vụ đánh giá phương pháp phòng thủ. Cây nghiên cứu thể hiện rõ cấu trúc và mối liên kết giữa các phần.

Mạng nơ-ron truyền thẳng gồm nhiều tầng nơ-ron kết nối đầy đủ. Mỗi nơ-ron tính tổng có trọng số đầu vào cộng bias. Hàm kích hoạt phi tuyến cho phép học mẫu phức tạp. Mạng tích chập sử dụng bộ lọc tích chập trích xuất đặc trưng. Các tầng pooling giảm kích thước đặc trưng giữ thông tin quan trọng. Kiến trúc CNN hiệu quả với dữ liệu có cấu trúc không gian. LeNet-5 gồm các tầng tích chập xen kẽ tầng pooling. AlexNet, VGGNet, ResNet là các kiến trúc CNN hiện đại hơn. Số tham số lớn đòi hỏi dữ liệu huấn luyện phong phú. Chống quá khớp là thách thức thường xuyên với mạng lớn. Khử chuẩn hóa dropout, weight decay giúp cải thiện tổng quát hóa.

Mạng mã hóa tự động học ánh xạ nén rồi tái tạo dữ liệu. Phần encoder nén đầu vào thành biểu diễn latent compact. Phần decoder tái tạo dữ liệu từ biểu diễn latent. Mạng mã hóa tự động thưa thêm ràng buộc vào biểu diễn latent. Ràng buộc thưa迫使少数 latent neurons kích hoạt mạnh. Mạng mã hóa tự động xếp chồng huấn luyện từng tầng greedily. Mỗi tầng học đặc trưng trừu tượng hơn tầng trước. Mạng mã hóa tự động tích chập xếp chồng dùng tích chập cho encoder. Kiến trúc này phù hợp với dữ liệu hình ảnh có cấu trúc. Biểu diễn latent học được chứa thông tin tinh tế về dữ liệu. Mạng mã hóa tự động là công cụ mạnh cho phát hiện bất thường.

Tấn công đối kháng tạo mẫu giả đánh lừa mô hình học sâu. Ảnh đối kháng khác biệt nhỏ so với ảnh gốc nhưng dự đoán sai. Hai loại tấn công chính là không định hướng và có định hướng. Tấn công không định hướng chỉ cần dự đoán sai bất kỳ lớp nào. Tấn công có định hướng迫使模型 dự đoán sai sang lớp cụ thể. Các phương pháp tấn công phổ biến: FGSM, PGD, C&W, L-BFGS. Phòng thủ đối kháng bảo vệ mô hình trước tấn công. Phương pháp phòng thủ sử dụng mã hóa tự động tái tạo ảnh sạch. Phát hiện tấn công dựa trên sai biệt giữa ảnh gốc và tái tạo. Tỉ lệ phát hiện đánh giá chất lượng mô hình mã hóa tự động phòng thủ. Phòng thủ hiệu quả cần cân bằng giữa bảo vệ và độ chính xác.

Phương pháp HA4FNN là đóng góp mới của luận án. Nguyên lý dựa trên phân tích mã nguồn mô hình học sâu. Sinh mã nguồn từ mô hình giúp hiểu chi tiết tính toán bên trong. Chèn câu lệnh đánh dấu theo dõi luồng thực thi biểu tượng. Thực thi tượng trưng xác định giá trị nơ-ron tại mỗi điểm ảnh. Bộ giải phỏng đoán tìm kiếm nhiễu tối thiểu đánh lừa mô hình. Quá trình tìm kiếm diễn ra có hệ thống trên không gian nhiễu. Kết quả cho thấy ảnh đối kháng với nhiễu rất nhỏ. Chỉ thay đổi một điểm ảnh đã có thể thay đổi dự đoán. Điều này chứng minh tính nhạy cảm của mạng nơ-ron truyền thẳng. Phương pháp mới cho thấy góc nhìn khác về tính robust của mô hình.

Thực nghiệm trên bộ dữ liệu MNIST và Fashion-MNIST. Mạng nơ-ron truyền thẳng với kiến trúc tiêu chuẩn được thử nghiệm. Số ảnh dự đoán đúng ban đầu được đo lường trước tấn công. Sau khi thêm nhiễu đối kháng, tỉ lệ dự đoán đúng giảm mạnh. Biểu đồ xu hướng cho thấy ảnh hưởng của nhiễu lên độ chính xác. Một số ảnh rất dễ bị tấn công chỉ với thay đổi nhỏ. Số khác cần nhiễu lớn hơn để thay đổi dự đoán. Khoảng cách L0, L2, L∞ giữa ảnh gốc và đối kháng được tính. So sánh với FGSM, PGD cho thấy ưu điểm của phương pháp mới. Kết quả nhấn mạnh cần cải thiện robustness cho mạng nơ-ron truyền thẳng.

Phương pháp tấn công mới cung cấp công cụ đánh giá mới. Đánh giá tính chắc chắn cần nhiều góc nhìn đa dạng. Truyền thống sử dụng FGSM, PGD có thể bỏ sót một số điểm yếu. Tiếp cận phân tích mã nguồn揭示 thêm lỗ hổng tiềm ẩn. Kết quả tấn công thành công với nhiễu rất nhỏ rất đáng lo ngại. Điều này đặt câu hỏi về độ tin cậy mô hình học sâu trong thực tế. Ứng dụng an toàn cao như xe tự lái cần robustness tuyệt đối. Phương pháp HA4FNN bổ sung vào toolkit đánh giá robustness. Cần kết hợp nhiều phương pháp tấn công để đánh giá toàn diện. Định lượng bất định (uncertainty quantification) cũng cần được tích hợp.

Phương pháp PatternAttack sử dụng bản đồ nổi bật xác định vùng quan trọng. Bản đồ nổi bật chỉ ra vùng ảnh ảnh hưởng mạnh đến dự đoán. Nhiễu đối kháng được thêm chủ yếu vào vùng nổi bật này. ATN (Adversarial Transformation Network) là cơ sở lý thuyết. Cải thiện chất lượng ảnh đối kháng là mục tiêu chính. Mẫu bản đồ nổi bật được xây dựng cho từng lớp mục tiêu. Bản đồ chung gộp thông tin từ nhiều mẫu khác nhau. Quá trình sinh ảnh đối kháng tối ưu trên vùng được chọn. Kết quả cho ảnh đối kháng tự nhiên hơn phương pháp truyền thống. Tỉ lệ tấn công thành công vẫn duy trì ở mức cao. Chất lượng ảnh đo bằng PSNR, SSIM cải thiện đáng kể.

Phương pháp QI4AE gồm hai pha xử lý rõ ràng. Pha xây dựng tạo ảnh đối kháng ban đầu bằng mã hóa tự động. Pha cải thiện tinh chỉnh ảnh bằng thuật toán tham lam. Mô hình mã hóa tự động học biểu diễn không gian ảnh đối kháng. Thuật toán tham lam tối ưu hóa nhiễu theo hướng giảm thiểu khác biệt. Mỗi bước cải thiện chọn thay đổi tốt nhất tại thời điểm đó. Quá trình lặp lại cho đến khi đạt điều kiện dừng. Tổng quan phương pháp thể hiện quy trình rõ ràng có hệ thống. Thực nghiệm cho thấy chất lượng ảnh cải thiện qua từng bước lặp. Xu hướng tỉ lệ thành công tăng khi cải thiện tiến triển. Phương pháp cân bằng tốt giữa chất lượng ảnh và hiệu quả tấn công.

So sánh PatternAttack và QI4AE với các baseline. Baseline bao gồm L-BFGS, FGSM, PGD, C&W. Ảnh đối kháng trước và sau cải thiện được so sánh trực quan. Chỉ tiêu đánh giá gồm tỉ lệ thành công, PSNR, SSIM, L2 distance. PatternAttack ưu tiên tốc độ và tính đơn giản triển khai. QI4AE ưu tiên chất lượng ảnh với quy trình hai pha phức tạp hơn. Cả hai đều vượt trội so với baseline về chất lượng ảnh. Tỉ lệ tấn công thành công cạnh tranh hoặc tốt hơn baseline. Khả năng kháng nhiễu mô hình deep learning cần cải thiện tương ứng. Kết quả thực nghiệm xác nhận hiệu quả trên nhiều bộ dữ liệu. Phương pháp có tiềm năng áp dụng trong đánh giá robustness thực tế.

SCAADefender là phương pháp phòng thủ mới đề xuất trong luận án. Nguyên lý dựa trên tiền xử lý ảnh bằng mã hóa tự động tích chập. Mô hình mã hóa tự động học biểu diễn sạch từ dữ liệu huấn luyện. Khi gặp ảnh đối kháng, mã hóa tự động tái tạo ảnh gần ảnh sạch. Mô hình phân loại hoạt động trên ảnh đã được làm sạch. Quy trình pipeline gồm hai bước: làm sạch rồi phân loại. Huấn luyện mã hóa tự động trên dữ liệu sạch đa dạng. Kiến trúc mã hóa tự động tích chập xếp chồng phù hợp ảnh. Tham số mô hình được tối ưu hóa qua kiểm tra thực nghiệm kỹ lưỡng. Phương pháp không yêu cầu thay đổi kiến trúc mô hình phân loại gốc. Đây là ưu điểm lớn cho triển khai thực tế.

Sinh tập ảnh đối kháng đa dạng là bước chuẩn bị quan trọng. Sử dụng nhiều phương pháp tấn công khác nhau: FGSM, PGD, C&W. Đa dạng tấn công giúp mô hình phòng thủ tổng quát hóa tốt hơn. Tập huấn luyện gồm ảnh sạch và ảnh đối kháng tương ứng. Mô hình mã hóa tự động học ánh xạ từ đối kháng sang sạch. Kiến trúc encoder-decoder với skip connections cải thiện chất lượng. Hàm mất mát kết hợp tái tạo và bảo toàn nội dung semantic. Huấn luyện với batch size, learning rate, epochs được tối ưu. Dữ liệu kiểm tra độc lập đánh giá tính tổng quát hóa. Tỉ lệ phát hiện được tính trên tập tấn công chưa thấy khi huấn luyện. Kết quả cho thấy khả năng phát hiện tấn công mới rất khả quan.

Đánh giá hiệu quả SCAADefender qua nhiều chỉ tiêu. Tỉ lệ phát hiện tấn công trên các loại tấn công khác nhau. Độ chính xác phân loại trên ảnh sạch không bị ảnh hưởng xấu. So sánh với các phương pháp phòng thủ khác: adversarial training, input transformation. SCAADefender cạnh tranh tốt về tỉ lệ phát hiện và tốc độ. Thời gian xử lý tiền tuyến phù hợp ứng dụng thời gian thực. Kiểm chuẩn chéo (cross-validation) đảm bảo kết quả ổn định. Phương pháp ensemble methods kết hợp nhiều mô hình cải thiện hơn nữa. Hiệu chuẩn độ tự tin (confidence calibration) đánh giá độ tin cậy xác suất. Định lượng bất định (uncertainty quantification) cung cấp thông tin rủi ro. Kết quả tổng thể chứng minh tính khả thi của phương pháp đề xuất.

Luận án đóng góp bốn phương pháp mới có giá trị khoa học. HA4FNN tấn công không định hướng bằng bộ giải phỏng đoán hiệu quả. PatternAttack cải thiện chất lượng ảnh đối kháng bằng bản đồ nổi bật. QI4AE kết hợp mã hóa tự động và thuật toán tham lam cải thiện chất lượng. SCAADefender phòng thủ bằng mã hóa tự động tích chập xếp chồng. Kết quả thực nghiệm trên MNIST, Fashion-MNIST, CIFAR-10 xác nhận hiệu quả. So sánh với nhiều baseline chứng minh ưu điểm các phương pháp mới. Tất cả phương pháp được công bố trên tạp chí và hội nghị uy tín. Đóng góp mở rộng hiểu biết về tính chắc chắn mô hình học sâu. Phương pháp có tiềm năng ứng dụng trong nhiều lĩnh vực thực tế.

Mỗi phương pháp đều có hạn chế cần được giải quyết tiếp. HA4FNN áp dụng chủ yếu cho mạng nơ-ron truyền thẳng đơn giản. Mở rộng cho kiến trúc phức tạp hơn là thách thức kỹ thuật. PatternAttack và QI4AE tập trung vào tấn công có định hướng. Tấn công không định hướng cải tiến chất lượng ảnh cần nghiên cứu thêm. SCAADefender hiệu quả tốt nhưng chưa thử nghiệm trên tập dữ liệu lớn. ImageNet và các tập lớn hơn đòi hỏi tài nguyên tính toán lớn. Tấn công thích nghi (adaptive attack) chưa được thử nghiệm đầy đủ. Phòng thủ cần chống lại attacker biết rõ phương pháp phòng thủ. Tính toán thời gian thực cho mô hình rất lớn là thách thức. Khử chuẩn hóa (regularization) kết hợp phòng thủ cần nghiên cứu thêm.

Nhiều hướng phát triển tương lai được xác định rõ ràng. Mở rộng phương pháp cho kiến trúc phức tạp hơn: Transformer, GNN. Thử nghiệm trên tập dữ liệu lớn: ImageNet, COCO, Places365. Tích hợp định lượng bất định (uncertainty quantification) vào pipeline. Kết hợp hiệu chuẩn độ tự tin (confidence calibration) với phòng thủ. Phát triển phương pháp ensemble methods kết hợp nhiều kỹ thuật. Áp dụng kiểm chuẩn chéo (cross-validation) nghiêm ngặt hơn. Nghiên cứu tấn công thích nghi đánh giá robustness thực sự. Ứng dụng trong xe tự lái, y tế, tài chính đòi hỏi an toàn cao. Triển khai trên thiết bị biên (edge device) với giới hạn tài nguyên. Đóng góp vào tiêu chuẩn đánh giá tính chắc chắn mô hình học sâu.