Tổng quan về luận án

Nghiên cứu này ra đời trong bối cảnh khoa học về Trí tuệ Nhân tạo (AI), đặc biệt là Học sâu (Deep Learning - DL), đang bùng nổ mạnh mẽ, trở thành mũi nhọn của cuộc cách mạng công nghiệp 4.0 và được ứng dụng sâu rộng trong nhiều lĩnh vực như hệ thống không người lái, y học, và giám sát an ninh. Sự phát triển này song hành với xu hướng triển khai các thuật toán AI trên các thiết bị biên (Edge-AI) nhằm giảm độ trễ, tiết kiệm băng thông mạng, tăng cường bảo mật và tính khả dụng của hệ thống. Tuy nhiên, các mô hình học sâu truyền thống với số lượng tham số khổng lồ lại đòi hỏi tài nguyên tính toán và bộ nhớ lớn, gây ra thách thức nghiêm trọng về năng lượng và tài nguyên cho các thiết bị Edge-AI vốn có những giới hạn nghiêm ngặt.

Research gap cụ thể: Luận án này tập trung giải quyết hai khoảng trống nghiên cứu then chốt trong lĩnh vực AI trên thiết bị biên, được xác định rõ ràng từ tình hình nghiên cứu hiện tại:

  1. Hạn chế về tài nguyên và năng lượng của các mô hình học sâu cho Edge-AI: Mặc dù mạng nơ-ron nhị phân (BNN) và mạng nơ-ron xung (SNN) đã được đề xuất để giảm tài nguyên, chúng vẫn còn tồn tại nhiều nhược điểm. Cụ thể, BNN thường vẫn giữ trọng số thực ở lớp đầu và lớp cuối để tránh suy giảm độ chính xác đáng kể, và đầu vào vẫn là giá trị thực [50, 59]. SNN, dù hướng sự kiện và tiết kiệm năng lượng, lại gặp khó khăn trong huấn luyện do tính bất khả vi của các xung rời rạc, và trọng số, tham số kích hoạt vẫn là giá trị thực, dẫn đến yêu cầu bộ nhớ và tính toán lớn [60, 55]. Mạng nơ-ron xung nhị phân (BSNN) ra đời để giải quyết vấn đề trọng số thực của SNN nhưng việc huấn luyện trực tiếp vẫn còn thách thức về tính bất khả vi. Khoảng trống này đòi hỏi các mô hình BSNN được nhị phân hóa hoàn toàn và các kiến trúc phần cứng tối ưu để thực thi hiệu quả trên Edge-AI.
  2. Tính dễ bị tấn công đối nghịch của BNN và BSNN: Các mô hình học sâu nói chung, và đặc biệt là BNN và BSNN do tính chất tuyến tính của chúng, đều dễ bị đánh lừa bởi các tấn công đối nghịch (adversarial attacks) như FGSM (Fast Gradient Sign Method) và PGD (Projected Gradient Descent) [32]. Hiện tại, "Chương 3 là lần đầu tiên đưa ra các kết quả nghiên cứu khả năng tấn công và phòng thủ trên BSNN," cho thấy lĩnh vực này còn mới mẻ và thiếu các phương pháp phòng thủ hiệu quả, đặc biệt cho BSNN trên phần cứng hạn chế.

Research questions và hypotheses: Dựa trên các khoảng trống nghiên cứu, luận án này đặt ra các câu hỏi nghiên cứu và giả thuyết chính như sau:

  1. Làm thế nào để phát triển một mô hình BSNN với tất cả trọng số được nhị phân hóa hoàn toàn (kể cả lớp đầu và lớp cuối) mà vẫn duy trì được độ chính xác cao trong tác vụ phân loại ảnh trên các tập dữ liệu tiêu chuẩn?
    • Giả thuyết: Việc sử dụng chuỗi nhị phân stochastic cho trọng số lớp đầu/cuối kết hợp với nguyên lý XNOR-Net cho lớp ẩn có thể cho phép nhị phân hóa hoàn toàn BSNN mà không làm suy giảm đáng kể độ chính xác so với các mô hình chỉ nhị phân hóa một phần hoặc các mô hình thực.
  2. Kiến trúc tính toán trong bộ nhớ (In-Memory Computing - IMC) dựa trên mảng nhớ có các phép tính lô-gic XNOR có thể được xây dựng để thực thi hiệu quả các mô hình BSNN nhị phân hóa hoàn toàn, đáp ứng yêu cầu về tài nguyên và năng lượng của thiết bị Edge-AI không?
    • Giả thuyết: Kiến trúc IMC dựa trên XNOR và POPCOUNT có thể giảm đáng kể yêu cầu tính toán và tài nguyên bộ nhớ so với các kiến trúc truyền thống, cho phép triển khai BSNN trên Edge-AI.
  3. Một phương pháp huấn luyện đối nghịch được cải tiến có thể nâng cao khả năng phòng thủ cho BNN và BSNN chống lại các tấn công đối nghịch mạnh mẽ mà vẫn duy trì hiệu suất mô hình không?
    • Giả thuyết: Phương pháp huấn luyện đối nghịch nâng cao (Enhanced Fast Adversarial Training - EFAT) có thể cải thiện đáng kể khả năng chống chịu của BNN và BSNN trước các tấn công FGSM và PGD.

Theoretical framework với tên theories cụ thể: Luận án được xây dựng dựa trên nền tảng của các lý thuyết và mô hình sau:

  • Lý thuyết về Mạng Nơ-ron Nhân tạo (ANN): Bao gồm các mô hình cơ bản như Perceptron nhiều tầng (MLP) và Mạng nơ-ron tích chập (CNN), đặc biệt là các kiến trúc đã được chứng minh hiệu quả như LeNet [39], AlexNet [37], VGGNet [68], ResNet [30], và Inception [69].
  • Lý thuyết về Mạng Nơ-ron Nhị phân (BNN): Đặc biệt là các nguyên lý nhị phân hóa trọng số như XNOR-Net của Rastegari et al. [50] và các phương pháp cải tiến hệ số tỉ lệ của Bulat et al. [1] hay DoReFa-Net của Zhou et al. [64].
  • Lý thuyết về Mạng Nơ-ron Xung (SNN): Tập trung vào mô hình nơ-ron Integrate-and-Fire (IF) và Leaky Integrate-and-Fire (LIF), cũng như các kỹ thuật huấn luyện có giám sát sử dụng Gradient gần đúng (Surrogate Gradient - SG) [55] để giải quyết tính bất khả vi của xung rời rạc.
  • Lý thuyết về Học đối nghịch (Adversarial Learning): Bao gồm các phương pháp tấn công đối nghịch (ví dụ: FGSM, PGD) và các phương pháp phòng thủ đối nghịch (ví dụ: Huấn luyện đối nghịch - Adversarial Training).
  • Lý thuyết về Tính toán trong Bộ nhớ (In-Memory Computing - IMC): Đặc biệt là các kiến trúc IMC dựa trên các phép toán bitwise như XNOR và POPCOUNT.

Đóng góp đột phá với quantified impact: Luận án mang lại những đóng góp đột phá với tác động định lượng rõ rệt:

  1. Thiết kế BSNN nhị phân hóa hoàn toàn: Đề xuất hai mô hình BSNN mới với "tất cả trọng số được nhị phân hóa," bao gồm cả lớp đầu và lớp cuối bằng chuỗi nhị phân stochastic, và lớp ẩn bằng XNOR-Net. Điều này mở ra khả năng triển khai các mô hình học sâu siêu nhẹ trên Edge-AI. Mặc dù luận án không trực tiếp định lượng mức độ giảm suy giảm độ chính xác so với BNN một phần, nhưng việc "huấn luyện thành công hai mô hình BSNN này mở ra khả năng phát triển phần cứng nhúng yêu cầu khắt khe với tài nguyên và năng lượng tiêu thụ."
  2. Kiến trúc IMC độc đáo cho BSNN: Phát triển một "kiến trúc phần cứng dựa trên tính toán trong bộ nhớ thực thi các mô hình BSNN được đề xuất hướng tới ứng dụng cho các thiết bị Edge-AI" với "mảng nhớ có các phép tính lô-gic XNOR." Kiến trúc này có tiềm năng giảm "yêu cầu bộ nhớ lưu trữ xuống khoảng 32 lần và các yêu cầu tính toán tương ứng giảm khoảng 58 lần so với mạng ban đầu [50]" khi chuyển từ trọng số thực sang nhị phân, mang lại hiệu quả năng lượng và tài nguyên chưa từng có.
  3. Phương pháp phòng thủ đối nghịch tiên phong cho BSNN: Đề xuất phương pháp huấn luyện EFAT (Enhanced Fast Adversarial Training) để "cải thiện khả năng phòng thủ cho các mô hình mạng nơ-ron nhị phân và mạng nơ-ron xung nhị phân trước các tấn công đối nghịch." Đặc biệt, đây là "lần đầu tiên đưa ra các kết quả nghiên cứu khả năng tấn công và phòng thủ trên BSNN," mở ra hướng nghiên cứu mới về an ninh mạng nơ-ron thế hệ thứ ba. Kết quả thực nghiệm "chứng tỏ phương pháp huấn luyện đối nghịch có hiệu quả cải thiện khả năng phòng thủ cho các mô hình BNN và BSNN khi thử nghiệm các tấn công đối nghịch như FGSM và PGD."

Scope (sample size, timeframe) và significance: Phạm vi nghiên cứu tập trung vào các mô hình mạng nơ-ron nhị phân và mạng nơ-ron xung nhị phân, các phương pháp nhị phân hóa (như số stochastic), kiến trúc tính toán trong bộ nhớ, và phương pháp cải thiện khả năng phòng thủ đối nghịch. Các thử nghiệm được thực hiện trên các tập dữ liệu phân loại ảnh phổ biến như MNIST (70.000 ảnh), Fashion-MNIST (70.000 ảnh), CIFAR-10 (60.000 ảnh), và CIFAR-100 (60.000 ảnh). Khung thời gian nghiên cứu bao gồm việc tổng hợp các công trình từ những năm 1950 (lịch sử AI) cho đến các nghiên cứu hiện đại về học sâu trên Edge-AI tính đến năm 2024.

Ý nghĩa khoa học của luận án là thúc đẩy sự phát triển của các mô hình học sâu gắn nhẹ, hướng đến phát triển phần cứng hiệu quả và bền vững hơn. Về ý nghĩa thực tiễn, các kết quả có thể ứng dụng trực tiếp trên "các hệ thống không người lái, các cảm biến thông minh, các thiết bị đeo được và các thiết bị xử lý trí tuệ nhân tạo tại biên (Edge-AI)", góp phần cải thiện độ chính xác và khả năng chống chịu trước các tấn công đối nghịch, từ đó tăng cường độ tin cậy và an toàn cho các ứng dụng AI trong đời sống và quân sự quốc phòng.

Literature Review và Positioning

Nghiên cứu về Trí tuệ Nhân tạo (AI) đã trải qua một hành trình dài từ những khái niệm ban đầu vào những năm 1950, được John McCarthy giới thiệu tại hội thảo Dartmouth năm 1956, cho đến sự bùng nổ của Học máy (Machine Learning - ML) từ thập niên 1980 và đặc biệt là Học sâu (Deep Learning - DL) từ năm 2010. Các thuật toán học sâu, dựa trên mạng nơ-ron nhiều tầng, đã đạt được những kết quả ấn tượng trong xử lý ảnh, tiếng nói và ngôn ngữ tự nhiên, với các tác vụ như phân loại ảnh, phát hiện đối tượng, và nhận dạng khuôn mặt.

Synthesis của major streams với tên tác giả và năm cụ thể: Các luồng nghiên cứu chính trong học sâu được tổng hợp bao gồm:

  1. Mạng nơ-ron nhân tạo truyền thống (ANN/DNN): Các mô hình kinh điển như LeNet của Yann LeCun năm 1998 [39], AlexNet của Krizhevsky, Sutskever và Hinton năm 2012 [37], VGGNet của nhóm Đại học Oxford năm 2014 [68], ResNet của Microsoft năm 2015 [30], Inception của Google [69], và MobileNet của Google năm 2017 [31] đã định hình nên sự phát triển của các mô hình CNN hiệu năng cao cho tác vụ phân loại ảnh. Trong tác vụ phát hiện đối tượng, các mô hình như YOLO [57], Faster R-CNN [27], RetinaNet [44], và SSD [46] là những đóng góp quan trọng. Các mô hình này thể hiện hiệu suất cao nhưng lại yêu cầu tài nguyên tính toán và bộ nhớ rất lớn.
  2. Mạng nơ-ron nhị phân (BNN): Courbariaux và cộng sự [49, 48] lần đầu giới thiệu BNN vào năm 2015, sử dụng phương pháp Gradient descent để huấn luyện các mạng với trọng số nhị phân (+1, -1). Tiếp theo, Rastegari và cộng sự năm 2016 [50] đề xuất XNOR-Net, một kiến trúc tương tự với trọng số được xấp xỉ thành ±α (α là hệ số tỉ lệ), chứng minh khả năng giảm yêu cầu bộ nhớ lưu trữ xuống khoảng 32 lần và tính toán 58 lần. Bulat và cộng sự [1] sau đó đã tối ưu hóa hệ số tỉ lệ để cải thiện độ chính xác. Zhou và cộng sự năm 2016 đề xuất DoReFa-Net [64] với trọng số và hàm kích hoạt độ rộng bit thấp. Các nghiên cứu này đã chứng minh tiềm năng giảm tài nguyên của BNN.
  3. Mạng nơ-ron xung (SNN): Được coi là thế hệ thứ ba của mạng nơ-ron, SNN mô phỏng hoạt động của nơ-ron sinh học, truyền thông tin qua các xung. Các mô hình nơ-ron Integrate-and-Fire (IF) và Leaky Integrate-and-Fire (LIF) là cơ sở. Các phương pháp huấn luyện không giám sát như Spike Timing–Dependent Plasticity (STDP) [14, 17] và huấn luyện có giám sát bằng Gradient gần đúng (Surrogate Gradient - SG) [55] đã được phát triển để giải quyết tính bất khả vi của xung rời rạc [40, 35]. SNN hướng sự kiện nên tiết kiệm năng lượng nhưng trọng số và tham số kích hoạt thường vẫn là giá trị thực.
  4. Mạng nơ-ron xung nhị phân (BSNN): Để giải quyết hạn chế về trọng số thực của SNN, BSNN đã được đề xuất, kết hợp trọng số nhị phân với cơ chế xung [33-73]. Các nghiên cứu này nhằm giảm độ phức tạp của SNN và tăng hiệu suất.

Contradictions/debates với ít nhất 2 opposing views:

  • Độ chính xác và hiệu quả tài nguyên: Một mâu thuẫn lớn trong lĩnh vực này là sự đánh đổi giữa độ chính xác và hiệu quả tài nguyên. Các mạng nơ-ron sâu truyền thống (DNN/CNN) đạt độ chính xác rất cao nhưng lại yêu cầu bộ nhớ và tính toán lớn. Ngược lại, BNN và SNN/BSNN giảm đáng kể tài nguyên nhưng thường phải "đánh đổi" một phần độ chính xác. Ví dụ, BNN của Courbariaux et al. [49] và XNOR-Net của Rastegari et al. [50] đạt được hiệu quả tài nguyên ấn tượng nhưng độ chính xác chưa thể so sánh được với các mạng thực trên các tập dữ liệu phức tạp. Điều này dẫn đến tranh luận về việc liệu các mô hình gắn nhẹ có thể thực sự thay thế hoàn toàn các mô hình lớn trong các ứng dụng đòi hỏi độ chính xác tuyệt đối hay không, đặc biệt khi các lớp đầu và cuối thường vẫn giữ trọng số thực để giảm suy giảm hiệu suất.
  • Bảo mật và hiệu suất: Mâu thuẫn giữa việc cải thiện khả năng phòng thủ đối nghịch và duy trì hiệu suất gốc của mô hình là một vấn đề đang được tranh cãi. Các phương pháp huấn luyện đối nghịch như FAT (Fast Adversarial Training) hay PGD-AT thường giúp mô hình trở nên mạnh mẽ hơn trước tấn công, nhưng đôi khi lại làm giảm độ chính xác của mô hình trên các dữ liệu sạch hoặc tăng chi phí huấn luyện. Các nghiên cứu cần tìm ra cân bằng tối ưu giữa khả năng chống chịu và hiệu suất, đặc biệt đối với các mô hình gắn nhẹ như BNN và BSNN, nơi tài nguyên đã là một ràng buộc.

Positioning trong literature với specific gap identified: Luận án định vị mình ở giao điểm của học sâu gắn nhẹ, kiến trúc phần cứng chuyên dụng (IMC) và an ninh AI. Nó trực tiếp giải quyết hai khoảng trống quan trọng đã nêu:

  1. Thiếu vắng BSNN nhị phân hóa hoàn toàn hiệu quả: Các BNN hiện tại vẫn thường giữ trọng số thực ở lớp đầu/cuối, và SNN vẫn dùng trọng số thực. Luận án này đề xuất một kiến trúc BSNN đột phá bằng cách "nhị phân hóa tất cả trọng số" qua việc sử dụng chuỗi nhị phân stochastic cho lớp I/O và nguyên lý XNOR-Net cho lớp ẩn, một bước tiến quan trọng so với các phương pháp nhị phân hóa cục bộ trước đây.
  2. Khoảng trống trong phòng thủ đối nghịch cho BSNN: Trước đây, chưa có nghiên cứu chuyên sâu nào về khả năng tấn công và phòng thủ đối nghịch trên BSNN. Luận án tiên phong "là lần đầu tiên đưa ra các kết quả nghiên cứu khả năng tấn công và phòng thủ trên BSNN" và đề xuất một phương pháp huấn luyện EFAT để giải quyết khoảng trống này, mở ra một lĩnh vực nghiên cứu mới về an ninh cho các mạng nơ-ron thế hệ thứ ba.

How this advances field với concrete contributions: Nghiên cứu này thúc đẩy lĩnh vực AI theo các hướng sau:

  • Kiến tạo mô hình AI thân thiện với Edge-AI: Bằng cách nhị phân hóa hoàn toàn BSNN và phát triển kiến trúc IMC dựa trên XNOR, luận án mở đường cho việc triển khai các mô hình học sâu phức tạp trên các thiết bị tài nguyên hạn chế, vốn là rào cản lớn cho ứng dụng thực tế.
  • Nâng cao an ninh cho AI thế hệ mới: Việc nghiên cứu và đề xuất phương pháp phòng thủ đối nghịch cho BSNN lấp đầy một khoảng trống quan trọng trong an ninh AI, đặc biệt khi các mô hình BSNN ngày càng được ưa chuộng trong các ứng dụng nhúng quan trọng.
  • Đề xuất hướng tiếp cận phần cứng-phần mềm đồng thiết kế: Luận án không chỉ dừng lại ở mô hình phần mềm mà còn đề xuất "kiến trúc tính toán trong bộ nhớ dựa trên các mảng nhớ có các phép tính lô-gic XNOR," thể hiện tầm nhìn toàn diện về đồng thiết kế phần cứng-phần mềm để tối ưu hiệu suất AI.

So sánh với ÍT NHẤT 2 international studies:

  1. So với XNOR-Net [50]: XNOR-Net của Rastegari et al. [50] là một cột mốc quan trọng trong BNN khi chứng minh khả năng giảm tài nguyên đáng kể (32x bộ nhớ, 58x tính toán). Tuy nhiên, XNOR-Net vẫn giữ các trọng số thực tại lớp đầu tiên và lớp cuối cùng, và đầu vào vẫn là giá trị thực để duy trì độ chính xác. Luận án này tiến xa hơn bằng cách đề xuất "mô hình mạng nơ-ron xung với toàn bộ trọng số được nhị phân hóa," bao gồm cả lớp đầu vào và đầu ra thông qua mã hóa stochastic, trực tiếp giải quyết hạn chế của XNOR-Net trong việc đạt được sự nhị phân hóa hoàn toàn.
  2. So với các nghiên cứu phòng thủ đối nghịch trên DNN/BNN hiện có (ví dụ: Fast Adversarial Training - FAT): Các phương pháp như FAT đã được đề xuất để cải thiện khả năng phòng thủ cho DNN và BNN. Ví dụ, trong [70], FAT đã được áp dụng cho BNN. Tuy nhiên, các nghiên cứu này thường tập trung vào BNN hoặc DNN. Luận án này mở rộng phạm vi phòng thủ đối nghịch sang BSNN, một kiến trúc phức tạp hơn do tính chất xung và bất khả vi của nó. "Trong Chương 3 là lần đầu tiên đưa ra các kết quả nghiên cứu khả năng tấn công và phòng thủ trên BSNN," cho thấy sự khác biệt và đóng góp độc đáo so với các nghiên cứu quốc tế chỉ tập trung vào DNN hay BNN. Phương pháp EFAT được đề xuất cũng nhằm cải thiện hiệu quả phòng thủ so với các phương pháp huấn luyện đối nghịch truyền thống.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án này đưa ra những đóng góp lý thuyết đáng kể, mở rộng và thách thức các lý thuyết hiện có trong lĩnh vực mạng nơ-ron sâu, đặc biệt là BNN và SNN.

  • Mở rộng lý thuyết BNN và SNN thông qua nhị phân hóa hoàn toàn:
    • Thách thức giả định về trọng số thực ở lớp I/O: Các lý thuyết BNN ban đầu (ví dụ: XNOR-Net của Rastegari et al. [50]) thường giả định rằng trọng số thực ở lớp đầu và cuối là cần thiết để duy trì độ chính xác chấp nhận được. Luận án này thách thức giả định đó bằng cách "đề xuất hai mô hình mạng nơ-ron xung với tất cả trọng số được nhị phân hóa," bao gồm cả lớp đầu tiên và lớp cuối cùng. Điều này đạt được thông qua "biểu diễn lại thành chuỗi nhị phân stochastic" cho các lớp biên và áp dụng "nguyên lý XNOR-Net" cho các lớp ẩn, một cách tiếp cận mới để đạt được sự nhị phân hóa hoàn toàn mà vẫn duy trì hiệu suất.
    • Tích hợp cơ chế xung và nhị phân hóa: Luận án tổng hợp lý thuyết SNN (sử dụng nơ-ron Integrate-and-Fire - IF, cơ chế tích lũy và phát xung) và BNN (nhị phân hóa trọng số), tạo ra một mô hình BSNN hoàn toàn nhị phân. Điều này mở rộng lý thuyết về cách mã hóa thông tin temporal (xung) với các ràng buộc về trọng số nhị phân, giải quyết bài toán phức tạp của việc huấn luyện SNN với các trọng số nhị phân (mà vẫn sử dụng Surrogate Gradient - SG để giải quyết tính bất khả vi của xung, như được đề xuất bởi Shayer [55]).
  • Phát triển lý thuyết về phòng thủ đối nghịch cho BSNN:
    • Tiên phong trong lĩnh vực mới: "Trong Chương 3 là lần đầu tiên đưa ra các kết quả nghiên cứu khả năng tấn công và phòng thủ trên BSNN." Điều này đặt nền móng lý thuyết cho việc hiểu và đối phó với các tấn công đối nghịch trên các mạng nơ-ron thế hệ thứ ba. Luận án đóng góp bằng cách phân tích cách các tấn công đối nghịch (FGSM, PGD) tác động lên BSNN và đề xuất một phương pháp huấn luyện đối nghịch (EFAT) để cải thiện khả năng phòng thủ. Điều này mở rộng lý thuyết về tính dễ bị tổn thương và khả năng chống chịu của các mô hình học sâu, đặc biệt là trong bối cảnh các mô hình gắn nhẹ.
  • Thúc đẩy lý thuyết về kiến trúc tính toán trong bộ nhớ (IMC) cho AI:
    • Tối ưu hóa IMC cho BNN/BSNN: Luận án đề xuất một "kiến trúc tính toán trong bộ nhớ để thực thi mô hình mạng nơ-ron xung nhị phân" dựa trên "các mảng nhớ có các phép tính lô-gic XNOR." Điều này đóng góp vào lý thuyết về thiết kế phần cứng hiệu quả năng lượng cho AI, chứng minh rằng các phép toán bitwise có thể thay thế hiệu quả các phép toán số học truyền thống, đặc biệt phù hợp với tính chất của BNN/BSNN.

Khung phân tích độc đáo

Luận án xây dựng một khung phân tích độc đáo thông qua sự tích hợp chặt chẽ giữa thiết kế mô hình, chiến lược huấn luyện và kiến trúc phần cứng.

  • Tích hợp của theories (name 3+ specific theories):

    1. Lý thuyết XNOR-Net [50]: Được tích hợp để nhị phân hóa hiệu quả các trọng số ở lớp ẩn, sử dụng các phép toán XNOR và POPCOUNT để thay thế phép nhân cộng (MAC), giảm đáng kể chi phí tính toán.
    2. Lý thuyết SNN (cụ thể là nơ-ron IF/LIF): Cốt lõi của mô hình là nơ-ron Integrate-and-Fire (IF) và cơ chế phát xung, quản lý thông tin theo thời gian và sự kiện, giúp tiết kiệm năng lượng. Việc huấn luyện SNN được thực hiện thông qua Surrogate Gradient [55] để giải quyết vấn đề bất khả vi.
    3. Lý thuyết Huấn luyện Đối nghịch (Adversarial Training): Phương pháp EFAT được tích hợp để nâng cao khả năng chống chịu của mô hình trước các tấn công, đặc biệt là FGSM và PGD, bổ sung một lớp bảo mật cần thiết cho các ứng dụng Edge-AI.
    4. Lý thuyết về Stochastic Computing: Các lớp đầu vào và đầu ra của BSNN được đề xuất sử dụng "chuỗi nhị phân stochastic" để biểu diễn trọng số, cho phép nhị phân hóa hoàn toàn và xử lý đầu vào/đầu ra dưới dạng bitstream.

  • Novel analytical approach với justification: Phương pháp phân tích độc đáo của luận án nằm ở việc đồng thiết kế một mô hình BSNN hoàn toàn nhị phân và một kiến trúc IMC chuyên biệt.

    • Mô hình BSNN nhị phân hoàn toàn: Thay vì chỉ nhị phân hóa các lớp ẩn như XNOR-Net, luận án mở rộng sang các lớp đầu vào và đầu ra bằng cách sử dụng "mã hóa tỉ lệ cho hình ảnh đầu vào" và "chuỗi nhị phân stochastic" cho trọng số. Điều này được chứng minh là cần thiết để tối đa hóa lợi ích về tài nguyên và năng lượng cho Edge-AI.
    • Kiến trúc IMC dựa trên XNOR: Đề xuất một "kiến trúc IMC dự đoán sử dụng mảng XNOR" và "thành phần MAC lớp tích chập của BSNN" dựa trên phép tính XNOR. Sự tích hợp các phép toán bitwise này trực tiếp vào mảng nhớ không chỉ giảm chi phí tính toán mà còn tận dụng hiệu quả các công nghệ bộ nhớ mới như ReRAM hay STT-MRAM (được đề cập trong các nghiên cứu liên quan [78, 75, 72]).
    • Chiến lược phòng thủ đa chiều: Phương pháp EFAT được phát triển để tăng cường khả năng phòng thủ của BNN và BSNN bằng cách tích hợp các kỹ thuật huấn luyện đối nghịch có hiệu quả.

  • Conceptual contributions với definitions:

    • Mạng nơ-ron xung nhị phân hoàn toàn (Fully Binarized Spiking Neural Network - FB-BSNN): Một khái niệm mới trong đó tất cả các trọng số (kể cả lớp I/O) được giới hạn ở các giá trị nhị phân (-1, +1 hoặc 0, 1), khác biệt với các BNN/BSNN trước đây thường giữ lại các trọng số thực ở một số lớp.
    • Kiến trúc Tính toán trong Bộ nhớ dựa trên XNOR (XNOR-IMC Architecture): Một kiến trúc phần cứng chuyên dụng cho FB-BSNN, sử dụng các mảng nhớ tích hợp các phép toán lô-gic XNOR để thực hiện các phép nhân cộng (MAC) một cách hiệu quả về năng lượng và tài nguyên.
    • Huấn luyện Đối nghịch Nâng cao (Enhanced Fast Adversarial Training - EFAT): Một phương pháp huấn luyện mới được thiết kế để cải thiện khả năng chống chịu của các mô hình BNN và BSNN trước các tấn công đối nghịch, vượt trội hơn các phương pháp FAT cơ bản.

  • Boundary conditions explicitly stated: Phạm vi ứng dụng và tính hiệu quả của các đóng góp được xác định bởi các điều kiện biên sau:

    • Tác vụ: Tập trung vào các tác vụ phân loại ảnh (image classification), sử dụng các tập dữ liệu tiêu chuẩn như MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100.
    • Môi trường triển khai: Hướng tới các thiết bị Edge-AI với "tài nguyên hạn chế và tiết kiệm năng lượng."
    • Loại tấn công: Các phương pháp phòng thủ được kiểm tra và chứng minh hiệu quả với các tấn công đối nghịch phổ biến và mạnh mẽ như FGSM và PGD.
    • Phần cứng: Kiến trúc IMC được đề xuất phù hợp với các công nghệ bộ nhớ phi bay hơi tiềm năng (Emerging Non-Volatile Memory) như ReRAM hay STT-MRAM.

Phương pháp nghiên cứu tiên tiến

Nghiên cứu này áp dụng một phương pháp tiếp cận mạnh mẽ, kết hợp nghiên cứu lý thuyết chuyên sâu với thực nghiệm tính toán nghiêm ngặt để đạt được các mục tiêu đề ra.

Thiết kế nghiên cứu

  • Research philosophy: Luận án tuân theo triết lý nghiên cứu Thực chứng (Positivism). Điều này được thể hiện rõ qua việc tập trung vào các kết quả định lượng, đo lường độ chính xác, hiệu quả tài nguyên, và khả năng phòng thủ của các mô hình. Các giả thuyết được kiểm chứng thông qua "tính toán, lập trình thực nghiệm" và đánh giá dựa trên các chỉ số hiệu suất khách quan, như độ chính xác phân loại và tỷ lệ thành công của tấn công đối nghịch. Mục tiêu là phát triển các kỹ thuật có thể được chứng minh và tái tạo.
  • Thiết kế thực nghiệm tính toán: Nghiên cứu sử dụng thiết kế thực nghiệm tính toán để đánh giá các mô hình và phương pháp đề xuất. Các biến độc lập bao gồm kiến trúc BSNN (ví dụ: các cấu trúc mạng khác nhau, ảnh hưởng của bước thời gian, hệ số tỉ lệ của SNG, số lần tích lũy tại lớp đầu tiên, độ sâu mạng), phương pháp nhị phân hóa (stochastic, XNOR-Net), và phương pháp huấn luyện đối nghịch (EFAT so với các baseline như FAT). Các biến phụ thuộc là độ chính xác phân loại, khả năng phòng thủ (tỷ lệ tấn công thành công), và hiệu quả tài nguyên (gián tiếp qua số lượng trọng số và phép tính).
  • Mixed methods với SPECIFIC combination rationale: Mặc dù không phải là mixed-methods theo nghĩa truyền thống (kết hợp định tính và định lượng dữ liệu xã hội), luận án kết hợp mạnh mẽ phát triển mô hình lý thuyết/khung kiến trúc (đề xuất mô hình BSNN, kiến trúc IMC) với thực nghiệm định lượng (kiểm chứng các đề xuất trên tập dữ liệu và so sánh với các baseline). Rationale là để không chỉ đưa ra các ý tưởng mới mà còn chứng minh tính khả thi, hiệu quả và ứng dụng thực tiễn của chúng thông qua các bằng chứng số liệu.
  • Multi-level design với levels clearly defined: Mặc dù không phải là multi-level theo nghĩa thống kê, nghiên cứu này hoạt động trên nhiều cấp độ trừu tượng:
    1. Cấp độ thuật toán/mô hình: Thiết kế và tối ưu hóa kiến trúc BSNN (ví dụ: FBW-SNN, NUTS-BSNN).
    2. Cấp độ huấn luyện: Phát triển các phương pháp huấn luyện (như EFAT) để cải thiện hiệu suất và độ bền vững.
    3. Cấp độ kiến trúc phần cứng: Đề xuất kiến trúc tính toán trong bộ nhớ (IMC) để thực thi mô hình hiệu quả. Các cấp độ này tương tác và bổ trợ lẫn nhau để giải quyết vấn đề tổng thể.
  • Sample size và selection criteria EXACT:
    • Tập dữ liệu MNIST [39]: 70.000 ảnh chữ số viết tay đen trắng (60.000 cho huấn luyện, 10.000 cho kiểm tra), 10 lớp đối tượng.
    • Tập dữ liệu Fashion-MNIST [79]: 70.000 ảnh quần áo, giày dép, túi xách đen trắng (60.000 cho huấn luyện, 10.000 cho kiểm tra), 10 lớp đối tượng.
    • Tập dữ liệu CIFAR-10 [36]: 60.000 ảnh màu (50.000 cho huấn luyện, 10.000 cho kiểm tra), 10 lớp đối tượng.
    • Tập dữ liệu CIFAR-100 [36]: 60.000 ảnh màu (50.000 cho huấn luyện, 10.000 cho kiểm tra), 100 lớp đối tượng. Tiêu chí lựa chọn là các tập dữ liệu benchmark tiêu chuẩn, được sử dụng rộng rãi trong cộng đồng nghiên cứu phân loại ảnh, đảm bảo khả năng so sánh kết quả với các công trình quốc tế khác.

Quy trình nghiên cứu rigorous

  • Sampling strategy với inclusion/exclusion criteria: Nghiên cứu sử dụng toàn bộ các tập con huấn luyện và kiểm tra được định nghĩa sẵn của các bộ dữ liệu MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100. Không có tiêu chí loại trừ cụ thể nào được nêu, ngụ ý rằng tất cả dữ liệu có sẵn trong các tập con đó đều được sử dụng.
  • Data collection protocols với instruments described: Dữ liệu được sử dụng là các tập dữ liệu đã công bố và được chuẩn hóa, do đó không có quy trình thu thập dữ liệu gốc. Nghiên cứu tập trung vào xử lý, huấn luyện và đánh giá trên các tập dữ liệu này.
  • Triangulation (data/method/investigator/theory):
    • Triangulation dữ liệu: Các mô hình được đánh giá trên nhiều tập dữ liệu khác nhau (MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100) để đảm bảo tính tổng quát hóa của kết quả.
    • Triangulation phương pháp: Hiệu quả của phương pháp phòng thủ đối nghịch được đánh giá bằng cách sử dụng nhiều kỹ thuật tấn công (FGSM, PGD) và so sánh với các baseline huấn luyện không phòng thủ hoặc các phương pháp phòng thủ cơ bản (FAT).
    • Triangulation lý thuyết: Các đóng góp được xây dựng trên sự tích hợp và mở rộng nhiều lý thuyết khác nhau như BNN, SNN, IMC, và Adversarial Learning.
  • Validity (construct/internal/external) và reliability (α values):
    • Construct validity: Các khái niệm như "độ chính xác phân loại," "khả năng phòng thủ," "hiệu quả tài nguyên" được đo lường bằng các chỉ số tiêu chuẩn trong học sâu (accuracy, attack success rate, số lượng trọng số/phép toán).
    • Internal validity: Các thực nghiệm được thiết kế để kiểm soát các biến nhiễu. Ví dụ, việc so sánh các mô hình được thực hiện trên cùng một tập dữ liệu và điều kiện huấn luyện. Ảnh hưởng của các tham số như "bước thời gian," "hệ số tỉ lệ của SNG," "số lần tích lũy tại lớp đầu tiên," và "độ sâu của cấu trúc mạng" được phân tích một cách có hệ thống.
    • External validity: Việc sử dụng các tập dữ liệu benchmark phổ biến tăng cường khả năng ngoại suy kết quả đến các ứng dụng và ngữ cảnh tương tự. Tuy nhiên, luận án cũng thừa nhận "boundary conditions" về ngữ cảnh và mẫu.
    • Reliability: Quy trình huấn luyện và đánh giá được thực hiện bằng "ngôn ngữ lập trình Python sử dụng Pytorch framework," đảm bảo tính tái lập. Mặc dù giá trị α (ví dụ: Cronbach's alpha) không được báo cáo trực tiếp (thường dùng trong nghiên cứu định tính/khảo sát), việc báo cáo "độ chính xác phân loại" và "kết quả tấn công" với các tham số huấn luyện cụ thể ngụ ý tính ổn định của kết quả.

Data và phân tích

  • Sample characteristics với demographics/statistics: Đối với các tập dữ liệu ảnh, đặc điểm mẫu bao gồm số lượng ảnh (ví dụ: MNIST có 60.000 ảnh huấn luyện), kích thước ảnh (ví dụ: ảnh đen trắng 28x28 của MNIST, ảnh màu 32x32 của CIFAR-10), và số lượng lớp (10 hoặc 100 lớp). Các thống kê này được lấy trực tiếp từ mô tả tập dữ liệu.
  • Advanced techniques (SEM/multilevel/QCA etc.) với software:
    • Kỹ thuật nhị phân hóa: Các phương pháp nhị phân hóa trọng số (BinaryConnect, XNOR-Net) được triển khai. Đặc biệt, "mã hóa tỉ lệ" (Rate coding) được sử dụng để chuyển đổi ảnh tĩnh thành xung theo thời gian cho SNN/BSNN.
    • Huấn luyện SNN/BSNN: Sử dụng thuật toán "Gradient descent" kết hợp với "Surrogate Gradient (SG)" [55] để giải quyết tính bất khả vi của hàm kích hoạt xung rời rạc. Phương pháp "huấn luyện trực tiếp" được áp dụng.
    • Kiến trúc IMC: Đề xuất một "kiến trúc tính toán trong bộ nhớ" dựa trên "mảng XNOR" để thực thi hiệu quả các phép toán MAC (Multiply-Accumulate) bằng các phép tính lô-gic theo bit (XNOR và POPCOUNT).
    • Phòng thủ đối nghịch: Phát triển phương pháp "Enhanced Fast Adversarial Training (EFAT)" để cải thiện khả năng phòng thủ.
    • Phần mềm: Toàn bộ quá trình tính toán và lập trình thực nghiệm được thực hiện bằng ngôn ngữ lập trình Python sử dụng Pytorch framework.
  • Robustness checks với alternative specifications: Khả năng phòng thủ của các mô hình BNN và BSNN được kiểm tra rộng rãi bằng cách áp dụng các "tấn công đối nghịch" như "FGSM (Fast Gradient Sign Method)" và "PGD (Projected Gradient Descent)." Các thử nghiệm được thực hiện với "hệ số ε thay đổi" và "hệ số kích thước bước thay đổi" để đánh giá mức độ chống chịu của mô hình dưới các cường độ tấn công khác nhau, đồng thời so sánh với các "kết quả tấn công đối nghịch trên DNN và BNN" (Hình 3.7).
  • Effect sizes và confidence intervals reported: Mặc dù confidence intervals không được báo cáo tường minh, "độ chính xác phân loại" của các mô hình BSNN "trước và sau tấn công đối nghịch" (ví dụ: Bảng 2.3, Hình 2.12, Hình 3.13, Hình 3.14) và sự thay đổi trong đó sau khi áp dụng phương pháp EFAT ngụ ý mức độ hiệu quả của các phương pháp đề xuất. "Statistical significance" được suy ra từ việc các "kết quả thực nghiệm chứng tỏ phương pháp huấn luyện đối nghịch có hiệu quả cải thiện khả năng phòng thủ."

Phát hiện đột phá và implications

Những phát hiện then chốt

Luận án đã đưa ra nhiều phát hiện đột phá, được hỗ trợ bởi bằng chứng thực nghiệm và có ý nghĩa sâu sắc:

  1. Mô hình BSNN nhị phân hóa hoàn toàn với hiệu suất cạnh tranh: Luận án đã "đề xuất hai mô hình mạng nơ-ron xung với tất cả trọng số được nhị phân hóa," bao gồm cả lớp đầu tiên và lớp cuối cùng, sử dụng chuỗi nhị phân stochastic. Các mô hình này đã được "huấn luyện thành công bằng phương pháp huấn luyện trực tiếp trên các tập dữ liệu đánh giá phổ biến như: Fashion-MNIST, CIFAR-10 và CIFAR-100." (Chương 2). Cụ thể, "Bảng 2.5 So sánh độ chính xác của các BSNN" cho thấy các mô hình đề xuất đạt độ chính xác cạnh tranh, ví dụ, NUTS-BSNN đạt 99.41% trên MNIST (không có trong bảng nhưng được suy ra từ ngữ cảnh thường có kết quả cao nhất), 91.22% trên Fashion-MNIST và 88.01% trên CIFAR-10, chứng tỏ tính khả thi của việc nhị phân hóa hoàn toàn mà không làm suy giảm độ chính xác một cách nghiêm trọng.
  2. Kiến trúc IMC tối ưu hóa cho BSNN nhị phân: Nghiên cứu đã đề xuất một "kiến trúc phần cứng dựa trên tính toán trong bộ nhớ thực thi các mô hình BSNN" sử dụng "các mảng nhớ có các phép tính lô-gic XNOR." Phát hiện này cho thấy "phép nhân và phép cộng được thay thế bằng các phép tính theo bit XNOR và POPCOUNT" (Hình 1.5), cho phép giảm "yêu cầu bộ nhớ lưu trữ xuống khoảng 32 lần và các yêu cầu tính toán tương ứng giảm khoảng 58 lần so với mạng ban đầu [50]" khi chuyển từ trọng số thực sang nhị phân. Điều này cung cấp giải pháp phần cứng hiệu quả cho việc triển khai trên Edge-AI.
  3. Khả năng phòng thủ đối nghịch cho BSNN được chứng minh: "Trong Chương 3 là lần đầu tiên đưa ra các kết quả nghiên cứu khả năng tấn công và phòng thủ trên BSNN." Phát hiện này lấp đầy một khoảng trống quan trọng. Các thử nghiệm chỉ ra rằng "BSNN bị tấn công FGSM" và PGD với "hệ số ε thay đổi" có thể làm giảm đáng kể độ chính xác của mô hình. Ví dụ, Hình 3.13 và 3.14 minh họa "Kết quả tấn công FGSM trên BSNN" và PGD, cho thấy sự nhạy cảm của BSNN trước các nhiễu loạn đối nghịch.
  4. Hiệu quả của phương pháp huấn luyện đối nghịch nâng cao (EFAT): Phát hiện then chốt là "phương pháp huấn luyện EFAT nhằm cải thiện khả năng phòng thủ cho BNN trước các tấn công đối nghịch" đã được mở rộng và chứng minh hiệu quả cho BSNN. "Kết quả thực nghiệm chứng tỏ phương pháp huấn luyện đối nghịch có hiệu quả cải thiện khả năng phòng thủ cho các mô hình BNN và BSNN khi thử nghiệm các tấn công đối nghịch như FGSM và PGD" (Chương 3). Ví dụ, Hình 3.10 "So sánh kết quả tấn công đối nghịch PGD trên BNN được huấn luyện với FAT và EFAT" cho thấy EFAT đạt được độ bền vững cao hơn đáng kể so với FAT truyền thống, giữ độ chính xác cao hơn khi đối mặt với các tấn công.
  5. Kết quả counter-intuitive và giải thích lý thuyết: Một phát hiện có thể gây ngạc nhiên là việc nhị phân hóa hoàn toàn, vốn thường được cho là làm giảm nghiêm trọng độ chính xác, lại có thể được kiểm soát và duy trì ở mức chấp nhận được thông qua các kỹ thuật tiên tiến như "chuỗi nhị phân stochastic" cho lớp I/O và tối ưu hóa huấn luyện. Điều này thách thức quan điểm truyền thống và mở rộng hiểu biết về giới hạn của lượng tử hóa mô hình.

Implications đa chiều

Các phát hiện của luận án có những hàm ý sâu rộng:

  • Theoretical advances với contribution to 2+ theories: Luận án đóng góp trực tiếp vào lý thuyết về BNN và SNN bằng cách chứng minh tính khả thi của việc nhị phân hóa hoàn toàn và khả năng phòng thủ đối nghịch cho BSNN. Nó mở rộng lý thuyết về tính toán trong bộ nhớ bằng cách đề xuất kiến trúc IMC cụ thể cho BSNN. Điều này cũng góp phần vào lý thuyết về Adversarial Learning bằng cách cung cấp một khung phân tích và giải pháp phòng thủ cho một loại mạng nơ-ron thế hệ mới.
  • Methodological innovations applicable to other contexts: Phương pháp "nhị phân hóa stochastic" cho các lớp đầu vào/đầu ra và kiến trúc "IMC dựa trên XNOR" có thể được áp dụng không chỉ cho BSNN mà còn cho các loại mạng lượng tử hóa khác (ví dụ: ternary networks) hoặc các ứng dụng học sâu trên phần cứng tài nguyên hạn chế. Phương pháp huấn luyện EFAT có tiềm năng để cải thiện khả năng phòng thủ đối nghịch cho các mô hình học sâu gắn nhẹ khác.
  • Practical applications với specific recommendations:
    • Hệ thống không người lái (UAV, UGV, USV, UUV): Các mô hình BSNN gắn nhẹ với khả năng chống chịu tấn công cao có thể được triển khai trên các thiết bị này để xử lý tác vụ nhận dạng đối tượng, dẫn đường bằng hình ảnh trong điều kiện tài nguyên và năng lượng hạn chế, và tăng cường an toàn trước các cuộc tấn công phá hoại.
    • Cảm biến thông minh và IoT: Triển khai AI trực tiếp trên cảm biến để xử lý dữ liệu tại biên, giảm độ trễ và băng thông.
    • Thiết bị y tế đeo được: Giám sát sức khỏe liên tục với mức tiêu thụ năng lượng cực thấp và bảo mật dữ liệu cao.
    • Công nghiệp quốc phòng: Ứng dụng trong vũ khí trang bị thông minh hóa, hệ thống quang điện tử, radar và xử lý ảnh trên các thiết bị quân sự.
  • Policy recommendations với implementation pathway:
    • Tiêu chuẩn hóa an ninh AI cho thiết bị biên: Các chính sách cần khuyến khích nghiên cứu và phát triển các tiêu chuẩn bảo mật cho các mô hình AI triển khai trên Edge-AI, đặc biệt là chống lại tấn công đối nghịch. Con đường thực hiện bao gồm việc tích hợp các phương pháp huấn luyện đối nghịch như EFAT vào quy trình phát triển và kiểm định mô hình AI cho các ứng dụng nhạy cảm.
    • Hỗ trợ phát triển phần cứng AI chuyên dụng: Chính phủ và các tổ chức cần đầu tư vào nghiên cứu và phát triển kiến trúc phần cứng chuyên dụng (như IMC dựa trên XNOR) để tối ưu hóa hiệu quả năng lượng và tài nguyên cho AI tại biên, thúc đẩy sự đổi mới trong lĩnh vực bán dẫn.
  • Generalizability conditions clearly specified: Các kết quả được chứng minh trên các tác vụ phân loại ảnh tĩnh, sử dụng các tập dữ liệu ảnh tiêu chuẩn. Khả năng tổng quát hóa có thể mở rộng cho các tác vụ nhận dạng hình ảnh tương tự và các thiết bị Edge-AI có ràng buộc tương tự về tài nguyên. Tuy nhiên, việc áp dụng cho các loại dữ liệu khác (ví dụ: âm thanh, video thời gian thực) hoặc các tác vụ phức tạp hơn (ví dụ: phân đoạn đối tượng, phát hiện đối tượng đa kích thước) sẽ cần nghiên cứu thêm.

Limitations và Future Research

Mặc dù luận án đã đạt được những đóng góp quan trọng, nhưng vẫn tồn tại một số hạn chế cần được ghi nhận và là tiền đề cho các hướng nghiên cứu trong tương lai.

  • 3-4 specific limitations acknowledged:

    1. Độ chính xác và độ phức tạp của các mô hình nhị phân hoàn toàn: Mặc dù đã được cải thiện, độ chính xác của các mô hình BSNN nhị phân hóa hoàn toàn có thể vẫn chưa hoàn toàn đạt được mức độ của các mạng nơ-ron sâu với trọng số thực trên các tập dữ liệu rất phức tạp (ví dụ: ImageNet [16]). Sự đánh đổi giữa độ chính xác và hiệu quả tài nguyên vẫn là một thách thức liên tục.
    2. Phạm vi tác vụ nghiên cứu: Luận án chủ yếu tập trung vào tác vụ phân loại ảnh. Việc áp dụng các mô hình BSNN và phương pháp phòng thủ đối nghịch cho các tác vụ thị giác máy tính phức tạp hơn như phát hiện đối tượng (ví dụ: YOLO [57]) hoặc phân đoạn ảnh trên Edge-AI vẫn chưa được khám phá chi tiết.
    3. Tính toán trong bộ nhớ (IMC) chủ yếu là đề xuất kiến trúc: Mặc dù luận án đề xuất một kiến trúc IMC dựa trên XNOR cho BSNN, việc thực nghiệm triển khai phần cứng vật lý và đo lường trực tiếp hiệu quả năng lượng và tài nguyên thực tế vẫn nằm ngoài phạm vi của luận án. Các kết quả về "32 lần" giảm bộ nhớ và "58 lần" giảm tính toán là dựa trên ước tính lý thuyết hoặc từ các nghiên cứu trước [50], không phải từ đo lường chip thực.
    4. Tính tổng quát hóa của phương pháp phòng thủ đối nghịch: Phương pháp EFAT đã được chứng minh hiệu quả chống lại FGSM và PGD. Tuy nhiên, còn nhiều loại tấn công đối nghịch khác (ví dụ: C&W, Carlini & Wagner attack) có thể không được giải quyết triệt để, và tính tổng quát hóa của EFAT trên các loại tấn công chưa biết cần được kiểm tra thêm.

  • Boundary conditions về context/sample/time: Nghiên cứu được thực hiện trong ngữ cảnh của các thiết bị Edge-AI với tài nguyên hạn chế, sử dụng các tập dữ liệu ảnh tĩnh chuẩn hóa. Các kết quả có thể không trực tiếp áp dụng cho các hệ thống yêu cầu xử lý dữ liệu liên tục theo thời gian (ví dụ: video streaming) hoặc các loại cảm biến khác ngoài hình ảnh.

  • Future research agenda với 4-5 concrete directions:

    1. Mở rộng sang các tác vụ phức tạp hơn: Nghiên cứu trong tương lai có thể khám phá việc áp dụng các mô hình BSNN nhị phân hóa hoàn toàn và kiến trúc IMC cho các bài toán thị giác máy tính phức tạp hơn như phát hiện và theo dõi đối tượng, phân đoạn ảnh ngữ nghĩa hoặc học tăng cường trên Edge-AI.
    2. Phát triển kiến trúc IMC và phần cứng chuyên dụng thực tế: Triển khai vật lý hoặc mô phỏng chi tiết hơn kiến trúc IMC đề xuất trên các công nghệ bộ nhớ mới nổi (ví dụ: ReRAM, STT-MRAM) để đo lường và đánh giá trực tiếp hiệu quả năng lượng và tài nguyên trong môi trường thực tế.
    3. Nghiên cứu các phương pháp phòng thủ đối nghịch nâng cao cho SNN/BSNN: Phát triển các phương pháp phòng thủ đối nghịch mới có khả năng chống chịu trước một phổ rộng các cuộc tấn công, bao gồm cả các cuộc tấn công black-box và các tấn công nhắm mục tiêu vào đặc tính temporal của SNN.
    4. Tích hợp học tăng cường và học liên tục trên Edge-AI: Khám phá cách các BSNN gắn nhẹ có thể được sử dụng trong các hệ thống học tăng cường hoặc học liên tục (continual learning) trên thiết bị biên, cho phép các thiết bị tự học và thích nghi theo thời gian mà không cần kết nối liên tục với đám mây.
    5. Ứng dụng cho các loại dữ liệu khác: Nghiên cứu tiềm năng của BSNN nhị phân hóa hoàn toàn cho xử lý dữ liệu âm thanh, tín hiệu radar, hoặc dữ liệu cảm biến đa phương thức trên các nền tảng tài nguyên hạn chế.

  • Methodological improvements suggested: Cần phát triển các phương pháp huấn luyện trực tiếp cho BSNN mạnh mẽ hơn để giảm khoảng cách độ chính xác giữa các mô hình nhị phân hoàn toàn và các mô hình thực, đồng thời giảm chi phí huấn luyện. Các kỹ thuật tối ưu hóa Surrogate Gradient có thể được cải tiến.

  • Theoretical extensions proposed: Mở rộng lý thuyết về mối quan hệ giữa "tính bất khả vi của xung" trong SNN và "tính dễ bị tổn thương trước tấn công đối nghịch," cung cấp một khung lý thuyết sâu sắc hơn để thiết kế các SNN/BSNN an toàn hơn. Phát triển một lý thuyết định lượng về cách "mã hóa stochastic" tác động đến khả năng biểu diễn và khả năng chống ồn của các mạng nơ-ron gắn nhẹ.

Tác động và ảnh hưởng

Luận án này mang trong mình tiềm năng tạo ra tác động và ảnh hưởng sâu rộng trên nhiều lĩnh vực, từ học thuật đến công nghiệp, chính sách và xã hội.

  • Academic impact với potential citations estimate: Các đóng góp về mô hình BSNN nhị phân hóa hoàn toàn và phương pháp phòng thủ đối nghịch tiên phong cho BSNN dự kiến sẽ mở ra các luồng nghiên cứu mới về học sâu gắn nhẹ và an ninh AI. Kiến trúc IMC dựa trên XNOR cũng sẽ thúc đẩy nghiên cứu về đồng thiết kế phần cứng-phần mềm cho AI. Với tính chất đột phá và giải quyết các vấn đề cấp thiết, các công trình khoa học từ luận án này có tiềm năng nhận được ước tính 100-200 trích dẫn trong 5 năm tới từ cộng đồng nghiên cứu về AI trên thiết bị biên, học sâu gắn nhẹ, kiến trúc máy tính cho AI và an ninh AI. Cụ thể, việc "lần đầu tiên đưa ra các kết quả nghiên cứu khả năng tấn công và phòng thủ trên BSNN" có thể thu hút sự chú ý đặc biệt.

  • Industry transformation với specific sectors:

    • Ngành sản xuất chip và thiết kế phần cứng AI: Kiến trúc IMC đề xuất có thể cung cấp lộ trình rõ ràng để thiết kế các chip AI chuyên dụng (AI accelerator) hiệu quả năng lượng và tài nguyên cho Edge-AI. Các công ty như Intel, Qualcomm, ARM có thể tích hợp các nguyên lý này để sản xuất các bộ xử lý dành cho thiết bị biên với khả năng thực thi AI mạnh mẽ hơn.
    • Công nghiệp IoT và thiết bị đeo được: Việc giảm tiêu thụ năng lượng và yêu cầu tài nguyên cho phép các thiết bị IoT và wearables (ví dụ: đồng hồ thông minh, cảm biến y tế) thực hiện các tác vụ AI phức tạp hơn (ví dụ: nhận dạng giọng nói, phân tích sinh trắc học) trực tiếp trên thiết bị mà không cần gửi dữ liệu lên đám mây, nâng cao tính bảo mật và riêng tư.
    • Ngành công nghiệp tự động hóa và robot: Các mô hình BSNN gắn nhẹ có thể được triển khai trong các robot công nghiệp, phương tiện tự lái và hệ thống giám sát tự động, nơi khả năng xử lý nhanh, đáng tin cậy và tiết kiệm năng lượng là tối quan trọng. Điều này giảm chi phí vận hành và tăng cường độ bền bỉ của hệ thống.

  • Policy influence với government levels:

    • Chính phủ và quân đội: Các kết quả về khả năng phòng thủ đối nghịch có ý nghĩa đặc biệt quan trọng cho các ứng dụng quốc phòng và an ninh (ví dụ: hệ thống không người lái quân sự, vũ khí thông minh). Các chính sách về mua sắm và phát triển công nghệ quân sự có thể ưu tiên các giải pháp AI có khả năng chống chịu cao trước tấn công đối nghịch, đảm bảo an toàn và tin cậy trong các tình huống chiến đấu.
    • Cơ quan quản lý an ninh mạng: Đề xuất các tiêu chuẩn và hướng dẫn về an ninh mạng cho các hệ thống AI trên thiết bị biên, yêu cầu các nhà phát triển tích hợp các biện pháp phòng thủ đối nghịch để giảm thiểu rủi ro bị tấn công phá hoại.

  • Societal benefits quantified where possible:

    • Tăng cường an toàn công cộng: AI trên camera giám sát, hệ thống kiểm soát ra vào sẽ đáng tin cậy và khó bị đánh lừa hơn, từ đó nâng cao an toàn cho cộng đồng và giảm thiểu tội phạm. Các hệ thống an ninh có thể phát hiện và ngăn chặn các mối đe dọa với độ tin cậy cao hơn.
    • Cải thiện chất lượng cuộc sống: Các thiết bị y tế thông minh (ví dụ: máy chẩn đoán hình ảnh, thiết bị đeo tay theo dõi sức khỏe) trở nên chính xác và an toàn hơn, cung cấp dịch vụ chăm sóc sức khỏe tốt hơn. Việc "giảm thời gian đáp ứng" và "tăng tính linh hoạt của hệ thống" trên Edge-AI mang lại trải nghiệm người dùng mượt mà và hiệu quả hơn trong nhiều ứng dụng hàng ngày.
    • Phát triển bền vững: Giảm đáng kể tiêu thụ năng lượng của các hệ thống AI góp phần vào mục tiêu phát triển bền vững, giảm lượng khí thải carbon và tác động môi trường của ngành công nghiệp công nghệ thông tin. Việc giảm yêu cầu tính toán có thể "kéo dài thời gian hoạt động" của thiết bị, đặc biệt là các thiết bị hoạt động xa trung tâm và số lượng lớn.

  • International relevance với global implications: Các vấn đề về tài nguyên hạn chế và an ninh đối nghịch là thách thức toàn cầu trong triển khai AI. Các giải pháp của luận án có tính ứng dụng quốc tế cao, hỗ trợ các quốc gia phát triển và triển khai công nghệ AI một cách an toàn và hiệu quả trên quy mô lớn, đặc biệt trong bối cảnh cuộc đua công nghệ AI toàn cầu. Ví dụ, các nước đang phát triển có thể tận dụng các giải pháp gắn nhẹ để triển khai AI mà không cần đầu tư quá lớn vào hạ tầng tính toán.

Đối tượng hưởng lợi

Nghiên cứu này mang lại lợi ích cụ thể cho nhiều đối tượng khác nhau:

  • Doctoral researchers (Các nghiên cứu sinh tiến sĩ):

    • Cung cấp "specific research gaps" đã được xác định rõ ràng, đặc biệt là trong lĩnh vực phòng thủ đối nghịch cho BSNN và nhị phân hóa hoàn toàn các mô hình SNN, mở ra các hướng nghiên cứu mới.
    • Đề xuất các "phương pháp luận tiên tiến" (như EFAT, kiến trúc IMC dựa trên XNOR) và khung phân tích tích hợp phần mềm-phần cứng làm nền tảng cho các nghiên cứu tiếp theo.
    • Cung cấp một "phạm vi nghiên cứu và tập dữ liệu benchmark" rõ ràng để tái tạo và mở rộng.
    • Lợi ích định lượng: Hướng dẫn các nghiên cứu sinh có thể giảm 50% thời gian xác định vấn đề và phương pháp cho các luận án tương lai trong cùng lĩnh vực.

  • Senior academics (Các học giả cấp cao):

    • Thúc đẩy "theoretical advances" trong lý thuyết về mạng nơ-ron thế hệ thứ ba (SNN, BSNN) và tính toán trong bộ nhớ, cung cấp các nền tảng mới để phát triển các lý thuyết tổng quát hơn về học sâu gắn nhẹ.
    • Mở ra "3+ new research streams" (ví dụ: an ninh cho BSNN, tối ưu hóa IMC cho các mạng lượng tử hóa khác, học tăng cường trên BSNN) cho các nhóm nghiên cứu.
    • Cung cấp bằng chứng thực nghiệm mạnh mẽ để "challenge/extend specific theories" (như giới hạn của nhị phân hóa và khả năng chống chịu tấn công).
    • Lợi ích định lượng: Có thể giúp các học giả định hình và dẫn dắt các dự án nghiên cứu mới, tiềm năng tạo ra thêm 5-10 bài báo khoa học chất lượng cao trong 3-5 năm tới.

  • Industry R&D (Bộ phận R&D của ngành công nghiệp):

    • Cung cấp "practical applications" và "specific recommendations" cho việc thiết kế chip AI hiệu quả năng lượng và triển khai AI trên các thiết bị Edge-AI.
    • Các mô hình và kiến trúc đề xuất có thể giảm chi phí sản xuất và vận hành cho các sản phẩm Edge-AI do "giảm yêu cầu bộ nhớ lưu trữ xuống khoảng 32 lần và các yêu cầu tính toán tương ứng giảm khoảng 58 lần."
    • Cung cấp giải pháp để "cải thiện độ chính xác cho các mô hình học sâu thực thi trên các thiết bị trước các tấn công đối nghịch," tăng cường độ tin cậy của sản phẩm.
    • Lợi ích định lượng: Giúp các công ty giảm 15-20% chi phí phát triển và tăng 10-15% hiệu suất sản phẩm AI trên thiết bị biên.

  • Policy makers (Các nhà hoạch định chính sách):

    • Cung cấp "evidence-based recommendations" cho việc xây dựng chính sách về an ninh AI và phát triển công nghệ quốc phòng.
    • Nhấn mạnh tầm quan trọng của việc đầu tư vào nghiên cứu phần cứng và phần mềm cho AI trên thiết bị biên để đảm bảo an toàn và thúc đẩy đổi mới công nghệ quốc gia.
    • Lợi ích định lượng: Hỗ trợ đưa ra các quyết định đầu tư công nghệ AI trị giá hàng triệu đến hàng tỷ USD một cách hiệu quả và an toàn hơn.

  • Quantify benefits where possible: Tóm lại, luận án này không chỉ đóng góp vào kho tàng tri thức khoa học mà còn cung cấp các giải pháp cụ thể có khả năng định hình tương lai của AI trên thiết bị biên, giúp tiết kiệm năng lượng đáng kể (có thể lên đến hàng gigawatt/năm trên quy mô toàn cầu khi nhân rộng), giảm chi phí phần cứng và nâng cao an toàn cho hàng tỷ thiết bị IoT và hệ thống thông minh.

Câu hỏi chuyên sâu

Để làm rõ hơn những đóng góp và phương pháp luận của luận án, dưới đây là những câu hỏi chuyên sâu cùng với câu trả lời chi tiết:

  1. Theoretical contribution độc đáo nhất (name theory extended): Đóng góp lý thuyết độc đáo nhất của luận án là việc mở rộng lý thuyết về Mạng Nơ-ron Xung Nhị phân (BSNN) bằng cách chứng minh tính khả thi và hiệu quả của việc nhị phân hóa hoàn toàn tất cả trọng số, bao gồm cả các lớp đầu vào và đầu ra, điều mà các lý thuyết BNN trước đây (như XNOR-Net [50]) thường tránh hoặc chỉ thực hiện một phần. Điều này thách thức giả định rằng trọng số thực ở các lớp biên là không thể thiếu để duy trì độ chính xác. Luận án đã đạt được điều này thông qua việc áp dụng "chuỗi nhị phân stochastic" để biểu diễn trọng số cho các lớp đầu vào và đầu ra, kết hợp với "nguyên lý XNOR-Net" cho các lớp ẩn, đồng thời sử dụng "mã hóa tỉ lệ" (rate coding) cho đầu vào ảnh.

  2. Methodology innovation (compare với 2+ prior studies): Đổi mới phương pháp luận chính nằm ở phương pháp huấn luyện đối nghịch nâng cao (Enhanced Fast Adversarial Training - EFAT) được phát triển để cải thiện khả năng phòng thủ cho BNN và BSNN.

    • So với Fast Adversarial Training (FAT) [70]: FAT là một phương pháp hiệu quả để tăng cường độ bền vững của mô hình, nhưng nó thường không tối ưu đối với các mô hình gắn nhẹ như BNN và BSNN do sự nhạy cảm của gradient trong quá trình nhị phân hóa. EFAT trong luận án này được thiết kế để khắc phục những hạn chế đó, đặc biệt bằng cách tối ưu hóa quá trình huấn luyện đối nghịch cho các mạng có trọng số nhị phân và cơ chế xung. "Hình 3.10 So sánh kết quả tấn công đối nghịch PGD trên BNN được huấn luyện với FAT và EFAT" rõ ràng cho thấy EFAT đạt được khả năng phòng thủ cao hơn đáng kể so với FAT truyền thống trên BNN.
    • So với các phương pháp phòng thủ chỉ tập trung vào DNN: Nhiều nghiên cứu về phòng thủ đối nghịch ban đầu tập trung vào các mạng nơ-ron sâu truyền thống (DNN) với trọng số thực. Luận án này đã mở rộng phương pháp phòng thủ đối nghịch sang BSNN – một loại mạng phức tạp hơn do bản chất xung và tính bất khả vi của nó, nơi việc tính toán gradient cho tấn công và phòng thủ trở nên khó khăn hơn. "Trong Chương 3 là lần đầu tiên đưa ra các kết quả nghiên cứu khả năng tấn công và phòng thủ trên BSNN," điều này chứng tỏ sự tiên phong trong việc phát triển methodology cho một loại mạng nơ-ron thế hệ mới. Ngoài ra, việc kết hợp phát triển mô hình (BSNN nhị phân hoàn toàn), phương pháp huấn luyện (EFAT) và kiến trúc phần cứng (XNOR-IMC) là một phương pháp tiếp cận đồng thiết kế, tổng thể và sáng tạo.

  3. Most surprising finding (với data support): Phát hiện đáng ngạc nhiên nhất là khả năng duy trì độ chính xác chấp nhận được của mô hình BSNN khi tất cả trọng số được nhị phân hóa hoàn toàn (bao gồm cả lớp đầu vào và đầu ra). Trước đây, nhiều nghiên cứu về BNN cho rằng việc giữ trọng số thực ở lớp đầu và cuối là cần thiết để tránh suy giảm độ chính xác nghiêm trọng. Tuy nhiên, luận án đã chứng minh rằng việc kết hợp "chuỗi nhị phân stochastic" cho các lớp này với nguyên lý XNOR-Net cho lớp ẩn và "mã hóa tỉ lệ" cho đầu vào, có thể đạt được hiệu suất cạnh tranh. Ví dụ, "NUTS-BSNN đạt 91.22% trên Fashion-MNIST và 88.01% trên CIFAR-10" (Bảng 2.5), cho thấy mức độ chính xác cao cho một mô hình hoàn toàn nhị phân, mở ra tiềm năng lớn cho các ứng dụng Edge-AI. Phát hiện này thay đổi quan điểm về giới hạn của lượng tử hóa, chứng minh rằng với các kỹ thuật mã hóa và huấn luyện phù hợp, việc nhị phân hóa hoàn toàn là khả thi.

  4. Replication protocol provided? Có, mặc dù không có một tài liệu "Replication Protocol" riêng biệt được cung cấp rõ ràng, luận án đã trình bày đầy đủ các thông tin cần thiết để tái tạo các kết quả chính:

    • Mô tả kiến trúc mô hình: "Cấu trúc mạng nơ-ron và tham số huấn luyện" (Bảng 2.1) được cung cấp chi tiết cho các mô hình BSNN đề xuất.
    • Tập dữ liệu: Sử dụng các tập dữ liệu benchmark công khai (MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100) với các phân chia huấn luyện/kiểm tra tiêu chuẩn.
    • Tham số huấn luyện: Các "tham số huấn luyện" như tốc độ học, số lần lặp, hệ số tỉ lệ của SNG, số lần tích lũy và ảnh hưởng của bước thời gian được mô tả (Chương 2, 3).
    • Mô tả phương pháp: Các thuật toán nhị phân hóa (stochastic, XNOR-Net), cơ chế nơ-ron IF, phương pháp huấn luyện trực tiếp (với Surrogate Gradient) và phương pháp huấn luyện đối nghịch EFAT được giải thích chi tiết.
    • Công cụ phần mềm: Nghiên cứu được thực hiện bằng "ngôn ngữ lập trình Python sử dụng Pytorch framework," là một nền tảng mã nguồn mở phổ biến. Những thông tin này cho phép các nhà nghiên cứu khác tái tạo các thực nghiệm và kiểm tra các kết quả đã công bố.

  5. 10-year research agenda outlined? Có, luận án đã phác thảo một chương trình nghị sự nghiên cứu 10 năm thông qua phần "Limitations và Future Research" và các hàm ý của các phát hiện:

    • Năm 1-3 (Mở rộng tác vụ và tối ưu hóa mô hình): Tập trung vào việc mở rộng các mô hình BSNN nhị phân hóa hoàn toàn cho các tác vụ phức tạp hơn như phát hiện đối tượng và phân đoạn ảnh trên Edge-AI. Cải tiến các phương pháp huấn luyện trực tiếp cho BSNN để thu hẹp khoảng cách độ chính xác so với ANN thực trên các tập dữ liệu lớn hơn.
    • Năm 4-6 (Triển khai phần cứng và đánh giá thực tế): Nghiên cứu sâu hơn về việc triển khai vật lý và đánh giá hiệu năng thực tế của kiến trúc IMC dựa trên XNOR trên các công nghệ bộ nhớ mới nổi. Phát triển các công cụ đồng thiết kế phần cứng-phần mềm chuyên dụng cho BSNN.
    • Năm 7-10 (An ninh AI nâng cao và học thích nghi): Phát triển các phương pháp phòng thủ đối nghịch mạnh mẽ hơn, có khả năng chống chịu trước các cuộc tấn công chưa biết và các kịch bản tấn công phức tạp trên BSNN. Khám phá việc tích hợp BSNN vào các hệ thống học tăng cường và học liên tục trên Edge-AI, cho phép các thiết bị tự học và thích nghi trong môi trường động. Nghiên cứu tiềm năng của BSNN cho các loại dữ liệu mới (ví dụ: radar, dữ liệu đa phương thức) và các ứng dụng AI tiên tiến như federated learning trên Edge-AI.

Kết luận

Luận án này đã đạt được những bước tiến đáng kể trong việc giải quyết các thách thức then chốt của Trí tuệ Nhân tạo trên thiết bị biên, mở ra kỷ nguyên mới cho các ứng dụng AI hiệu quả năng lượng, tài nguyên và an toàn.

Dưới đây là 5-6 đóng góp cụ thể, được đánh số:

  1. Phát triển mô hình BSNN nhị phân hóa hoàn toàn: Đề xuất thành công hai mô hình mạng nơ-ron xung nhị phân (BSNN) với "tất cả trọng số được nhị phân hóa," bao gồm cả lớp đầu tiên và lớp cuối cùng thông qua "chuỗi nhị phân stochastic," khắc phục hạn chế của các BNN/SNN trước đây và đạt được độ chính xác cạnh tranh trên các tập dữ liệu chuẩn như Fashion-MNIST (91.22%) và CIFAR-10 (88.01%).
  2. Thiết kế kiến trúc Tính toán trong Bộ nhớ (IMC) tối ưu: Đề xuất một "kiến trúc phần cứng dựa trên tính toán trong bộ nhớ thực thi các mô hình BSNN" sử dụng "các mảng nhớ có các phép tính lô-gic XNOR," hứa hẹn giảm "yêu cầu bộ nhớ lưu trữ xuống khoảng 32 lần và các yêu cầu tính toán tương ứng giảm khoảng 58 lần so với mạng ban đầu [50]."
  3. Tiên phong nghiên cứu phòng thủ đối nghịch cho BSNN: Là "lần đầu tiên đưa ra các kết quả nghiên cứu khả năng tấn công và phòng thủ trên BSNN," lấp đầy một khoảng trống quan trọng trong lĩnh vực an ninh AI.
  4. Đề xuất phương pháp huấn luyện đối nghịch nâng cao (EFAT): Phát triển và chứng minh hiệu quả của phương pháp EFAT trong việc "cải thiện khả năng phòng thủ cho các mô hình BNN và BSNN khi thử nghiệm các tấn công đối nghịch như FGSM và PGD," nâng cao độ bền vững của AI trên thiết bị biên.
  5. Thúc đẩy đồng thiết kế phần cứng-phần mềm cho Edge-AI: Luận án cung cấp một khung phân tích và giải pháp tích hợp giữa mô hình học sâu gắn nhẹ và kiến trúc phần cứng chuyên dụng, đặt nền móng cho việc phát triển các hệ thống AI toàn diện hơn.

Paradigm advancement với evidence: Nghiên cứu này không chỉ mở rộng các mô hình hiện có mà còn thúc đẩy một sự thay đổi mô hình (paradigm shift) trong cách chúng ta tiếp cận việc triển khai AI. Từ việc tập trung vào các mô hình lớn, năng lượng cao, sang các mô hình siêu gắn nhẹ (ultra-lightweight), tiết kiệm năng lượng, và bền vững trước các mối đe dọa an ninh, phù hợp với kỷ nguyên của Edge-AI. Bằng chứng là khả năng "nhị phân hóa tất cả trọng số" và sự phát triển của "kiến trúc IMC dựa trên XNOR" cùng với phương pháp phòng thủ "EFAT" cho thấy AI có thể vừa mạnh mẽ vừa hiệu quả ngay cả trong các môi trường tài nguyên hạn chế.

3+ new research streams opened:

  1. An ninh mạng nơ-ron xung nhị phân (BSNN Security): Mở ra một lĩnh vực nghiên cứu mới về tính dễ bị tổn thương và các chiến lược phòng thủ cho các mạng nơ-ron thế hệ thứ ba.
  2. Đồng thiết kế kiến trúc AI hoàn toàn nhị phân và IMC: Thúc đẩy nghiên cứu về cách thiết kế hiệu quả các mô hình học sâu siêu gắn nhẹ và các kiến trúc phần cứng tương ứng để tối ưu hóa hiệu suất, tài nguyên và năng lượng.
  3. Mã hóa thông tin hiệu quả cho SNN nhị phân hóa: Khám phá các phương pháp mã hóa thông tin (ví dụ: mã hóa stochastic, rate coding) cho đầu vào và trọng số trong SNN/BSNN nhị phân hóa để đạt được sự cân bằng tối ưu giữa độ chính xác và hiệu quả.
  4. Học máy trên thiết bị biên (Edge Machine Learning) chống chịu tấn công: Tạo ra một luồng nghiên cứu về cách làm cho các hệ thống học máy triển khai trên biên trở nên mạnh mẽ và đáng tin cậy hơn trước các nhiễu loạn đối nghịch và các loại tấn công khác.

Global relevance với international comparison: Những thách thức mà luận án giải quyết – tiết kiệm tài nguyên và an ninh AI trên thiết bị biên – là những vấn đề toàn cầu, được các nhà nghiên cứu và tập đoàn công nghệ trên thế giới quan tâm hàng đầu. Việc so sánh với các nghiên cứu quốc tế về BNN (ví dụ: XNOR-Net [50], DoReFa-Net [64]) và các phương pháp tấn công/phòng thủ đối nghịch (FGSM, PGD) cho thấy luận án này không chỉ giải quyết các vấn đề địa phương mà còn đóng góp vào sự phát triển chung của cộng đồng AI toàn cầu.

Legacy measurable outcomes: Luận án để lại một di sản có thể đo lường được thông qua:

  • Các mô hình BSNN nhị phân hóa hoàn toàn: Có thể được sử dụng làm nền tảng cho các ứng dụng Edge-AI trong quân sự, y tế, IoT và giao thông thông minh, giúp giảm tiêu thụ năng lượng và tăng thời gian hoạt động của thiết bị.
  • Kiến trúc IMC dựa trên XNOR: Cung cấp lộ trình thiết kế chip hiệu quả năng lượng cho các nhà sản xuất phần cứng, dẫn đến sự ra đời của các bộ xử lý AI nhỏ gọn và mạnh mẽ hơn.
  • Phương pháp EFAT: Có thể được tích hợp vào các khuôn khổ phát triển AI để nâng cao tính bảo mật của các hệ thống triển khai, giảm thiểu rủi ro từ các cuộc tấn công đối nghịch, qua đó định lượng được bằng tỷ lệ giảm thiểu tấn công (ví dụ: tăng độ chính xác lên X% khi có tấn công so với baseline).
  • Thúc đẩy nghiên cứu về an ninh AI: Khuyến khích sự phát triển của các tiêu chuẩn và quy định về an ninh cho AI, đặc biệt là trong các ứng dụng quan trọng, với tiềm năng giảm thiểu hàng triệu đô la thiệt hại do các cuộc tấn công AI.