Luận án: Nghiên cứu & Phát triển Mô hình Học Sâu Nhận dạng Cảm Xúc từ Tín hiệu Điện Não Đồ

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG DƯƠNG THỊ MAI THƯƠNG NGHIÊN CỨU VÀ PHÁT TRIỂN MÔ HÌNH HỌC SÂU CHO NHẬN DẠNG CẢM XÚC TỪ TÍN HIỆU ĐIỆN NÃO TRONG ĐIỀU KIỆN TÀI NGUYÊN HẠN CHẾ LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN - NĂM 2025 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG DƯƠNG THỊ MAI THƯƠNG NGHIÊN CỨU VÀ PHÁT TRIỂN MÔ HÌNH HỌC SÂU CHO NHẬN DẠNG CẢM XÚC TỪ TÍN HIỆU ĐIỆN NÃO TRONG ĐIỀU KIỆN TÀI NGUYÊN HẠN CHẾ Ngành: Khoa học máy tính Mã số: 9.01 LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC PGS. PHÙNG TRUNG NGHĨA THÁI NGUYÊN - NĂM 2025 LỜI CAM ĐOAN Tôi xin cam đoan các kết quả trình bày trong luận án Tiến sĩ “Nghiên cứu và phát triển mô hình học sâu cho nhận dạng cảm xúc từ tín hiệu điện não trong điều kiện tài nguyên hạn chế” là các công trình nghiên cứu của tôi dưới sự hướng dẫn của PGS. Phùng Trung Nghĩa, trừ những kiến thức tham khảo từ các tài liệu đã được tham chiếu rõ ràng. Các kết quả nghiên cứu trong luận án là trung thực, một phần đã được công bố trên các Tạp chí, Hội thảo khoa học (danh sách các công trình được liệt kê tại cuối Luận án), phần còn lại chưa được công bố trong bất kỳ công trình nào khác.

Mọi nội dung dữ liệu được tham khảo trong luận án đều được trích dẫn đầy đủ và đúng quy định. Thái Nguyên, ngày. năm 2025 Tác giả luận án Dương Thị Mai Thương i LỜI CẢM ƠN Trong suốt quá trình học tập, nghiên cứu và hoàn thành luận án, tôi luôn nhận được sự hướng dẫn tận tình, góp ý quý báu và động viên từ các Thầy Cô, các Nhà khoa học, các Cơ quan, Đoàn thể và Gia đình. Với lòng biết ơn sâu sắc, tôi xin gửi lời cảm ơn chân thành đến: Ban lãnh đạo Trường Đại học Công nghệ Thông tin và Truyền thông Thái Nguyên, cùng Ban lãnh đạo Khoa Công nghệ Thông tin và các Thầy Cô, Cán bộ quản lý của trường.

Sự quan tâm và hỗ trợ quý báu về thời gian và tài chính đã tạo điều kiện thuận lợi để tôi hoàn thành nhiệm vụ nghiên cứu. Đặc biệt, tôi xin tri ân sâu sắc đến PGS. Phùng Trung Nghĩa, người đã luôn tận tâm hướng dẫn và động viên tôi trong suốt hành trình học tập và nghiên cứu. Tôi xin cảm ơn Khoa Công nghệ Thông tin, Bộ môn Hệ thống thông tin, cùng các thầy cô, đồng nghiệp đã tạo điều kiện thuận lợi để tôi hoàn thành quá trình học tập và nghiên cứu.

Cuối cùng, tôi dành lòng biết ơn sâu sắc đến gia đình, bố mẹ, chồng con và những người thân đã luôn đồng hành, ủng hộ và chia sẻ để tôi có thể tập trung thực hiện nhiệm vụ học tập và nghiên cứu. Mặc dù đã nỗ lực hết mình, tôi nhận thấy luận án vẫn còn những hạn chế về chuyên môn và cách trình bày. Tôi mong nhận được những góp ý quý báu từ các Thầy Cô và các Nhà khoa học để tiếp tục hoàn thiện hơn. Xin chân thành biết ơn! NCS.

Dương Thị Mai Thương ii Mục lục LỜI CAM ĐOAN i LỜI CẢM ƠN ii DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT iv DANH MỤC HÌNH ẢNH vii DANH MỤC BẢNG BIỂU viii MỞ ĐẦU 1 1. Tính cấp thiết của đề tài. Mục tiêu của luận án. Đối tượng, phạm vi và phương pháp nghiên cứu.

Các đóng góp của luận án. Ý nghĩa khoa học và thực tiễn. Bố cục của luận án. TỔNG QUAN VỀ BÀI TOÁN NHẬN DẠNG CẢM XÚC DỰA TRÊN TÍN HIỆU ĐIỆN NÃO 9 1.1 Tổng quan về bài toán nhận dạng cảm xúc .2 Tầm quan trọng của việc nhận dạng cảm xúc trong giao tiếp người - máy .3 Các mô hình cảm xúc .2 Nhận dạng cảm xúc dựa trên tín hiệu điện não đồ EEG .1 Giới thiệu về EEG .2 Hệ thống nhận dạng cảm xúc dựa trên tín hiệu điện não .3 Thu nhận và xử lý số tín hiệu EEG .1 Kích thích cảm xúc .2 Thu nhận và xử lý tín hiệu .3 Một số bộ dữ liệu cho bài toán EEG_ER .4 Trích xuất đặc trưng tín hiệu EEG .1 Trích xuất miền thời gian .2 Trích xuất miền tần số .3 Trích xuất miền thời gian–tần số .5 Phân lớp tín hiệu EEG trong bài toán nhận dạng cảm xúc .1 Các kỹ thuật học máy truyền thống .2 Các kỹ thuật học sâu .6 Phát triển các hệ thống nhận dạng tín hiệu EEG theo định hướng AIoT .7 Kết luận chương 1.

LỰA CHỌN KIẾN TRÚC HỌC SÂU NỀN TẢNG VÀ ĐẶC TRƯNG ĐẦU VÀO PHÙ HỢP CHO BÀI TOÁN EEG-ER 37 2.1 Biểu diễn và chuẩn hóa dữ liệu .1 Biểu diễn tín hiệu EEG dưới dạng ma trận .2 Biểu diễn tín hiệu EEG theo batch và cửa sổ thời gian .2 Lựa chọn các phương pháp trích chọn đặc trưng .1 Cơ sở lựa chọn các phương pháp trích chọn đặc trưng .2 Trích xuất đặc trưng bằng biến đổi Fourier nhanh (FFT) .3 Trích xuất năng lượng tín hiệu EEG bằng Mật độ phổ công suất (PSD) .4 Trích xuất đặc trưng thời gian - tần số EEG bằng Biến đổi Wavelet (WT) .3 Lựa chọn kiến trúc mô hình nền tảng .1 Cơ sở lựa chọn mô hình học sâu .4 Mô hình kết hợp CNN và BiLSTM .4 Tiến hành thực nghiệm và đánh giá kết quả .1 Thiết lập thí nghiệm .2 Thực nghiệm và đánh giá kết quả .5 Kết luận chương 2. PHÁT TRIỂN MÔ HÌNH HỌC SÂU NHẸ CHO HỆ THỐNG EEG_ER 58 3.1 Phân tích yêu cầu khi triển khai bài toán EEG_ER trên thiết bị có tài nguyên hạn chế .1 Giới hạn về tài nguyên tính toán trên phần cứng thực hiện tác vụ nhận dạng .2 Hạn chế về số lượng điện cực EEG trên thiết bị thu thập tín hiệu EEG có khả năng di động được .2 Các kỹ thuật tối ưu hóa mô hình học sâu .1 Kỹ thuật giảm overfitting và cải thiện tổng quát hóa .2 Kỹ thuật cải thiện khả năng học sâu và hội tụ nhanh .3 Nâng cao khả năng học đặc trưng trong EEG_ER .3 Đề xuất mô hình học sâu nhẹ cho bài toán EEG_ER .1 Mô tả chung .2 Kiến trúc chi tiết .3 Đánh giá cấu trúc và hiệu suất thực nghiệm của EEG_MCISNet, EEG_SICNet .4 Kết luận chương 3. TỐI ƯU HÓA MÔ HÌNH EEG_ER SỬ DỤNG KỸ THUẬT TỰ CHẮT LỌC TRI THỨC 86 4.1 Tổng quan về kỹ thuật chắt lọc tri thức và kỹ thuật tự chắt lọc tri thức .1 Chắt lọc tri thức .2 Tự chắt lọc tri thức .2 Kỹ thuật tối ưu hóa mô hình EEG-ER sử dụng SKD và Scaled Weights .1 Thiết lập bài toán .2 Đề xuất kiến trúc EEG-SKDNet .3 Trọng số có điều chỉnh (Scaled-Weights) .4 Chứng minh toán học về tác động của hệ số nhiệt và trọng số có điều chỉnh lên phân phối xác suất đầu ra trong EEG-SKDNet .5 Thiết lập kiến trúc mạng .1 Bộ dữ liệu .2 Chi tiết triển khai .3 So sánh và đánh giá với phương pháp cơ sở .4 So sánh với các phương pháp tiên tiến (SOTA) .5 Nghiên cứu loại bỏ (Ablation Study) .4 Kết luận chương 4. 104 KẾT LUẬN VÀ NHỮNG KIẾN NGHỊ NGHIÊN CỨU TIẾP THEO 105 DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC 107 DANH MỤC TÀI LIỆU THAM KHẢO 107 DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT Thuật ngữ Diễn giải tiếng Anh Diễn giải tiếng Việt AI Artificial Intelligence Trí tuệ nhân tạo AC Affective Computing Tính toán ảnh hưởng BCI Brain-Computer Interface Giao diện não - máy tính Convolutional Neural CNN Mạng nơ-ron tích chập Networks EEG Electroencephalogram Điện não đồ EEG based Emotion Nhận dạng cảm xúc dựa trên EEG-ER Recognition tín hiệu điện não ER Emotion Recognition Nhận dạng cảm xúc FLoating-point Operations Per Số phép tính dấu phẩy động FLOPs Second trên giây GNN Graph Neural Networks Mạng nơ ron đồ thị GRU Gated Recurrent Unit Bộ nhớ hồi quy có cổng GSR Galvanic Skin Response Phản ứng điện da High Arousal Negative Trạng thái cảm xúc kích thích HANV Valence cao và valence âm Trạng thái cảm xúc kích thích HAPV High Arousal Positive Valence cao và valence dương HCI Human-Computer Interaction Tương tác Người - Máy HOC Higher Order Crossing Kỹ thuật cắt trục không HRV Heart Rate Variability Biến thiên nhịp tim International Affective Digital Thư viện âm thanh cảm xúc IADS Sounds Quốc tế International Affective Picture Hệ thống hình ảnh cảm xúc IAPS System Quốc tế Independent Component ICA Phân tích thành phần độc lập Analysis iv Thuật ngữ Diễn giải tiếng Anh Diễn giải tiếng Việt KD Knowledge Distillation Chắt lọc tri thức Phương pháp láng giềng gần KNN K-Nearest Neighbors nhất Low Arousal Negative Trạng thái cảm xúc kích thích LANV Valence thấp và valence âm Trạng thái cảm xúc kích thích LAPV Low Arousal Positive Valence thấp và valence dương LDA Linear Discriminant Analysis Phân tích phân biệt tuyến tính LSTM Long Short-Term Memory Bộ nhớ ngắn dài hạn MAHNOB- Multimodal Emotion Bộ dữ liệu nhận dạng cảm xúc HCI Recognition Dataset đa phương thức MLP Multilayer Perceptron Mạng nơ-ron đa tầng Multi-Teacher Knowledge MT-KD Chắt lọc tri thức đa giáo viên Distillation NB Naı̈ve Bayes Thuật toán Naı̈ve Bayes P300 Positive deflection at 300ms Sóng P300 trong ERP PCA Principal Component Analysis Phân tích thành phần chính PPG Photoplethysmography Quang phổ kế Progressive Self-Knowledge PS-KD Chắt lọc tri thức tự cải tiến Distillation PSD Power Spectral Density Mật độ phổ công suất RASM Rational Asymmetry Bất đối xứng tỷ lệ RF Random Forest Rừng ngẫu nhiên RMS Root Mean Square Giá trị trung bình bình phương RNN Recurrent Neural Network Mạng nơ-ron hồi quy ReLU Rectified Linear Unit Hàm kích hoạt ReLU SAM Self-Assessment Manikin Thang đo cảm xúc tự đánh giá SE Squeeze-and-Excitation Cấu trúc SE Block Bộ dữ liệu EEG cảm xúc SEED SJTU Emotion EEG Dataset SJTU v Thuật ngữ Diễn giải tiếng Anh Diễn giải tiếng Việt Extended version of SEED Phiên bản mở rộng của bộ dữ SEED-IV dataset liệu SEED SKD Self-Knowledge Distillation Tự chăt lọc tri thức STFT Short-Time Fourier Transform Biến đổi Fourier ngắn hạn SVM Support Vector Machine Máy vector hỗ trợ SW Scaled Weights Trọng số co dãn VR Virtual Reality Thực tế ảo WT Wavelet Transform Biến đổi Wavelet vi DANH MỤC HÌNH ẢNH Hình 0.1 Các bước quan trọng của bài toán EEG_ER .2 Hệ thống EEG_ER theo tiếp cận AIoT .1 Mô hình cảm xúc 2D Russell .2 Mô hình cảm xúc Schloberg .3 Thiết lập ghi tín hiệu EEG .4 Nhận dạng các dạng sóng theo tần số .5 Bản đồ phân bố điện cực .1 Kiến trúc mạng 1D-CNN [51] .2 Mạng BiLSTM - Bidirectional Long Short-Term Memory [26] .3 Cấu trúc của mô hình kết hợp CNN với BiLSTM [43] .4 Bộ dữ liệu DEAP [60] .5 Các bước thực hiện trích chọn đặc trưng .6 Kiến trúc mạng CNN .7 Kiến trúc mạng Bi-LSTM .8 Kiến trúc mạng kết hợp CNN-BiLSTM .1 Cấu trúc khối SE [45].2 Cấu trúc khối Inception [105].