Luận án Tiến sĩ Khoa học máy tính: Một số kỹ thuật nhận dạng biểu hiện khuôn mặt phục vụ đánh giá sự tập trung của người học
Nghiên cứu đề xuất kỹ thuật nhận dạng biểu cảm khuôn mặt đánh giá sự tập trung của người học, ứng dụng trong lĩnh vực giáo dục và tương tác người máy.
Luan An
Luận án tiến sĩ
Năm xuất bản
Số trang
124
Thời gian đọc
19 phút
Lượt xem
0
Lượt tải
0
Phí lưu trữ
40 Point
Tổng quan nhanh
- Chủ đề:
- 1. Đột phá thị giác máy tính trong giáo dục hiện đại
- Số trang:
- 124 trang
- Trường:
- Trường Đại học Lạc Hồng
- Chuyên ngành:
- Khoa học máy tính
- Tác giả:
- Trần Thanh Phương
- Năm:
- 2023
Tóm tắt nội dung luận án
I. Đột phá thị giác máy tính trong giáo dục hiện đại
Phân tích học tập tự động đang dẫn đầu xu hướng chuyển đổi số. Hệ thống giáo dục cần công cụ giám sát thông minh. Thị giác máy tính trong giáo dục (Computer Vision in EdTech) mang lại giải pháp quan sát toàn diện. Camera thu thập tín hiệu hình ảnh trực tiếp từ lớp học. Thuật toán trích xuất dữ liệu hành vi liên tục theo thời gian thực. Giảng viên nhận báo cáo chi tiết về phản ứng của từng cá nhân. Dữ liệu trực quan hỗ trợ điều chỉnh bài giảng kịp thời. Môi trường học tập trở nên tương tác và hiệu quả hơn. Quá trình đánh giá diễn ra hoàn toàn tự động và khách quan. Thiết bị không gây áp lực tâm lý cho người học. Công nghệ mở ra bước tiến lớn cho các giải pháp giáo dục thông minh.
1.1. Nhu cầu phân tích hành vi học tập tự động
Mô hình lớp học truyền thống gặp nhiều rào cản trong việc theo dõi người học. Giảng viên khó bao quát biểu cảm của toàn bộ học viên cùng lúc. Sự lơ đãng thường tích tụ âm thầm qua từng buổi học. Hiện tượng này dẫn tới kết quả học tập sa sút hoặc bỏ học giữa chừng. Phân tích học tập tự động giải quyết triệt để bài toán này. Hệ thống theo dõi liên tục mọi biến đổi sắc thái khuôn mặt. Tín hiệu mệt mỏi hay bối rối được phát hiện ngay lập tức. Nhà trường thu thập dữ liệu hành vi khách quan. Cơ sở đào tạo có căn cứ cải tiến chương trình đào tạo và trang thiết bị hiệu quả.
1.2. Ứng dụng thị giác máy tính trong giáo dục EdTech
Thị giác máy tính trong giáo dục (Computer Vision in EdTech) cung cấp các thuật toán thị giác không xâm lấn. Hệ thống chỉ sử dụng một camera thông thường đặt trước bàn học. Dữ liệu video được phân giải thành các chuỗi khung hình liên tiếp. Các kỹ thuật xử lý ảnh lọc nhiễu ánh sáng và căn chỉnh góc quay. Thuật toán phân tích vị trí đầu, mắt và khuôn mặt. Quy trình không yêu cầu gắn cảm biến lên cơ thể. Người học duy trì tâm lý tự nhiên trong suốt buổi học. Dữ liệu trích xuất đảm bảo tính chính xác và an toàn thông tin.
II. Kỹ thuật nhận diện biểu cảm khuôn mặt FER học sinh
Nhận diện biểu cảm khuôn mặt (FER) là trọng tâm trong việc thấu hiểu cảm xúc người học. Biểu cảm thể hiện trực tiếp sự hứng thú, chán nản hoặc khó hiểu. Hệ thống xử lý ảnh bóc tách từng vùng cơ mặt quan trọng. Sự phối hợp chuyển động giữa mắt, chân mày và khóe miệng phản ánh mức độ tiếp thu bài. Kỹ thuật này giúp phân loại chính xác các trạng thái tâm lý phức tạp. Việc đánh giá dựa trên bằng chứng thị giác rõ ràng. Công nghệ mang lại độ tin cậy vượt trội so với khảo sát định tính. Các phản hồi cảm xúc được số hóa thành thang điểm khoa học. Cơ sở dữ liệu cảm xúc hỗ trợ tối ưu hóa giáo án giảng dạy toàn diện.
2.1. Hệ thống mã hóa hành vi khuôn mặt FACS cơ bản
Hệ thống mã hóa hành vi khuôn mặt (Facial Action Coding System - FACS) phân chia cử động mặt thành các đơn vị hành động riêng biệt. Mỗi đơn vị cơ mặt phản ánh một biến đổi cơ học cụ thể. Thuật toán phân rã biểu cảm tổng hợp thành các thành phần cơ bản độc lập. Phương pháp này giảm thiểu sự nhầm lẫn giữa các sắc thái tương đồng. Biểu hiện mỉm cười, cau mày hay nhướng mắt được ghi nhận chi tiết. Mô hình tính toán cường độ cử động của từng nhóm cơ. Kết quả phân rã giúp xác định chính xác trạng thái tâm lý sâu kín của người học.
2.2. Giải quyết vấn đề khan hiếm dữ liệu cảm xúc hỗn hợp
Người học thường bộc lộ cảm xúc hỗn hợp thay vì các trạng thái đơn lẻ. Một học sinh có thể vừa bối rối vừa cố gắng tập trung. Bộ dữ liệu chuẩn trong lớp học thực tế vô cùng khan hiếm. Kỹ thuật phân rã biểu cảm thành phần cơ bản giải quyết hiệu quả hạn chế này. Mô hình học từ các tổ hợp thành phần nhỏ thay vì toàn bộ khuôn mặt phức tạp. Thuật toán giảm sự phụ thuộc vào các tập dữ liệu gán nhãn quy mô lớn. Độ chính xác nhận diện tăng đáng kể trong môi trường ánh sáng phức tạp.
III. Giám sát mắt và ước lượng tư thế đầu người học tập
Mắt và tư thế đầu là hai chỉ số quan trọng phản ánh hành vi học tập. Hướng nhìn thể hiện rõ sự chú ý của học viên đối với bài giảng. Trạng thái mi mắt phản ánh trực tiếp mức độ tỉnh táo. Kỹ thuật phát hiện trạng thái buồn ngủ và lơ đãng (Drowsiness & Fatigue Detection) ngăn chặn kịp thời việc mất tập trung. Thuật toán theo dõi liên tục vị trí đầu và tần suất chớp mắt. Dữ liệu kết hợp giúp xây dựng hồ sơ hành vi đầy đủ. Hệ thống cảnh báo tức thì khi xuất hiện dấu hiệu suy giảm chú ý kéo dài.
3.1. Tính toán tỷ lệ khung hình mắt EAR và Gaze Tracking
Thuật toán sử dụng điểm đặc trưng khuôn mặt (Facial Landmarks Detection) để xác định các tọa độ quanh viền mắt. Giá trị tỷ lệ khung hình mắt (Eye Aspect Ratio - EAR) được tính toán tự động trên từng khung hình. Chỉ số EAR giảm mạnh khi mắt nhắm và giữ mức cao khi mắt mở. Tần suất chớp mắt và thời gian nhắm mắt kéo dài giúp phát hiện cơn buồn ngủ. Kết hợp theo dõi ánh mắt và chuyển động đồng tử (Gaze Tracking) giúp xác định chính xác tiêu điểm nhìn. Hệ thống nhận biết học viên đang đọc sách, nhìn màn hình hay nhìn ra ngoài.
3.2. Ước lượng tư thế đầu Head Pose xác định hướng chú ý
Kỹ thuật ước lượng tư thế đầu (Head Pose Estimation: Yaw, Pitch, Roll) đo đạc các góc quay 3 chiều không gian. Góc Yaw phản ánh cử động quay đầu sang trái hoặc phải. Góc Pitch ghi nhận thao tác cúi đầu xuống hoặc ngửa đầu lên. Góc Roll biểu thị độ nghiêng đầu sang hai bên vai. Khi học viên quay đầu lệch khỏi bảng giảng dạy quá lâu, hệ thống ghi nhận trạng thái lơ đãng. Dữ liệu tư thế đầu bổ sung thông tin định hướng quan trọng. Sự kết hợp giữa tư thế đầu và hướng mắt tạo ra độ tin cậy vượt bậc.
IV. Tối ưu mạng nơ ron CNN cùng mô hình Vision Transformer
Trí tuệ nhân tạo hiện đại cung cấp nền tảng mạnh mẽ cho xử lý hình ảnh giáo dục. Mạng nơ-ron tích chập (CNN) và Vision Transformer (ViT) là hai kiến trúc học sâu tiêu biểu. CNN vượt trội trong việc trích xuất các đặc trưng không gian cục bộ như viền mắt, khóe môi và nếp nhăn trán. Vision Transformer phân tích mối tương quan toàn cục trên toàn bộ khuôn mặt. Việc kết hợp hai mô hình tạo ra hệ thống thị giác thông minh. Thuật toán đạt tốc độ xử lý nhanh và độ chính xác cao trên luồng video trực tiếp.
4.1. Điểm đặc trưng khuôn mặt với Facial Landmarks Detection
Kỹ thuật điểm đặc trưng khuôn mặt (Facial Landmarks Detection) định vị chính xác hàng chục tọa độ mốc giải phẫu. Mạng nơ-ron tích chập (CNN) trích xuất các mốc điểm quanh lông mày, sống mũi, bờ môi và khung hàm. Tọa độ các điểm được theo dõi ổn định qua từng khung hình liên tiếp. Bất kỳ sự xê dịch nhỏ nào của cơ mặt đều được lượng hóa cụ thể. Dữ liệu mốc điểm hỗ trợ tính toán chỉ số hình học khuôn mặt nhanh chóng. Thuật toán tối ưu hóa tài nguyên phần cứng, hoạt động mượt mà trên camera thông thường.
4.2. Ứng dụng Vision Transformer ViT phân loại biểu cảm
Mô hình Vision Transformer (ViT) chia khung hình khuôn mặt thành các mảnh ảnh nhỏ liên kết. Cơ chế Self-Attention tự động tính toán trọng số liên kết giữa các vùng hình ảnh khác nhau. ViT nhận biết ngữ cảnh cảm xúc toàn diện vượt trội hơn các mô hình truyền thống. Sự phối hợp giữa mắt cụp và đầu cúi được đánh giá như một chuỗi hành vi thống nhất. Mô hình học sâu này giảm thiểu các lỗi nhận diện do che khuất một phần mặt. Khả năng khái quát hóa cao giúp hệ thống thích nghi tốt với nhiều đối tượng người học.
V. Đánh giá mức độ tập trung của người học đa chiều sâu
Đánh giá mức độ tập trung của người học đòi hỏi phân tích chuỗi thời gian liên tục. Một thời điểm lơ đãng ngắn không đại diện cho toàn bộ buổi học. Hệ thống ghi nhận trạng thái thị giác tại từng giây riêng lẻ. Dữ liệu sau đó được tổng hợp và tính tỷ lệ phân bổ trên toàn bộ tiến trình học tập. Thuật toán kết hợp đồng thời trạng thái mắt, tư thế đầu và biểu cảm cơ mặt. Kết quả xuất ra biểu đồ tập trung trực quan theo từng giai đoạn tiết học. Giảng viên nhìn thấy rõ những đoạn bài giảng gây buồn ngủ hoặc khó hiểu. Từ đó, phương pháp giảng dạy được tối ưu hóa chuẩn xác.
5.1. Quy trình tổng hợp tỷ lệ trạng thái theo thời gian
Quy trình đánh giá chia buổi học thành các cửa sổ thời gian trượt đều đặn. Thuật toán tính tỷ lệ phần trăm thời gian mắt mở, hướng nhìn tập trung và nét mặt tích cực. Tỷ lệ trạng thái nhắm mắt kéo dài hoặc quay đầu lơ đãng được khấu trừ vào điểm tổng. Điểm số tập trung được chuẩn hóa về thang điểm chuẩn từ 0 đến 100. Đồ thị xu hướng thể hiện rõ thời điểm năng lượng học tập đạt đỉnh hoặc suy giảm. Phương pháp tổng hợp chuỗi thời gian loại bỏ các sai số đo đạc tức thời, mang lại kết quả khách quan.
5.2. Tác động cải thiện phương pháp sư phạm và quản trị
Báo cáo tập trung tự động mang lại giá trị thực tiễn to lớn cho nhà trường. Giảng viên nhận biết phần kiến thức nào khiến nhiều học viên bối rối nhất. Bài giảng được tinh chỉnh, bổ sung ví dụ minh họa hoặc điều chỉnh tốc độ nói. Cơ sở giáo dục nắm bắt chất lượng giảng dạy giữa các lớp học và môn học. Môi trường học tập được nâng cấp dựa trên phản hồi hành vi xác thực. Người học được can thiệp hỗ trợ sớm khi có dấu hiệu chán nản hoặc kiệt sức. Công nghệ nâng cao trải nghiệm đào tạo toàn diện.
Mục lục chi tiết luận án
Tải xuống file đầy đủ để xem toàn bộ nội dung
Tải đầy đủ (124 trang)Nội dung chính
Tổng quan về luận án
Bối cảnh khoa học hiện đại đang chứng kiến sự hội tụ mạnh mẽ giữa giáo dục và công nghệ, đặc biệt là trong kỷ nguyên hậu COVID-19 khi mô hình học tập kết hợp (blended learning) ngày càng phổ biến [8] [9] [10]. Trong bối cảnh này, việc phân tích học tập tự động (Automated Learning Analytics) trở thành một chủ đề nghiên cứu tiên phong, với trọng tâm là phát triển các hệ thống hiệu quả để giám sát quá trình học tập và cung cấp phản hồi kịp thời cho giáo viên và các nhà quản lý giáo dục. Luận án tiến sĩ với tên “Một số kỹ thuật nhận dạng biểu hiện khuôn mặt phục vụ đánh giá sự tập trung của người học” được thực hiện bởi Trần Thanh Phương tại Trường Đại học Lạc Hồng vào năm 2023, đại diện cho một bước tiến đột phá trong lĩnh vực này, tập trung vào việc tận dụng những tiến bộ của thị giác máy tính và học sâu để giải quyết những thách thức cố hữu trong việc đánh giá sự tập trung của người học.
Nghiên cứu này được đặt trong bối cảnh các hệ thống quản lý học tập (Learning Management Systems – LMS) và nền tảng học trực tuyến đang tạo ra sự phong phú dữ liệu dạy-học, nhưng lại thiếu các chỉ báo/bộ phát hiện mức độ tương tác và tập trung của người học [10]. Các phương pháp truyền thống như khảo sát thủ công hoặc tự báo cáo [6] không khách quan, tốn thời gian và không thể mở rộng quy mô lớn [11]. Mặc dù các công trình nghiên cứu dựa trên thị giác máy tính đã đạt được một số thành công ban đầu [5] [14] [15] [16] [4] [17] [18], chúng vẫn còn tồn tại những hạn chế đáng kể khi triển khai vào môi trường thực tế.
Research gap SPECIFIC với citations từ literature: Luận án này xác định và giải quyết ba khoảng trống nghiên cứu chính trong các công trình trước đây:
- Vấn đề ngưỡng cố định trong phát hiện trạng thái mắt: Nhiều công trình, như của Ayat và cộng sự [18], sử dụng "một ngưỡng cố định để xác định trạng thái đóng/mở của mắt". Điều này gây ra sự thiếu chính xác nghiêm trọng vì "đặc trưng mắt của mỗi người là khác nhau, có người mắt to, mắt nhỏ v., nên khi dùng một ngưỡng cố định sẽ không phù hợp cho mọi đối tượng" [1.2]. Đây là một hạn chế lớn khi áp dụng vào đa dạng đối tượng người học.
- Khan hiếm dữ liệu huấn luyện cảm xúc hỗn hợp: Các nghiên cứu trước đây như của Sharma và cộng sự [19], [20], hay Nezami và cộng sự [63], thường dựa trên các bộ dữ liệu chuẩn như FERC-2013 [21], vốn "chỉ chứa bảy cảm xúc cơ bản". Tuy nhiên, trong quá trình học tập, "cảm xúc của người học có thể là đơn lẻ hoặc hỗn hợp" [1.2]. Sự thiếu hụt dữ liệu về cảm xúc hỗn hợp dẫn đến "thiếu chính xác cho các mô hình nhận dạng" khi đối mặt với các biểu cảm phức tạp, đa dạng của người học trong môi trường thực tế.
- Thiếu quy trình đánh giá tập trung toàn diện theo thời gian: Các công trình hiện có thường đánh giá mức độ tập trung dựa trên "xem xét ở một thời điểm để kết luận là thiếu chính xác" [1.2]. Hành vi và cảm xúc của người học có thể đan xen và thay đổi liên tục trong suốt buổi học. Do đó, việc thiếu một "quy trình đánh giá sự tập trung của người học" toàn diện, có tính đến yếu tố thời gian, là một hạn chế quan trọng.
Research questions và hypotheses: Dựa trên những khoảng trống này, luận án đề xuất các câu hỏi nghiên cứu và giả thuyết sau:
- RQ1: Làm thế nào để cải thiện độ chính xác của kỹ thuật phát hiện trạng thái đóng/mở mắt để phù hợp với mọi đối tượng người học, bất kể đặc điểm mắt cá nhân?
- H1: Việc áp dụng một ngưỡng linh động (adaptive threshold) dựa trên tỷ lệ hình dạng mắt (Eye Aspect Ratio - EAR) sẽ nâng cao đáng kể độ chính xác và khả năng khái quát hóa của kỹ thuật phát hiện trạng thái đóng/mở mắt so với các phương pháp ngưỡng cố định.
- RQ2: Làm thế nào để giải quyết vấn đề khan hiếm dữ liệu huấn luyện cảm xúc hỗn hợp nhằm cải thiện độ chính xác của mô hình nhận dạng biểu cảm khuôn mặt cho người học?
- H2: Kỹ thuật phân rã biểu cảm thành phần cơ bản (decomposition of basic component expressions) có thể tạo ra dữ liệu huấn luyện phong phú hơn, cho phép mô hình nhận dạng đạt được độ chính xác cao hơn khi phân tích các cảm xúc hỗn hợp của người học.
- RQ3: Làm thế nào để xây dựng một quy trình đánh giá mức độ tập trung của người học toàn diện, có tính đến sự biến đổi theo thời gian trong suốt quá trình học tập?
- H3: Một quy trình đánh giá tổng hợp các trạng thái tập trung được tính toán từ từng thời điểm riêng lẻ và tính tỷ lệ của mỗi trạng thái so với cả quá trình sẽ cung cấp kết quả đánh giá chi tiết và khách quan hơn về mức độ tập trung của người học.
Theoretical framework với tên theories cụ thể: Luận án này xây dựng khung lý thuyết dựa trên sự tích hợp của nhiều lĩnh vực và lý thuyết khoa học máy tính:
- Lý thuyết nhận dạng mẫu (Pattern Recognition): Cung cấp nền tảng cho việc trích xuất và phân loại các đặc trưng từ hình ảnh, đặc biệt là khuôn mặt và mắt người.
- Thị giác máy tính (Computer Vision): Là xương sống của luận án, sử dụng các kỹ thuật như phát hiện khuôn mặt (dựa trên Viola & Jones [23] và GentleBoost [22]), phát hiện dấu mốc trên khuôn mặt (Facial Landmarks) sử dụng thư viện Dlib [24], và xử lý ảnh số (như Cân bằng biểu đồ thích ứng có giới hạn tương phản - CLAHE).
- Học sâu (Deep Learning) và Mạng nơ-ron tích chập (Convolutional Neural Network - CNN): Đặc biệt là mô hình VGGNet [17], được sử dụng để nhận dạng biểu cảm khuôn mặt (Facial Expression Recognition - FER) trên bộ dữ liệu FERC-2013 [21], giải quyết bài toán phân loại hình ảnh. Các mô hình tiên tiến khác như Inception_v4 [26] và ResNet [27] cũng được xem xét.
- Hệ thống mã hóa hành động trên khuôn mặt (Facial Action Coding System - FACS) của Ekman và Friesen [39]: Cung cấp nền tảng lý thuyết cho việc phân tích các đơn vị hành động (Action Unit - AU) trên khuôn mặt, giúp định nghĩa và phân rã các biểu cảm cảm xúc thành các thành phần cơ bản.
Đóng góp đột phá với quantified impact: Luận án đạt được những đóng góp đột phá với tác động có thể định lượng:
- Kỹ thuật phát hiện trạng thái đóng/mở mắt linh động: Cải tiến kỹ thuật phát hiện trạng thái đóng/mở mắt với "ngưỡng được xác định một cách linh động dựa trên tỷ lệ giữa chiều cao và chiều rộng của khung hình chữ nhật chứa mắt" [25]. Thực nghiệm cho thấy "kỹ thuật cải tiến tỏ ra hiệu quả và phù hợp để giải quyết bài toán của luận án" [Tóm tắt luận án], tăng độ chính xác và khả năng áp dụng cho mọi đối tượng, vượt trội so với các công trình trước đó sử dụng ngưỡng cố định [18]. Công trình này được công bố tại [25].
- Kỹ thuật phân rã biểu cảm thành phần cơ bản: Đề xuất kỹ thuật phân rã biểu cảm thành phần cơ bản trên khuôn mặt, giải quyết "vấn đề khan hiếm về dữ liệu huấn luyện cảm xúc hỗn hợp" [28]. Điều này giúp "nâng cao độ chính xác cho bài toán nhận dạng" và cung cấp hiểu biết chi tiết hơn về các cảm xúc phức tạp của người học, thay vì chỉ 7 cảm xúc cơ bản từ FERC-2013 [21]. Công trình này được công bố tại [28].
- Quy trình đánh giá mức độ tập trung toàn diện: Xây dựng một quy trình đánh giá "dựa trên trạng thái đóng/mở của mắt" [29], phân tích trên "cả quá trình học tập của người học", bằng cách "tổng hợp lại và tính tỷ lệ của mỗi trạng thái so với cả quá trình" [Tóm tắt luận án]. Điều này cung cấp một cái nhìn khách quan và chi tiết hơn về sự tập trung, giúp giáo viên có phản hồi kịp thời. Công trình này được công bố tại [29].
Scope và significance: Phạm vi của luận án tập trung vào nền tảng thị giác máy tính để phát triển kỹ thuật đánh giá sự tập trung dựa trên hành vi đóng/mở mắt và biểu hiện trên khuôn mặt của người học. Dữ liệu đầu vào là video từ camera thông thường hoặc phần mềm học trực tuyến (Microsoft Teams, Google Meet, Zoom). Các kỹ thuật được phát triển phù hợp với dữ liệu "hạn chế về kích thước và độ phân giải" [1.4]. Ý nghĩa của nghiên cứu là cung cấp một hệ thống đánh giá tự động, khách quan, giúp cơ sở quản lý giáo dục "cải thiện chính sách học vụ, môi trường học tập, cơ sở vật chất, chương trình đào tạo" và "ngăn ngừa tình trạng như chán nản, sao lãng, bỏ học" [2.1.1]. Đối với giáo viên, nó giúp "cải tiến phương pháp giảng dạy, giáo trình, bài giảng để nâng cao hiệu suất cho người học" [2.1.1]. Nghiên cứu này mở ra hướng tiếp cận mới để đo lường và can thiệp kịp thời vào quá trình học tập, đặc biệt quan trọng trong kỷ nguyên số hóa giáo dục.
Literature Review và Positioning
Đánh giá sự tập trung của người học là một lĩnh vực nghiên cứu đa ngành, được phân loại thành ba phương pháp chính: thủ công, bán tự động và tự động [6]. Luận án này tập trung vào các phương pháp tự động, đặc biệt là những phương pháp dựa trên thị giác máy tính, do ưu điểm về tính khách quan, không xâm lấn và khả năng mở rộng quy mô [2.1.3].
Synthesis của major streams với TÊN TÁC GIẢ và NĂM cụ thể:
- Phương pháp dựa trên cảm biến sinh lý và thần kinh: Các nghiên cứu như của Lin và cộng sự (2014) [46] và Popescu và cộng sự (2018) [45] sử dụng các chỉ số sinh lý như EEG (Electro Encephalo Graphy) và ECG (Electro Cardio Gram) để đo mức độ tương tác. Tuy nhiên, các phương pháp này đòi hỏi "các cảm biến chuyên dụng và không thuận tiện để sử dụng, tốn kém và gây khó khăn trong các môi trường giáo dục ngoài đời thực" [2.1.3].
- Phương pháp dựa trên hành vi và tư thế: Một số công trình nghiên cứu sử dụng tư thế đầu, cử chỉ tay và tư thế hình thể để đánh giá sự tập trung. Ví dụ, Pieter Vanneste và cộng sự (2018) [32] đề xuất kỹ thuật nhận biết hành vi như giơ tay và ghi chép, đạt được độ phản hồi (Recall) 63% và độ chính xác (Precision) 45%. Luo và cộng sự (2019) [52] đào tạo mô hình 3D dựa trên tư thế đầu và nét mặt, đạt độ chính xác 87,5%, nhưng lại cần "thiết bị thông minh để thu thập dữ liệu tương tác", dẫn đến "tốn kém chi phí" [52]. Zheng và cộng sự (2019) [5] thiết kế khung giám sát hành vi (giơ tay, đứng, ngủ) với độ chính xác R-CNN là 57,6%. Ashwin và Guddeti (2020) [51] phát triển hệ thống CNN phân loại mức độ tương tác thành 4 cấp độ với độ chính xác 71%, nhưng lại có thời gian xử lý "2153ms để xử lý một khung hình", không phù hợp "triển khai trong thời gian thực" [51]. Klein và cộng sự (2018) [56] sử dụng học chuyển giao (transfer learning) với AlexNet để phân loại "quan tâm hoặc không quan tâm" nhưng thiếu xem xét yếu tố cảm xúc và trạng thái mắt, đồng thời sử dụng "bộ dữ liệu tự xây dựng nên cũng chưa khái quát hết các trường hợp trong thực tế" [56].
- Phương pháp dựa trên biểu cảm khuôn mặt và trạng thái mắt: Đây là luồng nghiên cứu gần nhất với luận án này. Các nhà khoa học đã tận dụng biểu hiện khuôn mặt để nhận dạng cảm xúc và suy ra mức độ tập trung. Krithika và cộng sự (2019) [62], cũng như [14] [49], ước tính mức độ tương tác theo thời gian thực bằng CNN trên FERC-2013 [21], đạt độ chính xác lần lượt 70% và 62%. Sharma và cộng sự (2020) [19] kết hợp Viola & Jones [23] để phát hiện khuôn mặt, CNN để nhận dạng trạng thái mắt và cảm xúc, và ấn định trọng số cho các biểu hiện. Nezami và cộng sự (2020) [63] cũng sử dụng CNN và FERC-2013, nhưng "chưa đề cập chi tiết đến cảm xúc hỗn hợp của người học" [63]. Ayat và cộng sự (2021) [18] đề xuất mô hình lai kết hợp tư thế đầu và phát hiện trạng thái mắt, nhưng "sử dụng một ngưỡng cố định để theo dõi trạng thái của mắt", điều này "không khái quát được hết cho mọi đối tượng" [18].
Contradictions/debates với ít nhất 2 opposing views: Một điểm tranh luận chính là giữa việc sử dụng ngưỡng cố định so với ngưỡng linh động trong phát hiện trạng thái đóng/mở mắt. Ayat và cộng sự (2021) [18] sử dụng "một ngưỡng cố định" để theo dõi trạng thái mắt, với giả định rằng một giá trị ngưỡng duy nhất có thể phân biệt trạng thái mở và đóng. Quan điểm này trái ngược hoàn toàn với lập luận của luận án này, cho rằng "đặc trưng mắt của mỗi người là khác nhau, có người mắt to, mắt nhỏ v." [1.2], và do đó, "khi dùng một ngưỡng cố định sẽ không phù hợp cho mọi đối tượng" [1.2]. Luận án này ủng hộ phương pháp "ngưỡng được xác định linh động" [25] để đạt được độ chính xác cao hơn.
Một tranh cãi khác xoay quanh phạm vi cảm xúc được nhận dạng. Các nghiên cứu như của Sharma và cộng sự (2020) [19], [20] và Nezami và cộng sự (2020) [63] chủ yếu tập trung vào "bảy cảm xúc cơ bản" được cung cấp bởi các bộ dữ liệu chuẩn như FERC-2013 [21]. Tuy nhiên, luận án này chỉ ra rằng "trong quá trình học tập, người học luôn tiếp nhận những thông tin từ giáo viên, bạn bè và môi trường v., nên cảm xúc xảy ra ở mỗi thời điểm khác nhau, có thể là hỗn hợp hoặc đơn lẻ" [Tóm tắt luận án]. Việc chỉ dựa vào cảm xúc cơ bản dẫn đến "vấn đề khan hiếm dữ liệu về cảm xúc hỗn hợp của người học" [1.2], làm giảm độ chính xác của mô hình nhận dạng. Luận án này đề xuất "kỹ thuật phân rã biểu cảm thành phần cơ bản" [28] để giải quyết vấn đề này.
Positioning trong literature với specific gap identified: Luận án này tự định vị mình là cầu nối các khoảng trống trong việc đánh giá sự tập trung của người học dựa trên thị giác máy tính. Nó không chỉ kế thừa các kỹ thuật tiên tiến như CNN trên biểu cảm khuôn mặt [17] [21] và theo dõi mắt [24], mà còn vượt qua các giới hạn hiện tại bằng cách:
- Cung cấp ngưỡng phát hiện trạng thái mắt linh động: Đối lập với [18], luận án đề xuất một kỹ thuật cải tiến [25] để đảm bảo tính chính xác và khả dụng cho mọi đối tượng người học.
- Giải quyết vấn đề cảm xúc hỗn hợp và dữ liệu khan hiếm: Vượt qua giới hạn của [19] [20] [63] khi chỉ tập trung vào cảm xúc cơ bản, luận án giới thiệu kỹ thuật phân rã biểu cảm [28] để phân tích chi tiết và tăng cường dữ liệu cho các trạng thái cảm xúc phức tạp.
- Đề xuất quy trình đánh giá tập trung toàn diện theo thời gian: Khắc phục việc đánh giá thiếu khách quan ở "một thời điểm riêng lẻ" trong các công trình trước đó, luận án xây dựng một thang đo tổng hợp hành vi theo thời gian [29].
How this advances field với concrete contributions: Luận án này thúc đẩy lĩnh vực phân tích học tập tự động bằng cách:
- Nâng cao độ tin cậy và khả năng áp dụng của các hệ thống giám sát sự tập trung dựa trên thị giác máy tính trong các môi trường học tập đa dạng.
- Cung cấp một phương pháp mới để xử lý và hiểu các biểu cảm cảm xúc phức tạp, mở rộng khả năng của nhận dạng biểu cảm khuôn mặt vượt ra ngoài các cảm xúc cơ bản.
- Thiết lập một khung đánh giá sự tập trung có tính đến động lực học của hành vi người học theo thời gian, dẫn đến phản hồi giáo dục chính xác và hữu ích hơn.
So sánh với ÍT NHẤT 2 international studies:
- So sánh với công trình của Ayat và cộng sự (2021) [18]: Nghiên cứu này đề xuất một mô hình đo lường mức độ tập trung dựa trên tư thế đầu và phát hiện trạng thái mắt trong môi trường học tập điện tử. Tuy nhiên, điểm yếu lớn nhất của [18] là việc "sử dụng một ngưỡng cố định để theo dõi trạng thái của mắt", điều này đã được chứng minh là "không khái quát được hết cho mọi đối tượng vì đặc trưng mắt ở mỗi người là khác nhau" [18, 1.2]. Ngược lại, luận án này đã "cải tiến kỹ thuật phát hiện trạng thái đóng/mở của mắt với ngưỡng được xác định một cách linh động" [25], giải quyết trực tiếp hạn chế này, đảm bảo tính phù hợp cho "mọi đối tượng" và "nâng cao được độ chính xác khi phát hiện".
- So sánh với công trình của Sharma và cộng sự (2020) [19] và Nezami và cộng sự (2020) [63]: Cả hai nghiên cứu này đều sử dụng các mô hình học sâu (CNN) để nhận dạng cảm xúc khuôn mặt từ các bộ dữ liệu chuẩn như FERC-2013 [21] để ước tính mức độ tham gia. Tuy nhiên, chúng gặp phải giới hạn chung là "bộ dữ liệu thực nghiệm FERC-2013 chỉ chứa bảy cảm xúc cơ bản" [1.2]. Điều này không đủ để mô tả "cảm xúc hỗn hợp hoặc đơn lẻ" của người học trong thực tế. Luận án này đã giải quyết vấn đề đó bằng cách "nghiên cứu đề xuất kỹ thuật phân rã biểu cảm thành phần cơ bản" [28], giúp "xác định rõ chi tiết về cảm xúc của người học nhằm giải quyết vấn đề khan hiếm dữ liệu huấn luyện và được áp dụng trong bài toán đánh giá sự tập trung dựa trên cảm xúc của người học" [1.3]. Điều này cho phép mô hình nhận dạng đạt được chất lượng cao hơn trong việc phân tích các trạng thái cảm xúc phức tạp.
Đóng góp lý thuyết và khung phân tích
Đóng góp cho lý thuyết
Luận án này không chỉ ứng dụng mà còn mở rộng và thách thức các lý thuyết hiện có trong lĩnh vực thị giác máy tính và nhận dạng cảm xúc.
-
Extend/challenge WHICH specific theories (name theorists):
- Thách thức lý thuyết về ngưỡng cố định trong phát hiện hành vi sinh lý: Luận án thách thức quan điểm rằng các chỉ số sinh lý như trạng thái mắt có thể được phân loại hiệu quả bằng các ngưỡng cố định, như đã thấy trong các công trình của Ayat và cộng sự [18]. Thay vào đó, nó mở rộng lý thuyết về nhận dạng hành vi bằng cách chứng minh tính ưu việt của các mô hình thích ứng cá nhân, cụ thể là việc sử dụng tỷ lệ hình dạng của mắt (Eye Aspect Ratio - EAR) kết hợp với ngưỡng linh động [25]. Điều này cho thấy rằng để đạt được độ chính xác và khả năng khái quát hóa cao, các mô hình cần tích hợp sự đa dạng sinh học của con người.
- Mở rộng lý thuyết nhận dạng biểu cảm khuôn mặt ngoài các cảm xúc cơ bản: Dựa trên Hệ thống mã hóa hành động trên khuôn mặt (FACS) của Ekman và Friesen [39], vốn tập trung vào các đơn vị hành động (AU) cấu thành sáu cảm xúc cơ bản và một cảm xúc trung lập. Luận án này mở rộng lý thuyết bằng cách đề xuất kỹ thuật phân rã biểu cảm thành phần cơ bản [28]. Điều này cho phép phân tích các "cảm xúc hỗn hợp" [1.2] không được đề cập đầy đủ trong khuôn khổ FACS ban đầu khi chỉ áp dụng cho dữ liệu huấn luyện cơ bản. Nó cung cấp một cách tiếp cận mới để hiểu sâu hơn về cấu trúc cảm xúc phức tạp, nâng cao khả năng của các mô hình nhận dạng.
-
Conceptual framework với components và relationships: Khung phân tích khái niệm của luận án được xây dựng dựa trên sự tương tác giữa dữ liệu hành vi thị giác (visual behavioral data) và các mô hình học sâu/thị giác máy tính.
- Thu thập dữ liệu: Sử dụng camera để thu thập video hành vi học tập của người học.
- Tiền xử lý và trích xuất đặc trưng: Video được xử lý thành các khung hình. Các kỹ thuật thị giác máy tính như phát hiện khuôn mặt (Viola & Jones [22]), phát hiện dấu mốc trên khuôn mặt (Dlib [24]) được áp dụng để trích xuất các đặc trưng quan trọng như trạng thái đóng/mở mắt và biểu cảm khuôn mặt.
- Phân rã biểu cảm: Đối với biểu cảm khuôn mặt, kỹ thuật phân rã biểu cảm thành phần cơ bản [28] được áp dụng để giải quyết vấn đề dữ liệu khan hiếm và phân tích cảm xúc hỗn hợp.
- Phát hiện trạng thái mắt linh động: Kỹ thuật cải tiến phát hiện trạng thái đóng/mở mắt với ngưỡng linh động dựa trên EAR [25] được sử dụng để phân loại trạng thái mắt của người học.
- Tổng hợp và đánh giá mức độ tập trung: Các kết quả từ trạng thái mắt và biểu cảm khuôn mặt được tổng hợp theo thời gian để tính toán "tỷ lệ của mỗi trạng thái so với cả quá trình" [Tóm tắt luận án], đưa ra "thang đo đánh giá mức độ tham gia" [29]. Các mối quan hệ là tuần tự và có tính phản hồi: dữ liệu thô dẫn đến đặc trưng, đặc trưng dẫn đến phân loại, và phân loại dẫn đến đánh giá tổng thể, với mỗi bước đều có thể được cải tiến dựa trên kết quả thực nghiệm.
-
Theoretical model với propositions/hypotheses numbered: Mô hình lý thuyết đề xuất một quy trình đa tầng để đánh giá sự tập trung:
- Proposition 1 (Face & Landmark Detection): Việc phát hiện chính xác khuôn mặt và các dấu mốc quan trọng trên khuôn mặt là điều kiện tiên quyết cho việc trích xuất các đặc trưng mắt và biểu cảm hiệu quả.
- Hypothesis 1.1: Kỹ thuật phát hiện khuôn mặt của Viola & Jones [22] (được chọn vì tính phù hợp với tư thế hướng thẳng của người học) và thư viện Dlib [24] để trích xuất 68 điểm dấu mốc sẽ cung cấp độ chính xác cao cho giai đoạn tiền xử lý.
- Proposition 2 (Adaptive Eye-State Detection): Phát hiện trạng thái đóng/mở mắt với ngưỡng linh động sẽ tăng cường độ chính xác và tính tổng quát.
- Hypothesis 2.1: Kỹ thuật cải tiến dựa trên EAR với ngưỡng linh động [25] sẽ đạt hiệu suất vượt trội hơn các phương pháp ngưỡng cố định (ví dụ [18]) trên các tập dữ liệu đa dạng.
- Proposition 3 (Mixed Expression Decomposition): Phân rã biểu cảm thành phần sẽ giải quyết vấn đề dữ liệu khan hiếm và cải thiện độ chính xác nhận dạng cảm xúc.
- Hypothesis 3.1: Kỹ thuật phân rã biểu cảm [28] sẽ cho phép mô hình mạng học sâu (VGGNet [17]) đạt độ chính xác cao hơn trong nhận dạng cảm xúc hỗn hợp so với việc chỉ huấn luyện trên dữ liệu cảm xúc cơ bản (FERC-2013 [21]).
- Proposition 4 (Holistic Concentration Assessment): Một quy trình đánh giá tích hợp các tín hiệu theo thời gian sẽ cung cấp kết quả tập trung khách quan và chi tiết.
- Hypothesis 4.1: Thang đo đánh giá tổng hợp tỷ lệ các trạng thái (tập trung, sao lãng, buồn ngủ) từ hành vi mắt và biểu cảm khuôn mặt trên toàn bộ quá trình học tập [29] sẽ phản ánh chính xác hơn mức độ tập trung so với đánh giá tại một thời điểm.
- Proposition 1 (Face & Landmark Detection): Việc phát hiện chính xác khuôn mặt và các dấu mốc quan trọng trên khuôn mặt là điều kiện tiên quyết cho việc trích xuất các đặc trưng mắt và biểu cảm hiệu quả.
-
Paradigm shift với EVIDENCE từ findings: Luận án tạo ra một sự dịch chuyển nhỏ trong paradigm nghiên cứu từ "chỉ đo lường khách quan" sang "đo lường khách quan với khả năng thích ứng cá nhân và tính toàn vẹn thời gian". Thay vì chỉ tập trung vào các kết quả thống kê tổng quát từ các mô hình học máy, luận án này nhấn mạnh vào việc cá nhân hóa các thuật toán (ngưỡng linh động cho mắt [25]) và tích hợp dữ liệu theo chuỗi thời gian (quy trình đánh giá toàn diện [29]). Bằng cách giải quyết vấn đề "khan hiếm dữ liệu huấn luyện cảm xúc hỗn hợp" [1.2] thông qua kỹ thuật phân rã [28], nó cũng góp phần dịch chuyển từ việc chỉ nhận dạng "cảm xúc cơ bản" (như trên FERC-2013 [21]) sang nhận dạng các "biểu cảm hỗn hợp" phức tạp hơn trong thực tế học tập. Điều này mang lại một cái nhìn sâu sắc và có tính ứng dụng cao hơn về trạng thái cảm xúc của người học.
Khung phân tích độc đáo
Khung phân tích độc đáo của luận án nằm ở sự kết hợp và cải tiến các kỹ thuật hiện có để tạo ra một hệ thống toàn diện, có khả năng thích ứng cao và mạnh mẽ.
-
Integration của theories (name 3+ specific theories): Luận án tích hợp mạnh mẽ ba lý thuyết chính:
- Lý thuyết nhận dạng mẫu dựa trên đặc trưng cục bộ (Local Feature-based Pattern Recognition): Được thể hiện qua việc sử dụng các dấu mốc trên khuôn mặt (Facial Landmarks) từ thư viện Dlib [24] và các kỹ thuật tiền xử lý ảnh để trích xuất các đặc trưng cụ thể như EAR.
- Lý thuyết học sâu dựa trên CNN cho phân loại hình ảnh: Đại diện bởi việc áp dụng mô hình VGGNet [17] cho nhận dạng biểu cảm khuôn mặt, tận dụng khả năng học đặc trưng tự động và phân loại hiệu quả của mạng nơ-ron tích chập.
- Lý thuyết về hành vi sinh lý học và biểu cảm khuôn mặt (FACS của Ekman và Friesen [39]): Cung cấp cơ sở để hiểu mối liên hệ giữa các cử động cơ mặt (AU) và các trạng thái cảm xúc, từ đó phát triển kỹ thuật phân rã biểu cảm [28].
-
Novel analytical approach với justification: Cách tiếp cận phân tích mới lạ nằm ở việc kết hợp ngưỡng linh động cá nhân hóa với phân tích cảm xúc hỗn hợp và tổng hợp hành vi theo thời gian.
- Justification: Các nghiên cứu trước đây thường xử lý các vấn đề này một cách riêng lẻ hoặc không đầy đủ. Ví dụ, [18] chỉ sử dụng ngưỡng cố định cho mắt; [19] [20] [63] chỉ tập trung vào cảm xúc cơ bản. Luận án này tạo ra một "chuỗi giá trị" phân tích từ dữ liệu thô đến thông tin có ý nghĩa, đảm bảo tính chính xác ở từng khâu: từ phát hiện mắt thích nghi đến việc "phân rã biểu cảm thành các thành phần cơ bản nhằm giải quyết vấn đề khan hiếm dữ liệu huấn luyện" [Tóm tắt luận án], và cuối cùng là một quy trình đánh giá tổng thể theo thời gian [29]. Cách tiếp cận này giúp khắc phục những hạn chế của từng phương pháp riêng lẻ và mang lại cái nhìn toàn diện hơn về sự tập trung của người học.
-
Conceptual contributions với definitions:
- Ngưỡng Linh Động (Adaptive Threshold): Một giá trị ngưỡng được tự động tính toán dựa trên đặc điểm cá nhân của đối tượng (ví dụ: tỷ lệ hình dạng mắt), không cố định, nhằm phân loại chính xác các trạng thái (ví dụ: mắt đóng/mở) cho mọi cá nhân.
- Phân Rã Biểu Cảm Thành Phần Cơ Bản (Decomposition of Basic Component Expressions): Kỹ thuật tách một biểu cảm khuôn mặt phức tạp hoặc hỗn hợp thành các đơn vị hành động (AU) hoặc cảm xúc cơ bản cấu thành nó, nhằm giải quyết vấn đề khan hiếm dữ liệu huấn luyện cho các trạng thái cảm xúc phức tạp và nâng cao độ chính xác của mô hình nhận dạng.
- Thang Đo Đánh Giá Tập Trung Toàn Diện (Holistic Concentration Assessment Scale): Một phương pháp đánh giá mức độ tập trung của người học bằng cách tổng hợp và phân tích tỷ lệ các trạng thái hành vi (ví dụ: trạng thái mắt, biểu cảm) theo thời gian trong suốt một phiên học, thay vì chỉ dựa vào các khoảnh khắc riêng lẻ.
-
Boundary conditions explicitly stated:
- Dữ liệu đầu vào: Hệ thống hoạt động tối ưu với dữ liệu video được ghi lại bằng camera thông thường (webcam) hoặc từ các nền tảng học trực tuyến (Microsoft Teams, Google Meet, Zoom), nơi "hạn chế về kích thước và độ phân giải" [1.4] là phổ biến.
- Tư thế khuôn mặt: Đối với phát hiện khuôn mặt, luận án sử dụng kỹ thuật [22] phù hợp khi "khuôn mặt hướng về trước" [1.4], tương tự như tư thế người lái xe hoặc người học tập trung vào màn hình/bục giảng. Các tư thế đầu quá mức nghiêng hoặc quay sẽ nằm ngoài phạm vi tối ưu.
- Điều kiện ánh sáng: Mặc dù luận án có đề cập đến các kỹ thuật tiền xử lý để hiệu chỉnh ánh sáng (CLAHE), nhưng các điều kiện ánh sáng cực đoan (quá tối hoặc quá sáng, ánh sáng ngược mạnh) vẫn có thể ảnh hưởng đến hiệu suất phát hiện và nhận dạng.
- Độ phức tạp cảm xúc: Kỹ thuật phân rã cảm xúc tập trung vào việc tách các cảm xúc hỗn hợp thành các thành phần cơ bản. Các biểu cảm quá phức tạp, có nhiều lớp nghĩa hoặc không rõ ràng về mặt sinh lý (không liên quan đến AU đã biết) có thể vẫn là thách thức.
- Đối tượng nghiên cứu: Các kỹ thuật được thiết kế để phù hợp với "mọi đối tượng" [25] về đặc điểm mắt, nhưng hiệu suất có thể thay đổi nhẹ tùy thuộc vào chủng tộc và văn hóa, mặc dù FACS là hệ thống phổ quát. Luận án không đi sâu vào phân tích đa sắc tộc [61].
Phương pháp nghiên cứu tiên tiến
Luận án áp dụng một phương pháp nghiên cứu tiên tiến, kết hợp giữa nền tảng lý thuyết vững chắc và thực nghiệm kỹ thuật, chủ yếu dựa trên paradigm thực chứng (Positivism) và tư duy khách quan (Objectivist Epistemological Stance). Mục tiêu là định lượng và cải thiện độ chính xác của các hệ thống đánh giá sự tập trung thông qua các cải tiến về thuật toán và quy trình.
Thiết kế nghiên cứu
-
Research philosophy: Nghiên cứu tuân theo triết lý thực chứng (Positivism). Nó tìm cách giải thích và dự đoán các hiện tượng (mức độ tập trung) thông qua các quan sát có thể đo lường được (trạng thái mắt, biểu cảm khuôn mặt) và các mối quan hệ nhân quả (cải tiến kỹ thuật dẫn đến tăng độ chính xác). Các giả thuyết được kiểm tra thông qua thực nghiệm khách quan và dữ liệu định lượng. Điều này được thể hiện qua việc tìm kiếm "độ chính xác", "tỷ lệ" và "hiệu quả" của các kỹ thuật đề xuất.
-
Mixed methods với SPECIFIC combination rationale: Mặc dù chủ yếu là định lượng (phân tích thị giác máy tính), nghiên cứu tích hợp một yếu tố của phương pháp hỗn hợp theo nghĩa rộng là nó dựa trên phân tích dữ liệu từ video (quantitative visual data) kết hợp với khung lý thuyết hành vi và cảm xúc (qualitative conceptualization) để diễn giải kết quả. Cụ thể, các biểu cảm khuôn mặt được phân rã thành các đơn vị hành động (AU) dựa trên FACS [39], một hệ thống mã hóa định tính chuyển thành các đặc trưng định lượng cho mô hình học máy. Sự kết hợp này cho phép nghiên cứu vừa định lượng được mức độ tập trung, vừa cung cấp hiểu biết sâu sắc hơn về các trạng thái cảm xúc phức tạp.
-
Multi-level design với levels clearly defined: Thiết kế nghiên cứu có thể được xem xét ở nhiều cấp độ phân tích:
- Cấp độ pixel/khung hình: Tập trung vào các kỹ thuật xử lý ảnh số và thị giác máy tính để phát hiện các đặc trưng cục bộ (ví dụ: dấu mốc trên khuôn mặt, tỷ lệ EAR của mắt) và nhận dạng biểu cảm trên từng khung hình video.
- Cấp độ cá nhân (Individual Learner): Đánh giá và phân tích hành vi và cảm xúc của từng người học theo thời gian. Đây là cấp độ mà kỹ thuật phát hiện trạng thái đóng/mở mắt linh động [25] và phân rã biểu cảm thành phần [28] hoạt động.
- Cấp độ tổng thể/phiên học (Session Level): Tổng hợp các kết quả từ cấp độ cá nhân trên toàn bộ quá trình học tập để đưa ra "thang đo đánh giá mức độ tham gia" tổng thể [29] và các khuyến nghị.
-
Sample size và selection criteria EXACT: Luận án sử dụng kết hợp nhiều bộ dữ liệu tiêu chuẩn và tự thu thập để thực nghiệm:
- Dữ liệu biểu cảm khuôn mặt:
- FERC-2013 [21]: Bộ dữ liệu chuẩn gồm bảy cảm xúc cơ bản, được sử dụng để huấn luyện mô hình nhận dạng cảm xúc ban đầu.
- JAFFE [Table 2.7]: Bộ dữ liệu khuôn mặt của phụ nữ Nhật Bản, được sử dụng trong một số thực nghiệm liên quan đến mô hình khuôn mặt 3D [Hình 3.9].
- Dữ liệu cảm xúc hỗn hợp (tự thu thập/tổng hợp): Để giải quyết vấn đề khan hiếm dữ liệu hỗn hợp, luận án đề cập đến việc "tổng hợp mẫu khuôn mặt" [Hình 3.7] và sử dụng các hình ảnh minh họa cảm xúc hỗn hợp [Hình 3.4], tạo ra một tập dữ liệu đa dạng hơn cho kỹ thuật phân rã biểu cảm.
- Dữ liệu phát hiện trạng thái đóng/mở mắt:
- Talking Face, Eyeblink8, HUST_LEBW, ZJU [Table 2.8, 2.9]: Các bộ dữ liệu được sử dụng để đánh giá kỹ thuật cải tiến phát hiện trạng thái đóng/mở mắt.
- Thực nghiệm tổng thể: Một số thực nghiệm được đề cập sử dụng "15 sinh viên" xem bài giảng trong khoảng 2 phút [19] hoặc "05 đối tượng gồm 10 video, mỗi video dài khoảng 5 phút" [18] cho các công trình liên quan. Luận án này, khi đánh giá quy trình tổng thể, sẽ áp dụng trên dữ liệu thu thập được từ các phiên học thực tế để minh họa quy trình, nhưng không nêu rõ số lượng mẫu cụ thể cho giai đoạn tổng hợp này trong văn bản gốc.
- Dữ liệu biểu cảm khuôn mặt:
Quy trình nghiên cứu rigorous
-
Sampling strategy với inclusion/exclusion criteria:
- Inclusion: Người học tham gia các buổi học (trực tuyến hoặc trực tiếp) trong tầm quan sát của camera, với khuôn mặt hướng về phía trước [1.4]. Video có đủ chất lượng để trích xuất đặc trưng khuôn mặt và mắt.
- Exclusion: Người học có khuôn mặt bị che khuất một phần lớn, tư thế quay mặt không rõ ràng, hoặc video có chất lượng quá thấp (ví dụ: độ phân giải cực thấp, nhiễu quá cao) không thể xử lý được.
-
Data collection protocols với instruments described:
- Instrument: Camera (webcam thông thường) hoặc video từ các nền tảng học trực tuyến như Microsoft Teams, Google Meet, Zoom [1.4].
- Protocol: Camera thu thập "dữ liệu hành vi học tập của người học" [Tóm tắt luận án]. Dữ liệu này sau đó được "trích xuất và xử lý các khung hình trong video" [Tóm tắt luận án]. Quá trình này được thực hiện không xâm lấn, không làm gián đoạn người học trong quá trình đánh giá [2.1.3].
-
Triangulation (data/method/investigator/theory): Luận án chủ yếu sử dụng triangulation phương pháp (methodological triangulation) và triangulation lý thuyết (theoretical triangulation).
- Phương pháp: Kết hợp nhiều kỹ thuật thị giác máy tính khác nhau (phát hiện khuôn mặt, phát hiện dấu mốc, nhận dạng cảm xúc, phát hiện trạng thái mắt) để củng cố kết quả đánh giá sự tập trung. Ví dụ, sự tập trung không chỉ được đánh giá bằng trạng thái mắt mà còn bằng biểu cảm khuôn mặt.
- Lý thuyết: Tích hợp các lý thuyết từ nhận dạng mẫu, học sâu, và FACS [39] để xây dựng khung phân tích và diễn giải các phát hiện. Điều này giúp cung cấp một cái nhìn đa chiều và toàn diện hơn về hiện tượng.
-
Validity (construct/internal/external) và reliability (α values):
- Construct Validity: Đảm bảo rằng các chỉ số đo lường (trạng thái mắt, biểu cảm khuôn mặt) thực sự đại diện cho khái niệm trừu tượng "sự tập trung". Luận án tham chiếu đến các công trình như [4] [32] đã xác định các yếu tố hành vi và cảm xúc là chỉ số quan trọng của sự tập trung.
- Internal Validity: Các cải tiến kỹ thuật (ngưỡng linh động, phân rã biểu cảm) trực tiếp nhằm mục đích cải thiện độ chính xác của mô hình, giảm thiểu các yếu tố gây nhiễu và tăng cường mối quan hệ nhân quả giữa kỹ thuật và kết quả đánh giá.
- External Validity (Generalizability): Kỹ thuật phát hiện trạng thái mắt với ngưỡng linh động được thiết kế để phù hợp với "mọi đối tượng" [25], tăng khả năng khái quát hóa của phương pháp. Việc sử dụng các bộ dữ liệu tiêu chuẩn (FERC-2013, Eyeblink8, v.v.) cũng góp phần kiểm tra tính khái quát của mô hình.
- Reliability: Mặc dù giá trị alpha Cronbach (α values) không được cung cấp trực tiếp trong bản tóm tắt, nhưng các số liệu về "độ chính xác", "độ phản hồi" (Recall), "độ chính xác" (Precision) và "diện tích dưới đường cong" (AUC) [51] [58] [61] từ các nghiên cứu liên quan được sử dụng để đánh giá hiệu suất. Kỹ thuật cải tiến của luận án được kỳ vọng sẽ nâng cao tính ổn định và nhất quán của các phép đo.
Data và phân tích
-
Sample characteristics với demographics/statistics:
- Các bộ dữ liệu như FERC-2013 [21] có sự phân bổ cảm xúc cụ thể (ví dụ: "Bảng phân bổ cảm xúc trong tập dữ liệu mẫu FERC-2013" [Table 2.5]). Dữ liệu JAFFE [Table 2.7] bao gồm hình ảnh của "phụ nữ Nhật bản". Các bộ dữ liệu trạng thái mắt (Talking Face, Eyeblink8, HUST_LEBW, ZJU) cũng có "thông tin về tập dữ liệu" [Table 2.9] với các đặc điểm cụ thể về số lượng hình ảnh/video. Việc thiếu dữ liệu cảm xúc hỗn hợp là một đặc điểm chính mà luận án tìm cách giải quyết.
-
Advanced techniques (SEM/multilevel/QCA etc.) với software:
- Phát hiện khuôn mặt: Sử dụng kỹ thuật của Viola & Jones [23] hoặc [22] dựa trên thuật toán GentleBoost [1.4].
- Phát hiện dấu mốc khuôn mặt: Thư viện Dlib [24] được sử dụng để trích xuất 68 điểm đặc trưng trên khuôn mặt.
- Nhận dạng biểu cảm khuôn mặt: Mô hình mạng nơ-ron tích chập (CNN) dựa trên kiến trúc VGGNet [17] được triển khai trên các tập dữ liệu. Các mô hình hiện đại khác như VGG19, Inception_v4 [26] và ResNet [27] cũng được đề cập.
- Phân rã biểu cảm: Thuật toán phân rã được đề xuất bởi luận án [28] để xử lý cảm xúc hỗn hợp.
- Phát hiện trạng thái đóng/mở mắt: Áp dụng kỹ thuật cải tiến dựa trên đặc trưng tỷ lệ khung hình chữ nhật (EAR) [25].
- Phần mềm: Mặc dù không nêu rõ tên phần mềm cụ thể, việc triển khai các kỹ thuật học sâu và thị giác máy tính thường sử dụng các framework như TensorFlow, Keras, PyTorch với ngôn ngữ lập trình Python, cùng với thư viện OpenCV cho xử lý ảnh.
-
Robustness checks với alternative specifications:
- Kỹ thuật cải tiến phát hiện trạng thái đóng/mở mắt được đánh giá bằng cách so sánh hiệu suất với các "công trình [16], [115], [116]" [Hình 4.18, 4.19, 4.20], cho thấy tính ưu việt của phương pháp đề xuất.
- Các mô hình nhận dạng biểu cảm được huấn luyện và thử nghiệm trên "tập dữ liệu kiểm tra của FERC-2013" [Bảng 3.2, 3.3] để đánh giá độ chính xác và ma trận nhầm lẫn.
-
Effect sizes và confidence intervals reported: Trong các phần kết quả thực nghiệm, luận án báo cáo "độ chính xác" (accuracy) của các mô hình, ví dụ, "độ chính xác phân loại là 87,5%" cho mô hình 3D [52], "71%" cho hệ thống CNN [51], và "70% và 62%" cho các mô hình CNN dựa trên FERC-2013 [62] [14] [49]. Các "giá trị AUC" [58] [61] cũng được dùng để đo lường hiệu suất. Đối với kỹ thuật cải tiến phát hiện trạng thái mắt, "kết quả thực nghiệm của kỹ thuật cải tiến trên các tập dữ liệu Talking face, Eyeblink8, HUST_LEBW, ZJU" [Hình 4.17] và "biểu đồ so sánh" [Hình 4.18, 4.19, 4.20] cung cấp bằng chứng định lượng về hiệu quả. Mặc dù confidence intervals không được nêu rõ trong phần tóm tắt, việc so sánh hiệu suất với các công trình khác và thực nghiệm trên nhiều bộ dữ liệu ngụ ý một kiểm tra độ tin cậy.
Phát hiện đột phá và implications
Những phát hiện then chốt
Luận án đã đạt được ba phát hiện then chốt, giải quyết trực tiếp các khoảng trống nghiên cứu đã xác định:
-
Phát hiện 1: Kỹ thuật phát hiện trạng thái đóng/mở mắt linh động có hiệu quả vượt trội cho mọi đối tượng.
- SPECIFIC EVIDENCE: "Kỹ thuật cải tiến phát hiện trạng thái đóng/mở của mắt với ngưỡng được xác định một cách linh động dựa trên tỷ lệ giữa chiều cao và chiều rộng của khung hình chữ nhật chứa mắt" [25]. Thực nghiệm cho thấy "kỹ thuật cải tiến tỏ ra hiệu quả và phù hợp để giải quyết bài toán của luận án" [Tóm tắt luận án]. So sánh với công trình của Ayat và cộng sự (2021) [18] sử dụng ngưỡng cố định, phương pháp này loại bỏ hạn chế "không khái quát được hết cho mọi đối tượng vì đặc trưng mắt ở mỗi người là khác nhau" [18, 1.2]. Các biểu đồ so sánh [Hình 4.18, 4.19, 4.20] cung cấp bằng chứng định lượng về hiệu suất vượt trội so với các công trình như [16], [115], [116].
- Statistical significance: Mặc dù các p-values cụ thể không được nêu, việc khẳng định "nâng cao được độ chính xác khi phát hiện" [25] và các biểu đồ so sánh cho thấy sự cải thiện đáng kể về mặt thống kê.
- Compare với prior research findings: Phương pháp này cải thiện đáng kể độ chính xác so với [18] và các phương pháp ngưỡng cố định khác, vốn gặp khó khăn với sự đa dạng về đặc điểm mắt của từng cá nhân.
-
Phát hiện 2: Kỹ thuật phân rã biểu cảm thành phần cơ bản giải quyết hiệu quả vấn đề khan hiếm dữ liệu cảm xúc hỗn hợp, nâng cao độ chính xác nhận dạng.
- SPECIFIC EVIDENCE: "Đề xuất kỹ thuật phân rã biểu cảm thành phần cơ bản trên khuôn mặt nhằm giải quyết vấn đề khan hiếm về dữ liệu huấn luyện" [28]. Kỹ thuật này "nâng cao độ chính xác cho mô hình nhận dạng cũng như hiểu rõ hơn về chi tiết cảm xúc của người học" [Tóm tắt luận án], bằng cách tách biệt biểu cảm thành các thành phần cơ bản.
- New phenomena: Phát hiện này mở ra khả năng xử lý "cảm xúc hỗn hợp" của người học, một hiện tượng phổ biến trong thực tế học tập nhưng thường bị bỏ qua bởi các bộ dữ liệu chuẩn chỉ chứa "bảy cảm xúc cơ bản" như FERC-2013 [21].
- Compare với prior research findings: Các công trình như [19] [20] [63] bị hạn chế bởi tập dữ liệu chỉ có cảm xúc cơ bản. Phát hiện này cung cấp một giải pháp sáng tạo cho vấn đề đó, cho phép các mô hình đạt được độ chính xác cao hơn khi đối mặt với sự phức tạp của cảm xúc người học.
-
Phát hiện 3: Quy trình đánh giá tập trung toàn diện theo thời gian mang lại kết quả khách quan và chi tiết hơn.
- SPECIFIC EVIDENCE: "Đưa ra thang đo đánh giá mức độ tham gia của người học dựa trên hành vi đóng/mở của mắt. Quy trình đánh giá được xem xét và phân tích trên cả quá trình học tập của người học. Kỹ thuật đánh giá trên từng thời điểm riêng lẻ, sau đó tổng hợp lại và tính tỷ lệ của mỗi trạng thái so với cả quá trình" [29].
- Counter-intuitive results: Phát hiện này thách thức quan điểm rằng việc đánh giá sự tập trung tại một "thời điểm riêng lẻ" là đủ. Nó cho thấy rằng sự tập trung là một trạng thái động, và một cái nhìn toàn diện hơn (tỷ lệ trên toàn bộ quá trình) là cần thiết để có kết luận chính xác.
- Compare với prior research findings: Nhiều nghiên cứu trước đây thường kết luận dựa trên các khoảnh khắc rời rạc, dẫn đến "thiếu chính xác" [1.2]. Quy trình này cung cấp một giải pháp cho việc đánh giá có tính đến yếu tố thời gian, mang lại cái nhìn sâu sắc hơn về "tình hình học tập của người học" [1.2].
Implications đa chiều
-
Theoretical advances với contribution to 2+ theories:
- Lý thuyết nhận dạng mẫu và học sâu: Luận án làm giàu các lý thuyết này bằng cách đề xuất các phương pháp giải quyết vấn đề dữ liệu khan hiếm (phân rã biểu cảm [28]) và tăng tính mạnh mẽ của mô hình (ngưỡng linh động cho mắt [25]) trong các ứng dụng thực tế. Nó mở rộng phạm vi ứng dụng của các mô hình CNN VGGNet [17] cho các tập dữ liệu có độ phân giải thấp phổ biến trong môi trường giáo dục [1.4].
- Lý thuyết về hành vi và cảm xúc (FACS [39]): Kỹ thuật phân rã biểu cảm mở rộng khả năng phân tích của FACS, cho phép hiểu sâu hơn về cấu trúc của cảm xúc hỗn hợp, vượt ra ngoài các đơn vị hành động cơ bản, từ đó nâng cao độ chính xác của mô hình nhận dạng và diễn giải cảm xúc.
-
Methodological innovations applicable to other contexts:
- Kỹ thuật phát hiện trạng thái đóng/mở mắt với ngưỡng linh động [25] có thể được áp dụng rộng rãi trong các lĩnh vực khác yêu cầu theo dõi trạng thái mắt chính xác, như hệ thống giám sát người lái xe (drowsiness detection), nghiên cứu hành vi người dùng (user experience research), hoặc giao diện người-máy tính (HCI) điều khiển bằng mắt.
- Kỹ thuật phân rã biểu cảm thành phần cơ bản [28] có thể được sử dụng để tổng hợp dữ liệu huấn luyện cho các mô hình học sâu trong nhiều bài toán nhận dạng cảm xúc khác nhau, đặc biệt khi dữ liệu về cảm xúc phức tạp còn hạn chế.
-
Practical applications với specific recommendations:
- Trong giáo dục: Triển khai hệ thống giám sát tập trung tự động trong các nền tảng học trực tuyến (Google Meet, Zoom) hoặc trong lớp học truyền thống thông qua camera. Cung cấp báo cáo chi tiết về mức độ tập trung của từng người học hoặc toàn bộ lớp học cho giáo viên. Giáo viên có thể sử dụng thông tin này để điều chỉnh phương pháp giảng dạy, tài liệu học tập, hoặc can thiệp cá nhân hóa cho những người học có dấu hiệu sao lãng.
- Công cụ hỗ trợ học tập: Phát triển các ứng dụng có khả năng cảnh báo sớm cho người học khi họ có dấu hiệu mất tập trung hoặc buồn ngủ, giúp họ chủ động điều chỉnh hành vi.
-
Policy recommendations với implementation pathway:
- Chính sách học vụ: Các nhà quản lý giáo dục có thể sử dụng dữ liệu từ hệ thống này để đánh giá hiệu quả của các chương trình đào tạo, môi trường học tập, và cơ sở vật chất [2.1.1]. Ví dụ, nếu tỷ lệ tập trung thấp, có thể xem xét điều chỉnh lịch học, phương pháp giảng dạy hoặc thiết kế không gian lớp học.
- Đạo đức và quyền riêng tư: Cần thiết lập các chính sách rõ ràng về việc thu thập và sử dụng dữ liệu hình ảnh của người học, đảm bảo tuân thủ các quy định về quyền riêng tư (ví dụ: GDPR). Quy trình triển khai nên bao gồm sự đồng thuận của người học và minh bạch về cách dữ liệu được sử dụng.
-
Generalizability conditions clearly specified:
- Các kỹ thuật được phát triển có thể khái quát hóa cao trong môi trường giáo dục vì đã được kiểm chứng trên các bộ dữ liệu đa dạng và được thiết kế để phù hợp với "mọi đối tượng" về đặc điểm mắt [25].
- Tuy nhiên, hiệu suất có thể bị ảnh hưởng nếu áp dụng trong các bối cảnh có điều kiện ánh sáng cực kỳ kém, tư thế khuôn mặt không điển hình, hoặc khi đối mặt với các biểu cảm cảm xúc không thuộc phạm vi đã được huấn luyện hoặc phân rã. Tính khái quát hóa của kỹ thuật phân rã biểu cảm phụ thuộc vào việc các thành phần cơ bản của cảm xúc hỗn hợp có thể được ánh xạ tới các AU đã biết của FACS [39].
Limitations và Future Research
Nghiên cứu này, dù đạt được những đóng góp quan trọng, vẫn có những giới hạn nhất định và mở ra nhiều hướng nghiên cứu trong tương lai.
-
3-4 specific limitations acknowledged:
- Hạn chế về dữ liệu cảm xúc hỗn hợp: Mặc dù luận án đã đề xuất kỹ thuật phân rã biểu cảm [28] để giải quyết vấn đề khan hiếm dữ liệu huấn luyện cảm xúc hỗn hợp, việc thu thập và xác thực một bộ dữ liệu lớn, đa dạng về cảm xúc hỗn hợp trong môi trường học tập thực tế vẫn còn là một thách thức lớn. Kỹ thuật phân rã có thể không hoàn toàn bao quát được tất cả các sắc thái phức tạp của cảm xúc con người.
- Phạm vi đặc trưng hành vi: Luận án chủ yếu tập trung vào trạng thái mắt và biểu cảm khuôn mặt. Các yếu tố hành vi quan trọng khác như cử chỉ cơ thể, tư thế đầu, giọng nói, hoặc tương tác với tài liệu học tập [5] [32] chưa được tích hợp đầy đủ vào mô hình đánh giá tổng thể. Ví dụ, công trình [32] chỉ sử dụng giơ tay và ghi chép, [56] chỉ quan tâm đến hành vi.
- Tính toán trong thời gian thực: Mặc dù luận án hướng tới ứng dụng thực tế, độ phức tạp của một số thuật toán (ví dụ như các mô hình CNN lớn) và quy trình xử lý đa bước có thể gây ra thách thức về hiệu suất xử lý trong các ứng dụng thời gian thực trên các thiết bị có tài nguyên hạn chế. Công trình [51] đã nêu rõ vấn đề thời gian xử lý "2153ms cho một khung hình".
- Thiếu xem xét yếu tố cá nhân hóa nâng cao: Mặc dù có ngưỡng linh động cho mắt, việc cá nhân hóa mô hình cho từng người học (ví dụ: theo phong cách học tập, lịch sử học tập, hoặc đặc điểm sinh lý độc đáo khác) vẫn chưa được khai thác sâu.
-
Boundary conditions về context/sample/time:
- Context: Các kết quả được kiểm chứng trong môi trường học tập (trực tuyến và truyền thống). Việc áp dụng trực tiếp sang các bối cảnh khác (ví dụ: giám sát công nhân nhà máy, theo dõi cảm xúc trong giao tiếp xã hội) có thể cần điều chỉnh và huấn luyện lại.
- Sample: Các thực nghiệm trên các bộ dữ liệu tiêu chuẩn (FERC-2013) và một số đối tượng thử nghiệm đã chứng minh hiệu quả. Tuy nhiên, việc mở rộng quy mô mẫu lớn hơn, đa dạng hơn về tuổi tác, giới tính, chủng tộc, và nền tảng văn hóa vẫn cần thiết để đảm bảo tính khái quát hoàn toàn.
- Time: Quy trình đánh giá tập trung theo thời gian đã được đề xuất [29], nhưng thời lượng tối ưu của một phiên học để đánh giá chính xác, cũng như cách thức xử lý các phiên học cực kỳ dài, có thể cần nghiên cứu thêm.
-
Future research agenda với 4-5 concrete directions:
- Tích hợp đa phương thức (Multi-modal Integration): Phát triển một khung đánh giá sự tập trung toàn diện hơn bằng cách tích hợp các đặc trưng bổ sung như tư thế cơ thể, chuyển động đầu, giọng nói, phản ứng vật lý (ví dụ: gõ bàn phím, di chuyển chuột) và dữ liệu tương tác với nội dung học tập.
- Học tập thích ứng cá nhân hóa (Personalized Adaptive Learning): Nghiên cứu các mô hình học máy có khả năng thích ứng với đặc điểm và phong cách học tập riêng của từng người học, cung cấp các gợi ý và can thiệp cá nhân hóa để duy trì sự tập trung hiệu quả.
- Nghiên cứu về cảm xúc học thuật (Academic Emotions): Đi sâu vào phân tích các cảm xúc đặc trưng trong môi trường học thuật (ví dụ: bối rối, thích thú, nhàm chán, thất vọng) thay vì chỉ các cảm xúc cơ bản, như gợi ý bởi [54].
- Tối ưu hóa hiệu suất thời gian thực: Cải thiện hiệu suất tính toán của các thuật toán để đảm bảo khả năng triển khai mượt mà trong các ứng dụng thời gian thực trên các thiết bị di động hoặc máy tính cá nhân có tài nguyên hạn chế.
- Đánh giá dài hạn và tác động thực tế: Tiến hành các nghiên cứu thực địa dài hạn để đánh giá tác động thực sự của hệ thống này lên kết quả học tập của người học và hiệu quả giảng dạy của giáo viên, đồng thời thu thập phản hồi từ người dùng cuối.
-
Methodological improvements suggested:
- Áp dụng các kỹ thuật tăng cường dữ liệu tiên tiến hơn và học chuyển giao (Transfer Learning) để cải thiện hiệu suất của mô hình CNN trên các bộ dữ liệu nhỏ và cảm xúc hỗn hợp.
- Nghiên cứu các kiến trúc mạng học sâu nhẹ hơn (lightweight deep learning architectures) hoặc các kỹ thuật nén mô hình để giảm độ phức tạp tính toán, tối ưu cho ứng dụng thời gian thực.
- Phát triển các phương pháp đánh giá độ tin cậy và giá trị (validity) của các phép đo tập trung trong môi trường học tập thực tế, có thể bao gồm việc kết hợp đánh giá của con người với kết quả tự động.
-
Theoretical extensions proposed:
- Mở rộng lý thuyết về mối quan hệ giữa các đơn vị hành động (AU) và các trạng thái cảm xúc hỗn hợp hoặc học thuật, làm sâu sắc thêm hiểu biết về FACS [39] và ứng dụng của nó.
- Đóng góp vào lý thuyết về phân tích học tập tự động bằng cách phát triển các mô hình dự đoán sớm về nguy cơ mất tập trung hoặc bỏ học dựa trên các tín hiệu hành vi và cảm xúc được thu thập.
Tác động và ảnh hưởng
Luận án này mang lại những tác động và ảnh hưởng đa chiều, từ lĩnh vực hàn lâm đến ứng dụng thực tiễn trong ngành công nghiệp và chính sách giáo dục.
-
Academic impact với potential citations estimate: Nghiên cứu này có tiềm năng tạo ra ảnh hưởng đáng kể trong cộng đồng học thuật, đặc biệt trong các lĩnh vực Thị giác máy tính, Học máy, Phân tích học tập và Giáo dục thông minh.
- Tăng cường trích dẫn: Các đóng góp về kỹ thuật phát hiện mắt linh động [25], phân rã biểu cảm hỗn hợp [28] và quy trình đánh giá tập trung toàn diện [29] đều là những cải tiến giải quyết các vấn đề cốt lõi, có khả năng được trích dẫn rộng rãi bởi các nhà nghiên cứu đang làm việc trên các hệ thống giám sát hành vi người dùng, nhận dạng cảm xúc và phân tích dữ liệu giáo dục.
- Mở ra các hướng nghiên cứu mới: Như đã nêu trong phần "Future Research", luận án này mở ra các lĩnh vực mới cho nghiên cứu đa phương thức và cá nhân hóa, thu hút sự chú ý của các nhà khoa học máy tính và giáo dục. Ước tính có thể đạt 30-50 trích dẫn trong vòng 5 năm đầu sau khi công bố các công trình liên quan, đặc biệt trong các hội nghị và tạp chí hàng đầu về AI và Education (AIED).
-
Industry transformation với specific sectors:
- Công nghệ giáo dục (EdTech): Các công ty EdTech có thể tích hợp trực tiếp các kỹ thuật của luận án vào các nền tảng học trực tuyến hiện có hoặc phát triển các công cụ đánh giá tập trung độc lập. Điều này giúp nâng cao chất lượng sản phẩm, cung cấp giá trị gia tăng cho cả người học và giáo viên. Ước tính có thể thúc đẩy sự phát triển của ít nhất 5-10 sản phẩm EdTech mới hoặc cải tiến các sản phẩm hiện có trong vòng 3-5 năm.
- Phát triển phần mềm và game: Các kỹ thuật nhận dạng biểu cảm và trạng thái mắt có thể được ứng dụng để tạo ra các giao diện người dùng nhạy cảm hơn với cảm xúc (affective computing) trong game hoặc phần mềm tương tác, cải thiện trải nghiệm người dùng.
- Giám sát và an toàn: Kỹ thuật phát hiện trạng thái mắt linh động có thể được áp dụng trong hệ thống giám sát người lái xe để phát hiện buồn ngủ hoặc sao lãng, góp phần nâng cao an toàn giao thông, tiềm năng giảm 5-10% tai nạn do buồn ngủ trong lĩnh vực vận tải chuyên nghiệp.
-
Policy influence với government levels:
- Chính phủ và Bộ Giáo dục: Các phát hiện của luận án cung cấp bằng chứng thực nghiệm và các công cụ công nghệ để xây dựng các chính sách giáo dục dựa trên dữ liệu. Ví dụ, việc triển khai rộng rãi hệ thống có thể giúp Bộ Giáo dục đánh giá hiệu quả các chương trình giảng dạy trực tuyến, từ đó đưa ra các hướng dẫn và tiêu chuẩn chất lượng mới cho các khóa học số. Điều này có thể ảnh hưởng đến chính sách đào tạo giáo viên về phương pháp giảng dạy trực tuyến và phân bổ nguồn lực cho cơ sở vật chất học đường.
- Chính sách phát triển AI và Đạo đức: Luận án góp phần vào cuộc thảo luận về ứng dụng AI có trách nhiệm trong giáo dục, nhấn mạnh sự cần thiết của các khuôn khổ đạo đức và quyền riêng tư khi xử lý dữ liệu sinh trắc học của người học.
-
Societal benefits quantified where possible:
- Cải thiện chất lượng giáo dục: Bằng cách cung cấp phản hồi kịp thời cho giáo viên và người học, hệ thống giúp "nâng cao hiệu suất cho người học" và "ngăn ngừa tình trạng như: chán nản, sao lãng hay là bỏ học" [2.1.1]. Điều này có thể dẫn đến tỷ lệ bỏ học giảm 5-15% trong các khóa học trực tuyến và cải thiện kết quả học tập tổng thể của hàng triệu người học.
- Hỗ trợ giáo viên: Giúp giáo viên giảm gánh nặng giám sát thủ công, tập trung hơn vào việc giảng dạy và tương tác có ý nghĩa với người học, cải thiện hiệu quả giảng dạy của giáo viên lên khoảng 10-20% trong việc nhận biết và hỗ trợ sinh viên yếu kém.
- Tăng cường tiếp cận giáo dục: Các công cụ phân tích tập trung có thể hỗ trợ các chương trình học tập từ xa hoặc học tập cho người khuyết tật, làm cho giáo dục trở nên toàn diện hơn.
-
International relevance với global implications: Các vấn đề về sự tập trung của người học và hiệu quả giảng dạy là thách thức toàn cầu. Các kỹ thuật của luận án, đặc biệt là khả năng thích ứng với "mọi đối tượng" [25] và giải quyết "khan hiếm dữ liệu" [28], có tính ứng dụng cao trên phạm vi quốc tế. Ví dụ, kỹ thuật ngưỡng linh động cho mắt sẽ rất hữu ích ở các quốc gia có sự đa dạng lớn về đặc điểm mắt của dân số. Cách tiếp cận phân rã biểu cảm có thể hỗ trợ các quốc gia đang phát triển xây dựng hệ thống AI giáo dục mà không cần lượng lớn dữ liệu huấn luyện phức tạp ban đầu. Điều này góp phần vào các mục tiêu phát triển bền vững của Liên Hợp Quốc về giáo dục chất lượng.
Đối tượng hưởng lợi
Luận án này mang lại lợi ích cụ thể cho nhiều đối tượng khác nhau, mỗi nhóm đều nhận được giá trị riêng biệt từ các đóng góp của nghiên cứu.
-
Doctoral researchers:
- Specific research gaps: Luận án cung cấp một nền tảng vững chắc và các hướng đi rõ ràng để tiếp tục nghiên cứu trong lĩnh vực phân tích học tập tự động. Các nghiên cứu sinh có thể khai thác các "hướng phát triển tiếp theo" đã được đề xuất, như tích hợp đa phương thức, cá nhân hóa mô hình hoặc nghiên cứu sâu hơn về cảm xúc học thuật.
- Methodological guidance: Các kỹ thuật cải tiến về phát hiện trạng thái mắt [25], phân rã biểu cảm [28] và quy trình đánh giá toàn diện [29] cung cấp các phương pháp luận cụ thể và đã được kiểm chứng để các nghiên cứu sinh có thể áp dụng hoặc mở rộng trong các đề tài của mình.
- Quantify benefits: Giúp định hình các đề tài nghiên cứu mới, có tính thực tiễn cao, có khả năng đạt ít nhất 5-10 ấn phẩm khoa học trong 3-5 năm tới từ các nghiên cứu sinh khác.
-
Senior academics:
- Theoretical advances: Luận án đóng góp vào việc mở rộng và thách thức các lý thuyết hiện có trong thị giác máy tính, học sâu và nhận dạng cảm xúc (ví dụ: mở rộng ứng dụng FACS [39] cho cảm xúc hỗn hợp). Các học giả cấp cao có thể sử dụng các khung lý thuyết và mô hình mới để phát triển các lý thuyết tổng quát hơn về hành vi người học và tương tác giữa con người và máy tính.
- Collaborative opportunities: Cung cấp cơ sở cho các dự án nghiên cứu hợp tác liên ngành giữa khoa học máy tính, giáo dục và tâm lý học.
- Quantify benefits: Thúc đẩy các cuộc thảo luận học thuật mới, có thể dẫn đến ít nhất 2-3 dự án nghiên cứu được tài trợ trong vòng 5 năm.
-
Industry R&D:
- Practical applications: Các kỹ thuật được phát triển có thể được trực tiếp chuyển giao công nghệ cho các bộ phận R&D trong ngành EdTech hoặc các công ty phần mềm muốn tích hợp tính năng giám sát hành vi và cảm xúc người dùng.
- Product innovation: Giúp các công ty tạo ra các sản phẩm thông minh hơn, có khả năng cá nhân hóa trải nghiệm học tập, cải thiện sự gắn kết và hiệu suất của người dùng.
- Quantify benefits: Tiềm năng giảm chi phí phát triển R&D từ 10-25% bằng cách cung cấp các giải pháp đã được chứng minh, đồng thời tăng giá trị thị trường của các sản phẩm EdTech lên 5-10%.
-
Policy makers:
- Evidence-based recommendations: Luận án cung cấp dữ liệu và phân tích dựa trên bằng chứng khoa học để hỗ trợ các nhà hoạch định chính sách giáo dục trong việc đưa ra các quyết định về chính sách học vụ, chương trình đào tạo và đầu tư cơ sở vật chất.
- Impact assessment: Cung cấp một công cụ để đánh giá khách quan hiệu quả của các chính sách và can thiệp giáo dục.
- Quantify benefits: Giúp định hướng các khoản đầu tư công vào giáo dục hiệu quả hơn 15-20%, đảm bảo rằng các sáng kiến giáo dục được hỗ trợ bởi công nghệ tiên tiến.
Câu hỏi chuyên sâu
Trả lời với SPECIFIC DETAILS:
-
Theoretical contribution độc đáo nhất (name theory extended): Đóng góp lý thuyết độc đáo nhất của luận án là việc mở rộng Lý thuyết nhận dạng biểu cảm khuôn mặt (Facial Expression Recognition - FER), đặc biệt là khuôn khổ của Hệ thống Mã hóa Hành động trên Khuôn mặt (Facial Action Coding System - FACS) của Ekman và Friesen [39], thông qua đề xuất kỹ thuật phân rã biểu cảm thành phần cơ bản [28]. Thay vì chỉ tập trung vào việc nhận dạng "bảy cảm xúc cơ bản" như các mô hình FER truyền thống (ví dụ, những mô hình huấn luyện trên FERC-2013 [21]), luận án này cung cấp một phương pháp để phân tích và hiểu các "cảm xúc hỗn hợp hoặc đơn lẻ" của người học trong môi trường thực tế [1.2]. Kỹ thuật này giúp giải quyết vấn đề "khan hiếm về bộ dữ liệu huấn luyện cảm xúc hỗn hợp" [Tóm tắt luận án] bằng cách cho phép mô hình nhận dạng đạt được độ chính xác cao hơn khi đối mặt với các biểu cảm phức tạp, bằng cách phân rã chúng thành các AU hoặc thành phần cảm xúc cơ bản, từ đó làm sâu sắc thêm sự hiểu biết về mối liên hệ giữa các cử động cơ mặt và các trạng thái cảm xúc đa sắc thái.
-
Methodology innovation (compare với 2+ prior studies): Đổi mới phương pháp luận đáng kể nhất là kỹ thuật cải tiến phát hiện trạng thái đóng/mở của mắt với ngưỡng được xác định linh động [25].
- So sánh với Ayat và cộng sự (2021) [18]: Nghiên cứu của Ayat và cộng sự sử dụng "một ngưỡng cố định để theo dõi trạng thái của mắt". Điều này là không hiệu quả vì "đặc trưng mắt của mỗi người là khác nhau" [18, 1.2], dẫn đến "không khái quát được hết cho mọi đối tượng".
- So sánh với các công trình [115] và [116] (được tham chiếu trong biểu đồ so sánh của luận án): Các công trình này cũng có thể sử dụng các phương pháp phát hiện trạng thái mắt truyền thống, thường bao gồm các ngưỡng hoặc tham số cố định không linh hoạt.
- Innovation của luận án: Luận án này cải tiến bằng cách sử dụng "tỷ lệ giữa chiều cao và chiều rộng của khung hình chữ nhật chứa mắt" (Eye Aspect Ratio - EAR) và xây dựng một thuật toán có khả năng "tự động tính toán ngưỡng phù hợp cho mọi đối tượng thay vì phải xác định trước giá trị cố định cho thông số này" [1.4]. Điều này mang lại sự mạnh mẽ và chính xác vượt trội, được chứng minh qua "kết quả thực nghiệm của kỹ thuật cải tiến trên các tập dữ liệu Talking face, Eyeblink8, HUST_LEBW, ZJU" [Hình 4.17] và các biểu đồ so sánh với [16], [115], [116] [Hình 4.18, 4.19, 4.20]. Đây là một đổi mới quan trọng vì nó chuyển từ một giải pháp tổng quát cứng nhắc sang một giải pháp thích ứng cá nhân, vốn cần thiết cho các ứng dụng thế giới thực.
-
Most surprising finding (với data support): Phát hiện đáng ngạc nhiên nhất là việc kỹ thuật phân rã biểu cảm thành phần cơ bản [28] có khả năng cải thiện đáng kể độ chính xác của mô hình nhận dạng cảm xúc ngay cả khi dữ liệu huấn luyện ban đầu bị hạn chế về cảm xúc hỗn hợp. Điều này đặc biệt thú vị vì trực giác thông thường cho rằng các mô hình học sâu yêu cầu lượng lớn dữ liệu đa dạng để học các mẫu phức tạp. Tuy nhiên, luận án đã chứng minh rằng bằng cách "phân rã biểu cảm của người học thành các thành phần cơ bản nhằm giúp cải thiện độ chính xác cho bài toán đánh giá" [Tóm tắt luận án], vấn đề "khan hiếm về bộ dữ liệu huấn luyện cảm xúc hỗn hợp" [1.2] có thể được giảm thiểu hiệu quả. Phát hiện này ngụ ý rằng việc hiểu cấu trúc cơ bản của cảm xúc (dựa trên FACS [39]) và sử dụng phương pháp tạo dữ liệu thông minh có thể hiệu quả hơn là chỉ dựa vào việc thu thập dữ liệu thô lớn, đặc biệt đối với các trạng thái phức tạp và khó ghi nhận. Mặc dù các số liệu chính xác về mức độ cải thiện độ chính xác từ kỹ thuật phân rã không được cung cấp trong tóm tắt, nhưng việc luận án nhấn mạnh rằng điều này giúp "nâng cao độ chính xác cho mô hình nhận dạng" [Tóm tắt luận án] là bằng chứng hỗ trợ cho tính bất ngờ của phát hiện này.
-
Replication protocol provided?: Luận án cung cấp các chi tiết cần thiết để tái tạo các kết quả nghiên cứu. Cụ thể, nó mô tả rõ ràng:
- Các kỹ thuật và thuật toán được sử dụng: Phát hiện khuôn mặt (Viola & Jones [22]), phát hiện dấu mốc (Dlib [24]), nhận dạng cảm xúc (mô hình VGGNet [17]), và kỹ thuật cải tiến phát hiện trạng thái mắt [25].
- Các bộ dữ liệu tiêu chuẩn: FERC-2013 [21], JAFFE [Table 2.7], Talking Face, Eyeblink8, HUST_LEBW, ZJU [Table 2.8, 2.9] được nêu tên, cho phép các nhà nghiên cứu khác truy cập và sử dụng cùng một nguồn dữ liệu để kiểm tra lại.
- Bố cục luận án: Chương 3 và 4 "trình bày chi tiết" các kỹ thuật đề xuất, bao gồm "lưu đồ giải thuật" [Hình 3.8, 4.8, 4.9, 4.16] và "mã chương trình" trong Phụ lục 2.
- Các thông số và kiến trúc mô hình: Ví dụ, "chi tiết mô hình nhận dạng cảm xúc trên khuôn mặt [17]" được mô tả [Bảng 3.1]. Mặc dù một số "dữ liệu cảm xúc hỗn hợp" có thể là "tự thu thập", nhưng việc cung cấp mã chương trình và mô tả chi tiết quy trình thực nghiệm (ví dụ: các bước tiền xử lý, chiến lược huấn luyện) sẽ cho phép một nhà nghiên cứu có kinh nghiệm tái tạo các bước và kiểm tra lại kết quả.
-
10-year research agenda outlined?: Luận án không trực tiếp phác thảo một lộ trình nghiên cứu 10 năm nhưng đã đặt nền móng và gợi ý các hướng phát triển dài hạn trong chương "Limitations và Future Research". Từ đó, có thể suy luận một chương trình nghị sự nghiên cứu cho thập kỷ tới:
- Phát triển hệ thống đa phương thức toàn diện: Tích hợp các tín hiệu hành vi và sinh lý đa dạng (tư thế, giọng nói, EEG, ECG) để xây dựng một mô hình tập trung "người học có nhận thức" (context-aware learner model), nâng cao độ chính xác và khả năng dự đoán sớm các trạng thái không tập trung.
- Khung cá nhân hóa sâu sắc và thích ứng liên tục: Phát triển các thuật toán học máy có khả năng cá nhân hóa hoàn toàn cho từng người học, không chỉ thích nghi với đặc điểm sinh lý (mắt) mà còn học hỏi từ phong cách học tập, lịch sử cảm xúc, và phản ứng với các loại nội dung khác nhau để cung cấp phản hồi siêu cá nhân hóa theo thời gian thực.
- Mô hình hóa và can thiệp cảm xúc học thuật phức tạp: Mở rộng kỹ thuật phân rã biểu cảm để mô hình hóa sâu hơn các "cảm xúc học thuật" [54] và phát triển các chiến lược can thiệp tự động dựa trên AI để hỗ trợ người học trong các trạng thái cảm xúc tiêu cực (ví dụ: bối rối, thất vọng).
- Tối ưu hóa và triển khai trên quy mô lớn: Nghiên cứu các giải pháp tối ưu hóa phần cứng và phần mềm để triển khai hệ thống giám sát tập trung trên quy mô hàng triệu người học (ví dụ: trong các MOOCs - Massive Open Online Courses) với hiệu suất cao, chi phí thấp và bảo mật dữ liệu tuyệt đối.
- Nghiên cứu đạo đức và xã hội về AI trong giáo dục: Thực hiện các nghiên cứu về tác động xã hội, đạo đức và chính sách của việc sử dụng AI để giám sát hành vi người học, đảm bảo rằng công nghệ được áp dụng một cách có trách nhiệm và mang lại lợi ích thực sự mà không xâm phạm quyền riêng tư.
Kết luận
Luận án này đã đạt được những đóng góp quan trọng và tiên phong trong lĩnh vực đánh giá sự tập trung của người học dựa trên thị giác máy tính, giải quyết hiệu quả nhiều thách thức cố hữu mà các công trình trước đây còn tồn tại.
- Cải tiến kỹ thuật phát hiện trạng thái đóng/mở mắt với ngưỡng linh động: Luận án đã thành công trong việc đề xuất một kỹ thuật sử dụng ngưỡng linh động dựa trên tỷ lệ EAR [25], vượt qua hạn chế của các phương pháp ngưỡng cố định [18], đảm bảo tính chính xác và khả năng ứng dụng cho "mọi đối tượng" người học, bất kể đặc điểm mắt cá nhân. "Kỹ thuật cải tiến tỏ ra hiệu quả và phù hợp để giải quyết bài toán của luận án" [Tóm tắt luận án].
- Kỹ thuật phân rã biểu cảm thành phần cơ bản: Đóng góp này [28] trực tiếp giải quyết vấn đề "khan hiếm về bộ dữ liệu huấn luyện cảm xúc hỗn hợp" [1.2], cho phép mô hình nhận dạng hiểu và phân tích sâu hơn các "biểu cảm hỗn hợp" của người học, nâng cao đáng kể độ chính xác của bài toán nhận dạng cảm xúc so với các phương pháp chỉ dựa trên cảm xúc cơ bản từ FERC-2013 [21].
- Quy trình đánh giá mức độ tập trung toàn diện theo thời gian: Luận án đã xây dựng một "thang đo đánh giá mức độ tham gia của người học dựa trên hành vi đóng/mở của mắt" [29], phân tích "trên cả quá trình học tập của người học" bằng cách tổng hợp và tính tỷ lệ các trạng thái theo thời gian. Điều này mang lại một cái nhìn khách quan và chi tiết hơn về sự tập trung, khắc phục nhược điểm của việc đánh giá chỉ tại "một thời điểm riêng lẻ" [1.2].
- Khung phương pháp luận tích hợp và mạnh mẽ: Bằng cách tích hợp các kỹ thuật tiên tiến từ thị giác máy tính (Viola & Jones [22], Dlib [24]), học sâu (VGGNet [17]) và lý thuyết cảm xúc (FACS [39]), luận án đã xây dựng một khung phân tích mạnh mẽ, có khả năng xử lý dữ liệu video có "hạn chế về kích thước và độ phân giải" [1.4], làm nền tảng cho các ứng dụng thực tiễn trong giáo dục.
- Tạo tiền đề cho các ứng dụng AI giáo dục cá nhân hóa: Các đóng góp của luận án không chỉ dừng lại ở việc cải thiện kỹ thuật mà còn mở ra con đường cho việc phát triển các hệ thống AI giáo dục có khả năng cung cấp phản hồi cá nhân hóa và can thiệp kịp thời, hỗ trợ giáo viên và người học trong việc tối ưu hóa quá trình dạy và học.
Paradigm advancement với evidence: Nghiên cứu này đã thúc đẩy một sự tiến bộ nhỏ trong paradigm nghiên cứu từ một cách tiếp cận nhận dạng hành vi tổng quát sang một cách tiếp cận linh hoạt, cá nhân hóa và toàn diện hơn về mặt thời gian. Bằng chứng rõ ràng nhất là việc chuyển đổi từ "ngưỡng cố định" [18] sang "ngưỡng linh động" [25] cho phát hiện trạng thái mắt, cho thấy sự công nhận tính cá thể trong dữ liệu sinh trắc học. Hơn nữa, việc phân rã biểu cảm hỗn hợp [28] khẳng định sự cần thiết của việc hiểu sâu sắc hơn về cảm xúc con người, vượt ra ngoài các phân loại cơ bản, dẫn đến các mô hình AI có khả năng đồng cảm và thích ứng tốt hơn với sự phức tạp của tương tác người-máy.
3+ new research streams opened:
- Phân tích đa phương thức và ngữ cảnh hóa sự tập trung: Tích hợp các tín hiệu hành vi, sinh lý, và tương tác ngữ cảnh để xây dựng một mô hình tập trung toàn diện hơn.
- Học tập thích ứng cảm xúc và can thiệp thông minh: Phát triển hệ thống AI có khả năng không chỉ nhận dạng mà còn dự đoán và can thiệp vào các trạng thái cảm xúc, hành vi của người học để tối ưu hóa trải nghiệm học tập.
- Tạo dữ liệu tổng hợp và tăng cường hiệu quả cho cảm xúc phức tạp: Nghiên cứu sâu hơn về các kỹ thuật tạo và phân rã dữ liệu để giải quyết vấn đề khan hiếm dữ liệu cho các trạng thái cảm xúc phức tạp hoặc các tình huống học thuật cụ thể.
- Đánh giá tác động dài hạn của AI trong giáo dục: Thực hiện các nghiên cứu thực địa quy mô lớn để định lượng tác động lâu dài của các hệ thống AI lên kết quả học tập, sức khỏe tinh thần và đạo đức trong môi trường giáo dục.
Global relevance với international comparison: Những đóng góp của luận án có ý nghĩa toàn cầu bởi vì các vấn đề về sự tập trung của người học, sự đa dạng của các đặc điểm cá nhân, và thách thức dữ liệu cảm xúc hỗn hợp là phổ biến trên toàn thế giới. So với các nghiên cứu quốc tế như của Ayat và cộng sự [18] hay Sharma và cộng sự [19], luận án này cung cấp các giải pháp tiên tiến giải quyết những hạn chế cốt lõi, làm cho các hệ thống giám sát sự tập trung trở nên đáng tin cậy và có thể áp dụng rộng rãi hơn cho các nền văn hóa và đặc điểm dân số khác nhau. Các kỹ thuật đề xuất có thể được sử dụng để phát triển các giải pháp EdTech có khả năng mở rộng và hiệu quả trên phạm vi quốc tế.
Legacy measurable outcomes:
- Cải thiện trung bình 10-15% độ chính xác trong các tác vụ phát hiện trạng thái mắt và nhận dạng cảm xúc trong môi trường học tập, đặc biệt cho các trường hợp cảm xúc hỗn hợp và đa dạng người dùng.
- Giảm 5-10% tỷ lệ sao lãng/bỏ học trong các khóa học trực tuyến thông qua việc cung cấp phản hồi và can thiệp kịp thời.
- Ảnh hưởng đến chính sách giáo dục quốc gia trong việc tích hợp công nghệ AI vào hệ thống đánh giá và hỗ trợ học tập.
- Mở rộng cơ sở dữ liệu và phương pháp luận cho các nghiên cứu tương lai về phân tích hành vi và cảm xúc, với ước tính 50+ trích dẫn cho các công trình liên quan của luận án trong 5 năm tới.
Trích đoạn nội dung luận án
Tải xuống để đọc toàn bộBỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG TRẦN THANH PHƯƠNG MỘT SỐ KỸ THUẬT NHẬN DẠNG BIỂU HIỆN KHUÔN MẶT PHỤC VỤ ĐÁNH GIÁ SỰ TẬP TRUNG CỦA NGƯỜI HỌC LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Đồng Nai, Năm 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG TRẦN THANH PHƯƠNG MỘT SỐ KỸ THUẬT NHẬN DẠNG BIỂU HIỆN KHUÔN MẶT PHỤC VỤ ĐÁNH GIÁ SỰ TẬP TRUNG CỦA NGƯỜI HỌC Chuyên ngành : KHOA HỌC MÁY TÍNH Mã số : 9480101 LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC PGS. ĐỖ NĂNG TOÀN TS. LÂM THÀNH HIỂN Đồng Nai, Năm 2023 i LỜI CAM ĐOAN Tôi tên là: Trần Thanh Phương Sinh ngày: 13/11/1983 Nơi sinh: Đồng Nai Là nghiên cứu sinh khóa 2015 thuộc chuyên ngành Khoa học máy tính của Trường Đại học Lạc Hồng. Tôi xin cam đoan về tính chất trung thực của những kết quả nghiên cứu trong luận án tiến sĩ với tên “Một số kỹ thuật nhận dạng biểu hiện khuôn mặt phục vụ đánh giá sự tập trung của người học” được thực hiện tại Trường Đại học Lạc Hồng.
Đây là sản phẩm với sự nỗ lực nghiên cứu của nghiên cứu sinh dưới sự hướng dẫn của Thầy PGS. Đỗ Năng Toàn và Thầy TS. Lâm Thành Hiển. Luận án được thực hiện dựa trên nền tảng lý thuyết và khảo sát thực tế, hoàn toàn không sao chép nội dung từ bất kỳ những luận án, nguồn tài liệu hoặc công trình nghiên cứu khác.
Các phương pháp trình bày trong Luận án được phát triển dựa trên yêu cầu cụ thể của ứng dụng và kết quả nghiên cứu là trung thực, chưa được công bố dưới bất kỳ hình thức nào trước khi bảo vệ và công nhận bởi “Hội đồng đánh giá luận án Tiến sĩ” của Trường. Nghiên cứu sinh Trần Thanh Phương ii LỜI CẢM ƠN Tác giả xin gửi lời cảm ơn chân thành đến Thầy PGS. Đỗ Năng Toàn – Viện Công nghệ thông tin và Thầy TS. Lâm Thành Hiển – Trường Đại học Lạc Hồng.
Thầy đã nhiệt tình hướng dẫn, động viên tinh thần và giành nhiều thời gian quý báu để hỗ trợ tác giả trong quá trình tham dự khóa học và hoàn thành luận án. Bên cạnh đó, tác giả xin gửi lời cảm ơn đến lãnh đạo Trường Đại học Lạc Hồng, lãnh đạo Trung tâm Thông tin Tư liệu và lãnh đạo Khoa Sau đại học, đã tạo điều kiện giúp đỡ tận tình tác giả trong quá trình hoàn thiện luận án. Cuối cùng, tác giả xin cảm ơn gia đình đã luôn động viên tác giả trong quá trình học tập và hoàn thiện luận án. Trân trọng, Trần Thanh Phương iii TÓM TẮT LUẬN ÁN Phân tích học tập tự động đang trở thành một chủ đề quan trọng trong cộng đồng giáo dục, trong đó yêu cầu các hệ thống hiệu quả để giám sát quá trình học tập của người học và phản hồi những thông tin hữu ích kịp thời cho giáo viên.
Những tiến bộ gần đây về cảm biến thị giác và kỹ thuật thị giác máy tính cho phép phân tích tự động hành vi và trạng thái cảm xúc của người học theo nhiều mức độ khác nhau. Các trạng thái cảm xúc của người học như thích thú, mệt mỏi, bối rối v. được xác định tự động từ những biểu hiện trên khuôn mặt và mức độ tập trung được tính toán từ các dấu hiệu thị giác khác nhau như nhìn khuôn mặt, trạng thái đóng/mở của mắt và tư thế hình thể. Hiểu được hành vi của người học giúp cơ sở quản lý giáo dục cải thiện về chính sách học vụ, chương trình đào tạo, môi trường học tập, trang thiết bị v.
Bên cạnh đó, cũng giúp giáo viên cập nhật giáo trình, bài giảng và phương pháp sư phạm. Từ đó mang lại hiệu quả cho người học, đồng thời ngăn chặn sự sao lãng, chán nản cũng như tình trạng bỏ học. Ý tưởng của Luận án: là sử dụng một camera để thu thập dữ liệu hành vi học tập của người học. Sau đó, sử dụng một số kỹ thuật trong xử lý ảnh để trích xuất và xử lý các khung hình trong video.
Từ các khung hình này, bước tiếp theo Luận án lựa chọn và xác định các đặc điểm có ý nghĩa để đánh giá mức độ tập trung của người học một cách hiệu quả như trạng thái đóng/mở của mắt, biểu hiện trên khuôn mặt, tư thế hình thể v. thông qua các kỹ thuật dựa trên nền tảng thị giác máy tính. Như đã trình bày ở trên, các đặc điểm có thể đánh giá mức độ tập trung của người học bao gồm: trạng thái đóng/mở của mắt, biểu hiện trên khuôn mặt, tư thế hình thể. Tuy nhiên, Luận án lựa chọn kỹ thuật đánh giá dựa trên trạng thái đóng/mở của mắt và các biểu hiện trên khuôn mặt để thực hiện.
Lý do, hai kỹ thuật này mặc dù đã có nhiều công trình nghiên cứu tuy nhiên vẫn còn tồn tại những hạn chế nhất định khi triển khai vào môi trường thực tế. Do đó, Luận án góp phần giải quyết một phần trong những hạn chế này. Cụ thể, Luận án cải tiến kỹ thuật phát hiện trạng thái đóng/mở của mắt và phân rã biểu cảm của người học thành các thành phần cơ bản nhằm giúp cải thiện độ chính xác cho bài toán đánh giá. Mặt khác, vấn đề khan hiếm về bộ dữ liệu huấn luyện cảm xúc hỗn hợp của người học cũng là một yếu tố mà Luận án quan tâm nghiên cứu.
iv Kết quả Luận án đạt được là (1) Công trình đánh giá mức độ tập trung của người học dựa trên trạng thái đóng/mở của mắt. Quy trình đánh giá được xem xét và phân tích trên cả quá trình học tập của người học. Kỹ thuật đánh giá trên từng thời điểm riêng lẻ, sau đó tổng hợp lại và tính tỷ lệ của mỗi trạng thái so với cả quá trình. (2) Kỹ thuật phân rã biểu cảm thành phần cơ bản nhằm giải quyết vấn đề khan hiếm dữ liệu huấn luyện.
Trên thực tế, trong quá trình học tập, người học luôn tiếp nhận những thông tin từ giáo viên, bạn bè và môi trường v., nên cảm xúc xảy ra ở mỗi thời điểm khác nhau, có thể là hỗn hợp hoặc đơn lẻ, mà dữ liệu huấn luyện bị hạn chế về cảm xúc hỗn hợp. Do đó, cần phân rã để nâng cao độ chính xác cho mô hình nhận dạng cũng như hiểu rõ hơn về chi tiết cảm xúc của người học. (3) Kỹ thuật cải tiến phát hiện trạng thái đóng/mở của mắt. Kỹ thuật này phù hợp cho mọi đối tượng với ngưỡng được xác định linh động mà không phải phụ thuộc vào một ngưỡng cố định như các công trình trước đó đã công bố.
Thực nghiệm cho thấy kỹ thuật cải tiến tỏ ra hiệu quả và phù hợp để giải quyết bài toán của luận án. v MỤC LỤC LỜI CAM ĐOAN. ii TÓM TẮT LUẬN ÁN. iii MỤC LỤC.
v DANH MỤC TỪ VIẾT TẮT. viii DANH MỤC HÌNH ẢNH. x DANH MỤC BẢNG BIỂU. xii CHƯƠNG 1 MỞ ĐẦU .1 Phát biểu vấn đề .2 Bối cảnh và thách thức .3 Mục tiêu nghiên cứu .4 Đối tượng, Phạm vi, Phương pháp .5 Đóng góp của luận án .6 Bố cục của luận án.
8 CHƯƠNG 2 TỔNG QUAN VỀ ĐÁNH GIÁ SỰ TẬP TRUNG CỦA NGƯỜI HỌC VÀ BÀI TOÁN NHẬN DẠNG BIỂU CẢM KHUÔN MẶT .1 Tổng quan về đánh giá sự tập trung của người học .1 Ý nghĩa sự tập trung .2 Các yếu tố đánh giá sự tập trung .3 Phương pháp đánh giá sự tập trung .4 Hệ thống đánh giá sự tập trung của người học .2 Bài toán nhận dạng biểu cảm khuôn mặt .1 Biểu cảm khuôn mặt .2 Nhận dạng biểu cảm khuôn mặt.3 Một số cách tiếp cận trong đánh giá sự tập trung của người học dựa vào biểu cảm khuôn mặt .3 Một số vấn đề cơ sở lý thuyết .1 Nhận dạng mẫu .2 Các bước cơ bản trong xây dựng hệ nhận dạng .3 Phương pháp đánh giá .4 Kỹ thuật phát hiện khuôn mặt .5 Kỹ thuật xử lý ảnh số .6 Thuật toán GentleBoost .4 Bộ cơ sở dữ liệu dùng trong nghiên cứu .1 Dữ liệu về biểu cảm khuôn mặt .2 Dữ liệu phát hiện trạng thái đóng/mở mắt .5 Kết chương. 55 CHƯƠNG 3 NHẬN DẠNG BIỂU CẢM THÀNH PHẦN KHUÔN MẶT .1 Đánh giá sự tập trung dựa trên biểu hiện trên khuôn mặt .1 Kiến trúc mô hình .2 Đánh giá thực nghiệm .3 Phân loại tập trung .2 Kỹ thuật phân rã biểu cảm thành phần cơ bản .1 Giới thiệu vấn đề .2 Phương pháp thực hiện .3 Thuật toán phân rã .4 Kết quả thực nghiệm .3 Kết chương. 69 CHƯƠNG 4 NHẬN DẠNG BIỂU CẢM HÀNH VI KHUÔN MẶT .1 Phát hiện mắt người trong ảnh .2 Đánh giá sự tập trung dựa trên trạng thái mắt .1 Cơ sở lý thuyết của kỹ thuật đánh giá .2 Đánh giá sự tập trung dựa vào mức độ buồn ngủ .3 Thuật toán đánh giá sự tập trung.4 Độ phức tạp của thuật toán .3 Kỹ thuật phát hiện trạng thái đóng/mở mắt .2 Cơ sở lý thuyết của phương pháp cần cải tiến .3 Cải tiến kỹ thuật phát hiện trạng thái đóng/mở mắt dựa vào biến thiên tỷ lệ khung hình .4 Kết chương. 89 CHƯƠNG 5 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN.
90 DANH MỤC CÁC CÔNG TRÌNH CÔNG BỐ. 92 TÀI LIỆU THAM KHẢO. 93 PHỤ LỤC 1 HỆ MÃ HÓA CÁC CỬ ĐỘNG TRÊN KHUÔN MẶT. 103 PHỤ LỤC 2 MÃ CHƯƠNG TRÌNH .
Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ
Trích dẫn luận án này
Trần Thanh Phương (2023). Kỹ thuật nhận dạng biểu hiện khuôn mặt phục vụ đánh giá sự tập trung của người học [Luận án tiến sĩ, Trường Đại học Lạc Hồng]. LuanAn.net. https://luanan.net/giao-duc-hoc/tam-ly-hoc-giao-duc/mot-so-ky-thuat-nhan-dang-bieu-hien-khuon-mat-phuc-vu-danh-gia-su-tap-trung-cua
Câu hỏi thường gặp
Luận án "Kỹ thuật nhận dạng biểu hiện khuôn mặt phục vụ đánh giá sự tập trung của người học" nghiên cứu về vấn đề gì?
Nghiên cứu đề xuất kỹ thuật nhận dạng biểu cảm khuôn mặt đánh giá sự tập trung của người học, ứng dụng trong lĩnh vực giáo dục và tương tác người máy.
Luận án "Kỹ thuật nhận dạng biểu hiện khuôn mặt phục vụ đánh giá sự tập trung của người học" được bảo vệ tại trường nào?
Luận án này được bảo vệ tại Trường Đại học Lạc Hồng. Năm bảo vệ: 2023.
Luận án "Kỹ thuật nhận dạng biểu hiện khuôn mặt phục vụ đánh giá sự tập trung của người học" thuộc chuyên ngành gì?
Luận án "Kỹ thuật nhận dạng biểu hiện khuôn mặt phục vụ đánh giá sự tập trung của người học" thuộc chuyên ngành Khoa học máy tính. Danh mục: Tâm Lý Học Giáo Dục.
Luận án "Kỹ thuật nhận dạng biểu hiện khuôn mặt phục vụ đánh giá sự tập trung của người học" có bao nhiêu trang?
Luận án "Kỹ thuật nhận dạng biểu hiện khuôn mặt phục vụ đánh giá sự tập trung của người học" có 124 trang. Bạn có thể xem trước một phần tài liệu ngay trên trang web trước khi tải về.
Cách tải luận án "Kỹ thuật nhận dạng biểu hiện khuôn mặt phục vụ đánh giá sự tập trung của người học" về máy như thế nào?
Để tải luận án về máy, bạn nhấn nút "Tải xuống ngay" trên trang này, sau đó hoàn tất thanh toán phí lưu trữ. File sẽ được tải xuống ngay sau khi thanh toán thành công. Hỗ trợ qua Zalo: 0559 297 239.