Kết hợp tín hiệu eeg camera và vật mốc để định vị điều khiển xe lăn điện đến đíc

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN ÁN TIẾN SĨ NGÔ BÁ VIỆT KẾT HỢP TÍN HIỆU EEG, CAMERA VÀ VẬT MỐC ĐỂ ĐỊNH VỊ, ĐIỀU KHIỂN XE LĂN ĐIỆN ĐẾN ĐÍCH DỰA VÀO BẢN ĐỒ NGÀNH: KỸ THUẬT ĐIỆN TỬ SKA 0 0 0 0 7 3 Tp. Hồ Chí Minh, tháng 04/2024 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH NGÔ BÁ VIỆT KẾT HỢP TÍN HIỆU EEG, CAMERA VÀ VẬT MỐC ĐỂ ĐỊNH VỊ, ĐIỀU KHIỂN XE LĂN ĐIỆN ĐẾN ĐÍCH DỰA VÀO BẢN ĐỒ NGÀNH: KỸ THUẬT ĐIỆN TỬ - 9520203 Hướng dẫn khoa học: PGS. NGUYỄN THANH HẢI Phản biện 1: PGS. NGUYỄN CHÁNH NGHIỆM Phản biện 2: PGS.

NGUYỄN NGỌC SƠN Phản biện 3: PGS. NGUYỄN THANH PHƯƠNG Tp. Hồ Chí Minh, tháng 4/2024 QUYẾT ĐỊNH GIAO ĐỀ TÀI QUYẾT ĐỊNH GIAO ĐỀ TÀI Trang – i – LỜI CAM ĐOAN LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của tôi. Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được công bố trong bất kỳ công trình nào khác Tp.

Hồ Chí Minh, ngày 13 tháng 4 năm 2024 NGÔ BÁ VIỆT Trang – iii – LỜI CẢM ƠN LỜI CẢM ƠN Đầu tiên, tôi xin gửi lời cảm ơn chân thành và sâu sắc đến Thầy PGS. Nguyễn Thanh Hải, người đã luôn nhiệt tình hướng dẫn, góp ý và định hướng giúp tôi đạt được những kết quả tốt nhất trong suốt quá trình thực hiện luận án. Tôi xin gửi lời cảm ơn đến Ban Giám Hiệu Trường Đại Học Sư Phạm Kỹ Thuật Tp.HCM, Ban Chủ Nhiệm Khoa Điện – Điện tử, những Thầy/Cô và đồng nghiệp đã hỗ trợ tôi trong quá trình thực hiện luận án này. Cuối cùng, tôi xin được gửi lời cảm ơn đến gia đình tôi, chỗ dựa tinh thần và là nguồn động viên vô cùng to lớn, giúp tôi có thể thực hiện tốt công việc học tập và nghiên cứu của mình.

Xin chân thành cảm ơn! Tp. Hồ Chí Minh, ngày 13 tháng 4 năm 2024 NGÔ BÁ VIỆT Trang – iv – TÓM TẮT TÓM TẮT Trong những năm gần đây, số lượng người gặp vấn đề về vận động đã tăng lên ở Việt Nam và trên thế giới. Đối với người già và người khuyết tật, các chức năng thể chất của họ bị giảm sút nghiêm trọng, và do đó xe lăn điện gần như là phương tiện duy nhất để duy trì tính cơ động. Luận án này đã đề xuất một số phương pháp cho việc điều khiển bán tự động cho xe lăn điện dựa vào tín hiệu điện não đồ (EEG), camera, các vật mốc và bản đồ.

Cụ thể, để điều khiển bán tự động cho xe lăn đến đích, một quá trình gồm 3 giai đoạn được thực hiện, bao gồm: (1) người dùng chọn vị trí điểm đích trên giao diện máy tính bằng tín hiệu EEG; (2) xe lăn tự xác định vị trí bắt đầu trên bản đồ dựa vào các vật mốc trong môi trường; và (3) hệ thống điều khiển xe lăn điện tự động đến đích dựa vào thông tin điểm bắt đầu và đích đến. Trong môi trường trong nhà, để bắt đầu cho một lộ trình di chuyển tự động, một điểm đích cần phải được lựa chọn. Khi người khuyết tật bị hạn chế về vận động chẳng hạn như không thể cử động tay hoặc đầu, các hoạt động nháy mắt là phù hợp để người dùng ra các lệnh lựa chọn đích đến trên một giao diện máy tính đã được thiết kế trước với các điểm đích. Từ đó, luận án đề xuất hai phương pháp phân loại các hoạt động nháy mắt từ tín hiệu EEG gồm phương pháp ngưỡng biên độ và mô hình học sâu 1D-CNN.

Phương pháp ngưỡng biên độ được áp dụng cho phân loại các hoạt động mắt như nháy mắt trái, nháy mắt phải, và không nháy mắt với độ chính xác trung bình trên 92%. Cụ thể, độ chính xác khi phân loại nháy mắt trái, nháy mắt phải, và không nháy mắt có tỷ lệ lượt là 97%, 99% và 82% cho mỗi loại. Ưu điểm của phương pháp này là có thể xử lý trực tiếp trên tín hiệu mà không cần phải được huấn luyện trước với thời gian ngắn. Với phương pháp phân loại các hoạt động mắt dùng mạng học sâu 1D-CNN, tập dữ liệu huấn luyện cần được thu thập trước theo một quy trình được chuẩn hóa.

Với đặc điểm của các hoạt động mắt, chỉ có tín hiệu từ 4 điện cực trong tổng số 14 điện cực thu được từ thiết bị Emotiv Epoc+ được trích xuất và ghép lại tạo thành 1 tín hiệu cho huấn luyện. Các tín hiệu này được làm trơn dùng bộ lọc Savitzky − Golay trước khi đưa vào huấn luyện. Kết quả phân loại cho 5 loại nháy Trang – v – TÓM TẮT mắt gồm nháy mắt trái, nháy mắt phải, nháy hai mắt, nháy hai mắt hai lần liên tiếp và không nháy mắt có độ chính xác trung bình trên 98%, với tỷ lệ lần lượt là 98,1%, 100%, 95,9%, 100%, và 98,1% cho mỗi loại. Sau khi người dùng đã chọn được điểm đích, vị trí ban đầu của xe lăn trên bản đồ cần được xác định.

Với xe lăn điện được trang bị camera, thông tin của các vật mốc tự nhiên bao gồm hình ảnh vật mốc và vị trí của nó trong môi trường, là rất cần thiết cho việc xác định vị trí của xe lăn. Để định vị trên bản đồ dựa vào vật mốc, xe lăn cần thu thập thông tin vật mốc và lưu vào cơ sở dữ liệu, sau đó trong quá trình di chuyển xe lăn sẽ xác định vị trí dựa vào các vật mốc này. Để thu thập thông tin vật mốc trong môi trường, luận án kiến nghị phương pháp mật độ điểm đặc trưng lớn nhất cho nhận biết vật mốc tự nhiên và phương pháp xác định vị trí của vật mốc dựa vào vị trí xe lăn và thông tin 3D từ camera. Cụ thể, hình ảnh môi trường thu thập được từ camera sẽ được trích xuất đặc trưng, và sau đó các thuật toán hình thái học được thực hiện để kết nối các điểm đặc trưng này lại tạo thành các đối tượng trong ảnh.

Mật độ điểm đặc trưng cho từng đối tượng này sẽ được tính toán và đối tượng nào có mật độ điểm đặc trưng lớn nhất được chọn là vật mốc. Với vật mốc đã được lựa chọn, thông tin 3D của vật mốc và vị trí của xe lăn trong môi trường được dùng để xác định vị trí vật mốc. Bên cạnh đó, luận án cũng kiến nghị phương pháp xác định vị trí xe lăn trên bản đồ lưới 2D ảo từ thông tin vật mốc trong môi trường thực, nhằm phục vụ cho việc điều khiển xe lăn. Cụ thể, sau khi nhận dạng được các vật mốc có trong cơ sở dữ liệu đã thu thập trước đó, thông tin tọa độ vị trí của các vật mốc này trong không gian môi trường và trong không gian của camera sẽ được dùng để tính toán vị trí xe lăn trong môi trường thực và trên bản đồ 2D lưới ảo bằng các phương trình lượng giác.

Để giảm bớt việc tham gia điều khiển của người sử dụng và tăng sự an toàn, luận án đề xuất mô hình điều khiển thực - ảo cho xe lăn điện dựa vào bản đồ lưới 2D ảo, cho phép người khuyết tật đến bất kỳ điểm đến định sẵn nào trên bản đồ lưới này. Cụ thể, bản đồ lưới 2D ảo được xây dựng từ môi trường thực bằng cách chia thành các ô lưới có thể chứa các khoảng trống hoặc chướng ngại vật. Sau đó, bản đồ với Trang – vi – TÓM TẮT các ô lưới được vẽ này sẽ được mô phỏng để tìm các đường đi tối ưu để đến các vị trí đích bằng mô hình Deep Q-Networks (DQNs) với hàm kích hoạt PreLU. Bên trong mô hình DQNs-PreLU là một mạng nơ-ron truyền thẳng sử dụng phương pháp lan truyền ngược để cập nhật các thông số mạng.

Ngõ vào mô hình là bản đồ lưới và ngõ ra là các hành động của xe lăn tương ứng trên bản đồ bao gồm Lên, Xuống, Trái, Phải. Với các thí nghiệm đã được thực hiện, mô hình DQNs-PreLU cho thấy thời gian huấn luyện ngắn hơn rất nhiều so với các mô hình khác và các thông số mô hình có thể lưu trữ lại để dùng cho điều khiển xe lăn trong môi trường thực. Để có thể điều khiển xe lăn trong môi trường thực, một thuật toán mới được đề xuất để chuyển đổi các hành động của xe lăn từ ngõ ra của mô hình DQNs-PreLU khi mô phỏng với bản đồ lưới 2D ảo thành các lệnh điều khiển thực tế cho xe lăn. Kết quả thí nghiệm đã cho thấy mô hình điều khiển đề xuất có thể tự động điều khiển xe lăn đến đích mong muốn với tính ổn định và an toàn hơn so với khi người dùng tự điều khiển.

Từ những kết quả này, một mô hình xe lăn điện bán tự động cho người khuyết tật trong môi trường trong nhà có thể được ứng dụng trong thực tế. Hiệu quả của các phương pháp đề xuất đã được đánh giá thông qua các kết quả thí nghiệm. Các phương pháp và mô hình được kiến nghị cùng với các kết quả thu được trong luận án này đã được đăng trong các kỷ yếu hội thảo khoa học và tạp chí khoa học. Với mô hình xe lăn điện bán tự động được đề xuất cùng với các kết quả thử nghiệm, xe lăn điện với chi phí thấp có thể được sản xuất trong tương lai gần, hướng đến nhu cầu di chuyển thiết yếu và an toàn cho người khuyết tật.

Trang – vii – ABSTRACT ABSTRACT In recent years, the number of people facing mobility issues has increased in Vietnam and worldwide. For the elderly and people with disabilities, their physical functions are severely compromised, and therefore, electric wheelchairs are nearly the sole means to maintain mobility. This thesis has proposed several methods for semi-automatic control of an electric wheelchair based on electroencephalogram (EEG) signals, cameras, landmarks, and maps. Specifically, to semi-automatically control the wheelchair to the destination, a three-stage process is implemented, including (1) users selecting the destination on a computer interface using EEG signals; (2) the wheelchair autonomously determining a starting position on the map based on landmarks in an indoor environment; and (3) the wheelchair system automatically controlling the electric wheelchair to reach the desired destination based on the starting position and destination information.

In an indoor environment, to initiate an automatic travel route, a destination needs to be selected. In the case of disabled people with limited mobility such as being unable to move an electric wheelchair by their hands or head, blinking operations are suitable for moving by selecting commands on a computer interface pre-designed with destinations. Therefore, the thesis proposes two methods of classifying blink activities from EEG signals, including the amplitude thresholding method and the 1D-CNN deep learning model.