Luận án tiến sĩ phát hiện vận động bất thường ngã sử dụng cảm biến đeo - Học viện Công nghệ Bưu chính Viễn thông

BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG PHÁT HIỆN VẬN ĐỘNG BẤT THƯỜNG (NGÃ) SỬ DỤNG CẢM BIẾN ĐEO LUẬN ÁN TIẾN SĨ KỸ THUẬT Hà Nội - 2021 luan an BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG PHÁT HIỆN VẬN ĐỘNG BẤT THƯỜNG (NGÃ) SỬ DỤNG CẢM BIẾN ĐEO CHUYÊN NGÀNH : KỸ THUẬT MÁY TÍNH MÃ SỐ : 9.06 LUẬN ÁN TIẾN SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. PHẠM VĂN CƯỜNG Hà Nội - 2021 luan an i LỜI CAM ĐOAN Nghiên cứu sinh (NCS) xin cam đoan đây là công trình nghiên cứu của riêng NCS. Các kết quả được viết chung với các tác giả khác đều được sự đồng ý của đồng tác giả trước khi đưa vào luận án. Các kết quả nêu trong luận án là trung thực và chưa từng được công bố trong các công trình nào khác.

Người cam đoan luan an ii LỜI CẢM ƠN Thực hiện luận án tiến sĩ là một thử thách lớn, đòi hỏi sự kiên trì và tập trung cao độ. Những kết quả đạt được trong luận án không chỉ là nỗ lực cá nhân NCS, mà còn có sự hỗ trợ và giúp đỡ của các Thầy hướng dẫn, của tập thể khoa Công nghệ Thông tin, Nhà trường, đồng nghiệp nơi NCS công tác và gia đình. NCS xin được bày tỏ lòng biết ơn sâu sắc đến PGS. Phạm Văn Cường và TS.

Vũ Văn Thoả đã tận tình hướng dẫn, giúp đỡ, trang bị phương pháp nghiên cứu, kiến thức khoa học để NCS hoàn thành các nội dung nghiên cứu của luận án. NCS cũng xin đ ư ợ c bày tỏ lòng biết ơn chân thành tới các thầy, cô của Học viện Công nghệ Bưu chính Viễn thông đã đóng góp nhiều ý kiến quý báu giúp cho NCS hoàn thành các nội dung nghiên cứu của luận án. Luận án được hỗ trợ bởi nhiệm vụ nghiên cứu khoa học độc lập cấp Quốc gia “Nghiên cứu, chế tạo thiết bị hỗ trợ theo dõi một số triệu chứng bệnh hô hấp và vận động bất thường dựa trên nền tảng Internet kết nối vạn vật”, mã số ĐTĐLCN-16/18, NCS xin được bày tỏ lòng biết ơn đối với các thầy, cô trong nhóm tác giả đã tạo điều kiện cho NCS tham gia vào đề tài. NCS xin trân trọng cảm ơn Khoa Đào tạo Sau đại học - Học viện Công nghệ Bưu chính Viễn thông là cơ sở đào tạo và các đồng chí lãnh đạo Trường Cao đẳng Kinh tế - Tài chính Thái Nguyên, các đồng chí giảng viên Khoa Công nghệ Thông tin nơi NCS đang công tác đã tạo điều kiện thuận lợi, hỗ trợ và giúp đỡ cho NCS trong suốt quá trình học tập, nghiên cứu thực hiện luận án.

NCS xin trân trọng cảm ơn bạn bè, người thân và gia đình đã cổ vũ, động viên, giúp đỡ, tạo điều kiện cho NCS hoàn thành luận án. NGHIÊN CỨU SINH luan an iii MỤC LỤC LỜI CAM ĐOAN. ii DANH MỤC CÁC BẢNG. viii DANH MỤC CÁC HÌNH VẼ.

x DANH MỤC CÁC TỪ VIẾT TẮT. xii PHẦN MỞ ĐẦU. Lý do chọn đề tài. Tính cấp thiết của đề tài.

Mục tiêu của luận án. Các đóng góp của luận án. Bố cục của luận án. TỔNG QUAN VỀ BÀI TOÁN PHÁT HIỆN VẬN ĐỘNG BẤT THƯỜNG.

Giới thiệu bài toán. Tại sao phải phát hiện VĐBT. Các nghiên cứu có liên quan. Theo công nghệ cảm biến.

Tổng quan về các cảm biến sử dụng để nhận dạng hoạt động ở người 11 1. Các cảm biến sử dụng trong phát hiện VĐBT. Trích chọn đặc trưng. Trích chọn đặc trưng thủ công.

Trích chọn đặc trưng tự động. Một số phương pháp phát hiện VĐBT.43 luan an iv 1. Phát hiện VĐBT sử dụng học máy. Phát hiện VĐBT sử dụng học máy kết hợp khai phá dữ liệu.

Phát hiện VĐBT sử dụng huấn luyện có trọng số. Giới thiệu một số hệ thống phát hiện VĐBT (ngã) đã được thương mại hoá. Các tập dữ liệu sử dụng cho nghiên cứu. Kết luận chương.

PHÁT HIỆN VẬN ĐỘNG BẤT THƯỜNG DỰA TRÊN KẾT HỢP NHIỀU CẢM BIẾN ĐEO VÀ TRÍCH CHỌN ĐẶC TRƯNG THỦ CÔNG. Các cảm biến sử dụng phát hiện VĐBT. Sơ đồ tổng quát của hệ thống phát hiện VĐBT. Xử lý dữ liệu của cảm biến.

Trích chọn các đặc trưng. Đặc trưng của cảm biến gia tốc. Đặc trưng của cảm biến con quay hồi chuyển. Đặc trưng của từ kế.

Ứng dụng mô hình học máy cho bài toán phát hiện VĐBT. Kết hợp các đặc trưng cảm biến, thử nghiệm và đánh giá. Kết hợp các đặc trưng cảm biến. Thử nghiệm và đánh giá.

Thu thập và gán nhãn dữ liệu. Phân đoạn và thiết lập các tham số cho mô hình học máy. Độ đo đánh giá và kết quả. Phát hiện VĐBT sử dụng hàm nhân phi tuyến hồi quy.

Phương pháp huấn luyện. Phương pháp phát hiện. Tập dữ liệu thử nghiệm. Độ đo đánh giá và kết quả.

Kết luận chương. PHÁT HIỆN VẬN ĐỘNG BẤT THƯỜNG BẰNG HỌC SÂU. Tập dữ liệu thử nghiệm, tiền xử lý dữ hiệu và độ đo đánh giá. Các tập dữ liệu thử nghiệm.

Tiền xử lý dữ liệu. Mô hình mạng học sâu nhân chập (CNN) phát hiện VĐBT. Mô hình CNN. Phát hiện VĐBT bằng mạng CNN.

Nhân chập tạm thời và hợp nhất. Các kiến trúc sâu. Thiết lập các mô hình thử nghiệm. Mô hình mạng bộ nhớ dài - ngắn phát hiện VĐBT.

Mô hình mạng bộ nhớ dài ngắn (LSTM). Phát hiện VĐBT bằng LSTM .111 luan an vi 3. Thiết lập mô hình thử nghiệm. Mô hình kết hợp CNN-LSTM phát hiện VĐBT.

Mô hình kết hợp CNN-LSTM. Phát hiện VĐBT bằng CNN-LSTM. Thành phần mạng nhân chập (CNN). Thành phần mạng bộ nhớ dài ngắn (LSTM).

Lớp đầu ra. So sánh phương pháp đề xuất với các phương pháp khác. Kết hợp cảm biến đeo và đặc trưng khung xương nhận dạng hoạt động và phát hiện VĐBT của người. Mô hình đề xuất.

Tiền xử lý dữ liệu. Mạng nhân chập theo thời gian (TCN). Tập dữ liệu và phương pháp đánh giá mô hình. Kết quả thực nghiệm.

Kết luận chương. 143 DANH MỤC CÁC CÔNG TRÌNH CÔNG BỐ. 146 luan an vii Các công trình (CT) công bố liên quan trực tiếp đến luận án: .146 Các công trình công bố khác:.146 TÀI LIỆU THAM KHẢO. 148 luan an viii DANH MỤC CÁC BẢNG Bảng 2.

Tổng hợp các đặc trưng của các cảm biến quán tính. Các vận động ngã và không phải ngã. Kết quả đánh giá từ cảm biến đơn (%). Kết quả một vài giá trị của alpha và beta (%).

Chi tiết kết quả cho kết hợp đặc trưng (%). Kết quả nhận dạng vận động và phát hiện VĐBT trong tập dữ liệu CMDFALL (%). Kết quả của mô hình sử dụng CNN trên 4 tập dữ liệu (%). So sánh kết quả (F1-score) của mô hình sử dụng CNN và SVM trên 4 tập dữ liệu (%).

Kết quả của mô hình sử dụng LSTM trên 4 tập dữ liệu (%). So sánh kết quả (F1-score) của mô hình sử dụng LSTM và SVM trên 4 tập dữ liệu (%). Kết quả của mô hình CNN-LSTM phát hiện VĐBT. 116 trong tập dữ liệu CMDFALL (%).

So sánh kết quả (F1-score) của mô hình sử dụng CNN-LSTM. 118 và SVM trên 4 tập dữ liệu (%). Danh sách khớp xương. So sánh phương pháp được đề xuất với các phương pháp khác trên tập dữ liệu CMDFALL (%).

131 luan an ix Bảng 3. So sánh phương pháp đề xuất với các phương pháp khác trên tập dữ liệu UTD-MHAD (%). Kết quả trên tập dữ liệu CMDFALL (%). Kết quả của kết hợp sớm, kết hợp cấp đặc trưng.

140 và kết hợp muộn (%). 140 luan an x DANH MỤC CÁC HÌNH VẼ Hình 1. Trực quan hóa một số hoạt động ở người đo bằng cảm biến gia tốc. Sơ đồ tổng quát của hệ thống phát hiện VĐBT.

Kết quả tín hiệu gia tốc kế sau quá trình lọc nhiễu. Hình ảnh tín hiệu cảm biến của ngã từ từ; tín hiệu chuẩn hóa (tính từ trên xuống dưới) của gia tốc kế, con quay hồi chuyển và từ kế. Sơ đồ các bước thực hiện để kết hợp các đặc trưng cảm biến sử dụng cho mô hình học máy. Thiết bị đeo được gắn vào hông của người dùng.

Biểu đồ mô tả việc lựa chọn N tối ưu cho mô hình RF. Biểu diễn đồ họa một lần lặp của thuật toán EM. SVM một lớp. Thủ tục thích nghi lặp lại.

Máy đo gia tốc 3 trục WAX3. Microsoft Camera Kinect. Thiết lập môi trường thu thập dữ liệu. Trực quan hóa dữ liệu ảnh chiều sâu (depth) và cảm biến.

Bộ lọc thông thấp (Low-pass filter) và bộ lọc Kalman. Dữ liệu cảm biến đầu vào cho CNN. Kiến trúc CNN chứa m nhánh song song, mỗi nhánh là một cảm biến. Sơ đồ cấu trúc tế bào LSTM.

107 luan an xi Hình 3. Kiến trúc sử dụng LSTM dựa trên RNN. Mô hình RNN dựa trên LSTM một chiều. Kiến trúc mạng học sâu nhân chập kết hợp mạng bộ nhớ dài ngắn.

Kiến trúc của mô hình đề xuất để nhận dạng các hoạt động và phát hiện vận động bất thường phức tạp ở người. Bộ lọc thông thấp/cao và bộ lọc Kalman. Khung xương với các khớp xương được đánh số. Một ví dụ chi tiết về TCN bao gồm hai Res, mỗi khối có hai lớp Conv 1D với kích thước hạt nhân là 2 và độ giãn của 1 và 2.

Trong ví dụ này, trường tiếp nhận bằng 7. Các đường đứt nét thể hiện các kết nối không sử dụng vì chúng không được liên kết với véc-tơ đầu ra.14: Ma trận nhầm lẫn chuẩn hóa của phương pháp được đề xuất trên tập dữ liệu CMDFALL. Ngã về bên phải (a) và ngã về phía sau (b) trong tập dữ liệu CDMFALL .16: Ma trận nhầm lẫn chuẩn hóa của phương pháp được đề xuất trên tập dữ liệu UTD-MHAD. Đi bộ (a) và chạy bộ (b) trong tập dữ liệu CDMFALL .