Luận án: Mô hình nhận dạng tư thế võ dựa trên ảnh chiều sâu - Đại học Bách Khoa Hà Nội

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VỀ MÔ HÌNH NHẬN DẠNG TƯ THẾ VÕ DỰA TRÊN ẢNH CHIỀU SÂU LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ Hà Nội − 2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VỀ MÔ HÌNH NHẬN DẠNG TƯ THẾ VÕ DỰA TRÊN ẢNH CHIỀU SÂU Ngành: Kỹ thuật điện tử Mã số : 9520203 LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. Phạm Thành Công Hà Nội − 2020 LỜI CAM ĐOAN Tôi xin cam đoan luận án: "Về mô hình nhận dạng tư thế võ dựa trên ảnh chiều sâu" là công trình nghiên cứu của riêng tôi. Một phần các số liệu, kết quả trình bày trong luận án là trung thực, đã được công bố trên các tạp chí khoa học chuyên ngành, kỷ yếu hội nghị khoa học trong nước và quốc tế. Phần còn lại của luận án chưa được công bố trong bất kỳ công trình nghiên cứu trong và ngoài nước.

Hà Nội, tháng 01 năm 2020 NGHIÊN CỨU SINH Nguyễn Tường Thành TẬP THỂ HƯỚNG DẪN TS Lê Dũng TS. Phạm Thành Công i LỜI CẢM ƠN Luận án tiến sĩ được thực hiện tại Viện Điện tử Viễn thông, trường Đại học Bách khoa Hà Nội dưới sự hướng dẫn khoa học của TS Lê Dũng và TS Phạm Thành Công. Nghiên cứu sinh xin bày tỏ lòng biết ơn sâu sắc tới các thầy, cô về định hướng khoa học trong suốt quá trình nghiên cứu. Nghiên cứu sinh xin được trân trọng cảm ơn các nhà khoa học, tác giả các công trình công bố đã được trích dẫn và cung cấp nguồn tư liệu quý báu trong quá trình hoàn thành luận án.

Nghiên cứu sinh xin trân trọng cảm ơn Viện Điện tử Viễn thông; Phòng Đào tạo Trường Đại học Bách Khoa Hà Nội; Các thầy cô trong Viện Điện tử Viễn thông, các anh chị và các bạn trong nhóm NCS, các võ sư Hồ Minh Mộng Hùng, Phạm Đình Khiêm, Phạm Ngọc Dương, Bùi Thị Lành, Nguyễn Quốc Tiễn, Trung tâm Võ thuật cổ tryền Bình Định, TP. Quy Nhơn, tỉnh Bình Định.đã quan tâm, động viên giúp đỡ và tạo điều kiện thuận lợi về thời gian, địa điểm nghiên cứu, trang thiết bị, hỗ trợ về mặt nhân lực để NCS thực hiện việc thu thập dữ liệu, thực nghiệm các kết quả nghiên cứu. Nghiên cứu sinh xin cảm ơn TS. Lê Văn Hùng nghiên cứu tại Viện nghiên cứu quốc tế MICA, Đại học Bách khoa Hà Nội và Đại học Tân Trào đã hỗ trợ kỹ thuật, đồng tác giả giúp NCS thực hiện các nghiên cứu của luận án.

Cuối cùng nghiên cứu sinh xin bày tỏ sự biết ơn tới Ban giám hiệu Trường Đại học Quy Nhơn; Ban chủ nhiệm Khoa Kỹ thuật và Công nghệ, gia đình, bạn bè và đồng nghiệp đã động viên khích lệ, tạo mọi điều kiện thuận lợi để NCS yên tâm công tác và học tập. Hà Nội, tháng 01 năm 2020 NGHIÊN CỨU SINH Nguyễn Tường Thành ii NỘI DUNG LỜI CAM ĐOAN i LỜI CẢM ƠN ii NỘI DUNG v KÝ HIỆU VÀ VIẾT TẮT vi DANH SÁCH BẢNG BIỂU viii DANH SÁCH HÌNH VẼ xiv MỞ ĐẦU 1 Chương 1: TỔNG QUAN 12 1.1 Học máy, học sâu và ứng dụng .2 Hệ thống khôi phục hoạt động của người trong không gian 3-D và chấm điểm võ thuật .1 Hệ thống khôi phục hoạt động của người trong không gian 3-D .2 Hệ thống chấm điểm võ thuật .3 Ước lượng khung xương trên cơ thể người trong không gian 2-D .1 Ước lượng khung xương trên ảnh màu .2 Ước lượng khung xương trên ảnh độ sâu .3 Ước lượng tư thế dựa trên đối tượng và ngữ cảnh hoạt động .4 Ước lượng khung xương và tư thế người trong môi trường 3-D .1 Phục hồi tư thế 3-D của người từ một ảnh .2 Phục hồi tư thế 3-D của người .1 Phục hồi khung xương, tư thế người trong không gian 3-D từ một ảnh .2 Phục hồi khung xương, tư thế người trong không gian 3-D từ một chuỗi ảnh .5 Các bộ cơ sở dữ liệu cho việc đánh giá ước lượng khung xương trong không gian 3-D .1 Giới thiệu Kinect .2 Hiệu chỉnh dữ liệu thu từ cảm biến Kinect .6 Tổng kết chương. 37 iii Chương 2: ƯỚC LƯỢNG KHUNG XƯƠNG CỦA NGƯỜI TỪ DỮ LIỆU VÕ CỔ TRUYỀN TRONG KHÔNG GIAN 3-D 38 2.1 Ước lượng khung xương trong không gian 2-D .2 Các nghiên cứu liên quan .3 Sử dụng học sâu cho việc ước lượng các hành động trong bài võ cổ truyền trong không gian 2-D .1 Phương thức .2 Cơ sở dữ liệu các bài võ cổ truyền .3 Phương thức đánh giá .4 Xoay và dịch dữ liệu trong không gian 3-D .5 Kết quả ước lượng và nhận xét .2 Phục hồi khung xương, tư thế người trong không gian 3-D và bị che khuất 74 2.2 Các nghiên cứu liên quan .3 Phục hồi khung xương, tư thế người trong không gian 3-D .1 Nghiên cứu so sánh về khôi phục khung xương người trong không gian 3-D .2 Thí nghiệm và kết quả ước lượng khung xương 3-D .4 Ước lượng khung xương, tư thế người khi bị che khuất .3 Tổng kết chương. 92 Chương 3: NHẬN DẠNG VÀ CHẤM ĐIỂM ĐỘNG TÁC VÕ CỔ TRUYỀN VIỆT NAM 93 3.2 Các nghiên cứu liên quan .3 Cơ sở lý thuyết để nhận diện động tác tấn công và chấm điểm động tác võ 97 3.1 Nhận diện động tác tấn công .1 Xử lý dữ liệu .2 Trích xuất đặc trưng cơ thể người với camera Kinect .2 Mô hình chấm điểm động tác võ cổ truyền .1 Mô tả động tác người .2 Công thức chấm điểm .1 Nhận diện động tác tấn công .1 Nhận diện động tác tấn công bằng cây phân loại .2 Nhận diện động tác tấn công bằng mạng nơ ron .2 Chấm điểm động tác võ cổ truyền Việt Nam .6 Tổng kết chương.

115 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 115 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN 117 TÀI LIỆU THAM KHẢO 120 PHỤ LỤC 134 v DANH MỤC CÁC KÝ HIỆU VÀ VIẾT TẮT Số Viết tắt Giải nghĩa Nghĩa tiếng Việt 1 AD Average deviation Độ lệch trung bình 2 AP Average Precision Độ chính xác trung bình 3 APM Articulated Part-based Modeldeviation Mô hình dựa trên phần khớp nối 4 CPM Convolutional Pose Machines Máy học cử chỉ tích chập 5 CPU Central Processing Unit Đơn vị xử lý trung tâm 6 CNN Convolutional Nerural Network Mạng Nơ ron tích chập 7 CNNs Convolutional Nerural Networks Mạng Nơ ron tích chập nhiều lớp 8 DPM Deformable Part Model Mô hình phần biến dạng 9 DTW Dynamic Time Warping So khớp chuỗi thời gian động 10 DV Digital Video Video số 11 fps f rame per second Khung hình trên giây 12 GPU Graphics Processing Unit Đơn vị xử lý đồ họa 13 HMMs Hidden Markov Models Mô hình Markov ẩn 14 HOG Histogram of Oriented Gradients Biểu đồ hướng dốc 15 HRNet High-Resolution Network Mạng độ phân giải cao 16 IR InfraRed camera Máy ảnh hồng ngoại 17 JI Jaccard Index Chỉ số Jaccard 18 LSTM Long Short-Term Memory Mạng bộ nhớ ngắn định hướng dài hạn 19 MADS Martial Arts, Dancing and Sports Võ cổ truyền, khiêu vũ, thể thao 20 MOCAP MOtion CAPture Thu nhận chuyển động 21 MPJPE MeanPerJointPositionError Độ đo sai số trung bình của các khớp nối 22 MS MicroSoft Microsoft 23 MSE Mean Squared Error Sai số bình phương 24 OCR Optical Character Recognition Nhận dạng ký tự quang học 25 OKS Object Key point Similarity Độ tương tự các điểm đại diện 26 OpenCV Open Computer Vision Thư viện mã nguồn mở thị giác máy tính 27 OpenNI Open Natural Interaction Thư viện hỗ trợ đa ngôn ngữ 28 PCA Principal Component Analysis Phân tích nguyên lý thành phần vi 29 PCL Poind Cloud Library Thư viện đám mây điểm 30 RAM Random Access Memory Bộ nhớ truy nhập ngẫu nhiên 31 RDF Random Decision Forests Rừng quyết định ngẫu nhiên 32 RGB Red Green Blue Đỏ Xanh lá Xanh lơ 33 SDK Software Development Kit Kit phát triển phần mềm 34 SVM Support Vector Machine Học máy hỗ trợ vector 35 TOF Time-Of-Flight sensor Cảm biến TOF 36 V1 Version 1 Phiên bản 1 37 V2 Version 2 Phiên bản 2 38 VE Vector Estimation Vector dự đoán 39 VG Vector Ground truth Vector đánh dấu thực 40 VNMA VietNam Martial Arts Võ cổ truyền Việt Nam vii DANH SÁCH BẢNG BIỂU Bảng 1.1 Thống kê các nghiên cứu ước lượng khung xương của người trong không gian 3-D mà có đánh giá trên cơ cở dữ liệu Human3.6M [86] và kết quả ước lượng.2 Khảo sát về ước lượng tư thế người trong không gian 3-D sử dụng 1 ảnh.3 Khảo sát về ước lượng khung xương người trong không gian 3-D từ một chuỗi ảnh.1 Số khung hình trong các tư thế võ của cơ sở dữ liệu VNMA.2 Số khung hình trong các tư thế võ của cơ sở dữ liệu SVNMA.3 Kết quả trung bình của ước lượng các khớp nối (AP), góc lệch giữa các khớp của dữ liệu gốc và các khớp nối ước lượng được (AD) và khoảng cách giữa các trung bình giữa các điểm đại diện ước lượng được và các điểm đại diện của dữ liệu gốc, tương ứng với nhau.4 Kết quả ước lượng khung xương trên ảnh và chiếu sang không gian 3-D với 14 điểm xương trên dữ liệu VNMA. Kết quả được đánh giá trên độ đo MPJPE theo đơn vị milimet (mm).5 Số khung hình đánh giá trong dữ liệu VNMA.6 Kết quả ước lượng khung xương trên ảnh sau đó chiếu sang không gian 3-D trên cơ sở dữ liệu MADS với 14 điểm xương.7 Số khung hình cho việc đánh giá ước lượng khung xương trên ảnh sai đó chiếu sang không gian 3-D trên cơ sở dữ liệu MADS.8 Kết quả ước lượng khung xương trên ảnh sau đó chiếu sang không gian 3-D trên cơ sở dữ liệu VNMA với 15 điểm xương.9 Kết quả ước lượng khung xương trên ảnh sau đó chiếu sang không gian 3-D trên cơ sở dữ liệu MADS với 15 điểm xương.1 Thể hiện tám véc tơ chi. 104 viii DANH SÁCH HÌNH VẼ Hình 1 Cảm biến MS Kinect phiên bản 1. 2 Hình 2 Minh họa dữ liệu khung xương thu được từ cảm biến MS Kinect phiên bản 1 [36].

2 Hình 3 Một lớp dạy võ cổ truyền tại thành phố Quy Nhơn, tỉnh Bình Định, Việt Nam. 4 Hình 4 Khung xương, tư thế của người được ước lượng (các điểm màu xanh là các điểm xương và các khớp nối màu vàng) và môi trường được xây dựng lại trong không gian 3-D (thế giới thực). 5 Hình 5 Minh họa thiết lập các thiết bị. 7 Hình 6 Mô hình giải quyết vấn đề ước lượng khung xương, tư thế người trong không gian 3-D và tái tạo lại môi trường thực tế.1 Minh họa mô hình của học máy [58].2 Mô hình phân loại học máy [59].3 Mô hình của học sâu [59].