Luận án thạc sĩ Nguyễn Thị Thủy: Nhận dạng khuôn mặt và ứng dụng trong quản lý nhân sự tại Đại học Công Nghệ

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN THỊ THUỶ PHƯƠNG PHÁP NHẬN DẠNG KHUÔN MẶT NGƯỜI VÀ ỨNG DỤNG TRONG QUẢN LÝ NHÂN SỰ Ngành: Khoa học máy tính Chuyên Ngành: Khoa học máy tính Mã Số: 8480101.01 LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: Ts. Nguyễn Văn Vinh HÀ NỘI-NĂM 2018 Nguyễn Thị Thủy i Đại Học Công Nghệ LỜI CAM ĐOAN Luận văn thạc sĩ đề tài “Nhận dạng khuôn mặt người và ứng dụng trong quản lý nhân sự” là công trình cá nhân tôi. Các nội dung nghiên cứu và kết quả trình bày trong luân văn này là trung thực và rõ ràng. Các tài liệu tham khảo được trích dẫn đầy đủ và ghi rõ nguồn gốc.

Tác giả luận văn ký và ghi rõ họ tên Nguyễn Thị Thủy ii Đại Học Công Nghệ MỤC LỤC LỜI CAM ĐOAN. iii DANH MỤC HÌNH VẼ, ĐỒ THỊ. v DANH MỤC CÁC TỪ VIẾT TẮT. vii PHẦN MỞ ĐẦU.

Lý do chọn đề tài. Mục đích nghiên cứu của luận văn, đối tượng, phạm vi nghiên cứu Mục đích của luận văn:. Nội dung luân văn. 2 CHƯƠNG 1: BÀI TOÁN NHẬN ĐỐI TƯỢNG NHẬN DẠNG KHUÔN MẶT.

Tổng quan và các khái niệm liên quan đến nhận dạng khuôn mặt. Hệ thống sinh trắc học. Hệ thống nhận dạng khuôn mặt. Hệ thống xác minh hay xác thực khuôn mặt là gì.

Những thách thức trong bài toán nhận dạng khuôn mặt. Tổng quan về các ứng dụng tương tác người máy liên quan tới khuôn mặt. Hướng tiếp cận chính trong lĩnh vực nhận dạng khuôn mặt. Các công trình nghiên cứu về Phương pháp nhận dạng và kiểm chứng chất lượng cho một hệ thống nhận dạng khuôn mặt.

Hướng tiếp cận của luận văn. 7 CHƯƠNG 2: CÁC KỸ THUẬT CHO NHẬN DẠNG KHUÔN MẶT. Phương pháp Deep Learning (CNN). Phương pháp truyền thống.

Các kỹ thuật sử dụng trong nhận dạng khuôn mặt. 9 Nguyễn Thị Thủy iii Đại Học Công Nghệ 2. Phát hiện khuôn mặt (Viola Jone Face detection). Trích chọn đặc trưng Weber local Descripor- WLD.

Giới thiệu phương pháp phân tích thành phần chính PCA. Giới thiệu phương pháp PCA. Đặc trưng PCA. Phương pháp phân tích thành phần chính(PCA).

Các bước thực hiện trích chọn đặc trưng PCA. Học máy hộ trợ vestor SVM. SVM tuyến tính. SVM Phi Tuyến tính.

25 CHƯƠNG 3: ỨNG DỤNG CÁC KỸ THUẬT TRONG NHẬN DẠNG KHUÔN MẶT. Phát hiện khuôn mặt (Viola Jone Face Detection). Trích chọn đặc trưng (WLD). Phân tích thành phần chính PCA và nhận dạng/phân lớp SVM.

Mô tả dữ liệu. Thu nhập dữ liệu. Biểu diễn dữ liệu khuôn mặt trong máy tính. Dữ liệu huấn luyện.

Kết quả thực nghiệm. Ứng dụng trong quản lý nhân sự. Mô hình nhận dạng trong quản lý nhân sự. Giao diện màn hình chức năng nhận dạng.

Giao diện màn hình chức năng quản lý bộ phận. Giao diện màn hình chức năng quản lý phòng ban. Giao diện màn hình chức năng quản lý nhân sự. 42 DANH MỤC TÀI LIỆU THAM KHẢO…………………………………….43 Nguyễn Thị Thủy iv Đại Học Công Nghệ DANH MỤC HÌNH VẼ, ĐỒ THỊ Hình 0.1 So sách tác vụ nhận dạng khuôn mặt và xác minh khuôn mặt .2 Mô phỏng nhận dạng khuôn mặt .3 Haar Features sử dụng trong Violo Jones.4 Applying on a give image .5 Ví dụ về Haar features .6 Ví dụ ảnh Integral .7 Ảnh ví dụ tính Ô pixcel.8 Các bước loại khuôn mặt hay không .9 Kết quả phát hiện khuôn mặt .10 Tính kích thích sai khác .11 Ảnh trên là ảnh gốc, ảnh thứ 2 là ảnh trích chọn đặc trưng .12 Minh họa về tính toán của WLD .13 Lụa chọn các trục toạ độ mới để biểu diễn dữ liệu [11] .14 Siêu măt phân cách tuyến tính cho trường hợp phân cách được và ký Hiệu các support vestor chính là các diểm được bao bằng viền tròn .15 ảnh, trong H, với hình vuông [1,-1] €R2 dưới ánh xạ ϴ .16 cây nhị phân: Cấu trúc cây nhị phân với số lớp bằng số mũ của 2.

Phải: số mũ không bằng số mũ của 2 .17 Mô hình quá trình tạo các đặc trưng mặt .18 Mô hình sử dụng trong nhận dạng khuôn mặt .19 Mô hình quá trình tạo các đặc trưng mặt .20 ảnh ban đầu được biểu diễn theo các trọng số và eigenface .21 Ví dụ về ảnh của một người trong Yale face Database .22 Ảnh 12 khuôn mặt người được đánh thứ tự từ 1 đến 12 .23 Kích thước chuẩn hóa của một mẫu khuôn mặt trong học tập .24 Một phần của tập ảnh luyện. 356 Nguyễn Thị Thủy v Đại Học Công Nghệ Hình 0.25 Một phần của tập ảnh thử nghiệm. Bảng Thực nghiệm nhận dạng số lượng ảnh .27 kết quả thực nghiệm so với chỉ sử dụng PCA.28 Mô hình nhận dạng ở cửa ra vào tại cơ quan. 378 Nguyễn Thị Thủy vi Đại Học Công Nghệ DANH MỤC CÁC TỪ VIẾT TẮT PCA Principal Component Analysis SVM Support Vector Machine WLD Weber Local Description CNN Convolutional Neural Network Nguyễn Thị Thủy vii Đại Học Công Nghệ PHẦN MỞ ĐẦU 1.

Lý do chọn đề tài Nhận dạng khuôn mặt là một trong những lĩnh vực mới của xử lý ảnh. Và ngày nay nhận dạng được sử dụng rộng rãi trong nhiều lĩnh vực của đời sống như nhận dạng trong lĩnh vực thương mại, hay phát hiện trong lĩnh vực an ninh, hay trong xử lý video, hình ảnh. Một trong những ứng dụng tiểu biểu nhận dạng đang sử dụng phổ biến hiện này trong nhận dạng khuôn mặt người là ứng dụng trong điện thoại di động cụ thể như IphoneX và Sangsung đang sử dụng. Hiện nay có rất nhiều các Phương pháp nhận dạng khác nhau được xây dựng để nhận dạng một người cụ thể trong thế giới thực.

ta có thể nói tới một số phương pháp như: học máy và học sâu.Tuy nhiên hai phương pháp này lại có nhược điểm lớn là phải xây dựng một tập cơ sở dữ liệu lớn và đồng thời việc xử lý dữ liệu lớn đòi hỏi phải nhanh và chính xác. Vậy nên hai phương pháp trên sẽ mất thời gian để nhận dạng. nhiệm vụ đặt ra là nghiên cứu và xây dựng một chương trình sử dụng Phương pháp nhận dạng có độ chính xác cao mà khối lượng và thời gian tính toán lại ít. Để giải quyết vấn đề trên tôi xin đề xuất ra phương pháp phát hiện khuôn mặt sử dụng phương pháp Viola jone face detection, trích chọn đặc trưng sử dụng phương pháp Weber local Descriptor và kết hợp phân tích thành phần chính sử dụng phương pháp PCA và học máy vestor (SVM) để nhận dạng khuôn mặt.

Mục đích nghiên cứu của luận văn, đối tượng, phạm vi nghiên cứu Mục đích của luận văn: Nghiên cứu đề tài này nhằm mục đích tìm hiểu bài toán nhận dạng khuôn mặt, từ đó xây dựng các hệ thống ứng dụng trong thực tiễn như: điểm danh, giám sát người ra vào, an ninh trong sân bay Đối tượng và phạm vi áp dụng: Nguyễn Thị Thủy 1 Đại Học Công Nghệ Đề tài tập trung tìm hiểu một số phương pháp nhận dạng khuôn mặt người phổ biến hiện nay và đưa ra phương án nhận dạng cho bài toán nhận dạng khuôn mặt người. Để đặt được mục tiêu trên đề tài tập trung tìm hiểu các nội dung sau: - Tìm hiểu phương pháp phát hiện khuôn mặt sử dụng phương pháp Viola Jones Face Detection - Trích chọn đặc trưng sử dụng phương pháp Weber Local Description - Phương pháp phân tích thành phần chính - Phương pháp học máy vestor (SVM) 3. Nội dung luân văn Luận văn này gồm 3 chương, cụ thể như sau: Chương 1: BÀI TOÁN NHẬN ĐỐI TƯỢNG NHẬN DẠNG KHUÔN MẶT Giới thiệu các cách thức nhận dạng khuôn mặt người, vì sao nên nhận dạng người bằng khuôn mặt, tầm quan trọng của bài toán trong thực tiễn, một số ứng dụng thực tiễn của bài toán nhận dạng khuôn mặt Chương 2: CÁC KỸ THUẬT CHO NHẬN DẠNG KHUÔN MẶT Giới thiệu về 4 phương pháp sử dụng nhận dạng khuôn mặt được sử dụng trong luận văn là phương pháp phát hiện khuôn mặt( Viola Jone Face Detection), phương pháp trích chọn đặc trưng (WLD), phân tích thành phần chính (PCA) và máy vector hỗ trợ (SVM) Chương 3: ỨNG DỤNG CÁC KỸ THUẬT TRONG NHẬN DẠNG KHUÔN MẶT Đưa ra mô hình xây dựng bài toán nhận dạng khuôn mặt người, các bước thực hiện và đánh giá thử nghiệm Nguyễn Thị Thủy 2 Đại Học Công Nghệ CHƯƠNG 1: BÀI TOÁN NHẬN ĐỐI TƯỢNG NHẬN DẠNG KHUÔN MẶT 1. Tổng quan và các khái niệm liên quan đến nhận dạng khuôn mặt 1.

Hệ thống sinh trắc học Hệ thống sinh trắc học là một hệ thống được thiết kế để xác minh và nhận dạng một người dựa vào những đặc trưng sinh học duy nhất của người đó. Hệ thống nhận dạng khuôn mặt Hệ thống nhận dạng khuôn mặt là một hệ thống được thiết kế để tìm thông tin của một người. Kĩ thuật nhận dạng là kiểm tra sự phù hợp dựa trên phép so sánh một-nhiều cụ thể là tìm ra một người là ai trong số những người đã được lưu trữ trong hệ thống dựa vào thông tin khuôn mặt. Hệ thống xác minh hay xác thực khuôn mặt là gì Hệ thống xác minh/xác thực khuôn mặt là một hệ thống được thiết kế để xác minh thông tin của một người .Kĩ thuật xác minh là kiểm tra sự phù hợp trên phép so sánh một-một cụ thể là đối chiếu thông tin mới nhận về một người với thông tin đã lưu trữ về người này có khớp hay không dựa trên thông tin khuôn mặt.1 So sách tác vụ nhận dạng khuôn mặt và xác minh khuôn mặt Nguyễn Thị Thủy 3 Đại Học Công Nghệ 1.

Những thách thức trong bài toán nhận dạng khuôn mặt Những biến đổi quá lớn giữa các ảnh khuôn mặt khác nhau từ một người cần nhận dạng gồm trạng thái cảm xúc trên khuôn mặt, ánh sáng, và các thay đổi vị trí của khuôn. Giới hạn về số ảnh cần thiết cho việc nhận dạng, tập học không thể bao quát được tất cả các biến đổi có thể có trên khuôn mặt của một người cần nhận dạng trong thế giới thực. Tổng quan về các ứng dụng tương tác người máy liên quan tới khuôn mặt Từ những năm 1990 trở lại đây, chúng ta đã chứng kiến sự phát triển như vũ bão của các ngành công nghiệp, đặc biệc là ngành công nghiệp chế tạo điện tử.Tuy nhiên hiện nay các thiết bị điện tử cao cấp như máy ảnh số, camera kĩ thuậtsố,vànhiều sản phẩm khác dường như chỉ phù hợp cho các phòng thí nghiệm, các công ty sản xuất kinh doanh, thương mại, tài chính, ngân hàng,. Trong thời gian không xa từ 3 đến 10 năm nữa, chi phí cho các thiết bị này sẽ giảm đáng kể.