Luận án tiến sĩ công nghệ thông tin hướng tiếp cận dựa trên phổ tần số cho bài t

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN QUANG TRUNG HƯỚNG TIẾP CẬN DỰA TRÊN PHỔ TẦN SỐ CHO BÀI TOÁN NHẬN THỨC TIẾNG NÓI LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN Hà Nội - 2019 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN QUANG TRUNG HƯỚNG TIẾP CẬN DỰA TRÊN PHỔ TẦN SỐ CHO BÀI TOÁN NHẬN THỨC TIẾNG NÓI Chuyên ngành: Khoa học máy tính Mã số: 9480101.01 LUẬN ÁN TIẾN SĨ: CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. Bùi Thế Duy Hà Nội - 2019 LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu do tôi thực hiện dưới sự hướng dẫn của PGS. Bùi Thế Duy tại bộ môn Khoa học máy tính, Khoa Công nghệ Thông tin, Trường Đại học Công nghệ, Đại học Quốc gia Hà nội. Các số liệu và kết quả trình bày trong luận án là trung thực, chưa được công bố bởi bất kỳ tác giả nào hay ở bất kỳ công trình nào khác.

Tác giả Nguyễn Quang Trung 1 LỜI CẢM ƠN Kết quả đạt được của Luận án không chỉ là những nỗ lực cá nhân, mà còn có sự hỗ trợ và giúp đỡ của tập thể người hướng dẫn, cơ sở đào tạo, cơ quan chủ quản, đồng nghiệp và gia đình. Trước tiên, tôi xin bày tỏ sự biết ơn sâu sắc đến PGS. Bùi Thế Duy. Được làm việc với thầy là một cơ hội lớn cho tôi học hỏi phương pháp nghiên cứu, tính kiên trì và phương pháp làm việc nghiêm túc, khoa học.

Tôi xin trân trọng cảm ơn Khoa Công nghệ thông tin, Phòng Đào tạo, Ban Giám hiệu trường đại học công nghệ, đại học Quốc gia Hà Nội đã tạo điều kiện thuận lợi cho tôi trong suốt quá trình thực hiện luận án. Tôi xin cảm ơn Ban Giám đốc Học viện Thanh thiếu niên Việt Nam và các bạn bè, đồng nghiệp đã cổ vũ, động viên và tạo các điều kiện thuận lợi nhất cho tôi trong quá trình học tập, nghiên cứu. Tôi cũng bày tỏ lời cảm ơn sâu sắc tới sự hỗ trợ của đề tài “Nghiên cứu ứng dụng công nghệ đa phương tiện trong bảo tồn và phát huy di sản văn hóa phi vật thể”, mã số “ĐTĐL-CN.34/16” cũng như sự giúp đỡ nhiệt tình của các thành viên tham gia đề tài. Cuối cùng, tôi xin bày tỏ lòng biết ơn đối với gia đình tôi luôn bên cạnh ủng hộ, giúp đỡ, chia sẻ với tôi những lúc khó khăn.

Xin chân thành cảm ơn! 2 MỤC LỤC LỜI CAM ĐOAN. Tính cấp thiết của đề tài. Mục tiêu, phạm vi nghiên cứu của luận án. Phương pháp và nội dung nghiên cứu.

Kết quả đạt được của luận án. Cấu trúc luận án. TỔNG QUAN VỀ NHẬN THỨC TIẾNG NÓI. Quá trình nhận thức tiếng nói ở người.

Tai ngoài thu nhận tín hiệu tiếng nói từ. Tai trong và cơ chế truyền sóng âm trong ốc tai. Quá trình mô phỏng nhận thức tiếng nói trên máy tính. Lấy mẫu tín hiệu tiếng nói.

Lượng tử hoá các mẫu. Mã hóa các mẫu lượng tử hóa. Biểu diễn tín hiệu tiếng nói. Trích chọn đặc trưng tiếng nói.

Phân lớp, phân cụm dữ liệu. Tổng quan tình hình nghiên cứu về nhận thức tiếng nói. Bài toán nhận thức tiếng nói trong khoa học máy tính. Bài toán nhận dạng người nói.

Bài toán nhận dạng tiếng nói. Bài toán nhận thức tiếng nói. Một số khó khăn trong nhận thức tiếng nói. Tính tuyến tính.

Phân đoạn tiếng nói. Vấn đề phụ thuộc người nói. Đơn vị nhận thức cơ bản. Mô hình nhận thức tiếng nói dựa trên học quan hệ giữa tín hiệu tiếng nói với các tín hiệu khác.

MỘT SỐ HƯỚNG TIẾP CẬN HỌC MÁY CHO BÀI TOÁN NHẬN THỨC TIẾNG NÓI. Một số mô hình học máy cho bài toán nhận thức tiếng nói. Mô hình Markov ẩn. Mô hình ngôn ngữ.

Mô hình mạng nơ-ron. Mạng học sâu. Trích chọn đặc trưng tiếng nói cho các mô hình học máy. Đặc trưng MFCC.

Phương pháp mã dự đoán tuyến tính LPC. Đặc trưng PLP. HƯỚNG TIẾP CẬN DỰA TRÊN PHỔ TẦN SỐ CHO BÀI TOÁN NHẬN THỨC TIẾNG NÓI TRONG MỐI LIÊN HỆ VỚI CÁC KHÁI NIỆM 61 3. Phổ tần số của tín hiệu tiếng nói.

Đặc trưng bất biến SIFT. Phương pháp phân lớp NBNN. Phương pháp phân lớp LNBNN. Hướng tiếp cận trích chọn đặc trưng tiếng nói dựa trên phổ tần số cho bài toán nhận thức tiếng nói.

Hướng tiếp cận mạng tích chập dựa trên phổ tần số cho bài toán nhận thức tiếng nói. Thực nghiệm và kết quả. Dữ liệu thực nghiệm. Thí nghiệm so sánh độ chính xác phân lớp của đặc trưng SIFT với đặc trưng MFCC khi sử dụng LNBNN.

Thí nghiệm với dữ liệu co dãn theo thời gian. Thí nghiệm so sánh LNBNN và các phương pháp phân lớp khác 80 3. Thí nghiệm khả năng học tăng cường của LNBNN. Thí nghiệm với mạng tích chập trên tín hiệu tiếng nói.

MÔ HÌNH NHẬN THỨC TIẾNG NÓI THÔNG QUA HỌC MỐI QUAN HỆ GIỮA TÍN HIỆU TIẾNG NÓI VÀ HÌNH ẢNH. Các phương pháp học mối quan hệ. Học mối quan hệ bằng mạng nhân tạo. Học mối quan hệ bằng HMM.

Học mối quan hệ dựa trên luật. Học mối quan hệ dựa trên thống kê. Đề xuất mô hình nhận thức tiếng nói. Cơ sở đề xuất mô hình.

Mô hình nhận thức tiếng nói dựa trên học quan hệ giữa tín hiệu âm thanh và tín hiệu hình ảnh. Mô hình nhận thức tiếng nói dựa trên ánh xạ giữa tín hiệu âm thanh và tín hiệu hình ảnh bằng mạng tích chập. Thực nghiệm và kết quả. Thực nghiệm mô hình nhận thức tiếng nói dựa trên học quan hệ giữa tín hiệu âm thanh và tín hiệu hình ảnh.

Thực nghiệm mô hình nhận thức dựa trên mạng tích chập 102 4. MỘT SỐ CẢI TIẾN CHO BÀI TOÁN NHẬN THỨC TIẾNG NÓI DỮ LIỆU LỚN. Rút gọn đặc trưng. Giới thiệu về rút gọn đặc trưng.

Rút gọn đặc trưng SIFT. Bảng băm đa chỉ số. Thực nghiệm và kết quả. Cài đặt phương pháp phân lớp LNBNN cho bài toán nhận thức tiếng nói dữ liệu lớn.

Giới thiệu Framework Hadoop. Cài đặt thuật toán phân lớp LNBNN trên nền Hadoop. 124 6 DANH MỤC KÝ HIỆU VÀ TỪ VIẾT TẮT TT Viết tắt Từ tiếng Anh Nghĩa tiếng Việt 1. ANN Artificial Neural Network Mạng trí tuệ nhân tạo Bi-directional Assosiation Mạng nhớ kết hợp hai 2.

BAM Memory chiều 3. CNN Convolution Neural Network Mạng tích chập Văn phạm phi ngữ 4. CFG Context Free Grammar cảnh Center for Spoken Language Trung tâm nghiên cứu 5. CSLU Understanding tiếng nói 6.

DNN Deep Neural Network Mạng học sâu 7. DoG Different-of-Gaussian Bộ lọc DoG 8. DCT Discrete Cosin Transform Biến đổi Cosin rời rạc Biến đổi Fourier rời 9. DFT Discrete Fourier Transform rạc Phương pháp lập trình 10.

DTW Dynamic Time Warping động 11. FA Factor Analysis Phân tích nhân tố 12. FFT Fast Fourier Transform Biến đổi Fuutier nhanh Mô hình Gaussian hỗn 13. GMM Gaussian Mixture Model hợp Hadoop Distributed File 14.

HDFS Hệ thống tệp phân tán System 15. HMM Hidden Markov Model Mô hình Markov ẩn Histogram of Oriented Đặc trưng lược đồ độ 16. HOG Gradients dốc theo hướng Independent Component Phân tích thành phần 17. ICA Analysis độc lập 18.

LBG Linde–Buzo–Gray Thuật toán LBG Phân tích biệt thức 19. LDA Linear Discriminant Analysis tuyến tính Local Naïve Bayes Nearest Phương pháp phân lớp 20. LNBNN Neighbor NBNN cục bộ 21. LPC Linear Predictive Coding Mã dự báo tuyến tính Mel-frequency cepstral 22.

MFCC Hệ số Mel coefficients Multiple Principal Component Phân tích đa thành 23. MPCA Analysis phần 7 Phương pháp phân lớp 24. NBNN Naïve Bayes Nearest Neighbor NBNN Phân tích thành phần 25. PCA Principal Component Analysis chính Mã nhận thức tuyến 26.

PLP Perceptual Linear Prediction tính 27. RNN Recurrent Neural Network Mạng hồi quy Scale Invariant Feature Đặc trưng bất biến đối 28. SIFT Transform với phép biến đổi 29. SOM Self Organizing Map Bản đồ tự tổ chức 30.

SURF Speeded Up Robust Features Đặc trưng ảnh nhanh 31. SVM Support Vector Machine Máy véc tơ hỗ trợ Thời gian bắt đầu 32. VOT Voice On Set time nguyên âm 8 DANH MỤC HÌNH ẢNH Hình 1.1 Sơ đồ quá trình nhận thức tiếng nói. 2 Mô phỏng các bước trong nhận thức tiếng nói của máy tính19 Hình 1.

3 Quá trình thu nhận âm thanh ở ốc tai. 4 Cộng hưởng với các tần số âm khác nhau ở ốc tai .5 Khu vực lưu trữ đặc trưng tiếng nói trên vỏ não. 6 Biểu diễn tín hiệu tiếng nói trên miền thời gian. 7 Biểu diễn tín hiệu tiếng nói trên miền tần số .8 Biểu diễn tín hiệu tiếng nói trên miền kết hợp.

1 Mô hình HMM-GMM có cấu trúc dạng Left-Right liên kết không đầy đủ. (a) Perceptron 1 lớp, (b) Perceptron nhiều lớp. 3 Mô hình bộ tự mã hóa. 4 Mô hình mạng hồi quy.

5 Mô hình mạng tích chập CNN. 6 Tích chập một bộ lọc với dữ liệu đầu vào. 7 Ví dụ lấy mẫu với hàm max. 8 Mô hình mạng tích chập LeNet 5 [Lecun, 1998].

9 Mô hình mạng tích chập AlexNet [Krizhevsky, 2012]. 10 Mô hình mạng ZF Net [Zeiler, 2014]. 11 Mô hình mạng tích chập VGGNET [Simonyan, 2014]. 12 Sơ đồ khối các bước trích chọn đặc trưng MFCC.

13 Sơ đồ trích chọn đặc trưng LPC. 14 Sơ đồ khối các bước trích chọn đặc trưng PLP. 1 Phổ của từ A trong tiếng Anh được nói bởi 4 người khác nhau. 2 Phổ của các chữ cái A-D trong tiếng Anh của cùng một người nói.

3 Phổ của âm tiết Haa trong tiếng Nhật được nói bởi 5 người khác nhau. 4 Phổ của 5 âm tiết tiếng Nhật do cùng một người nói. 5 Sơ đồ trich xuất phổ tần số của tín hiệu tiếng nói. 6 Mô tả điểm hấp dẫn SIFT [Lowe, 1999].

7 Sơ đồ các bước trích chọn đặc trưng SIFT-SPEECH từ tín hiệu tiếng nói. 8 Một số điểm SIFT-SPEECH trích xuất từ phổ tần số của tín hiệu tiếng nói. 9 Mô hình phân lớp tiếng nói bằng LNBNN-SIFT-SPEECH. 10 Mô hình CNN cho bài toán nhận dạng tiếng nói dựa trên phổ tần số.

11 So sánh độ chính xác của LNBNN kết hợp với MFCC và SIFT trên dữ liệu số English Digits. 12 So sánh độ chính xác của LNBNN kết hợp với MFCC và SIFT trên dữ liệu ISOLET.13 So sánh độ chính xác của LNBNN kết hợp với MFCC và SIFT trên 20 lớp đầu tiên của dữ liệu TMW .14 So sánh độ chính xác của LNBNN kết hợp với MFCC và SIFT trên dữ liệu JVPD .