Luận án: Phân tích và phát hiện tiếng nói dựa trên đặc tính động phi tuyến - Đặng Thái Sơn

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI ĐẶNG THÁI SƠN PHÂN TÍCH VÀ PHÁT HIỆN TIẾNG NÓI DỰA TRÊN ĐẶC TÍNH ĐỘNG PHI TUYẾN LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ HÀ NỘI - 2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI ĐẶNG THÁI SƠN PHÂN TÍCH VÀ PHÁT HIỆN TIẾNG NÓI DỰA TRÊN ĐẶC TÍNH ĐỘNG PHI TUYẾN LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ Chuyên ngành: Kỹ thuật điện tử Mã số: 62520203 GIẢNG VIÊN HƯỚNG DẪN KHOA HỌC: PGS. HOÀNG MẠNH THẮNG HÀ NỘI - 2017 LỜI CAM ĐOAN Tôi xin cam đoan các kết quả trình bày trong luận án là công trình nghiên cứu của tôi dưới sự hướng dẫn của cán bộ hướng dẫn. Các số liệu, kết quả trình bày trong luận án là hoàn toàn trung thực và chưa được công bố trong bất kỳ công trình nào trước đây. Các kết quả sử dụng tham khảo đã được trích dẫn đầy đủ và theo đúng quy định.

Hà nội, ngày 4 tháng 4 năm 2017 Tác giả Đặng Thái Sơn LỜI CÁM ƠN Để hoàn thành được luận án này, tôi xin gửi lời biết ơn sâu sắc đến các Thày cô trong bộ môn Điện tử và Kỹ thuật máy tính, Viện Điện tử–Viễn thông đã hỗ trợ, giúp đỡ và động viên tôi trong suốt quá trình làm luận án tiến sĩ tại Trường Đại học Bách khoa Hà Nội. Tôi gửi lời cám ơn đến người hướng dẫn, PGS. Hoàng Mạnh Thắng, người chỉ bảo và định hướng cho tôi trong quá trình nghiên cứu. Tôi cũng xin gửi lời cám ơn đến PGS.

Santo Banerjee về những bàn luận quan trọng cho luận án này. Xin cám ơn rất nhiều Hà Nội, ngày 4 tháng 4 năm 2017 MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT v DANH MỤC HÌNH VẼ vii DANH MỤC BẢNG xi DANH MỤC CÁC KÝ HIỆU xii MỞ ĐẦU 1 Chương 1: Tổng quan về nhận dạng tiếng nói 6 1. Bối cảnh lịch sử. Các đặc trưng âm thanh và các loại tín hiệu tiếng nói.

Các đặc trưng phức tạp của nhận dạng tiếng nói. Ảnh hưởng của nhiễu trong nhận dạng tiếng nói. Phát hiện tiếng nói (VAD). Nghiên cứu xử lý tín hiệu phi tuyến tính.

Nhận dạng tiếng nói tuyến tính và phi tuyến tính. Xác định các điểm kết thúc của tín hiệu tiếng nói. Miền thời gian và miền tần số-thời gian. Mô hình Markov ẩn.

27 i ii Chương 2: Khảo sát sự phức tạp trong các hệ thống ngẫu nhiên và các tín hiệu tiếng nói 29 2. Lô tái xuất và các đo lường. Entropy của lô tái xuất có trọng số. Đánh giá độ phức tạp của tín hiệu tiếng nói ứng dụng lô tái xuất 36 2.

WRP của hệ thống có tác động bởi tín hiệu nhiễu. Ứng dụng của phương pháp đồng bộ trong phân tích đặc tính động của tín hiệu tiếng nói. Phân tích sai số đồng bộ. Tái xuất trung bình điều kiện (Mean Conditional Recurrence– MCR).

Xác định các hệ thống điều khiển–phản hồi bằng điều kiện tái xuất trung bình. Nhận dạng tín hiệu tiếng nói ứng dụng không gian pha tái tạo. Lợi ích của tính động phi tuyến cho xử lý tín hiệu. Thu thập tín hiệu tiếng nói.

Kỹ thuật nhận dạng hoạt động tiếng nói. Phân tích tần số và thời gian–tần số. Sự tái tạo không gian pha và các đặc tính động tái xuất phi tuyến của tiếng nói. Ứng dụng của các đặc tính động tái xuất với nhận dạng tín hiệu tiếng nói.

60 Chương 3: Đề xuất phương pháp phát hiện tiếng nói 62 3. Khái quát chung. Hệ thống VAD. Phương pháp đánh giá thuật toán VAD.

Các phương pháp VAD. VAD dựa trên tỉ lệ cắt qua không và năng lượng tín hiệu [7]. VAD dựa trên năng lượng tuyến tính (LED) [119]. VAD dựa trên năng lượng tuyến tính thích nghi [119].

VAD dựa trên nhận dạng mẫu. Số lượng số lần về không. Logarit-năng lượng. Hệ số tự tương quan chuẩn hóa.

Hệ số dự đoán đầu tiên. Sai số dự đoán chuẩn hóa. Tính toán khoảng cách. Quá trình thực thi.

VAD dựa vào đo lường thống kê [19, 20]. Phương pháp đánh giá hiệu quả thuật toán VAD. Các tham số mục tiêu. Phương pháp thu thập dữ liệu và bộ dữ liệu AURORA [1, 42].

Đề xuất đặc trưng và phương pháp VAD mới. Phương pháp tính với cửa sổ dịch một mẫu. Phương pháp tính đặc trưng. Phương pháp tính đặc trưng Tp.

Phương pháp tính đặc trưng tổng hợp Sp và xác định endpoint. Đánh giá phương pháp mới trên các tín hiệu tiếng nói khác nhau 88 3. Đánh giá trên các tín hiệu tiếng nói khác nhau không có tạp âm. Ứng dụng trên các tín hiệu tiếng nói khác nhau có tạp âm.

So sánh và đánh giá kết quả. So sánh với các phương pháp đã có. 101 Kết luận 103 Danh mục các công trình công bố 104 DANH MỤC CÁC TỪ VIẾT TẮT VIẾT TẮT TIẾNG ANH TIẾNG VIỆT AMI Average mutual information Thông tin tương hỗ trung bình ApEn Approximate entropy Entropy xấp xỉ AR Auto-regression Tự động hồi qui ASR Automatic speech recognition Nhận dạng tiếng nói tự động CASA Computational auditory Phân tích ngữ cảnh scene analysis âm thanh thông qua tính toán CML Cepstral mean normalization Chuẩn hóa trung bình Cepstral CS Complete synchronization Đồng bộ hoàn chỉnh ECG Electrocardiogram Tín hiệu điện tim EEG Electroencephalogram Tín hiệu điện não EMG Electromyogram Tín hiệu điện cơ EOG Electrooculogram Tín hiệu nhãn đồ FEC Front End Clipping Cắt phía trước FFT Fast Fourier Transform Biến đổi Fourier nhanh FNN False nearest neighbor Lân cận gần nhất sai GS Generalized synchronization Đồng bộ tổng quát HCI Human computer interface Giao tiếp người máy HMM Hidden Markov model Mô hình Markov ẩn JRP Joint Recurrence Plot Bảng hợp tái xuất LE Lyapunov Exponent Lũy thừa Lyapunov LS Lorenz-Stenflo Hệ thống động Lorenz-Stenflo LPC Linear predictive coding Mã hóa dự báo tuyến tính LRT Likelihood ratio test Kiểm tra tỷ lệ khả năng LVCSR Large vocabulary continuous Nhận dạng tiếng nói liên tục speech recognition với lượng từ vựng lớn MSC Mid – Speech Clipping Cắt giữa tiếng nói v vi MCR Mean Conditional Recurrence Tái xuất có điều kiện trung bình MEG Magnetoencephalogram Tín hiệu từ não MFCC Mel-Frequency Hệ số Cepstrum tần số Mel Cepstrum Coefficient NPD Normal probability distribution Phân bố xác suất thường NSE Normalized synchronization error Lỗi đồng bộ được chuẩn hóa OVER Over Hang Phần nhô ra RASTA Relative spectral processing Xử lý phổ tương đối RP Recurrence plots Lô tái xuất PDF Probability density function Hàm phân bố mật độ xác suất PLP Perceptual Linear Prediction Dự đoán cảm nhận tuyến tính SampEn Sample entropy Entropy mẫu SNR Signal-to-noise Ratio Tỷ lệ tín hiệu và nhiễu SR Speech recognition Nhận dạng tiếng nói STE Short time energy Năng lương trong khoảng thời gian ngắn TEO Teager energy operator Toán tử năng lượng Teager VAD Voice activity detection Phát hiện hoạt động âm thanh ZCAE Zero-crossing amplitude estimation Ước lượng biên độ cắt không WRP Weighted recurrence plot Lô tái xuất theo trọng số WRPE Entropy of the WRP Entropy của lô tái xuất tái xuất theo trọng số DANH MỤC HÌNH VẼ 1.1 Mô hình nguồn kênh cho một hệ thống nhận dạng tiếng nói .2 Lọc nguồn của tín hiệu tiếng nói .3 Mô hình hóa môi trường thêm nhiễu và lọc bằng kênh tuyến tính .4 Phát hiện tiếng nói .5 Tái tạo không gian pha của tín hiệu tiếng nói .6 Các tham số biến đổi cho các loại nhiễu khác nhau và tín hiệu tiếng nói được thu liên tục .7 Xác suất chuyển dịch .8 Xác suất chuyển dịch và phân bố xác suất đầu ra .1 Lô tái xuất của hệ thống Lorenz [67] .2 Phổ năng lượng trong các trường hợp .3 Hình chiếu hai chiều của không gian pha của LS với các biến x1 , x4 .4 WRP cho hệ thống LS 4 chiều .5 Lô WRPE H(r) cho r = 26 với tham số r của hệ thống LS bố chiều 42 2.6 Đồ thị WRPE H(α1 , α2 ) với r = 26 phụ thuộc vào tham số α1 , α2 .7 Mô tả những thay đổi trong quan hệ sai số đồng bộ (SE) và hệ số ghép C theo thời gian.8 Biểu đồ ∆(M CR) đối với cường độ liên kết C trong đồng bộ hệ thống LS bị gây nhiễu bởi tạp âm, tín hiệu âm nhạc và tổ hợp tín hiệu âm nhạc, tiếng nói.9 Tiếng nói và đường bao phổ năng lượng trong các điều kiện khác nhau. Đường màu hồng biểu diễn trung bình đầu tiên Y1 .10 Mỗi tín hiệu được chia nhỏ bằng cửa sổ Hamming có chiều dài 256.11 Mỗi tín hiệu được chia nhỏ bằng cửa sổ Hamming có chiều dài 256.12 Mỗi tín hiệu được chia nhỏ bằng cửa sổ Hamming có chiều dài 256.13 Tín hiệu tiếng nói trong các điều kiện khác nhau và RP của chúng.

Trong mỗi trường hợp, ǫ được tính bằng ǫ = 0, 1 × Std(speech). Tín hiệu có chiều dài khác nhau.14 Các đường màu xanh lam biểu diễn RR(k) cho tiếng nói của một người trong môi trường không tạp âm. Các đường màu đỏ biểu diễn RR(k). Các đường xanh lam cho thấy npd của RR(k) cho tiếng nói của một người trong môi trường không tạp âm.

Các đường màu đỏ biểu diễn npd của RR(k) cho tiếng nói giống nhau của cùng một người trong các điều kiện khác nhau. Các màu xanh và đỏ biểu thị hai người khác nhau.1 Sơ đồ khối của một VAD .2 Sơ đồ thực thi, so sánh và đánh giá các thuật toán VAD .3 Sơ đồ khối cho VAD dựa trên tỉ lệ về không và đo năng lượng [7] .4 Hàm phân bố xác suất đo số điểm về không [5] .5 Hàm mật độ xác suất của phép đo năng lượng [5] .6 Hàm mật độ xác suất của hệ số tự tương quan chuẩn hóa [5] .7 Hàm phân bố xác suất của hệ số LPC đầu tiên .8 Hàm mật độ xác suất của phép đo sai số LPC .9 Sơ đồ khối VAD dựa trên phương pháp nhận dạng mẫu.10 Sơ đồ khối của phương pháp VAD dựa trên thống kê đo lường.11 Các tham số mục tiêu [9].12 Quan hệ Log-Log của nhiễu lũy thừa.13 Tuyến tính hóa tín hiệu .14 Phương pháp dịch cửa sổ nhiều mẫu .15 Phương pháp dịch cửa sổ một mẫu .16 Phương pháp dùng bộ lọc làm trơn tam giác .17 Phương pháp dùng bộ làm mượt tam giác dịch cửa sổ một mẫu .18 Tín hiệu, giá trị trung bình và đường bao đặc trưng .19 Quan hệ Log-Log phổ năng lượng của tín hiệu nhiễu. Đường màu xanh chỉ độ dốc (α) của các giá trị trung bình của log(S(f ).20 Tín hiệu loại I, giá trị trung bình và đường bao năng lượng của nhiễu với cường độ nhiễu là c = 0.002 cho cả hai trường hợp .