Luận án tiếp cận dựa trên phổ tần số cho bài toán nhận thức tiếng nói - Mô hình liên kết thính giác-thị giác

Tính cấp thiết của đề tài Ngày nay, với sự bùng nổ của xã hội thông tin, con người không còn chỉ có nhu cầu giao tiếp với nhau nữa mà còn cần giao tiếp với những thiết bị điện tử. Hình thức giao tiếp người - máy thông qua ngôn ngữ tự nhiên sẽ đem lại nhiều ứng dụng, góp phần giải phóng sức lao động của con người. Chính vì vậy, việc làm cho máy tính có thể nhận thức được tiếng nói (hiểu tiếng nói) có tầm quan trọng đặc biệt liên quan đến quá trình phát triển của văn minh nhân loại. Nhận thức âm thanh nói chung hay nhận thức tiếng nói nói riêng đã được nghiên cứu từ đầu những năm 1950.

Tuy nhiên, những nghiên cứu về nhận thức tiếng nói ở thời kỳ đầu chỉ tập trung vào một số bài toán cụ thể như bài toán tách nguồn tiếng nói, bài toán nhận dạng tiếng nói, bài toán nhận dạng hay xác thực người nói. Gần đây, nghiên cứu về nhận thức tiếng nói đã đạt được nhiều thành tựu to lớn. Tuy nhiên, các nghiên cứu về nhận thức tiếng nói chỉ xây dựng các hệ thống có thể hiểu ở mức độ phân biệt được tiếng nói ở một khía cạnh nào đó như hệ thống có thể phân biệt được các nguồn tiếng nói khác nhau từ một nguồn tổng hợp các tín hiệu tiếng nói [Allen, 2004] , hay phân biệt tiếng nói từ nguồn có nhiễu, hay bài toán phân biệt được nguyên âm với phụ âm [Hillenbrand, 1995] [Hillenbrand, 2001] [Krisztina, 2005] [Lengeris, 2014] , phân biệt được các âm tiết, nhận dạng được các từ độc lập [McClelland, 1986] [Bever, 1969] [Luce, 1998] , hay thậm chí là nhận dạng tiếng nói liên tục [Davis, 1980] [Fowler, 1995]. Nghĩa là, các nghiên cứu này chỉ tập trung mô phỏng hoạt động nhận thức tiếng nói xảy ra ở vũng vỏ não thính giác đặc biệt là vùng vỏ não thính giác sơ cấp nơi lưu trữ các đặc trưng về tần số của tiếng nói và vùng vỏ não thính giác thứ cấp nơi chứa các mẫu âm thanh có mối liên hệ với nhau.

Rất ít nghiên cứu đặt bài toán nhận thức tiếng nói trong mối quan hệ với nhận thức của các hệ giác quan khác như thị giác, khứu giác, xúc giác. Nói cách khác, các nghiên cứu về nhận thức tiếng nói đến nay chủ yếu là nghiên cứu mô phỏng quá trình nhận thức mối liên hệ giữa các tín hiệu âm thanh với nhau và liên kết giữa âm thanh với các từ, khái niệm định nghĩa trước. Hay nói cách khác, các nghiên cứu về nhận thức tiếng nói chủ yếu nghiên cứu 14 ánh xạ giữa tín hiệu âm thanh với các thành phần ngôn ngữ do tri thức con người cung cấp trước, chưa nghiên cứu nhận thức tiếng nói trong mối liên hệ giữa tín hiệu âm thanh với các tín hiệu khác đồng thời thu được bởi các giác quan không cần phải cung cấp các tri thức của con người. Để giải quyết bài toán nhận thức tiếng nói ở khía cạnh ánh xạ giữa tín hiệu tiếng nói với các tri thức có sẵn hay còn gọi là bài toán nhận dạng tiếng nói, nhiều lý thuyết và mô hình đã được đề xuất.

Các mô hình nhận thức tiếng nói kinh điển như mô hình vận động (Motor Theory) [Liberman, 1967] , Cohort [Marslen-Wilson, 1975] [Marslen-Wilson, 1987] , TRACE [McClelland, 1986] , mô hình tính toán nơ-ron [Kröger, 2009] , mô hình luồng kép [Hickok, 2000] [Hickok, 2007]. Xuất phát từ thực tế và những lý do trên, việc lựa chọn đề tài “Hướng tiếp cận dựa trên phổ tần số cho bài toán nhận thức tiếng nói” với mục tiêu nghiên cứu đề xuất mô hình mô phỏng quá trình nhận thức tiếng nói thông qua mô phỏng việc học liên kết giữa vùng vỏ não thính giác với các vùng vỏ não khác đặc biệt là liên kết giữa vùng vỏ não thính giác với vùng vỏ não thị giác. Kết quả đề tài này có thể ứng dụng trong việc huấn luyện người máy, cải thiện cách thức huấn luyện người máy, làm quá trình huấn luyện người máy trở nên tự nhiên hơn thông qua việc trang bị cho người máy các bộ cảm biến mô phỏng các giác quan của con người. Mục tiêu, phạm vi nghiên cứu của luận án Mục tiêu chính của đề tài là xây dựng mô hình nhận thức tiếng nói dựa trên liên kết giữa tín hiệu thính giác với các thông tin, tín hiệu khác.

Trong phạm vi đề tài này, chúng tôi tiến hành thực nghiệm xây dựng mô hình học mối quan hệ giữa tín hiệu thính giác với khái niệm cho trước và mô hình quan hệ giữa tín hiệu tiếng nói tín hiệu hình ảnh. Xuất phát từ mục tiêu trên, phạm vi nghiên cứu của đề tài tập trung vào các vấn đề sau: - Xử lý đoạn tín hiệu tiếng nói, - Biểu diễn tín hiệu tiếng nói và trích chọn đặc trưng tiếng nói, - Hiểu tiếng nói ở khía cạnh liên kết với từ, cụm từ định nghĩa sẵn, 15 - Hiểu tiếng nói ở khía cạnh liên kết với các tín hiệu khác, trong phạm vi của đề tài này, chúng tôi tiến hành thực nghiệm liên kết giữa tín hiệu tiếng nói với tín hiệu hình ảnh. Nhiệm vụ của đề tài là: - Cải thiện phương pháp học liên kết giữa tín hiệu tiếng nói với các từ được định nghĩa sẵn. - Xây dựng mô hình học mối quan hệ giữa tín hiệu tiếng nói với các tín hiệu khác.

- Cải thiện tốc độ thông qua rút gọn dữ liệu đặc trưng, giảm kích thước bộ nhớ cần thiết cho mô hình. - Cải thiện tốc độ thông qua thực hiện song song và phân tán hóa mô hình cho bài toán dữ liệu lớn. Phương pháp và nội dung nghiên cứu Phương pháp luận trong nghiên cứu của luận án là kết hợp giữa nghiên cứu lý thuyết và thực nghiệm. Về lý thuyết, chúng tôi nghiên cứu về các lý thuyết nhận thức tiếng nói, các mô hình nhận thức tiếng nói, các mô hình tính toán cho bài toán nhận thức tiếng nói.

Về nghiên cứu thực nghiệm, chúng tôi xây dựng mô hình học máy mô phỏng bài toán nhận thức tiếng nói tiến hành thực nghiệm trên các bộ dữ liệu tiếng nói là các từ, cụm từ độc lập. Thực nghiệm mô hình mô phỏng liên kết giữa tín hiệu tiếng nói với tín hiệu hình ảnh. Phương pháp tổng hợp tài liệu, các thông tin liên quan đến đề tài, lựa chọn các cách tiếp cận đã được áp dụng thành công ở các lĩnh vức khác hoặc trong các bài toán tương tự, tiến hành thử nghiệm với các bộ dữ liệu tiếng nói khác nhau, đánh giá kết quả, từ đó sẽ tiến hành nghiên cứu sâu hơn về giải pháp cải tiến phương pháp, hiệu chỉnh các tham số nhằm nâng cao chất lượng của mô hình đề xuất đáp ứng bài toán thực tiễn. Kết quả đạt được của luận án - Đề xuất sử dụng đặc trưng SIFT-SPEECH được trích chọn từ phổ tần số của tín hiệu tiếng nói.

Việc đề xuất sử dụng đặc trưng SIFT-SPEECH cho bài toán nhận thức tiếng nói là dựa trên cơ chế thu nhận đặc trưng tiếng nói của hệ thính giác ở con người. - Đề xuất sử dụng phương pháp phân lớp LNBNN-SIFT-SPEECH cho bài toán nhận thức tiếng nói bằng cách kết hợp giữa phương pháp phân lớp LNBNN và phương pháp trích chọn đặc trưng SIFT-SPEECH trên phổ tần số của tiếng nói áp dụng cho bài toán nhận dạng tiếng nói đã thu được những kết quả tốt đối với các bộ dữ liệu thực nghiệm. - Đề xuất mô hình mạng tích chập dựa trên phổ tần số của tiếng nói cho bài toán nhận thức tiếng nói trong mối liên hệ giữa tín hiệu tiếng nói với khái niệm được định nghĩa trước. - Đề xuất xây dựng mô hình nhận thức tiếng nói mô phỏng việc nhân thức của con người ở vùng não liên kết, xây dựng mô hình học mối quan hệ giữa tín hiệu tiếng nói với tín hiệu hình ảnh.

- Đề xuất cải tiến hiệu năng của mô hình thông qua việc đề xuất phương pháp rút gọn dữ liệu bằng cách biểu diễn đặc trưng SIFT từ một véc tơ 128 chiều với mỗi chiều có kích thước một byte thành một véc tơ SIFT nhị phân 128 bít. Kết quả thực nghiệm cho thấy phương pháp rút gọn dữ liệu này vẫn giữ được độ chính xác của mô hình trong khi giảm kích thước lưu trữ 8 lần. - Đề xuất cài đặt phương pháp phân lớp LNBNN-HADOOP trên nền Hadoop, một nền tảng cho bài toán xử lý dữ liệu lớn song song và phân tán. Nền tảng Hadoop, cho phép kết hợp nhiều máy tính có cấu hình thấp hơn để tạo thành một hệ thống xử lý song song, phân tán mạnh hơn, tận dụng được sức mạnh của các hệ thống máy tính hiện có.

Các kết quả nghiên cứu của luận án sẽ là những đóng góp mới về mặt lý thuyết cho lĩnh vực nhận thức tiếng nói, đồng thời có thể ứng dụng trong lĩnh vực giao tiếp người máy, chế tạo người máy. Đây cũng là bước tiền đề để phát triển mô hình nhận thức cho người máy hoàn thiện hơn, gần với quá trình nhận 17 thức của con người thông qua việc trang bị các bộ cảm biến mô phỏng các cơ quan giác quan của con người, giúp nâng cao thông tin cho hệ thống người máy. Cấu trúc luận án Cấu trúc của luận án ngoài phần mở đầu có 5 chương nội dung, kết luận, danh mục tài liệu tham khảo và phụ lục. Chương 1: Giới thiệu các khái niệm cơ bản về hệ thính giác của con người.

Phần này chú trọng tới các đặc điểm có ảnh hưởng tới quá trình nhận thức của con người. Giới thiệu tổng quan về bài toán nhận thức tiếng nói, những bài toán và các hướng nghiên cứu cụ thể của bài toán nhận thức tiếng nói, các mức độ nhận thức cũng như các khó khăn trong bài toán này. Chương này cũng giới thiệu một cách khái quát các lý thuyết, mô hình cho bài toán nhận thức tiếng nói và các ứng dụng của bài toán nhận thức tiếng nói. Chương 2: Giới thiệu các kiến thức cơ sở về nhận thức tiếng nói như các phương pháp học máy được sử dụng trong bài toán nhận thức tiếng nói, một số phương pháp trích chọn đặc trưng phổ biến được sử dụng trong các hệ thống nhận thức tiếng nói.

Chương 3: Đề xuất hai hướng tiếp cận mới cho bài toán nhận thức tiếng nói trong mối liên hệ với các khái niệm, thuật ngữ được định nghĩa trước bằng cách áp dụng phương pháp phân lớp LNBNN-SIFT-SPEECH và đề xuất mô hình tích chập cho bài toán nhận thức tiếng nói này. Các mô hình được đánh giá thông qua thực nghiệm trên một số bộ dữ liệu cụ thể.