Luận án tiến sĩ khai phá quan điểm và kỹ thuật học sâu - Trương Nguyên Trang

Khai phá quan điểm, còn gọi là phân tích cảm xúc, liên quan đến việc xác định thái độ, cảm xúc và chủ quan trong văn bản. Công việc này bao gồm phân loại văn bản thành các cực tính như tích cực, tiêu cực, hoặc trung tính. Ba cấp độ phân tích chính: cấp độ tài liệu, cấp độ câu và cấp độ khía cạnh. Phân tích cấp độ tài liệu đánh giá cảm xúc tổng thể của một văn bản. Phân tích cấp độ câu xác định cảm xúc trong từng câu riêng lẻ. Cấp độ khía cạnh là thách thức nhất. Nó yêu cầu trích rút các khía cạnh hoặc thuộc tính cụ thể được nhắc đến, sau đó xác định cảm xúc đối với từng khía cạnh đó. Phương pháp này cung cấp cái nhìn sâu sắc, chi tiết hơn. Nó rất hữu ích cho các ứng dụng thực tế.

Các phương pháp khai phá quan điểm truyền thống bao gồm tiếp cận dựa trên từ điển và học máy thống kê. Chúng yêu cầu kỹ thuật đặc trưng thủ công tốn thời gian. Khả năng xử lý ngữ cảnh, đa nghĩa và câu trúc câu phức tạp còn hạn chế. Học sâu (Deep Learning) đã thay đổi bức tranh này. Mạng nơ-ron nhân tạo có khả năng tự động học các biểu diễn đặc trưng hiệu quả từ dữ liệu thô. Các kiến trúc như mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy (RNN) vượt trội trong việc nắm bắt mối quan hệ ngữ nghĩa. Điều này cải thiện độ chính xác và khả năng khái quát hóa của hệ thống. Học sâu đóng vai trò then chốt trong việc giải quyết các thách thức của khai phá quan điểm hiện đại.

Nhiều kỹ thuật học sâu được ứng dụng rộng rãi trong khai phá quan điểm. Mạng nơ-ron tích chập (CNN) hiệu quả trong việc trích xuất đặc trưng cục bộ và phân loại văn bản. Mạng nơ-ron hồi quy (RNN), đặc biệt là LSTM và GRU, phù hợp xử lý dữ liệu chuỗi như văn bản. Chúng nắm bắt được mối quan hệ phụ thuộc dài hạn trong câu. Kiến trúc Transformer đã cách mạng hóa xử lý ngôn ngữ tự nhiên. Transformer sử dụng cơ chế attention để xử lý song song và nắm bắt mối quan hệ toàn cục. Các mô hình này là nền tảng cho nhiều nghiên cứu tiên tiến trong phân tích cảm xúc và khai phá ý kiến. Việc kết hợp các kỹ thuật này mang lại hiệu suất vượt trội.

Mục tiêu chính của trích rút khía cạnh là xác định các thực thể hoặc thuộc tính cụ thể trong văn bản. Những thực thể hoặc thuộc tính này thường được gắn với một quan điểm hoặc cảm xúc. Nhiệm vụ này khác với phân loại cảm xúc tổng thể. Nó đi sâu vào các thành phần chi tiết của một đối tượng. Ví dụ, với một bài đánh giá về nhà hàng, các khía cạnh có thể là 'thức ăn', 'dịch vụ', 'không gian'. Trích rút khía cạnh hiệu quả giúp doanh nghiệp hiểu rõ hơn về điểm mạnh và điểm yếu sản phẩm/dịch vụ của họ. Nó cũng cung cấp thông tin có giá trị cho khách hàng tiềm năng. Công việc này đặt nền móng cho phân tích cảm xúc chi tiết hơn.

Luận án giới thiệu các mô hình học sâu (Deep Learning) cải tiến cho trích rút khía cạnh. Một mô hình được đề xuất là BiGRU-CRF. Mô hình này kết hợp mạng GRU hai chiều (BiGRU) với Lớp Trường ngẫu nhiên có điều kiện (CRF). BiGRU hiệu quả trong việc nắm bắt thông tin ngữ cảnh từ cả hai hướng của câu. Lớp CRF giúp tạo ra chuỗi nhãn tối ưu, xem xét mối quan hệ phụ thuộc giữa các nhãn. Mô hình khác là Bi-IndyLSTM-CRF. Nó sử dụng Mạng IndyLSTM hai chiều. IndyLSTM giảm thiểu số lượng tham số so với LSTM truyền thống. Điều này giúp tăng tốc độ huấn luyện và giảm thiểu quá khớp. Các kiến trúc này đặc biệt phù hợp với nhiệm vụ gắn nhãn chuỗi như trích rút khía cạnh, mang lại hiệu suất mạnh mẽ.

Hiệu quả của các mô hình học sâu (Deep Learning) đề xuất được đánh giá trên các tập dữ liệu chuẩn. Các tập dữ liệu này đã được gán nhãn cho nhiệm vụ trích rút khía cạnh. Các chỉ số như độ chính xác (Precision), độ thu hồi (Recall) và điểm F1-score được sử dụng để định lượng hiệu suất. Kết quả thực nghiệm cho thấy các mô hình BiGRU-CRF và Bi-IndyLSTM-CRF đạt được độ chính xác cao. Chúng vượt trội hơn so với nhiều phương pháp truyền thống và một số mô hình học sâu trước đó. Hiệu suất được cải thiện chứng tỏ khả năng học biểu diễn ngữ cảnh hiệu quả của các kiến trúc mạng nơ-ron. Điều này khẳng định tiềm năng của kỹ thuật học sâu trong việc nâng cao chất lượng trích rút khía cạnh.

Khai phá quan điểm đa tác vụ (Multi-task Aspect-based Sentiment Analysis - MABSA) là một phương pháp tiếp cận mạnh mẽ. Nó giải quyết nhiều tác vụ liên quan trong phân tích cảm xúc. Các tác vụ này thường bao gồm trích rút khía cạnh (aspect extraction), trích rút thực thể quan điểm (opinion entity extraction), và phân loại cảm xúc (sentiment classification) cho từng khía cạnh. Bằng cách huấn luyện đồng thời các tác vụ này, mô hình học sâu (Deep Learning) có thể học các biểu diễn chung. Các biểu diễn này hữu ích cho tất cả các tác vụ. Điều này giúp cải thiện hiệu suất cho từng tác vụ riêng lẻ. Nó cũng giúp giảm thiểu dữ liệu gán nhãn cần thiết. Cách tiếp cận đa tác vụ phản ánh cách con người xử lý ngôn ngữ, tích hợp nhiều thông tin khác nhau để hiểu ngữ cảnh.

Luận án đề xuất một số kiến trúc học sâu (Deep Learning) cho khai phá quan điểm đa tác vụ. Một trong số đó là mô hình kết hợp CNN-BiGRU. Kiến trúc này sử dụng mạng nơ-ron tích chập (CNN) để trích xuất các đặc trưng cục bộ. Sau đó, nó sử dụng mạng BiGRU để nắm bắt các mối quan hệ ngữ cảnh dài hạn. Một mô hình khác là CNN-IOB2, được thiết kế để trích rút từ mục tiêu và phân loại cảm xúc. Ngoài ra, mô hình MABSA tích hợp ba tác vụ chính: trích rút khía cạnh, trích rút thực thể và phân loại quan điểm. Các mô hình này được xây dựng để chia sẻ thông tin giữa các tác vụ. Điều này cho phép học hiệu quả hơn và cải thiện khả năng khái quát hóa. Chúng thể hiện khả năng mạnh mẽ trong việc phân tích các thành phần khác nhau của cảm xúc đồng thời.

Các mô hình học sâu (Deep Learning) đa tác vụ được đánh giá kỹ lưỡng trên các tập dữ liệu tiêu chuẩn. Kết quả thực nghiệm cho thấy hiệu suất vượt trội của các mô hình đề xuất. Mô hình CNN-BiGRU và MABSA đạt được độ chính xác và điểm F1 cao. Chúng vượt qua các phương pháp đơn tác vụ hoặc các kiến trúc đa tác vụ trước đó. Cụ thể, khả năng trích rút khía cạnh và phân loại cảm xúc đồng thời được cải thiện đáng kể. Sự chia sẻ thông tin giữa các tác vụ trong kiến trúc đa tác vụ chứng minh tính hiệu quả. Điều này giúp mô hình học được các biểu diễn mạnh mẽ hơn. Các kết quả này khẳng định tiềm năng của học sâu trong việc xây dựng hệ thống phân tích cảm xúc toàn diện và chính xác.

Thách thức chính của khai phá quan điểm đa miền nằm ở sự khác biệt ngữ nghĩa giữa các miền. Một từ có thể mang cảm xúc tích cực ở miền này nhưng trung tính hoặc tiêu cực ở miền khác. Ví dụ, 'khó' có thể tiêu cực cho dịch vụ, nhưng tích cực cho một câu đố. Các mô hình học sâu (Deep Learning) thường gặp khó khăn khi khái quát hóa qua các miền mới. Chúng cần một lượng lớn dữ liệu gán nhãn cho từng miền. Điều này không khả thi trong nhiều trường hợp. Phát triển các mô hình có thể học các đặc trưng miền chung và đặc trưng miền riêng là cần thiết. Khả năng thích ứng với các miền mới mà không cần huấn luyện lại hoàn toàn là mục tiêu quan trọng.

Luận án đề xuất các mô hình học sâu (Deep Learning) tiên tiến cho khai phá quan điểm đa miền. Mô hình CNN-BiLSTM được sử dụng để trích rút các đặc trưng ngữ cảnh từ văn bản. Mạng nơ-ron tích chập (CNN) giúp nắm bắt các cụm từ quan trọng. Mạng BiLSTM xử lý các mối quan hệ phụ thuộc dài hạn. Đặc biệt, mô hình CNN-BiIndyLSTM-Attention tích hợp cơ chế attention. Cơ chế này cho phép mô hình tập trung vào các phần quan trọng nhất của câu khi xử lý. Mạng BiIndyLSTM giảm thiểu tham số, tăng hiệu quả tính toán. Các kiến trúc này được thiết kế để học các biểu diễn mạnh mẽ, có thể được chia sẻ giữa các miền. Đồng thời, chúng cũng có khả năng nắm bắt các đặc trưng riêng của từng miền dữ liệu.

Hiệu suất của các mô hình học sâu (Deep Learning) đa tác vụ, đa miền được đánh giá trên nhiều tập dữ liệu từ các miền khác nhau. Các tập dữ liệu này bao gồm đánh giá sản phẩm từ các danh mục như nhà hàng, máy tính xách tay, điện thoại. Kết quả thực nghiệm chứng minh rằng các mô hình đề xuất có khả năng thích ứng tốt. Chúng duy trì độ chính xác cao ngay cả khi chuyển đổi giữa các miền. Đặc biệt, mô hình CNN-BiIndyLSTM-Attention thể hiện hiệu suất vượt trội. Cơ chế attention giúp mô hình học hiệu quả hơn các mối quan hệ ngữ cảnh liên quan đến từng khía cạnh trong các miền khác nhau. Các kết quả này khẳng định khả năng khái quát hóa của các mô hình, mở ra hướng ứng dụng rộng rãi.

Luận án đã đóng góp quan trọng vào lĩnh vực khai phá quan điểm (Opinion Mining) và phân tích cảm xúc (Sentiment Analysis). Các đóng góp chính bao gồm việc phát triển các mô hình học sâu (Deep Learning) tiên tiến. Các mô hình này giải quyết ba nhiệm vụ cốt lõi: trích rút khía cạnh (BiGRU-CRF, Bi-IndyLSTM-CRF), khai phá quan điểm mức khía cạnh đa tác vụ (MABSA với CNN-BiGRU, CNN-IOB2) và khai phá quan điểm đa miền (CNN-BiLSTM, CNN-BiIndyLSTM-Attention). Hiệu quả của các mô hình được chứng minh qua thực nghiệm. Các kiến trúc này tận dụng sức mạnh của mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy (RNN) để xử lý dữ liệu ngôn ngữ. Công trình đã khẳng định học sâu là công cụ mạnh mẽ trong phân tích cảm xúc.

Mặc dù đạt được nhiều kết quả tích cực, các nghiên cứu vẫn còn một số hạn chế. Khả năng giải thích của các mô hình học sâu (Deep Learning) vẫn là một thách thức. Việc xử lý các biểu hiện cảm xúc phức tạp như mỉa mai, châm biếm cần được cải thiện. Hướng phát triển tương lai bao gồm việc khám phá các kiến trúc Transformer. Các mô hình Transformer đã chứng minh hiệu quả vượt trội trong xử lý ngôn ngữ tự nhiên. Nghiên cứu cũng có thể tập trung vào học tăng cường để cải thiện khả năng thích ứng của mô hình với dữ liệu mới. Phát triển các phương pháp học ít dữ liệu hoặc học không giám sát cũng là một hướng đi đầy tiềm năng. Điều này giúp giải quyết vấn đề thiếu hụt dữ liệu gán nhãn.