Luận án tiến sĩ khai phá quan điểm và kỹ thuật học sâu - Trương Nguyên Trang

Khai phá quan điểm (opinion mining) là quá trình trích xuất ý kiến chủ quan từ văn bản. Phân tích cảm xúc (sentiment analysis) xác định thái độ tích cực, tiêu cực hoặc trung lập. Hai thuật ngữ thường được sử dụng thay thế nhau trong nghiên cứu. Ứng dụng rộng rãi trong phân tích đánh giá sản phẩm, mạng xã hội. Dữ liệu lớn đòi hỏi phương pháp tự động và chính xác. Học sâu (deep learning) giải quyết hiệu quả bài toán này.

Kỹ thuật học sâu sử dụng mạng nơ-ron nhân tạo nhiều tầng. Mạng nơ-ron tích chập CNN trích xuất đặc trưng cục bộ từ văn bản. Mạng nơ-ron hồi quy RNN xử lý chuỗi thời gian hiệu quả. BiLSTM và BiGRU giải quyết vấn đề gradient biến mất. Transformer引入 cơ chế attention song song hóa tính toán. Các mô hình học sâu học được biểu diễn ngữ nghĩa phong phú. Hiệu suất vượt trội so với phương pháp máy học truyền thống.

Opinion mining truyền thống依赖 từ điển cảm xúc và quy tắc thủ công. Phương pháp máy học cần特征工程 tốn thời gian. Deep learning tự động học特征 từ dữ liệu thô. Mô hình端到端 giảm thiểu sai sót trong pipeline. CNN-BiGRU kết hợp ưu điểm trích xuất特征 và xử lý chuỗi. Multi-task learning chia sẻ kiến thức giữa các tác vụ liên quan. Kết quả thực nghiệm cho thấy cải thiện đáng kể về độ chính xác.

Khai phá quan điểm mức tài liệu (DBSA) phân loại toàn bộ văn bản. Phương pháp đơn giản nhưng mất thông tin chi tiết. Khai phá quan điểm mức câu (SBSA) xử lý từng câu độc lập. Phù hợp với văn bản ngắn như bình luận, đánh giá. Cả hai cấp độ đều có hạn chế về tính chi tiết. Không xác định được cụ thể người dùng đề cập đến khía cạnh nào. Cần phương pháp chi tiết hơn cho ứng dụng thực tế.

ABSA (Aspect-Based Sentiment Analysis) là cấp độ chi tiết nhất. Bao gồm hai tác vụ chính: trích rút khía cạnh và phân loại cảm xúc. Trích rút khía cạnh xác định đối tượng được đề cập trong văn bản. Phân loại cảm xúc đánh giá thái độ đối với từng khía cạnh. Ví dụ: 'pin trâu nhưng màn hình mờ' có hai khía cạnh. Mỗi khía cạnh có cảm xúc khác nhau. Mô hình deep learning xử lý hiệu quả mối quan hệ phức tạp này.

MABSA mở rộng ABSA với nhiều tác vụ đồng thời. Các tác vụ bao gồm: khía cạnh, thực thể, quan điểm. Multi-task learning cải thiện hiệu suất nhờ chia sẻ特征. Đa miền (multi-domain) áp dụng mô hình trên nhiều lĩnh vực khác nhau. Thách thức lớn là sự khác biệt特征 giữa các miền. Transfer learning giúp mô hình thích nghi nhanh. CNN-BiIndyLSTM-Attention giải quyết hiệu quả bài toán đa miền.

BiGRU-CRF kết hợp mạng đơnvị hồi quy có cổng hai chiều với CRF. GRU có cấu trúc đơn giản hơn LSTM nhưng hiệu quả tương đương. Tầng BiGRU học biểu diễn ngữ cảnh hai chiều. CRF捕捉 phụ thuộc giữa các nhãn liền kề. Mô hình端到端 giảm thiểu lỗi lan truyền. Thực nghiệm trên bộ dữ liệu SemEval cho kết quả khả quan. F1-score cải thiện so với baseline truyền thống.

IndyLSTM (Independently Long Short-Term Memory) là biến thể của LSTM. Mỗi đơn vị có bộ nhớ独立, giảm thiểu can thiệp信息. BiIndyLSTM xử lý hai chiều tương tự BiLSTM. Kết hợp với CRF tạo mô hình mạnh mẽ cho sequence labeling. Ưu điểm: học được特征 dài hạn tốt hơn. Khuyết điểm: số lượng tham số较多 hơn GRU. Thực nghiệm đánh giá trên nhiều tập dữ liệu đa ngôn ngữ.

Thực nghiệm sử dụng tập dữ liệu SemEval 2014, 2015, 2016. Tiêu chí đánh giá: Precision, Recall, F1-score. BiGRU-CRF nhanh hơn về thời gian训练. Bi-IndyLSTM-CRF chính xác hơn trên một số tập dữ liệu. Cả hai mô hình đều优于 phương pháp sử dụng特征 thủ công. Thời gian推理 phù hợp với ứng dụng thực tế. Kết quả chứng minh hiệu quả của mạng nơ-ron hồi quy trong trích rút khía cạnh.

CNN-BiGRU kết hợp ưu điểm của cả hai kiến trúc. Tầng CNN trích n-gram特征 từ văn bản đầu vào. Tầng BiGRU捕捉依赖 tuần tự hai chiều. Hai tầng特征 đượcconcatenate trước khi đưa vào CRF. Mô hình xử lý đồng thời khía cạnh và biểu kiến thức (opinion term). Kết quả thực nghiệm cải thiện so với mô hình单一 tác vụ. Thời gian训练 giảm nhờ chia sẻ特征.

IOB2 là lược đồ gán nhãn phổ biến cho sequence labeling. CNN-IOB2 sử dụng CNN làm bộ trích xuất特征 chính. Tầng tích chập捕捉 mẫu hình cú pháp quan trọng. IOB2 tagging scheme đơn giản hóa bài toán. Mô hình nhẹ, dễ triển khai trên thiết bị hạn chế. Phù hợp với dữ liệu标注 hạn chế. Thực nghiệm cho thấy hiệu quả cạnh tranh với mô hình phức tạp hơn.

MABSA (Multi-task Aspect-Based Sentiment Analysis)处理 ba tác vụ. Tác vụ 1: trích rút khía cạnh (aspect extraction). Tác vụ 2: trích rút thực thể (opinion term extraction). Tác vụ 3: phân loại cảm xúc (sentiment classification). Tầng共享 học特征 chung cho cả ba tác vụ. Tầng riêng biệt xử lý đặc thù từng bài toán. Kết quả cho thấy multi-task learning优于 single-task. Mô hình đạt state-of-the-art trên nhiều benchmark.

CNN-BiLSTM là baseline mạnh cho khai phá quan điểm. Tầng CNN trích xuất特征 cục bộ hiệu quả. Tầng BiLSTM捕捉依赖 ngữ cảnh dài hạn. Kết hợp hai tầng tạo biểu diễn phong phú. Mô hình hoạt động tốt trên单一 miền cụ thể. Hạn chế: khó tổng quát hóa sang miền khác. Cần cơ chế domain adaptation để mở rộng.

CNN-BiIndyLSTM-Attention tích hợp ba thành phần chính. Tầng CNN cho特征 cục bộ. Tầng BiIndyLSTM cho bộ nhớ独立 hai chiều. Tầng attention加权特征 theo tầm quan trọng. Cơ chế attention giúp mô hình适应不同 miền. Tham số attention học được từ dữ liệu đa miền. Mô hình端到端 dễ训练 và triển khai. Thực nghiệm cho thấy cải thiện显著 trên đa miền.

Thực nghiệm trên bốn miền: nhà hàng, laptop, điện thoại, thời trang. Đánh giá single-task và multi-task trên mỗi miền. Multi-task consistently优于 single-task. Đa miền training cải thiện tổng quát hóa. Attention mechanism识别特征 quan trọng của từng miền. Thời gian训练 đa miền lâu hơn nhưng kết quả tốt hơn. Mô hình đề xuất đạt kết quả cạnh tranh với state-of-the-art.

Đóng góp 1: Mô hình trích rút khía cạnh dựa trên BiRNN-CRF cải tiến. Đóng góp 2: Mô hình MABSA đa tác vụ đầu tiên cho tiếng Việt. Đóng góp 3: Mô hình đa miền với cơ chế attention. Đóng góp 4: Bộ dữ liệu标注 cho nghiên cứu tiếng Việt. Tất cả mô hình được đánh giá trên benchmark quốc tế. Kết quả công bố trên tạp chí và hội nghị khoa học uy tín.

Hạn chế 1: Chưa充分利用预训练 language model. Hạn chế 2: Dữ liệu tiếng Việt标注 còn hạn chế. Hạn chế 3: Chưa xử lý tốt cảm xúc trung lập và phức tạp. Hạn chế 4: Thời gian训练 mô hình lớn còn cao. Hạn chế 5: Chưa tích hợp知识图谱 cho hiểu ngữ nghĩa sâu. Cần nghiên cứu tiếp để giải quyết các hạn chế này.

Hướng 1: Tích hợp BERT, PhoBERT cho biểu diễn ngữ cảnh tốt hơn. Hướng 2: Few-shot learning giảm thiểu依赖 dữ liệu标注 lớn. Hướng 3: Multi-modal mining kết hợp text, hình ảnh, video. Hướng 4: Explainable AI cho kết quả minh bạch hơn. Hướng 5: Ứng dụng real-time trong hệ thống推荐 sản phẩm. Hướng 6: Mở rộng sang ngôn ngữ khác ngoài tiếng Việt. Transformer và attention mechanism tiếp tục phát triển mạnh.