Luận án tiến sĩ: Xây dựng mô hình đánh giá độ khó văn bản tiếng Việt

Độ khó văn bản phản ánh mức độ phức tạp khi đọc hiểu. Các yếu tố ảnh hưởng bao gồm từ vựng, cấu trúc câu, ngữ cảnh. Nghiên cứu tập trung vào văn bản tiếng Việt từ sách giáo khoa. Ngữ liệu được thu thập từ nhiều cấp học khác nhau. Phương pháp đánh giá sử dụng readability score chuẩn quốc tế. Mục tiêu xây dựng công thức tính toán phù hợp với tiếng Việt.

Mô hình hỗ trợ giáo viên chọn tài liệu phù hợp trình độ học sinh. Ứng dụng trong biên soạn sách giáo khoa theo chuẩn độ khó. Giúp phân loại tài liệu trực tuyến tự động. Nâng cao chất lượng giảng dạy tiếng Việt. Tạo cơ sở cho các hệ thống học tập thích ứng. Đóng góp vào phát triển NLP tiếng Việt.

Nghiên cứu tập trung văn bản giáo dục tiếng Việt. Ngữ liệu từ sách giáo khoa các cấp tiểu học đến trung học phổ thông. Bổ sung ngữ liệu văn học và ngôn ngữ học chuyên ngành. Tổng số văn bản được phân tích vượt ngưỡng đại diện. Các văn bản được gán nhãn độ khó theo cấp học. Đảm bảo tính đa dạng về chủ đề và thể loại.

Số lượng từ trong văn bản là chỉ số cơ bản nhất. Độ dài trung bình của từ phản ánh độ phức tạp từ vựng. Tần suất từ phức tạp được tính dựa trên danh sách từ chuẩn. Mật độ từ vựng đo bằng tỷ lệ từ độc nhất. Số lượng từ chuyên ngành ảnh hưởng đến độ khó. Các từ đa âm tiết thường khó hơn từ đơn âm tiết.

Độ dài câu trung bình tính theo số từ mỗi câu. Số lượng mệnh đề phụ thuộc tăng độ phức tạp cú pháp. Cấu trúc câu ghép phức tạp hơn câu đơn. Phân tích cú pháp xác định độ sâu cây cú pháp. Mật độ động từ và danh từ ảnh hưởng đến khả năng đọc. Số lượng thành phần câu phản ánh cấu trúc ngữ pháp.

Số lượng đoạn văn và cách tổ chức ý. Mức độ liên kết giữa các câu trong văn bản. Sử dụng từ nối và liên từ logic. Tính nhất quán về chủ đề qua các đoạn. Độ dài văn bản tổng thể ảnh hưởng đến độ khó. Cấu trúc tổng thể từ mở bài đến kết luận.

Hệ số tương quan Pearson đo mối liên hệ giữa đặc trưng và độ khó. Độ dài câu trung bình có tương quan dương mạnh. Mật độ từ vựng tương quan với cấp độ văn bản. Số lượng từ phức tạp là yếu tố quan trọng. Phân tích loại bỏ đặc trưng có tương quan thấp. Kết quả giúp lựa chọn đặc trưng hiệu quả cho mô hình.

Hồi quy tuyến tính kết hợp nhiều đặc trưng tính điểm độ khó. Phương trình có dạng tuyến tính với hệ số được học từ dữ liệu. Phương pháp bình phương tối thiểu tìm hệ số tối ưu. Đánh giá mô hình bằng R-squared và RMSE. Kết quả cho thấy độ chính xác trung bình 65-70%. Phù hợp cho ứng dụng cần tính toán nhanh.

Công thức được điều chỉnh từ SDS cho đặc thù tiếng Việt. Tích hợp đặc trưng về âm tiết và thanh điệu. Trọng số các đặc trưng được tối ưu trên ngữ liệu tiếng Việt. Kết quả quy đổi thành thang điểm chuẩn hóa. Áp dụng thành công trên văn bản sách giáo khoa. Tạo cơ sở cho các nghiên cứu tiếp theo.

SVM tìm siêu phẳng phân tách tối ưu giữa các lớp. Sử dụng kernel RBF cho dữ liệu phi tuyến. Tham số C và gamma được tinh chỉnh bằng grid search. Kết quả đạt độ chính xác 82% trên tập test. Thời gian huấn luyện cao với dữ liệu lớn. Phù hợp cho bài toán phân lớp nhị phân và đa lớp.

Random Forest kết hợp nhiều cây quyết định. Số lượng cây và độ sâu được tối ưu hóa. RFECV tự động loại bỏ đặc trưng không quan trọng. Kết quả xác định 45 đặc trưng tối ưu từ 120 ban đầu. Độ chính xác đạt 85% vượt các thuật toán khác. Feature importance giúp hiểu vai trò từng đặc trưng.

Naive Bayes đơn giản nhưng độ chính xác chỉ 72%. KNN nhạy cảm với tham số k và khoảng cách. Random Forest cân bằng giữa độ chính xác và tốc độ. SVM tốt với dữ liệu có nhiều đặc trưng. Kết hợp nhiều mô hình bằng ensemble learning cải thiện kết quả. Lựa chọn thuật toán phụ thuộc yêu cầu ứng dụng.

PhoBERT được huấn luyện trên 20GB dữ liệu tiếng Việt. Sử dụng tokenizer dựa trên BPE cho tiếng Việt. Mô hình có 12 lớp transformer với 768 chiều ẩn. Xử lý văn bản tối đa 256 token mỗi đoạn. Pre-training giúp mô hình học biểu diễn ngữ nghĩa sâu. Fine-tuning điều chỉnh cho bài toán cụ thể.

Văn bản dài được chia thành nhiều đoạn 256 token. Mỗi đoạn qua PhoBERT tạo vector biểu diễn 768 chiều. Các vector được tổng hợp bằng mean pooling hoặc max pooling. Lớp fully connected chuyển đổi về số lớp độ khó. Sử dụng dropout 0.3 tránh overfitting. Learning rate 2e-5 với Adam optimizer.

Kết hợp vector BERT với đặc trưng ngôn ngữ học truyền thống. Concatenation vector tạo biểu diễn đa chiều phong phú. Đặc trưng ngôn ngữ học bổ sung thông tin cú pháp, từ vựng. Kết quả tăng 4% độ chính xác so với chỉ dùng BERT. Mô hình kết hợp tận dụng ưu điểm cả hai hướng. Đạt state-of-the-art trên ngữ liệu tiếng Việt.

Sách giáo khoa được scan và chuyển đổi bằng OCR. Văn bản được chuẩn hóa về mã Unicode UTF-8. Loại bỏ ký tự đặc biệt, số trang, hình ảnh. Tách câu sử dụng dấu câu và quy tắc tiếng Việt. Gán nhãn độ khó dựa trên cấp học và chuyên gia. Kiểm tra chất lượng bằng đánh giá chéo.

Ngữ liệu SGK gồm 3 cấp: tiểu học, THCS, THPT. Mỗi cấp có đặc điểm về độ dài câu và từ vựng khác biệt. Ngữ liệu VH-NNH phức tạp hơn với từ chuyên ngành. Phân bố lớp tương đối cân bằng sau gom nhóm. Độ dài văn bản trung bình tăng theo cấp học. Mật độ từ vựng cũng tăng dần qua các cấp.

Mô hình BERT đạt accuracy 89% trên ngữ liệu SGK. Random Forest đạt 85%, SVM đạt 82%. Hướng thống kê chỉ đạt 68% độ chính xác. Trên ngữ liệu VH-NNH, BERT đạt 86%. Tích hợp đặc trưng ngôn ngữ học cải thiện 3-4%. Kết quả vượt trội các nghiên cứu trước về NLP tiếng Việt.