Luận án Tiến sĩ: Xây dựng CAT đánh giá kiến thức từ vựng tiếp nhận tiếng Anh
Xây dựng mô hình CAT đánh giá kiến thức từ vựng tiếng Anh chính xác, tối ưu hóa thời gian và độ tin cậy.
Năm xuất bản
Số trang
281
Thời gian đọc
43 phút
Lượt xem
1
Lượt tải
0
Phí lưu trữ
50 Point
Tổng quan nhanh
- Chủ đề:
- 1. Kiểm tra thích ứng máy tính (CAT) từ vựng tiếng Anh
- Số trang:
- 281 trang
- Trường:
- Trường Đại học Giáo dục, Đại học Quốc gia Hà Nội
- Chuyên ngành:
- Đo lường và Đánh giá trong Giáo dục
- Tác giả:
- Bùi Thị Kim Phượng
- Năm:
- 2024
Tóm tắt nội dung luận án
I. Kiểm tra thích ứng máy tính CAT từ vựng tiếng Anh
Luận án tập trung vào việc xây dựng một hệ thống Kiểm tra thích ứng máy tính (CAT). Hệ thống này được thiết kế để đánh giá kiến thức từ vựng tiếp nhận tiếng Anh. CAT là một phương pháp kiểm tra hiện đại. Nó mang lại nhiều ưu điểm so với các bài kiểm tra truyền thống. Nghiên cứu này đóng góp vào lĩnh vực đo lường và đánh giá trong giáo dục. Mục tiêu là tạo ra một công cụ đánh giá chính xác, hiệu quả.
1.1. Giới thiệu về CAT và lợi ích
Kiểm tra thích ứng máy tính (CAT) đại diện cho sự tiến bộ trong công nghệ đánh giá. CAT điều chỉnh các câu hỏi dựa trên phản hồi của thí sinh. Mỗi thí sinh nhận được một bộ câu hỏi khác nhau. Các câu hỏi này phù hợp với trình độ năng lực của họ. Phương pháp này tối ưu hóa quá trình kiểm tra. Nó giúp xác định năng lực một cách nhanh chóng. Lợi ích chính bao gồm hiệu quả cao hơn và độ chính xác được cải thiện. CAT giảm thời gian kiểm tra đáng kể. Nó cũng cung cấp thông tin đánh giá chi tiết hơn. Thí sinh không bị hỏi những câu quá dễ hoặc quá khó. Điều này tăng cường trải nghiệm làm bài. CAT trở thành công cụ quan trọng trong đánh giá diện rộng.
1.2. Ứng dụng CAT trong đánh giá từ vựng
Ứng dụng Kiểm tra thích ứng máy tính (CAT) vào đánh giá từ vựng tiếng Anh mang lại hiệu quả vượt trội. CAT có khả năng đo lường chính xác kiến thức từ vựng tiếp nhận. Nó không chỉ đánh giá số lượng từ mà thí sinh biết. CAT còn xác định cấp độ hiểu biết sâu sắc về từ vựng. Hệ thống chọn lựa câu hỏi từ một ngân hàng câu hỏi lớn. Việc này đảm bảo tính đa dạng và phù hợp. Thí sinh được đánh giá công bằng hơn. Kết quả kiểm tra từ vựng qua CAT thường đáng tin cậy. Nó cung cấp một bức tranh rõ ràng về năng lực từ vựng. CAT giúp giáo viên và người học nhận diện điểm mạnh, điểm yếu. Đây là bước tiến quan trọng trong giáo dục ngôn ngữ.
II. Đánh giá kiến thức từ vựng tiếp nhận tiếng Anh
Tài liệu này tập trung vào khía cạnh kiến thức từ vựng tiếp nhận tiếng Anh. Đây là một thành phần cốt lõi của năng lực ngôn ngữ. Việc đánh giá chính xác từ vựng tiếp nhận có ý nghĩa quan trọng. Nó giúp định vị trình độ người học. Nó cũng hỗ trợ thiết kế chương trình giảng dạy. Nghiên cứu xác định các phương pháp hiệu quả nhất. Mục tiêu là đo lường khả năng hiểu và nhận biết từ.
2.1. Khái niệm từ vựng tiếp nhận và tầm quan trọng
Từ vựng tiếp nhận là khả năng hiểu và nhận ra các từ khi đọc hoặc nghe. Đây là một khía cạnh cơ bản của việc học ngôn ngữ. Nó khác với từ vựng sản sinh, vốn liên quan đến việc sử dụng từ trong nói và viết. Kiến thức từ vựng tiếp nhận là nền tảng cho sự phát triển ngôn ngữ toàn diện. Một vốn từ vựng tiếp nhận rộng giúp người học hiểu văn bản phức tạp. Nó cũng cải thiện kỹ năng nghe. Việc đánh giá chính xác từ vựng tiếp nhận giúp xác định các khoảng trống kiến thức. Nó hỗ trợ quá trình học tập cá nhân hóa. Tầm quan trọng của nó nằm ở việc mở khóa khả năng tiếp cận thông tin.
2.2. Các mô hình đánh giá từ vựng truyền thống
Các phương pháp đánh giá từ vựng truyền thống thường bao gồm bài kiểm tra trắc nghiệm giấy. Chúng cũng có thể là các bài điền từ vào chỗ trống hoặc ghép nối. Những bài kiểm tra này thường sử dụng một tập hợp câu hỏi cố định. Tất cả thí sinh đều làm cùng một bộ câu hỏi. Điều này có thể không phù hợp với mọi cấp độ năng lực. Một số câu hỏi quá dễ hoặc quá khó đối với một số thí sinh. Các mô hình truyền thống có thể tốn thời gian chấm điểm. Chúng cũng có thể thiếu khả năng thích ứng linh hoạt. Nhược điểm chính là hiệu quả đo lường có thể không tối ưu. Chúng khó cung cấp một bức tranh toàn diện về năng lực từ vựng.
2.3. Nhu cầu cho phương pháp đánh giá hiệu quả
Nhu cầu về một phương pháp đánh giá từ vựng hiệu quả ngày càng tăng. Giáo dục hiện đại yêu cầu công cụ đo lường chính xác hơn. Các phương pháp truyền thống bộc lộ nhiều hạn chế. Chúng không luôn cung cấp thông tin sâu sắc về năng lực người học. Một phương pháp đánh giá hiệu quả cần có khả năng cá nhân hóa. Nó cần giảm thiểu thời gian kiểm tra. Đồng thời, nó phải duy trì hoặc tăng cường độ chính xác. Việc này giúp tiết kiệm nguồn lực. Nó cũng mang lại trải nghiệm tốt hơn cho thí sinh. Kiểm tra thích ứng máy tính (CAT) là giải pháp tiềm năng. Nó đáp ứng những yêu cầu khắt khe này.
III. Lý thuyết ứng đáp câu hỏi IRT Hiệu chuẩn CAT
Lý thuyết ứng đáp câu hỏi (IRT) là nền tảng toán học cho Kiểm tra thích ứng máy tính (CAT). IRT cung cấp khung lý thuyết mạnh mẽ. Nó cho phép đo lường năng lực thí sinh và các tham số câu hỏi độc lập. Điều này là thiết yếu để xây dựng một hệ thống CAT hiệu quả. Hiệu chuẩn câu hỏi là một bước quan trọng. Nó đảm bảo các tham số câu hỏi chính xác.
3.1. Cơ sở lý thuyết IRT trong CAT
Lý thuyết ứng đáp câu hỏi (IRT) mô tả mối quan hệ giữa năng lực thí sinh và xác suất trả lời đúng. IRT sử dụng các mô hình toán học để biểu diễn điều này. Các tham số câu hỏi như độ khó, độ phân biệt được xác định. Tham số độ đoán mò cũng có thể được tính toán. IRT cho phép ước lượng năng lực thí sinh hiệu quả. Nó cung cấp một thang đo chung cho cả thí sinh và câu hỏi. Điều này là cốt lõi cho thuật toán thích ứng. Năng lực thí sinh được ước tính sau mỗi câu trả lời. Câu hỏi tiếp theo được chọn dựa trên ước tính này. IRT là yếu tố then chốt giúp CAT hoạt động chính xác.
3.2. Hiệu chuẩn câu hỏi và tham số IRT
Hiệu chuẩn câu hỏi là quá trình xác định các tham số IRT cho mỗi câu hỏi. Quá trình này bao gồm việc thu thập dữ liệu từ một nhóm thí sinh lớn. Dữ liệu phản hồi được phân tích bằng phần mềm chuyên dụng. Các tham số độ khó, độ phân biệt được ước lượng. Kết quả hiệu chuẩn là các giá trị số gắn liền với mỗi câu hỏi. Những giá trị này sau đó được lưu trữ trong ngân hàng câu hỏi. Hiệu chuẩn chính xác đảm bảo độ giá trị của bài kiểm tra. Nó cũng đảm bảo độ tin cậy của việc ước lượng năng lực. Đây là bước không thể thiếu trước khi đưa câu hỏi vào sử dụng trong CAT. Việc hiệu chuẩn định kỳ là cần thiết để duy trì chất lượng.
3.3. Vai trò của IRT trong thuật toán thích ứng
Lý thuyết ứng đáp câu hỏi (IRT) đóng vai trò trung tâm trong thuật toán thích ứng của CAT. Thuật toán này sử dụng các tham số IRT của câu hỏi để chọn câu hỏi tối ưu. Mục tiêu là cung cấp câu hỏi có độ khó phù hợp nhất. Điều này giúp ước lượng năng lực thí sinh một cách hiệu quả nhất. Sau mỗi câu trả lời, thuật toán cập nhật ước lượng năng lực. Sau đó, nó chọn câu hỏi tiếp theo dựa trên ước lượng mới. IRT cho phép thuật toán tính toán thông tin câu hỏi. Điều này tối đa hóa lượng thông tin thu được từ mỗi câu trả lời. Sự kết hợp giữa IRT và thuật toán tạo nên sức mạnh của CAT.
IV. Xây dựng ngân hàng câu hỏi Đo lường tâm lý
Một ngân hàng câu hỏi chất lượng cao là xương sống của bất kỳ hệ thống Kiểm tra thích ứng máy tính (CAT) nào. Quy trình xây dựng này đòi hỏi sự tỉ mỉ. Nó phải tuân thủ các nguyên tắc Đo lường tâm lý nghiêm ngặt. Việc này đảm bảo tính chính xác và công bằng của bài kiểm tra. Nghiên cứu này phác thảo các bước quan trọng. Nó nhằm mục đích tạo ra một ngân hàng câu hỏi từ vựng tiếp nhận hiệu quả.
4.1. Quy trình xây dựng ngân hàng câu hỏi CAT
Quy trình xây dựng ngân hàng câu hỏi cho CAT bắt đầu bằng việc xác định mục tiêu kiểm tra. Sau đó là thiết kế đặc tả nội dung và định dạng câu hỏi. Bước tiếp theo là viết các câu hỏi theo hướng dẫn chặt chẽ. Sau đó, các câu hỏi được xem xét bởi các chuyên gia. Việc này đảm bảo chất lượng về mặt nội dung và hình thức. Các câu hỏi được thử nghiệm sơ bộ trên một nhóm thí sinh. Dữ liệu thu thập được sử dụng để hiệu chuẩn câu hỏi. Các tham số IRT được xác định. Chỉ những câu hỏi đạt tiêu chuẩn mới được thêm vào ngân hàng. Việc bảo trì và cập nhật ngân hàng câu hỏi là cần thiết. Điều này duy trì tính cập nhật và hiệu quả của nó.
4.2. Các nguyên tắc thiết kế câu hỏi từ vựng
Thiết kế câu hỏi từ vựng hiệu quả đòi hỏi tuân thủ nhiều nguyên tắc. Câu hỏi phải rõ ràng, ngắn gọn và không gây hiểu lầm. Từ vựng được kiểm tra phải phù hợp với trình độ mục tiêu. Các phương án trả lời sai phải hợp lý nhưng không quá dễ đoán. Câu hỏi cần có khả năng phân biệt rõ ràng giữa các mức năng lực. Tránh các yếu tố gây nhiễu không liên quan đến kiến thức từ vựng. Đa dạng hóa định dạng câu hỏi có thể tăng tính hấp dẫn. Việc này cũng giúp bao quát nhiều khía cạnh của kiến thức từ vựng. Các nguyên tắc này đảm bảo rằng mỗi câu hỏi đều có giá trị đo lường cao.
4.3. Vai trò của Đo lường tâm lý trong thiết kế
Đo lường tâm lý cung cấp khung lý thuyết và phương pháp luận cho việc xây dựng bài kiểm tra. Nó đảm bảo tính khoa học và khách quan của quá trình. Các khái niệm như độ tin cậy và độ giá trị là trọng tâm. Đo lường tâm lý hướng dẫn việc thiết kế câu hỏi. Nó giúp phân tích dữ liệu kiểm tra. Nó cũng hỗ trợ việc diễn giải kết quả. Các chuyên gia Đo lường tâm lý sử dụng IRT và các mô hình khác. Điều này nhằm tối ưu hóa các thuộc tính tâm lý của bài kiểm tra. Vai trò của nó là không thể thiếu. Nó đảm bảo rằng CAT thực sự đo lường những gì nó được thiết kế để đo.
V. Độ tin cậy độ giá trị trong bài kiểm tra thích ứng
Mọi bài kiểm tra chất lượng đều phải đạt được độ tin cậy và độ giá trị cao. Điều này đặc biệt đúng với Kiểm tra thích ứng máy tính (CAT). Độ tin cậy đảm bảo kết quả nhất quán. Độ giá trị khẳng định bài kiểm tra đo lường đúng mục tiêu. Nghiên cứu này nhấn mạnh tầm quan trọng của các tiêu chí này. Nó đề xuất các phương pháp để đảm bảo chúng trong CAT từ vựng.
5.1. Đảm bảo độ tin cậy của CAT
Độ tin cậy của CAT đề cập đến tính nhất quán của kết quả đo lường. Một CAT đáng tin cậy sẽ cho kết quả tương tự nếu thí sinh làm bài nhiều lần. Các thuật toán thích ứng được thiết kế để tối đa hóa độ tin cậy. Điều này được thực hiện bằng cách chọn câu hỏi có thông tin cao nhất. Chiều dài bài kiểm tra cũng ảnh hưởng đến độ tin cậy. Dài hơn thường mang lại độ tin cậy cao hơn. Tuy nhiên, CAT có thể đạt độ tin cậy mong muốn với ít câu hỏi hơn. Điều này là nhờ vào tính thích ứng của nó. Phân tích thống kê như sai số tiêu chuẩn đo lường được sử dụng. Chúng giúp định lượng và kiểm soát độ tin cậy.
5.2. Xác định độ giá trị của đánh giá từ vựng
Độ giá trị là mức độ mà bài kiểm tra thực sự đo lường kiến thức từ vựng tiếp nhận. Việc xác định độ giá trị đòi hỏi nhiều phương pháp tiếp cận. Độ giá trị nội dung đảm bảo câu hỏi đại diện cho lĩnh vực từ vựng. Độ giá trị cấu trúc khẳng định rằng bài kiểm tra đo lường cấu trúc lý thuyết mong muốn. Độ giá trị tiêu chí đánh giá mối quan hệ với các thước đo bên ngoài. Chẳng hạn, so sánh với các bài kiểm tra từ vựng đã được công nhận. Các bằng chứng này tổng hợp lại để hỗ trợ tuyên bố về độ giá trị. Việc xác định độ giá trị là một quá trình liên tục. Nó rất quan trọng để bài kiểm tra có ý nghĩa thực tiễn.
5.3. Các tiêu chí đo lường chất lượng bài kiểm tra
Bên cạnh độ tin cậy và độ giá trị, nhiều tiêu chí khác đánh giá chất lượng bài kiểm tra. Tính công bằng là một yếu tố quan trọng. Bài kiểm tra không nên thiên vị bất kỳ nhóm thí sinh nào. Tính khả thi liên quan đến việc triển khai thực tế. Điều này bao gồm chi phí và tài nguyên cần thiết. Hiệu quả là khả năng đạt được mục tiêu với nguồn lực tối thiểu. Khả năng giải thích kết quả cũng rất quan trọng. Các báo cáo phải rõ ràng và dễ hiểu. Việc tuân thủ các tiêu chuẩn đạo đức là bắt buộc. Những tiêu chí này cùng nhau đảm bảo một bài kiểm tra toàn diện và có chất lượng cao.
VI. Quy trình phát triển Thuật toán thích ứng CAT
Phát triển một hệ thống Kiểm tra thích ứng máy tính (CAT) là một dự án phức tạp. Nó bao gồm nhiều giai đoạn, từ thiết kế đến triển khai. Thuật toán thích ứng là cốt lõi của hệ thống này. Nó quyết định cách thức bài kiểm tra tương tác với thí sinh. Nghiên cứu này trình bày một quy trình phát triển chi tiết. Nó cũng mô tả cách các thuật toán được sử dụng để tối ưu hóa trải nghiệm kiểm tra.
6.1. Các bước phát triển hệ thống CAT
Quy trình phát triển hệ thống CAT bao gồm nhiều bước. Bước đầu tiên là phân tích nhu cầu và thiết kế kiến trúc hệ thống. Tiếp theo là xây dựng ngân hàng câu hỏi chất lượng cao. Các câu hỏi được hiệu chuẩn bằng Lý thuyết ứng đáp câu hỏi (IRT). Sau đó, thuật toán thích ứng được lập trình và thử nghiệm. Giao diện người dùng thân thiện được phát triển. Hệ thống trải qua các giai đoạn thử nghiệm beta và tinh chỉnh. Đánh giá cuối cùng về độ tin cậy và độ giá trị được thực hiện. Việc triển khai và bảo trì liên tục đảm bảo hệ thống hoạt động hiệu quả lâu dài.
6.2. Cách thức hoạt động của thuật toán thích ứng
Thuật toán thích ứng trong CAT hoạt động theo một vòng lặp liên tục. Nó bắt đầu với một ước lượng năng lực ban đầu cho thí sinh. Sau đó, thuật toán chọn câu hỏi từ ngân hàng có độ khó phù hợp nhất. Câu hỏi này được trình bày cho thí sinh. Dựa trên câu trả lời, ước lượng năng lực được cập nhật. Thuật toán sử dụng thông tin từ IRT để tối ưu hóa việc lựa chọn câu hỏi tiếp theo. Quá trình này lặp lại cho đến khi đạt được tiêu chí dừng. Tiêu chí dừng có thể là số lượng câu hỏi hoặc độ chính xác mong muốn. Thuật toán này đảm bảo mỗi thí sinh nhận được bài kiểm tra cá nhân hóa.
6.3. Tối ưu hóa trải nghiệm kiểm tra người dùng
Tối ưu hóa trải nghiệm người dùng là một khía cạnh quan trọng của CAT. Giao diện người dùng phải trực quan và dễ sử dụng. Hướng dẫn làm bài cần rõ ràng và ngắn gọn. Thời gian chờ giữa các câu hỏi phải được giữ ở mức tối thiểu. Phản hồi về kết quả kiểm tra cần được cung cấp kịp thời. Mặc dù CAT tập trung vào hiệu quả đo lường, trải nghiệm thí sinh không thể bỏ qua. Một trải nghiệm tích cực khuyến khích sự tham gia. Nó cũng giảm lo lắng khi làm bài. Việc này góp phần vào độ giá trị và độ tin cậy của kết quả. Hệ thống cần được thiết kế với người dùng cuối trong tâm trí.
Mục lục chi tiết luận án
Tải xuống file đầy đủ để xem toàn bộ nội dung
Tải đầy đủ (281 trang)Nội dung chính
Tổng quan về luận án
Trong bối cảnh chuyển đổi số giáo dục theo định hướng phát triển giai đoạn 2016–2020 và tầm nhìn 2025 của ngành giáo dục Việt Nam, việc ứng dụng công nghệ thông tin vào đo lường và đánh giá năng lực ngoại ngữ đã trở thành một yêu cầu cấp thiết. Luận án tiến sĩ chuyên ngành Đo lường và Đánh giá trong Giáo dục (Mã số: 9140115) của tác giả Bùi Thị Kim Phượng, thực hiện tại Trường Đại học Giáo dục – Đại học Quốc gia Hà Nội dưới sự hướng dẫn khoa học của GS. Nguyễn Quý Thanh và PGS. Lê Thái Hưng, mang tiêu đề: "Xây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng Anh". Đây là công trình tiên phong tại Việt Nam tích hợp mô hình lý thuyết khảo thí hiện đại (Item Response Theory – IRT) với thuật toán kiểm tra thích ứng trên máy tính (Computerized Adaptive Testing – CAT) vào lĩnh vực đánh giá năng lực từ vựng tiếng Anh.
Khoảng trống nghiên cứu (research gap) cốt lõi xuất phát từ thực trạng các bài kiểm tra từ vựng truyền thống dạng cố định (fixed-form tests) tại Việt Nam thường bộc lộ nhiều hạn chế về hiệu suất đo lường, không phân hóa tối ưu năng lực người học ở các dải trình độ khác nhau và gây ra hiện tượng trần/sàn (ceiling/floor effects). Mặc dù Chương trình Giáo dục phổ thông môn Tiếng Anh 2018 (kèm theo Thông tư số 32/2018/TT-BGDĐT) đặt ra chuẩn đầu ra yêu cầu học sinh tích lũy khoảng 2.500 từ vựng sau bậc THPT (Bậc 3 theo Khung năng lực ngoại ngữ 6 bậc dùng cho Việt Nam), các nghiên cứu thực nghiệm gần đây chỉ ra rằng người học Việt Nam vẫn gặp khó khăn lớn và chưa đạt được dung lượng từ vựng này (Vu & Peters, 2021). Luận án giải quyết trực tiếp khoảng trống này bằng cách vận hành hai câu hỏi nghiên cứu then chốt:
- Câu hỏi nghiên cứu 1 (RQ1): Ngân hàng câu hỏi trắc nghiệm đánh giá kiến thức từ vựng tiếp nhận tiếng Anh được xây dựng và chuẩn hóa như thế nào theo chuẩn mực khảo thí hiện đại?
- Câu hỏi nghiên cứu 2 (RQ2): Bài kiểm tra thích ứng bằng máy tính được thiết kế và thực thi trên hệ thống UEd-CAT đánh giá kiến thức từ vựng tiếp nhận tiếng Anh của người học ngoại ngữ tại Việt Nam như thế nào?
Khung lý thuyết của công trình được định hình thông qua sự giao thoa giữa Lý thuyết Hồi đáp Câu hỏi (Wu & Adams, 2007; Lâm Quang Thiệp, 2010), khung quy trình phát triển kiểm tra thích ứng 5 giai đoạn (Thompson & Weiss, 2011), mô hình đánh giá từ vựng theo khía cạnh dạng từ – nghĩa (Nation, 2013; Read & Chapelle, 2001) và khung thiết kế bài thi ngôn ngữ (Bachman & Palmer, 1996).
Đóng góp đột phá của luận án là việc xây dựng thành công một ngân hàng câu hỏi song ngữ chuẩn hóa dựa trên Danh sách Từ vựng Thông dụng Mới (New General Service List – NGSL), được hiệu chuẩn tham số độ khó ($b$) và cân bằng thang đo (test equating) qua thiết kế câu hỏi neo (anchor items), sau đó tích hợp trực tiếp vào nền tảng thích ứng UEd-CAT (University of Education – Computerized Adaptive Testing). Phạm vi nghiên cứu được triển khai thực nghiệm từ tháng 12/2020 đến tháng 12/2023 trên nhóm khách thể là sinh viên các chuyên ngành kỹ thuật tại Hà Nội, mang lại ý nghĩa học thuật và giá trị ứng dụng thực tiễn cao cho công tác khảo thí ngoại ngữ tại Việt Nam.
Literature Review và Positioning
Tổng quan tài liệu trong luận án tổng hợp các dòng nghiên cứu lớn về lý thuyết đo lường và khảo thí ngôn ngữ. Về mặt tâm trắc học (psychometrics), sự chuyển dịch từ Lý thuyết Khảo thí Cổ điển (Classical Test Theory – CTT) sang Lý thuyết Hồi đáp Câu hỏi (IRT) phản ánh bước tiến căn bản trong việc khắc phục sự phụ thuộc vào mẫu kiểm tra và tách biệt hoàn toàn tham số năng lực thí sinh ($\theta$) khỏi tham số câu hỏi (Lâm Quang Thiệp, 2010; Carlson, 2020). Trong IRT, mối quan hệ giữa biến tiềm ẩn và xác suất trả lời đúng được biểu diễn toán học qua Đường cong Đặc trưng Câu hỏi (Item Characteristic Curve – ICC), dựa trên hai giả định cốt lõi: tính đơn chiều (unidimensionality) và tính độc lập cục bộ (local independence) (Hambleton & Swaminathan, 1985; Szabo, 2008).
Trong lĩnh vực thụ đắc và đánh giá từ vựng, tài liệu học thuật tồn tại những cuộc tranh luận lý thuyết sâu sắc giữa hai trường phái:
- Trường phái tiếp cận phát triển (Developmental Approach): Đại diện bởi Paribakht & Wesche (1997) với Thang đo Kiến thức Từ vựng (Vocabulary Knowledge Scale – VKS), giả định quá trình thụ đắc từ vựng diễn ra tuyến tính từ mức độ nhận biết hình thức, hiểu nghĩa thụ động đến khả năng sản sinh từ vựng chính xác trong ngữ cảnh ngữ pháp.
- Trường phái tiếp cận theo khía cạnh (Dimensional/Component Approach): Đại diện bởi Nation (2013) và Schmitt (2010, 2014), phân định kiến thức từ vựng thành ba trục độc lập: Hình thức (Form), Ý nghĩa (Meaning) và Sử dụng (Use), trong đó phân biệt rạch ròi giữa độ rộng từ vựng (vocabulary size/breadth) và độ sâu hiểu biết (vocabulary depth/strength) (Read, 2019; Milton, 2009).
Vị trí học thuật của luận án được xác lập rõ ràng tại điểm giao giữa kiểm tra độ rộng từ vựng tiếp nhận (receptive vocabulary size) và công nghệ thích ứng trên máy tính. Luận án đặt trọng tâm vào mối liên kết giữa dạng từ viết (written form) và nhận diện nghĩa (meaning recognition) – khía cạnh được Webb & Chang (2012) và Schmitt et al. (2017) khẳng định là "nền tảng cho tất cả các hoạt động sử dụng ngôn ngữ".
Khi đối sánh với các công trình quốc tế tiêu biểu:
- So sánh với CATSS (Computer Adaptive Test of Size and Strength) của Laufer và cộng sự: CATSS đánh giá đồng thời cả độ rộng và độ sâu từ vựng nhưng đối mặt với thách thức phức tạp về thời lượng và độ phân hóa câu hỏi đa mức độ. Luận án chọn lọc tối ưu hóa phép đo bằng cách tập trung kiểm tra kiến thức tiếp nhận thụ động, rút ngắn thời gian làm bài nhưng vẫn đạt độ chính xác tương đương.
- So sánh với hệ thống CAT-WPLT (Word Part Levels Test) và NGSLT (New General Service List Test) của Stoeckel & Bennett (2015) và Browne et al.: Các bài kiểm tra truyền thống như Vocabulary Levels Test (VLT) của Nation hay NGSLT nguyên bản là các bài thi tuyến tính cố định. Việc tác giả luận án chuyển hóa danh sách từ vựng NGSL thành định dạng song ngữ Anh – Việt và ứng dụng giải thuật chọn câu hỏi tối đa hóa hàm thông tin Fisher trong CAT đã nâng cao hiệu suất phân loại người học vượt trội so với các công cụ tĩnh trước đó.
Đóng góp lý thuyết và khung phân tích
Đóng góp cho lý thuyết
Luận án mở rộng và kiểm chứng các lý thuyết đo lường giáo dục hiện đại trong bối cảnh ngôn ngữ đặc thù của người học Việt Nam:
- Kiểm chứng mô hình Rasch 1 tham số (1PL-IRT): Mở rộng lý thuyết của Wu & Adams (2007) bằng cách chứng minh tính khả thi của mô hình Rasch trong việc chuẩn hóa các câu hỏi trắc nghiệm từ vựng tiếp nhận song ngữ, xác thực tính bất biến của tham số độ khó ($b$) và tham số năng lực ($\theta$).
- Cụ thể hóa Khung Đánh giá Từ vựng của Read & Chapelle (2001): Khung lý thuyết của Read & Chapelle được vận dụng để làm sáng tỏ mối quan hệ giữa ba thuyết xác định cấu trúc: Thuyết Năng lực (Trait Theory), Thuyết Hành vi (Behaviorist Theory) và Thuyết Tương tác (Interactionist Theory). Luận án định vị bài kiểm tra thích ứng từ vựng tiếp nhận theo Thuyết Năng lực độc lập với ngữ cảnh (context-independent discrete testing), chứng minh rằng việc đo lường nhận diện dạng từ – nghĩa mang lại suy luận có độ giá trị cấu trúc cao (construct validity) cho việc dự báo năng lực ngôn ngữ tổng quát (Lin & Morrison, 2010).
- Phát triển Mô hình Thích ứng Ngôn ngữ (CALT Framework): Đóng góp bằng chứng thực nghiệm củng cố mô hình 5 giai đoạn phát triển CAT của Thompson & Weiss (2011), thiết lập quy chuẩn quy trình từ nghiên cứu tính khả thi, phân tích tâm trắc, cân bằng đề thi qua câu hỏi neo, đến lập trình thuật toán thích ứng thời gian thực.
Khung phân tích độc đáo
Khung phân tích của luận án là sự tích hợp đa tầng giữa ba cấu trúc lý thuyết cốt lõi:
- Tầng 1 - Nền tảng Tâm trắc học (Psychometric Core): Vận dụng mô hình hồi đáp câu hỏi nhị phân (dichotomous Rasch model), mô tả xác suất $P_i(\theta)$ trả lời đúng câu hỏi $i$ của thí sinh có mức năng lực $\theta$: $$P_i(\theta) = \frac{e^{(\theta - b_i)}}{1 + e^{(\theta - b_i)}}$$
- Tầng 2 - Khung Phát triển Hệ thống CAT (Adaptive Architecture): Cấu trúc vận hành theo chu trình Thompson & Weiss (2011) gồm: Điểm khởi đầu (Initial ability $\theta_0 = 0.0$), Thuật toán lựa chọn câu hỏi kế tiếp (Maximum Information Criterion), Thuật toán ước lượng năng lực tạm thời (Maximum Likelihood Estimation - MLE hoặc Bayesian EAP), và Tiêu chí kết thúc kiểm tra (dừng theo độ dài cố định $N$ câu hoặc sai số chuẩn đo lường $SEM \le 0.30$).
- Tầng 3 - Khung Đo lường Bản thể Từ vựng (Vocabulary Construct): Dựa trên danh sách tần suất từ vựng New General Service List (NGSL), cấu trúc hóa kiến thức từ vựng theo các dải tần suất 1.000 từ, 2.000 từ và các mức độ học thuật, chuyển đổi sang định dạng trắc nghiệm 4 lựa chọn có bản địa hóa nghĩa tiếng Việt chính xác.
Điều kiện biên (boundary conditions) của khung phân tích được xác định rõ: Khung chỉ áp dụng cho việc đo lường kiến thức từ vựng tiếp nhận dạng viết (receptive written vocabulary knowledge) ở cấp độ nhận biết ngữ nghĩa cơ bản, không suy diễn trực tiếp cho năng lực từ vựng sản sinh (productive vocabulary) hoặc năng lực sử dụng từ trong ngữ cảnh giao tiếp phức tạp (collocation/pragmatic use).
Phương pháp nghiên cứu tiên tiến
Thiết kế nghiên cứu
Nghiên cứu tuân thủ thế giới quan thực chứng / hậu thực chứng (post-positivism) với phương pháp tiếp cận hỗn hợp đa giai đoạn (sequential mixed-methods design), trong đó định lượng giữ vai trò chủ đạo và định tính đóng vai trò thẩm định, giải thích:
- Cấp độ định tính: Sử dụng phương pháp chuyên gia (chuyên gia đo lường đánh giá và giảng viên ngôn ngữ Anh) để thẩm định độ giá trị nội dung (content validity), độ chuẩn xác ngôn ngữ và cấu trúc của các câu hỏi thô; kết hợp phỏng vấn sâu bán cấu trúc thí sinh sau trải nghiệm thi thích ứng.
- Cấp độ định lượng: Thử nghiệm diện rộng 7 đề kiểm tra (Đề 1 đến Đề 7), phân tích thống kê tâm trắc IRT để sàng lọc câu hỏi, hiệu chuẩn tham số, cân bằng thang đo bằng phương pháp neo liên kết, và đánh giá thuật toán thích ứng trên hệ thống UEd-CAT.
Quy trình nghiên cứu rigorous
Quy trình nghiên cứu được tiến hành nghiêm ngặt qua 4 bước chuẩn hóa:
- Biên soạn và Thẩm định Bộ câu hỏi thô: Thiết kế ngân hàng mục hỏi trắc nghiệm 4 lựa chọn dựa trên khung chuẩn NGSL. Nhóm chuyên gia tiến hành thẩm định độc lập theo bảng tiêu chí định tính, chỉnh sửa các phương án nhiễu (distractors) và cấu trúc câu dẫn.
- Thu thập dữ liệu thử nghiệm (Pilot Testing): 7 dạng đề thử nghiệm được phân bổ cho các nhóm sinh viên đại học khối ngành kỹ thuật tại Hà Nội. Thiết kế thu thập dữ liệu sử dụng mô hình câu hỏi neo liên kết (anchor items design) cài cắm giữa các đề (ví dụ: các câu hỏi chung giữa Đề 1, Đề 4, Đề 6, Đề 7) nhằm tạo cơ sở liên kết tham số trên một thước đo chung duy nhất.
- Phân tích Psychometric và Cân bằng thang đo: Sử dụng phần mềm chuyên dụng ACER ConQuest để ước lượng tham số độ khó ($b$) theo mô hình Rasch. Các chỉ số kiểm định sự phù hợp (Item Fit Statistics) gồm chỉ số Infit MNSQ và Outfit MNSQ (ngưỡng chấp nhận $0.77 \le MNSQ \le 1.30$, tương ứng $t$-statistic trong khoảng $[-2.0; +2.0]$) được áp dụng để loại bỏ các câu hỏi không phù hợp với mô hình hoặc vi phạm giả định độc lập cục bộ.
- Chuẩn hóa và Tích hợp hệ thống: Thực hiện phép biến đổi tuyến tính để cân bằng độ khó của toàn bộ ngân hàng câu hỏi về cùng một thang đo chuẩn tắc, sau đó nhập dữ liệu tham số vào hệ thống UEd-CAT.
Data và phân tích
Hệ thống công cụ và phần mềm xử lý dữ liệu bao gồm:
- ACER ConQuest: Hiệu chuẩn tham số mô hình Rasch, vẽ bản đồ phân bố năng lực thí sinh và độ khó câu hỏi (Wright Map / Variable Map), xuất đường cong ICC cho từng câu hỏi kiểm tra (như câu hỏi 66 Đề mẫu, câu hỏi 20 Đề 4).
- SPSS & R: Kiểm định độ tin cậy nội tại (hệ số Cronbach’s Alpha, chỉ số phân tách phân bố năng lực / Separation Reliability), thống kê mô tả thời gian làm bài, tính toán sai số chuẩn ước lượng năng lực ($SEM$), phân tích tương quan Pearson ($r$) giữa điểm số bài kiểm tra thích ứng và bài kiểm tra tuyến tính cố định.
- Dữ liệu kiểm chuẩn: Hệ số tin cậy của các đề thử nghiệm đều đạt mức cao ($\alpha > 0.80$, độ tin cậy độc lập của câu hỏi và thí sinh đạt chuẩn quốc tế). Các trường hợp dị biệt (outliers), câu hỏi có đường cong ICC bất thường hoặc mức độ phân biệt âm đều được loại bỏ hoặc biên tập lại một cách minh bạch trước khi đưa vào ngân hàng chính thức.
Phát hiện đột phá và implications
Những phát hiện then chốt
- Hiệu chuẩn thành công Ngân hàng Câu hỏi Chuẩn hóa: Qua quá trình phân tích tâm trắc bằng ConQuest trên 7 đề thi thử nghiệm, luận án đã xác định chính xác các tham số độ khó ($b$) trải rộng trên thang đo logit (từ mức rất dễ $b < -2.0$ đến mức rất khó $b > +2.0$), khớp hoàn hảo với dải phân bố năng lực ($\theta$) của sinh viên Việt Nam trên bản đồ Wright Map.
- Tối ưu hóa hiệu suất đo lường và giảm thời lượng kiểm tra: Kết quả thử nghiệm trên hệ thống UEd-CAT chứng minh bài kiểm tra thích ứng chỉ cần trung bình 20–25 câu hỏi để đạt được sai số chuẩn đo lường tối ưu ($SEM < 0.30$), rút ngắn hơn 50% số lượng câu hỏi và thời gian làm bài so với bài thi cố định truyền thống (thường yêu cầu 50–100 câu) mà vẫn đảm bảo độ tin cậy tương đương ($p < 0.001$).
- Mô hình hóa chính xác lộ trình thích ứng cá nhân hóa: Dữ liệu nhật ký hệ thống (log files) phân tích các trường hợp thí sinh cụ thể (như thí sinh HONG, DAN, MDUC, LINH) chỉ ra rõ nét thuật toán thích ứng: Khi thí sinh trả lời đúng, hệ thống lập tức nâng độ khó câu hỏi tiếp theo; khi trả lời sai, hệ thống hạ độ khó để tiệm cận vùng năng lực thực. Sai số chuẩn ($SEM$) giảm mạnh và hội tụ nhanh chóng sau 15–20 bước nhảy ứng đáp.
- Tương quan mạnh mẽ giữa điểm thích ứng và bài thi chuẩn hóa cố định: Phân tích tương quan Pearson giữa năng lực ước lượng qua CAT và điểm số thực tế trên bài thi cố định của 98 thí sinh đạt hệ số tương quan rất cao ($r > 0.85$, $p < 0.0001$), khẳng định độ giá trị đồng quy (convergent validity) vượt trội của công cụ.
- Nhận thức tích cực và giảm áp lực tâm lý cho người học: Dữ liệu khảo sát và phỏng vấn định tính xác nhận người học đánh giá cao giao diện tương tác của UEd-CAT, cảm nhận bài thi vừa sức, phản ánh đúng trình độ thực tế và giảm thiểu cảm giác mệt mỏi, lo âu thi cử so với các bài thi trên giấy kéo dài.
Implications đa chiều
- Về mặt Lý thuyết: Công trình cung cấp minh chứng thực nghiệm khẳng định tính tương thích hoàn hảo giữa lý thuyết khảo thí hiện đại IRT và bản thể học từ vựng tiếp nhận (NGSL), mở ra hướng nghiên cứu mới trong việc kết hợp tâm trắc học tính toán với thụ đắc ngôn ngữ thứ hai (SLA).
- Về mặt Phương pháp luận: Thiết lập quy trình mẫu mực về thiết kế câu hỏi neo liên kết để cân bằng đề thi trong điều kiện kiểm tra đa đề tại Việt Nam – một tài liệu tham khảo phương pháp luận có giá trị cao cho các nghiên cứu đo lường giáo dục tiếp theo.
- Về mặt Thực tiễn giáo dục: Cung cấp cho các trường đại học một công cụ kiểm tra chẩn đoán (diagnostic testing) và xếp lớp (placement testing) tự động hóa, chính xác, tiết kiệm tối đa thời gian, nguồn lực tổ chức thi và chống gian lận hiệu quả nhờ ngân hàng thích ứng linh hoạt.
- Về mặt Chính sách: Cung cấp cơ sở khoa học xác thực hỗ trợ Đề án Ngoại ngữ Quốc gia và Bộ Giáo dục và Đào tạo trong việc xây dựng các chuẩn đánh giá định kỳ dựa trên công nghệ số, hỗ trợ việc hiện thực hóa các mục tiêu chuẩn đầu ra từ vựng của Chương trình GDPT 2018.
Limitations và Future Research
Luận án thừa nhận một số giới hạn nghiên cứu khách quan:
- Phạm vi mẫu khảo sát: Khách thể nghiên cứu tập trung chủ yếu vào sinh viên khối ngành kỹ thuật tại một trường đại học ở Hà Nội, điều này đặt ra giới hạn nhất định về tính khái quát hóa (generalizability) đối với người học ở các khối ngành khoa học xã hội hoặc học sinh phổ thông ở các vùng miền khác nhau.
- Phạm vi cấu trúc đo lường: Luận án mới chỉ tập trung vào kiến thức từ vựng tiếp nhận dạng viết (receptive written vocabulary) thông qua nhận diện nghĩa song ngữ Anh – Việt từ danh sách NGSL; chưa bao quát kiến thức từ vựng sản sinh (productive vocabulary), từ vựng tiếp nhận qua kênh nghe (spoken vocabulary), hay các khía cạnh chiều sâu như cụm từ cố định (collocations) và ngữ dụng học (pragmatics).
- Quy mô ngân hàng câu hỏi: Mặc dù ngân hàng câu hỏi đã được chuẩn hóa và cân bằng tốt, quy mô tổng thể vẫn cần tiếp tục mở rộng để ngăn ngừa nguy cơ lộ đề (item exposure rate) khi triển khai kiểm tra trên diện rộng với mật độ cao.
Các hướng nghiên cứu tương lai được đề xuất:
- Mở rộng ngân hàng câu hỏi thích ứng lên các tập từ vựng học thuật chuyên sâu (Academic Word List – AWL, TOEIC/IELTS vocabulary) và cân chỉnh theo Khung năng lực ngoại ngữ 6 bậc dùng cho Việt Nam (VSTEP).
- Phát triển mô hình CAT đa chiều (Multidimensional Computerized Adaptive Testing – MCAT) tích hợp đánh giá đồng thời cả 4 kỹ năng Nghe – Nói – Đọc – Viết và từ vựng đa tầng.
- Tích hợp trí tuệ nhân tạo tạo sinh (Generative AI) và xử lý ngôn ngữ tự nhiên (NLP) để tự động sinh câu hỏi và phương án nhiễu, đẩy nhanh quá trình làm mới ngân hàng mục hỏi.
Tác động và ảnh hưởng
- Tác động Học thuật: Dự kiến tạo lập nguồn trích dẫn quan trọng cho các nghiên cứu chuyên ngành Đo lường & Đánh giá giáo dục và Ngôn ngữ học ứng dụng tại Việt Nam, trở thành công trình tham chiếu tiêu chuẩn về quy trình chuẩn hóa ngân hàng câu hỏi thích ứng.
- Chuyển đổi Giáo dục Đại học: Trực tiếp đóng góp giải pháp công nghệ khảo thí cho nền tảng UEd-CAT / UEd-ALS của Trường Đại học Giáo dục – ĐHQGHN và Trường Đại học Bách khoa Hà Nội, thúc đẩy hiện đại hóa hạ tầng kiểm tra đánh giá số.
- Lợi ích Xã hội & Quốc tế: Tiết kiệm hàng ngàn giờ thi và chi phí in ấn, giám thị hàng năm; đồng thời đóng góp một mô hình kiểm tra thích ứng song ngữ có thể chuyển giao cho các quốc gia đang phát triển trong khu vực Đông Nam Á.
Đối tượng hưởng lợi
- Nghiên cứu sinh & Nhà nghiên cứu Khảo thí: Tiếp cận quy trình thực nghiệm chuẩn hóa IRT, giải thuật cân bằng đề qua câu hỏi neo và phương pháp phân tích ConQuest.
- Giảng viên & Cơ sở Đào tạo Ngoại ngữ: Sở hữu công cụ đánh giá chẩn đoán nhanh, chính xác dung lượng từ vựng đầu vào của sinh viên để phân lớp và điều chỉnh giáo trình phù hợp.
- Người học Tiếng Anh: Được trải nghiệm bài kiểm tra cá nhân hóa, nhận phản hồi tức thì về mức năng lực từ vựng mà không phải chịu áp lực thi cử căng thẳng kéo dài.
- Cơ quan Quản lý Giáo dục: Có căn cứ khoa học định lượng để giám sát, đánh giá hiệu quả chương trình đào tạo tiếng Anh chuẩn quốc gia.
Câu hỏi chuyên sâu
1. Đóng góp lý thuyết độc đáo nhất của luận án là gì?
Luận án đã mở rộng và chuẩn hóa thực nghiệm mô hình Rasch 1 tham số (1PL-IRT) trong việc đo lường cấu trúc từ vựng tiếp nhận song ngữ Anh – Việt trên cơ sở danh mục NGSL. Công trình chứng minh rằng trong điều kiện kiểm tra thích ứng cá nhân hóa, mối quan hệ đơn chiều giữa tham số năng lực thí sinh ($\theta$) và tham số độ khó mục hỏi ($b$) hoàn toàn bảo toàn tính bất biến tâm trắc, qua đó giải quyết triệt để vấn đề phụ thuộc mẫu của khảo thí cổ điển tại Việt Nam.
2. Đổi mới phương pháp luận của luận án so với các nghiên cứu trước đây?
So với các nghiên cứu xây dựng ngân hàng câu hỏi truyền thống ở Việt Nam (thường chỉ dừng lại ở phân tích CTT hoặc phân tích IRT cục bộ trên từng đề đơn lẻ), luận án đã thực hiện một bước tiến phương pháp luận đột phá: Thiết kế hệ thống câu hỏi neo liên kết (anchor items design) trên 7 đề thi thử nghiệm kết hợp giải thuật cân bằng tuyến tính trong ConQuest. Phương pháp này đảm bảo toàn bộ các tham số câu hỏi trong ngân hàng đều được quy đổi chuẩn xác về cùng một thang đo liên tục duy nhất trước khi nạp vào hệ thống CAT.
3. Phát hiện bất ngờ và thú vị nhất rút ra từ dữ liệu thực nghiệm?
Dữ liệu log-file của hệ thống UEd-CAT cho thấy một hiện tượng đo lường đáng chú ý: Đối với các thí sinh có dải năng lực trung bình và khá, sai số chuẩn ($SEM$) của bài thi giảm xuống dưới ngưỡng tối ưu ($0.30$) chỉ sau khoảng 18–22 câu hỏi thích ứng, với hệ số tương quan so với bài thi cố định 60 câu đạt $r = 0.88$. Điều này chứng minh rằng việc tiếp tục kéo dài số câu hỏi trong bài thi truyền thống không mang lại thêm giá trị thông tin đo lường đáng kể mà chỉ làm tăng sự mệt mỏi của thí sinh.
4. Luận án có cung cấp quy trình tái lặp (Replication Protocol) không?
Có. Toàn bộ quy trình nghiên cứu được mô tả chi tiết và tường minh trong luận án: từ ma trận đặc tả đề thi, bảng tiêu chí chuyên gia, danh mục câu hỏi neo liên kết, mã lệnh phân tích ConQuest, cú pháp kiểm định trong SPSS/R, đến quy số liệu hiệu chuẩn và cấu hình thuật toán trên hệ thống UEd-CAT. Các nhà nghiên cứu khác hoàn toàn có thể sử dụng quy trình này để nhân rộng cho các kỹ năng ngôn ngữ khác.
5. Kế hoạch nghiên cứu 10 năm được định hình như thế nào?
Chiến lược dài hạn mở rộng từ luận án bao gồm: (1) Mở rộng ngân hàng câu hỏi thích ứng từ vựng lên 10.000 mục hỏi đa ngữ cảnh; (2) Tích hợp kiểm tra thích ứng đa chiều (MCAT) đánh giá tích hợp Từ vựng – Đọc hiểu – Nghe hiểu; (3) Triển khai hệ thống trên nền tảng đám mây phục vụ kiểm tra chuẩn hóa định kỳ cho hệ thống giáo dục quốc dân.
Kết luận
- Chuẩn hóa thành công Ngân hàng Mục hỏi Từ vựng Tiếp nhận: Xây dựng và kiểm định psychometric toàn diện ngân hàng câu hỏi song ngữ chuẩn hóa từ danh sách NGSL bằng mô hình Rasch 1PL.
- Thiết lập chuẩn mực Quy trình Cân bằng Đề thi Neo liên kết: Ứng dụng thành công kỹ thuật câu hỏi neo trên 7 đề thi thử nghiệm, đưa toàn bộ dữ liệu độ khó về cùng một thang đo logit duy nhất thông qua phần mềm ACER ConQuest.
- Tích hợp và Vận hành tối ưu trên Hệ sinh thái UEd-CAT: Hiện thực hóa thuật toán kiểm tra thích ứng trên máy tính, chứng minh tính vượt trội về độ chính xác và hiệu quả thời gian (giảm hơn 50% số câu hỏi mà vẫn duy trì $SEM < 0.30$).
- Mở ra 3 Dòng Nghiên cứu Mới: Đặt nền móng cho các nghiên cứu về: (i) Kiểm tra thích ứng đa chiều (MCAT) trong ngôn ngữ học ứng dụng; (ii) Tự động hóa sinh đề thi thông minh kết hợp AI; và (iii) Đánh giá chẩn đoán cá nhân hóa trong kỷ nguyên giáo dục số.
- Tiên phong Hội nhập Khảo thí Quốc tế: Đưa ngành Đo lường & Đánh giá Giáo dục Việt Nam tiệm cận các chuẩn mực khảo thí hiện đại trên thế giới, để lại di sản khoa học và ứng dụng thực tiễn bền vững cho công cuộc đổi mới giáo dục nước nhà.
Trích đoạn nội dung luận án
Tải xuống để đọc toàn bộĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC GIÁO DỤC BÙI THỊ KIM PHƯỢNG XÂY DỰNG BÀI KIỂM TRA THÍCH ỨNG BẰNG MÁY TÍNH ĐỂ ĐÁNH GIÁ KIẾN THỨC TỪ VỰNG TIẾP NHẬN TIẾNG ANH LUẬN ÁN TIẾN SĨ ĐO LƯỜNG VÀ ĐÁNH GIÁ TRONG GIÁO DỤC Mã số: 9140115 HÀ NỘI – 2024 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC GIÁO DỤC BÙI THỊ KIM PHƯỢNG XÂY DỰNG BÀI KIỂM TRA THÍCH ỨNG BẰNG MÁY TÍNH ĐỂ ĐÁNH GIÁ KIẾN THỨC TỪ VỰNG TIẾP NHẬN TIẾNG ANH LUẬN ÁN TIẾN SĨ ĐO LƯỜNG VÀ ĐÁNH GIÁ TRONG GIÁO DỤC CHUYÊN NGÀNH: ĐO LƯỜNG VÀ ĐÁNH GIÁ TRONG GIÁO DỤC Mã số: 9140115 Người hướng dẫn khoa học: 1. NGUYỄN QUÝ THANH 2. LÊ THÁI HƯNG NGHIÊN CỨU SINH CÁN BỘ HƯỚNG DẪN XÁC NHẬN CỦA ĐƠN VỊ ĐÀO TẠO HÀ NỘI – 2024 LỜI CAM ĐOAN Tôi xin cam đoan luận án tiến sĩ “Xây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng Anh” là công trình nghiên cứu của chính bản thân tôi. Trong quá trình thực hiện luận án, tôi đã tuân thủ nghiêm túc các quy tắc đạo đức nghiên cứu; các nội dung trình bày trong luận án là trung thực, và không sao chép từ bất kỳ một nguồn nào và dưới bất kỳ hình thức nào.
Việc tham khảo các nguồn tài liệu (nếu có) đã được thực hiện trích dẫn và ghi nguồn tài liệu tham khảo đúng quy định. Tôi xin hoàn toàn chịu trách nhiệm về tính trung thực của các nội dung trong luận án của mình. Hà Nội, ngày 15 tháng 07 năm 2024 Tác giả luận án Bùi Thị Kim Phượng i LỜI CÁM ƠN Để có thể hoàn thành được luận án tiến sĩ này, tôi đã nhận được sự hỗ trợ và giúp đỡ từ gia đình, các thầy cô, bạn bè, đồng nghiệp và các em sinh viên. Trước hết, tôi xin bày tỏ lòng biết ơn sâu sắc tới GS.
Nguyễn Quý Thanh và PGS. Lê Thái Hưng đã tận tình hướng dẫn, chỉ bảo tôi trong suốt quá trình học tập cũng như thực hiện luận án. Tôi xin trân trọng cảm ơn Ban giám hiệu trường Đại học Giáo dục - ĐHQGHN, Ban chủ nhiệm và các thầy cô Khoa Quản trị chất lượng, trường ĐHGD – Đại học Quốc gia Hà Nội đã hướng dẫn, giúp đỡ, tạo điều kiện thuận lợi cho tôi trong suốt thời gian học tập và nghiên cứu. Xin gửi lời cảm ơn nhiệt thành gửi tới PGS.
Nguyễn Thúy Nga, PGS. Vũ Trọng Lưỡng, TS. Tăng Thị Thùy, TS. Trần Thị Thu Hương, TS.
Trần Xuân Quang và biết bao các thầy cô đã giúp tôi củng cố kiến thức và cho tôi những lời khuyên quý báu trong thời gian thực hiện luận án. Tôi xin chân thành cảm ơn Ban lãnh đạo của Khoa Ngoại ngữ - Đại học Bách khoa Hà Nội, nơi tôi đang công tác cũng các đồng nghiệp đã luôn tin tưởng, ủng hộ tôi ngay từ những ngày đầu thực hiện luận án. Không có được sự hỗ trợ này cùng sự nhiệt tình tham gia của các em sinh viên, tôi sẽ không thể nào hoàn thành luận án. Cuối cùng, tôi dành tất cả sự yêu thương và lời cảm ơn tận đáy lòng tới gia đình của tôi, những người thân yêu đã luôn động viên, khích lệ, ủng hộ tôi trong suốt quá trình học tập và thực hiện luận án.
Một lần nữa, tôi xin trân trọng cảm ơn! ii DANH MỤC CHỮ VIẾT TẮT Cụm từ viết tắt Cụm từ đầy đủ (nghĩa tiếng Việt) CALT : Computerized Adaptive Kiểm tra ngôn ngữ Language Testing thích ứng trên máy tính CAT : Computerized Adaptive Kiểm tra thích ứng Testing bằng/trên máy tính CATSS : Computer adaptive test of Bài kiểm tra từ vựng size and strength thích ứng bằng máy tính đánh giá độ rộng và độ sâu CAT-WPLT : Computerized Adaptive Bài kiểm tra thích ứng Testing – Word Part về mức độ hiểu biết Levels Test thành tố từ CNTT : Công nghệ thông tin ĐHGD : Trường Đại học Giáo dục ĐHQGHN : Đại học Quốc gia Hà Nội IRT : Item Response Theory Lý thuyết hồi đáp câu hỏi NGSL : New General Service List Danh sách từ vựng tiếng Anh thông dụng mới NGSLT : New General Service List Bài kiểm tra danh sách Test từ vựng tiếng Anh thông dụng mới TS : thí sinh VLT : Vocabulary Levels Test Bài kiểm tra cấp độ từ vựng VST : Vocabulary Size Test Bài kiểm tra độ rộng từ vựng UEd-ALS : University of Education – Hệ thống học tập thích Adaptive Learning System ứng của trường ĐHGD UEd-CAT : University of Education – Hệ thống trắc nghiệm Computerized Adaptive thích ứng của trường Testing ĐHGD iii DANH MỤC HÌNH Hình 1.2: Quy trình xây dựng ngân hàng câu hỏi .3: Thang đo kiến thức từ vựng (Paribakht & Welshe, 1997).4: Các khía cạnh của kiến thức từ vựng (Nation, 2013) .5: Quy trình xây dựng đề kiểm tra (Bachman & Palmer, 1996).6: Khung kiểm tra từ vựng (Read & Chapelle, 2001).7: Ví dụ câu hỏi trong VLT .8: Ví dụ câu hỏi trong New VLT .9: Ví dụ câu hỏi VST .10: Mô hình nghiên cứu .1: Quy trình nghiên cứu .2: Thứ tự sử dụng các phương pháp nghiên cứu.3: Hướng dẫn làm bài trên hệ thống.4: Quy trình phát triển hệ thống trắc nghiệm thích ứng.5: Các bước của một bài trắc nghiệm thích ứng .6: Tính năng của UEd-CAT .7: Câu hỏi ví dụ trong NGSLT.8: Câu hỏi ví dụ của NGSLT .9: Câu hỏi ví dụ trong NGSLT song ngữ tiếng Anh và tiếng Việt .10: Bản đồ phân bố năng lực và độ khó của đề mẫu .11: Đường cong đặc trưng của câu hỏi 66 .12: Xác nhận của người tham gia nghiên cứu.1: Bản đồ phân bố năng lực và độ khó của Đề 7 .2: Kết quả phân tích Conquest của Đề 1 .3: Đường cong đặc trưng của câu hỏi 20 – Đề 4 .4: Kết quả phân tích Conquest của Đề 6 .6: Độ khó câu hỏi thi trước và sau khi cân bằng.7: Độ khó của ngân hàng câu hỏi chuẩn hóa .8: Thời gian làm bài trên hệ thống UEd-CAT .9: Lộ trình thích ứng trong bài kiểm tra của thí sinh HONG.10: Sai số chuẩn của phép ước lượng năng lực cập nhật sau từng câu hỏi trong bài làm của thí sinh HONG .11: Lộ trình thích ứng lượt làm bài số 1 của thí sinh DAN .12: Lộ trình thích ứng lượt làm bài số 2 của thí sinh DAN .13: Lộ trình thích ứng lượt làm bài số 3 của thí sinh DAN .14: Điểm của thí sinh với bài kiểm tra 20 câu hỏi .15: Lộ trình thích ứng trong bài trắc nghiệm HONG thực hiện .16: Lộ trình thích ứng trong bài trắc nghiệm MDUC thực hiện .17: Lộ trình thích ứng trong bài trắc nghiệm LINH thực hiện .18: Biểu đồ phân tán tỉ lệ trả lời chính xác và điểm bài kiểm tra thích ứng .19: Kết quả làm bài kiểm tra cố định của 98 thí sinh .20: Biểu đồ phân tán điểm số trong bài kiểm tra cố định và bài kiểm tra thích ứng .21: Giá trị trung bình mức độ đồng ý với các nhận định về .22: Mức độ mong muốn của người tham gia khảo sát về. 134 v DANH MỤC BẢNG Bảng 1.1: Các mô hình IRT (Lâm Quang Thiệp, 2010; Carlson, 2020) .2: Khung xây dựng CAT (Thompson & Weiss, 2011) .3: Các yếu tố xác định mục đích kiểm tra .4: Từ vựng trong Nội dung dạy học các cấp của Chương trình giáo dục phổ thông môn Tiếng Anh 2018 .5: Đặc tả về từ vựng theo các bậc năng lực ngôn ngữ.6: Định dạng câu hỏi trong CATSS .1: Thông tin mẫu của phương pháp chuyên gia .2: Cỡ mẫu thử nghiệm theo đề .3: Tổng hợp số liệu sinh viên thử nghiệm trên hệ thống .4: Thông tin của người tham gia khảo sát .5: Thông tin của người tham gia phỏng vấn .6: Bảng đặc tả bài kiểm tra song ngữ đánh giá từ vựng tiếp nhận tiếng Anh .7: Hệ số Alpha và hệ số tin cậy độc lập của đề mẫu .8: Các câu hỏi không phù hợp với mô hình của đề mẫu. 9: Kết quả phân tích của câu hỏi 66 .1: Số câu hỏi thô theo mức độ tần suất .2: Thông tin thẩm định đề của nhóm chuyên gia .3: Tổng hợp đánh giá của nhóm chuyên gia .4: Ví dụ câu hỏi chỉnh sửa theo ý kiến chuyên gia.5: Cỡ mẫu được chọn phân tích của bảy bài kiểm tra thử nghiệm .6: Độ tin cậy theo đề .7: Các câu hỏi không phù hợp với mô hình của Đề 1 .8: Kết quả phân tích của câu hỏi 20 Đề 4 .9: Tổng hợp số câu hỏi cần chỉnh sửa .10: Các câu hỏi cần chỉnh sửa của Đề 6 .11: Thiết kế câu hỏi neo giữa bảy đề sau khi phân tích Conquest .12: Hệ số cân bằng bảy đề thử nghiệm.14: Ba lượt làm bài của thí sinh DAN .15: Thông số của các bài kiểm tra 20 câu hỏi ba thí sinh thực hiện.16: Kết quả làm bài trong các lượt làm bài khác nhau .17: Phân tích tương quan Pearson giữa tỉ lệ trả lời chính xác và điểm bài kiểm tra thích ứng.18: Các trường hợp bị loại trừ .19: Nhận thức của học sinh về đặc điểm bài kiểm tra thích ứng. 131 vii MỤC LỤC DANH MỤC CHỮ VIẾT TẮT.
iii DANH MỤC HÌNH. iv DANH MỤC BẢNG. vi MỤC LỤC. viii MỞ ĐẦU.
Mục đích và nhiệm vụ nghiên cứu. Mục đích nghiên cứu. Nhiệm vụ nghiên cứu. Khách thể và đối tượng nghiên cứu.
Phạm vi và giới hạn nghiên cứu. Câu hỏi nghiên cứu. Phương pháp nghiên cứu. Đóng góp khoa học của luận án.
Cấu trúc của luận án. 8 CHƯƠNG 1: CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN NGHIÊN CỨU. Lý thuyết khảo thí hiện đại. Lý luận về trắc nghiệm thích ứng bằng máy tính.
Lý luận về đánh giá kiến thức từ vựng tiếp nhận tiếng Anh. Tổng quan nghiên cứu. Các nghiên cứu về kiểm tra thích ứng trong đào tạo ngôn ngữ. Các nghiên cứu về đánh giá kiến thức từ vựng tiếp nhận tiếng Anh.
Khoảng trống nghiên cứu. Đề xuất mô hình nghiên cứu. Kết chương. 64 CHƯƠNG 2: PHƯƠNG PHÁP LUẬN NGHIÊN CỨU.
Quy trình nghiên cứu. Phương pháp nghiên cứu. Phương pháp nghiên cứu định lượng. Phương pháp nghiên cứu định tính.
Quá trình lấy mẫu. Mẫu của phương pháp chuyên gia. Mẫu tham gia thử nghiệm. Mẫu tham gia khảo sát và phỏng vấn.
Công cụ nghiên cứu. Hệ thống UEd-CAT. Bài trắc nghiệm song ngữ đánh giá từ vựng tiếp nhận tiếng Anh. Bảng câu hỏi xin ý kiến chuyên gia.
Bảng câu hỏi khảo sát. Bộ câu hỏi phỏng vấn. Các vấn đề về đạo đức nghiên cứu. Kết chương.
99 CHƯƠNG 3: KẾT QUẢ NGHIÊN CỨU VÀ BÀN LUẬN. Chuẩn hóa ngân hàng câu hỏi trắc nghiệm thích ứng từ vựng tiếp nhận tiếng Anh .
Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ
Trích dẫn luận án này
Bùi Thị Kim Phượng (2024). Xây dựng CAT đánh giá kiến thức từ vựng tiếp nhận tiếng Anh [Luận án tiến sĩ, Đại học Giáo dục, Đại học Quốc gia Hà Nội]. LuanAn.net. https://luanan.net/ngon-ngu-hoc/ngon-ngu-hoc-ung-dung/xay-dung-cat-danh-gia-tu-vung-tiep-nhan-tieng-anh
Câu hỏi thường gặp
Luận án "Xây dựng CAT đánh giá kiến thức từ vựng tiếp nhận tiếng Anh" nghiên cứu về vấn đề gì?
Xây dựng mô hình CAT đánh giá kiến thức từ vựng tiếng Anh chính xác, tối ưu hóa thời gian và độ tin cậy.
Luận án "Xây dựng CAT đánh giá kiến thức từ vựng tiếp nhận tiếng Anh" được bảo vệ tại trường nào?
Luận án này được bảo vệ tại Đại học Giáo dục, Đại học Quốc gia Hà Nội. Năm bảo vệ: 2024.
Luận án "Xây dựng CAT đánh giá kiến thức từ vựng tiếp nhận tiếng Anh" thuộc chuyên ngành gì?
Luận án "Xây dựng CAT đánh giá kiến thức từ vựng tiếp nhận tiếng Anh" thuộc chuyên ngành Đo lường và Đánh giá trong Giáo dục. Danh mục: Ngôn Ngữ Học Ứng Dụng.
Luận án "Xây dựng CAT đánh giá kiến thức từ vựng tiếp nhận tiếng Anh" có bao nhiêu trang?
Luận án "Xây dựng CAT đánh giá kiến thức từ vựng tiếp nhận tiếng Anh" có 281 trang. Bạn có thể xem trước một phần tài liệu ngay trên trang web trước khi tải về.
Cách tải luận án "Xây dựng CAT đánh giá kiến thức từ vựng tiếp nhận tiếng Anh" về máy như thế nào?
Để tải luận án về máy, bạn nhấn nút "Tải xuống ngay" trên trang này, sau đó hoàn tất thanh toán phí lưu trữ. File sẽ được tải xuống ngay sau khi thanh toán thành công. Hỗ trợ qua Zalo: 0559 297 239.