Tổng quan về luận án

Nghiên cứu về xác trị (test validity) luôn giữ vị trí cốt lõi trong lý thuyết và thực hành khảo thí ngoại ngữ quốc tế (AERA, APA, & NCME, 2014; Bachman, 1990; Messick, 1989; Weir, 2005). Tại Việt Nam, sự ra đời của Kỳ thi Đánh giá Năng lực Tiếng Anh theo Khung Năng lực Ngoại ngữ 6 bậc dùng cho Việt Nam (VSTEP.3-5), được nghiên cứu và phát triển độc lập bởi Trường Đại học Ngoại ngữ – Đại học Quốc gia Hà Nội (ULIS-VNU) và chính thức ban hành theo quyết định của Bộ Giáo dục và Đào tạo từ tháng 3 năm 2015 (Nguyen Thi Quynh Yen, 2018), đánh dấu bước chuyển mình mang tính chiến lược trong công tác khảo thí ngoại ngữ quốc gia thuộc khuôn khổ Đề án Ngoại ngữ Quốc gia 2020 (NFL 2020).

Tuy nhiên, khoảng trống nghiên cứu (research gap) trọng yếu tồn tại trong y văn hiện nay là: hầu hết các nghiên cứu xác trị VSTEP.3-5 trước đây chủ yếu tiếp cận theo hướng sản phẩm (product-based perspective) – tức dựa trên điểm số quan sát được thông qua các kỹ thuật thống kê cổ điển hoặc mô hình lý thuyết ứng đáp câu hỏi (IRT) – mà bỏ qua hoặc chưa đào sâu vào bản chất tiến trình nhận thức thực tế của thí sinh trong điều kiện phòng thi (process-based perspective). Vấn đề này đối mặt trực tiếp với nhận định của Alderson, Haapakangas, Huhta, Nieminen, & Ullakonoja (2015) và Cohen (1994), rằng việc thấu hiểu đầy đủ cấu trúc năng lực được đo lường đòi hỏi phải khảo sát sâu sắc các chuỗi nhận thức nội tại trực tiếp thúc đẩy hành vi làm bài của người học. Nhằm lấp đầy khoảng trống này, luận án tiến sĩ chuyên ngành Phương pháp Giảng dạy Tiếng Anh (Mã số: 9140231.01) của nghiên cứu sinh Wei Yu, dưới sự hướng dẫn của GS. Nguyễn Hòa và TS. Dương Thu Mai, đã thiết lập một khung xác trị dựa trên lập luận (argument-based validation framework) toàn diện kết hợp đồng thời hai lăng kính sản phẩm và tiến trình đối với bài thi Đọc hiểu VSTEP.3-5 dạng trên giấy (paper-based test).

Nghiên cứu tập trung giải quyết hệ thống năm câu hỏi nghiên cứu cụ thể gắn với hai suy luận trọng tâm trong lập luận diễn giải (interpretive argument):

  1. Ở mức độ nào các nhiệm vụ và câu hỏi của bài thi đọc hiểu VSTEP.3-5 đáp ứng đúng các yêu cầu của bản đặc tả đề thi (test specifications)?
  2. Ở mức độ nào giới tính và chuyên ngành học của thí sinh ảnh hưởng đến điểm số bài thi đọc hiểu (khảo sát chức năng câu hỏi vi sai - DIF)?
  3. Điểm số bài thi đọc hiểu VSTEP.3-5 đạt độ tin cậy và độ phân tách ở mức độ nào trong việc đo lường năng lực tiếng Anh của thí sinh theo mô hình Rasch?
  4. Những tiến trình nhận thức đọc hiểu nào được kích hoạt khi trả lời đúng các câu hỏi VSTEP.3-5, và mức độ tương thích giữa tiến trình kỳ vọng theo lý thuyết với tiến trình thực tế bộc lộ qua biên bản nghĩ thành tiếng (Think-Aloud Protocols - TAPs)?
  5. Có sự khác biệt nào giữa thí sinh làm bài thành công và không thành công khi xử lý các dạng câu hỏi đọc hiểu VSTEP.3-5 thể hiện qua hành vi chuyển động mắt (Eye Tracking), và bài thi phân hóa các bậc năng lực nhận thức như thế nào?

Khung lý thuyết nền tảng của nghiên cứu được tích hợp chặt chẽ từ Khung lập luận diễn giải của Chapelle, Enright, và Jamieson (2008), Khung đặc trưng nhiệm vụ bài thi của Bachman và Palmer (1996), cùng Mô hình nhận thức về đọc hiểu của Khalifa và Weir (2009). Luận án mang lại đóng góp đột phá khi thiết lập được bằng chứng thực nghiệm đa tầng từ 40 câu hỏi trắc nghiệm khách quan trong thời lượng 60 phút, độ dài ngữ liệu từ 1900 đến 2050 từ, bao phủ 4 văn bản phân tầng từ Bậc 3 (B1: 4.0 - 5.5 điểm), Bậc 4 (B2: 6.0 - 8.0 điểm) đến Bậc 5 (C1: 8.5 - 10.0 điểm). Nghiên cứu thu thập dữ liệu trong bối cảnh đại dịch COVID-19 tại hai trường đại học lớn ở Trung Quốc, cung cấp bằng chứng xuyên biên giới về tính giá trị và tính khả dụng quốc tế của định dạng bài thi chuẩn hóa của Việt Nam.

Literature Review và Positioning

Tổng quan y văn về khảo sát năng lực đọc hiểu ngôn ngữ thứ hai (L2 reading) cho thấy sự tiến hóa rõ rệt từ các mô hình đơn tuyến sang đa chiều. Như Adrian (2003, tr. 157) đã chỉ rõ: "reading in a second language may place additional demands on the readers due to L2 language and cultural proficiency as well as previous literacy experiences and beliefs". William và Fredricka (2005) hệ thống hóa sự khác biệt giữa đọc hiểu tiếng mẹ đẻ (L1) và L2 trên ba trục: khác biệt về ngôn ngữ và xử lý nhận thức, khác biệt cá nhân và kinh nghiệm, cùng khác biệt về bối cảnh văn hóa xã hội và thể chế. Định nghĩa chuẩn mực từ OECD (2016) khẳng định: "Reading literacy is understanding, using and reflecting on written texts, in order to achieve one’s goals, to develop one’s knowledge and potential and to participate in society".

========================================================================================
                        TIẾN TRÌNH TIẾP CẬN CẤU TRÚC ĐỌC HIỂU L2
========================================================================================
[1. Bottom-up (Gough, 1972)] ------> Xử lý tuyến tính: Ký tự -> Cú pháp -> Ngữ nghĩa
[2. Top-down (Smith, 1971)]  ------> Kích hoạt lược đồ (Schema Theory), tri thức nền
[3. Interactive (Grabe, 1988)] ----> Tương tác động giữa kỹ năng bậc thấp và bậc cao
[4. Socio-cognitive (Weir)]  ------> Tích hợp bối cảnh xã hội và kiến trúc nhận thức
========================================================================================

Y văn ghi nhận những xung đột học thuật sâu sắc xoay quanh bản chất của cấu trúc đọc hiểu. Tranh luận lớn nhất diễn ra giữa quan điểm cấu trúc đơn nhất (unitary construct) coi đọc hiểu là năng lực tích hợp không thể chia tách hoàn toàn và quan điểm cấu trúc đa kỹ năng thành phần (multi-divisible subskills) (Alderson, 2000; Grabe, 2009). Song song đó là tranh luận về xác trị bài thi: tiếp cận truyền thống thiên về trắc lượng tâm lý học (psychometric approach) dựa trên sản phẩm (Item Response Theory - IRT, Classical Test Theory - CTT) đối đầu với tiếp cận hiện đại đòi hỏi bằng chứng tiến trình nhận thức trực tiếp (Messick, 1989; Borsboom, Mellenbergh, & Heerden, 2004). Field (2013, tr. 20) nhấn mạnh hiệu lực nhận thức (cognitive validity) chính là: "the extent to which a test requires a test taker to engage in cognitive processes that resemble or parallel those that would be employed in non-test circumstances".

Về mặt định vị học thuật, luận án đã so sánh đối chuẩn với các công trình xác trị quốc tế kinh điển:

  • Dự án TOEFL 2000 / TOEFL iBT của Chapelle, Enright, và Jamieson (2008): thiết lập khung lập luận diễn giải gồm sáu bước suy luận từ Domain description, Evaluation, Generalization, Explanation, Extrapolation đến Utilization.
  • Nghiên cứu của Bax và Weir (2012) trên bài thi Cambridge English: Advanced (CAE) và Bax (2013) trên IELTS reading: tiên phong ứng dụng công nghệ Eye Tracking nhằm giải mã hành vi đọc lướt (skimming), đọc dò (scanning), đọc tìm kiếm (search reading) và đọc kỹ (careful reading).
  • Nghiên cứu của Bax và Chan (2019) trên bài thi General English Proficiency Test (GEPT) tại Đài Loan: chứng minh sự tương thích giữa loại câu hỏi và chiến lược xử lý mắt của thí sinh.

Luận án của Wei Yu đã định vị xuất sắc khi áp dụng mô hình lập luận diễn giải vào một bài thi chuẩn hóa quốc gia mới nổi tại Đông Nam Á (VSTEP), lấp đầy khoảng trống thực nghiệm thông qua việc đồng bộ hóa dữ liệu Rasch với kỹ thuật TAPs và Eye Tracking.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án mang lại những bước tiến lý thuyết đáng kể trong lĩnh vực khảo thí ngôn ngữ:

  1. Mở rộng Khung Lập luận Diễn giải (Interpretive Argument Framework): Luận án kiểm chứng và vận dụng thành công mô hình của Kane (2006, 2013) cùng Chapelle et al. (2008) vào bối cảnh bài thi VSTEP.3-5, tập trung xác lập tính vững chắc của hai mắt xích cốt tử: Suy luận khái quát hóa (Generalization inference) và Suy luận giải thích (Explanation inference).
  2. Làm phong phú Mô hình Nhận thức Đọc hiểu của Khalifa và Weir (2009): Cung cấp minh chứng thực nghiệm sinh động khẳng định tính phân tầng của lõi xử lý nhận thức (processing core) từ nhận diện từ (word recognition), truy cập từ vựng (lexical access), phân tích cú pháp (syntactic parsing), thiết lập ý nghĩa mệnh đề (propositional meaning) ở cấp độ cục bộ (local comprehension) đến suy luận (inferencing), xây dựng mô hình tư duy (building a mental model) và tạo lập biểu diễn văn bản (text level/intertextual representation) ở cấp độ tổng thể (global comprehension).
  3. Chuyển dịch hệ hình xác trị (Paradigm Shift): Xác lập mô hình đánh giá song hành giữa thuộc tính tĩnh của đề thi (task specifications, item parameters) và hành vi động thời gian thực (real-time cognitive processing) của thí sinh.
+---------------------------------------------------------------------------------------+
|                 KHUNG LẬP LUẬN DIỄN GIẢI CHO BÀI THI ĐỌC HIỂU VSTEP.3-5                |
+---------------------------------------------------------------------------------------+
|  [ĐIỂM QUAN SÁT] (Observed Scores)                                                   |
|         │                                                                             |
|         ▼  (Suy luận Khái quát hóa - Generalization Inference)                        |
|  [ĐIỂM SỐ KỲ VỌNG] (Universe Scores)                                                  |
|  - Warrant: Điểm số phản ánh chính xác năng lực chung, không bị nhiễu bởi đề & nhóm  |
|  - Evidence: Mô hình Rasch (WINSTEPS), Phân tích DIF (Giới tính, Ngành học), Độ tin cậy|
|         │                                                                             |
|         ▼  (Suy luận Giải thích - Explanation Inference)                               |
|  [CẤU TRÚC NHẬN THỨC] (Target Construct / Cognitive Abilities)                        |
|  - Warrant: Hành vi làm bài kích hoạt đúng các tiểu kỹ năng đọc hiểu lý thuyết        |
|  - Evidence: Biên bản nghĩ thành tiếng (TAPs), Theo dõi chuyển động mắt (Eye Tracking)|
+---------------------------------------------------------------------------------------+

Khung phân tích độc đáo

Khung phân tích của luận án là sự hợp nhất của ba trụ cột lý thuyết:

  • Trụ cột Lập luận Xác trị (Argument-based validation) từ Toulmin (1958, 2003), Kane (2006) và Chapelle et al. (2008).
  • Trụ cột Kiến trúc Nhận thức (Cognitive architecture) từ Khalifa & Weir (2009) phân định giữa Đọc kỹ (Careful reading) và Đọc nhanh/chọn lọc (Expeditious reading bao gồm scanning, skimming, search reading).
  • Trụ cột Thuộc tính Nhiệm vụ (Task characteristics) từ Bachman và Palmer (1996), tập trung vào hai nhánh: Đặc trưng đầu vào (Characteristics of input: độ dài ngữ liệu, phạm vi từ vựng, thể loại văn bản, tính xác thực) và Đặc trưng phản hồi kỳ vọng (Characteristics of expected response: dạng câu hỏi trắc nghiệm 4 lựa chọn, thời gian phản hồi, phạm vi xử lý hẹp/rộng).

Điều kiện biên (boundary conditions) của khung phân tích được xác định rõ: áp dụng cho bài thi trắc nghiệm đọc hiểu học thuật chuẩn hóa, đo lường từ Bậc 3 đến Bậc 5 (tương đương B1 đến C1 theo CEFR), dạng làm bài trên giấy đối với đối tượng học tiếng Anh như một ngoại ngữ (EFL).

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Luận án vận dụng lập trường nhận thức luận thực chứng phản biện và chủ nghĩa thực dụng (Pragmatism & Critical Realism), triển khai thiết kế phương pháp hỗn hợp hội tụ (Convergent Mixed Methods Design - QUAN + QUAL) nhằm triệt tiêu độ lệch cố hữu của từng phương pháp đơn lẻ.

                      THIẾT KẾ PHƯƠNG PHÁP HỖN HỢP HỘI TỤ
                                       │
            ┌──────────────────────────┴──────────────────────────┐
            ▼                                                     ▼
   [NHÁNH ĐỊNH LƯỢNG (QUAN)]                             [NHÁNH ĐỊNH TÍNH (QUAL)]
   - Dữ liệu điểm số bài thi VSTEP                       - Phỏng vấn chuyên gia khảo thí
   - Phân tích mô hình Rasch                             - Đánh giá chuyên gia (Expert Form A/B)
   - Kiểm định DIF (Giới tính, Ngành)                    - Biên bản nghĩ thành tiếng (TAPs)
   - Đo lường độ phân tách & tin cậy                     - Thí nghiệm Eye Tracking (Chỉ số mắt)
            │                                                     │
            └──────────────────────────┬──────────────────────────┘
                                       ▼
                       [TỔNG HỢP & ĐỐI CHIẾU XÁC TRỊ]
                       (Triangulation of Validity Evidence)

Quy trình nghiên cứu rigorous

Quy trình thu thập và xử lý dữ liệu được thiết kế chặt chẽ qua nhiều công đoạn:

  1. Phân tích thuộc tính văn bản và câu hỏi: Sử dụng công cụ phân tích từ vựng trực tuyến Compleat Lexical Tutor để thẩm định hồ sơ độ khó từ vựng và thể loại văn bản so với bản đặc tả kỹ thuật VSTEP.3-5.
  2. Khảo sát chuyên gia: Tổ chức phỏng vấn sâu và thu thập phiếu đánh giá chuyên gia (Expert Judgement Form A và Form B) từ các nhà nghiên cứu và giảng viên giàu kinh nghiệm nhằm thẩm định tính đại diện của 8 tiểu kỹ năng đọc hiểu: hiểu thông tin chi tiết tường minh, đoán nghĩa từ trong ngữ cảnh, hiểu phép liên kết, suy luận thông tin, tích hợp thông tin, tóm tắt ý chính, nhận biết thái độ/quan điểm tác giả, và hiểu chức năng văn bản.
  3. Thực nghiệm Biên bản Nghĩ Thành tiếng (Think-Aloud Protocols): Triển khai trên nhóm thí sinh với quy trình hướng dẫn chuẩn hóa (operation instructions), mã hóa dữ liệu định tính hai cấp (initial & modified coding schemes).
  4. Thực nghiệm Theo dõi Chuyển động Mắt (Eye Tracking): Sử dụng hệ thống máy theo dõi mắt chuyên dụng, thiết lập quy trình hiệu chuẩn 9 điểm (9-point camera calibration and validation), định vị các Vùng Chú ý (Areas of Interest - AOI) trên màn hình hiển thị ngữ liệu và câu hỏi. Kết hợp bảng kiểm tra tiến trình đọc hiểu (Reading Processing Checklist) ngay sau khi hoàn thành bài test.

Data và phân tích

Hạng mục phương pháp Công cụ / Phần mềm Chỉ số phân tích cụ thể
Phân tích Mô hình Rasch Phần mềm WINSTEPS - Chỉ số độ khớp câu hỏi: Infit/Outfit Mean Square (MNSQ), Z-score (ZSTD)
- Hệ số tương quan điểm-đo lường: Point-measure Correlation (PTMA-CORR)
- Bản đồ phân bố năng lực thí sinh - độ khó câu hỏi (Wright Map)
Phân tích Câu hỏi Vi sai (DIF) Phần mềm WINSTEPS & SPSS - DIF contrast theo Giới tính (Nam vs. Nữ)
- DIF contrast theo Nhóm ngành (Khoa học Xã hội vs. Tự nhiên)
- Mức ý nghĩa thống kê ($p < 0.05$) và giá trị DIF size
Độ tin cậy & Độ phân tách Phần mềm WINSTEPS - Item Reliability & Person Reliability
- Item Separation & Person Separation Index
Phân tích Chuyển động Mắt Phần mềm Eye Tracker Host & Tobii Studio - Thời lượng định thị đầu tiên (First Fixation Duration)
- Tổng thời lượng định thị (Total Fixation Duration)
- Số lượt định thị (Fixation Count), Số lần hồi cố (Regression Count)
- Bản đồ nhiệt (Heat Maps) và Đồ thị đường nhìn (Gaze Plots)

Phát hiện đột phá và implications

Những phát hiện then chốt

  1. Sự tương thích hoàn hảo giữa đề thi thực tế và bản đặc tả (Test Specifications): Phân tích 4 bài đọc và 40 câu hỏi khẳng định độ dài bài đọc (dao động từ 400 đến 550 từ/bài, tổng thể 1900–2050 từ), chủ đề (khoa học tự nhiên, khoa học xã hội, đời sống, văn hóa ASEAN/Việt Nam) và tỷ lệ phân bổ các tiểu kỹ năng đọc hiểu hoàn toàn khớp với quy định của Bộ Giáo dục và Đào tạo. Bản đồ Wright map từ mô hình Rasch minh chứng các câu hỏi trải dài từ thang năng lực thấp đến cao, bao phủ trọn vẹn dải năng lực từ Bậc 3 đến Bậc 5.
  2. Tính công bằng và bất biến đo lường (Measurement Invariance): Phân tích DIF theo giới tính và chuyên ngành đào tạo cho thấy không có câu hỏi nào thể hiện sự thiên vị có ý nghĩa thống kê hoặc kích thước hiệu ứng vượt ngưỡng nghiêm trọng ($p > 0.05$, $|DIF| < 0.5$ logits). Điều này chứng minh bài thi không chứa phương sai không liên quan đến cấu trúc (construct-irrelevant variance).
  3. Độ tin cậy và chỉ số phân tách vượt chuẩn: Kết quả phân tích Rasch ghi nhận độ tin cậy câu hỏi (Item Reliability) và độ tin cậy người học (Person Reliability) đều đạt ngưỡng xuất sắc ($> 0.85$), hệ số phân tách người học (Person Separation Index) chứng minh bài thi phân loại rõ rệt ba nhóm trình độ B1, B2, và C1.
  4. Bằng chứng xác thực từ Biên bản Nghĩ Thành tiếng (TAPs): Dữ liệu định tính từ TAPs chứng minh thí sinh áp dụng linh hoạt các chiến lược nhận thức và siêu nhận thức. Các câu hỏi nhận diện thông tin chi tiết kích hoạt xử lý cục bộ (local reading/search reading), trong khi các câu hỏi về ý chính, thái độ tác giả và suy luận đòi hỏi xử lý tổng thể (global processing/mental model building), hoàn toàn tương thích với mô hình nhận thức của Khalifa & Weir (2009).
  5. Dấu ấn chuyển động mắt phân hóa trình độ (Eye Tracking Breakthrough): Dữ liệu Eye Tracking ghi nhận sự khác biệt mang tính bản chất:
    • Thí sinh thành công (Successful test takers) thể hiện chiến lược đọc tìm kiếm (search reading) cực kỳ hiệu quả: số lần định thị tập trung cao độ vào các AOI chứa thông tin đích (target information), thời lượng định thị ngắn hơn trên các từ hư (function words), và số lần hồi cố (regression) có mục đích rõ ràng.
    • Thí sinh không thành công (Unsuccessful test takers) có bản đồ nhiệt (Heat maps) và đồ thị đường nhìn (Gaze plots) phân tán, thời gian định thị kéo dài tại các vùng từ vựng xa lạ, hồi cố hỗn loạn, thể hiện sự bế tắc trong việc phân tích cú pháp và kết nối mệnh đề.
========================================================================================
             SO SÁNH HÀNH VI CHUYỂN ĐỘNG MẮT TRONG THỬ NGHIỆM EYE TRACKING
========================================================================================
Chỉ số chuyển động mắt        Thí sinh Thành công          Thí sinh Không thành công
----------------------------------------------------------------------------------------
Vùng Chú ý (AOI)              Tập trung chính xác          Phân tán toàn bài, lạc hướng
Tổng thời lượng định thị      Ngắn, tối ưu hóa             Kéo dài bất thường do nghẽn xử lý
Hành vi hồi cố (Regression)   Chiến lược, có chọn lọc      Hỗn loạn, lặp lại nhiều lần
Loại hình đọc chủ đạo         Expeditious + Global         Chậm tuyến tính, Bottom-up bế tắc
========================================================================================

Implications đa chiều

  • Về mặt Lý thuyết: Cung cấp bằng chứng thực nghiệm vững chắc xác thực tính tương thích của mô hình Khalifa & Weir (2009) trong bối cảnh khảo thí chuẩn hóa châu Á; chuẩn hóa cấu trúc lập luận của Chapelle et al. (2008) cho bài thi đọc hiểu chuẩn quốc gia.
  • Về mặt Phương pháp luận: Thiết lập quy trình mẫu chuẩn mực (replicable protocol) kết hợp giữa mô hình trắc lượng Rasch, giao thức nghĩ thành tiếng và kỹ thuật Eye Tracking, mở đường cho các nghiên cứu xác trị đa phương thức trong tương lai.
  • Về mặt Thực tiễn & Khảo thí: Cung cấp cơ sở khoa học để Trung tâm Khảo thí ULIS-VNU và các đơn vị được Bộ GD&ĐT cấp phép tiếp tục tối ưu hóa khâu biên soạn đề thi, xây dựng ngân hàng câu hỏi chuẩn hóa và tinh chỉnh bản mô tả tiêu chí năng lực (descriptors).
  • Về mặt Giảng dạy & Học tập: Giúp giảng viên tiếng Anh điều chỉnh phương pháp sư phạm, chú trọng rèn luyện các kỹ năng đọc hiểu bậc cao (search reading, inferencing, synthesising) thay vì chỉ dạy mẹo làm bài đơn thuần.

Limitations và Future Research

Luận án thẳng thắn thừa nhận các giới hạn nghiên cứu mang tính khách quan:

  1. Bối cảnh thu thập dữ liệu dịch bệnh: Do ảnh hưởng nghiêm trọng của đại dịch COVID-19 làm gián đoạn việc di chuyển giữa Việt Nam và Trung Quốc, toàn bộ dữ liệu thực nghiệm điểm số, TAPs và Eye Tracking được tiến hành trên nhóm người học tiếng Anh tại hai trường đại học tại Trung Quốc. Dù điều này mang lại giá trị xác trị quốc tế, nghiên cứu vẫn cần được tái lặp trên quy mô lớn với chính đối tượng người học Việt Nam.
  2. Phạm vi định dạng bài thi: Nghiên cứu mới chỉ tập trung vào định dạng bài thi làm trên giấy (paper-based), chưa bao quát định dạng làm trên máy tính (computer-based) vốn đang được triển khai rộng rãi tại đa số các cụm thi VSTEP hiện nay.
  3. Quy mô mẫu thực nghiệm chuyên sâu: Do đặc thù kỹ thuật phức tạp của thí nghiệm Eye Tracking và TAPs, cỡ mẫu tham gia hai nhánh này còn ở mức khiêm tốn, giới hạn khả năng khái quát hóa tuyệt đối trên toàn bộ quần thể thí sinh.

Hướng nghiên cứu tương lai được đề xuất bao gồm:

  • Mở rộng xác trị trên định dạng VSTEP làm trên máy tính và bài thi thích ứng trên máy tính (Computer Adaptive Testing - CAT).
  • Mở rộng quy mô mẫu đa dạng hơn trên khắp ba miền Việt Nam và các đối tượng xã hội khác nhau (công chức, nghiên cứu sinh, sinh viên không chuyên ngữ).
  • Ứng dụng các công nghệ khoa học thần kinh nhận thức mới (như fNIRS hoặc EEG) kết hợp với Eye Tracking để giải mã sâu hơn hoạt động vỏ não khi xử lý các câu hỏi đọc hiểu phức tạp.

Tác động và ảnh hưởng

  • Tác động Học thuật: Luận án tạo tiếng vang lớn trong cộng đồng nghiên cứu khảo thí ngôn ngữ trong nước và khu vực, đóng góp tài liệu tham khảo cho các chương trình đào tạo tiến sĩ và thạc sĩ chuyên ngành Khảo thí và Phương pháp Giảng dạy Tiếng Anh.
  • Ảnh hưởng Chính sách: Cung cấp luận cứ khoa học thực chứng ủng hộ Bộ Giáo dục và Đào tạo Việt Nam trong việc tiếp tục công nhận, bảo vệ và thúc đẩy chứng chỉ VSTEP.3-5 như một chuẩn đánh giá năng lực ngoại ngữ quốc gia đáng tin cậy, thay thế dần sự phụ thuộc vào các chứng chỉ quốc tế đắt đỏ.
  • Thúc đẩy Khảo thí Khu vực: Nâng cao vị thế học thuật của khảo thí Việt Nam trên trường quốc tế, khẳng định năng lực tự chủ phát triển bài thi chuẩn hóa đáp ứng hoàn toàn các tiêu chuẩn kỹ thuật khắt khe của Hiệp hội Khảo thí Ngôn ngữ Châu Âu (ALTE).

Đối tượng hưởng lợi

  • Nghiên cứu sinh & Giới Học thuật: Tiếp cận một khung phương pháp luận hỗn hợp mẫu mực kết hợp Rasch model và Eye Tracking, giải quyết triệt để bài toán xác trị tiến trình nhận thức.
  • Hội đồng Khảo thí & Chuyên gia Soạn đề VSTEP: Nhận được bộ tiêu chuẩn và dữ liệu phân tích chi tiết về độ khớp câu hỏi, các bẫy câu hỏi vi sai (DIF) và cơ chế kích hoạt tiểu kỹ năng để cải tiến ngân hàng đề.
  • Giảng viên Giảng dạy Tiếng Anh (ELT Teachers): Thấu hiểu sâu sắc sự khác biệt trong tiến trình nhận thức giữa người đọc giỏi và người đọc kém, từ đó thiết kế các hoạt động can thiệp sư phạm hiệu quả.
  • Người học Tiếng Anh: Hiểu rõ yêu cầu nhận thức của bài thi VSTEP.3-5, từ đó phát triển các chiến lược đọc hiểu thực chất thay vì áp dụng máy móc các thủ thuật đối phó thi cử.

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và đã mở rộng lý thuyết nào?

Đóng góp lý thuyết độc đáo nhất là việc mở rộng Khung Lập luận Diễn giải (Interpretive Argument Framework) của Chapelle, Enright, và Jamieson (2008) bằng cách tích hợp nó với Mô hình Nhận thức Đọc hiểu của Khalifa và Weir (2009) để xác trị một bài thi L2 chuẩn hóa cấp quốc gia tại Đông Nam Á. Luận án đã làm sáng tỏ mắt xích Suy luận Giải thích (Explanation Inference) – vốn thường thiếu vắng bằng chứng thực nghiệm trong các nghiên cứu trước đây – bằng cách chứng minh trực tiếp rằng các câu hỏi VSTEP.3-5 kích hoạt chính xác các mức độ xử lý nhận thức từ cục bộ (local) đến tổng thể (global) theo đúng kỳ vọng lý thuyết.

2. Điểm cải tiến phương pháp luận của nghiên cứu khi so sánh với ít nhất hai nghiên cứu quốc tế trước đây?

So với nghiên cứu của Bax & Weir (2012) trên bài thi CAE (vốn chỉ dừng lại ở phân tích chuyển động mắt định tính bước đầu) và nghiên cứu của Chapelle et al. (2008) trên TOEFL iBT (chủ yếu dựa vào dữ liệu sản phẩm và TAPs), luận án này đã thực hiện một bước nhảy vọt về phương pháp luận: thiết kế phương pháp hỗn hợp hội tụ tam giác hóa ba nguồn dữ liệu độc lập: (1) Trắc lượng tâm lý học Rasch trên WINSTEPS để đo độ khó và DIF, (2) Giao thức nghĩ thành tiếng (TAPs) mã hóa 2 cấp, và (3) Hệ thống chỉ số chuyển động mắt (Eye-tracking metrics: First Fixation, Total Fixation, Regression Count, Heat Map, Gaze Plot) gắn với từng Vùng Chú ý (AOI) trên câu hỏi và ngữ liệu.

3. Phát hiện nào mang tính bất ngờ nhất và bằng chứng dữ liệu hỗ trợ phát hiện đó?

Phát hiện bất ngờ nhất nằm ở hành vi xử lý của nhóm thí sinh không thành công: trái với quan niệm phổ biến rằng thí sinh yếu thường đọc chậm hơn thí sinh giỏi trên toàn bài, dữ liệu Eye Tracking chỉ ra rằng ở một số câu hỏi khó, thí sinh không thành công lại có tổng thời gian đọc bài ngắn hơn nhưng có số lần hồi cố (regression count) cục bộ rất cao và bỏ qua hoàn toàn các câu liên kết mang tính bản lề. Họ bị mắc kẹt tại các từ vựng đơn lẻ (lexical fixation) mà không thể nâng cấp tiến trình lên tầng xử lý mô hình tư duy (mental model building), dẫn đến việc lựa chọn các phương án gây nhiễu mang tính lặp từ bề mặt.

4. Luận án có cung cấp quy trình tái lập (Replication Protocol) hoàn chỉnh không?

Hoàn toàn có. Luận án đính kèm chi tiết toàn bộ hồ sơ kỹ thuật tại phần Phụ lục (Appendices):

  • File điều khiển cú pháp chạy mô hình Rasch trên WINSTEPS (Appendix 1).
  • Bảng câu hỏi phỏng vấn chuyên gia và Phiếu thẩm định chuyên gia Form A & Form B (Appendix 3, 4, 5).
  • Hướng dẫn vận hành chuẩn thực nghiệm Nghĩ thành tiếng (TAPs Operation Instructions - Appendix 6).
  • Bảng kiểm tra tiến trình đọc hiểu (Reading Processing Checklist - Appendix 7).
  • Ma trận khung lập luận diễn giải chuẩn hóa cho VSTEP.3-5 (Appendix 8).

5. Chương trình nghiên cứu 10 năm (10-year Research Agenda) được phác thảo như thế nào?

Luận án định hình lộ trình nghiên cứu khảo thí 10 năm gồm ba giai đoạn:

  • Giai đoạn 1 (1-3 năm): Mở rộng xác trị tiến trình nhận thức trên định dạng VSTEP làm trên máy tính (computer-based) và khảo sát sự tương đương giữa hai hình thức thi.
  • Giai đoạn 2 (4-6 năm): Nghiên cứu phát triển hệ thống bài thi thích ứng trên máy tính (Computer Adaptive Testing - CAT) dựa trên ngân hàng câu hỏi đã được hiệu chuẩn tham số Rasch.
  • Giai đoạn 3 (7-10 năm): Nghiên cứu đối chuẩn quốc tế sâu rộng giữa VSTEP với Khung Tham chiếu Châu Âu (CEFR) và các bài thi quốc tế (IELTS, TOEFL), ứng dụng công nghệ thực tế ảo và khoa học thần kinh (neuroimaging) vào đánh giá năng lực ngôn ngữ đa phương thức.

Kết luận

  1. Luận án đã xây dựng thành công khung xác trị dựa trên lập luận (argument-based validation) toàn diện, khép kín và có tính minh bạch khoa học cao cho bài thi Đọc hiểu VSTEP.3-5.
  2. Cung cấp bằng chứng thực nghiệm định lượng đanh thép qua mô hình Rasch khẳng định đề thi có độ tin cậy cao, thang đo độ khó chuẩn hóa trải đều từ Bậc 3 đến Bậc 5, và hoàn toàn không có thiên vị câu hỏi theo giới tính hay chuyên ngành (không có DIF).
  3. Đột phá trong việc giải mã tiến trình nhận thức nội tại của thí sinh thông qua sự kết hợp tiên phong giữa Biên bản Nghĩ Thành tiếng (TAPs) và Công nghệ Theo dõi Chuyển động Mắt (Eye Tracking), xác thực tính giá trị nhận thức (cognitive validity) của bài thi.
  4. Minh chứng tính tương thích cao độ giữa các nhiệm vụ bài thi thực tế với bản đặc tả kỹ thuật đề thi chuẩn của Bộ Giáo dục và Đào tạo ban hành.
  5. Tạo ra tiền lệ phương pháp luận chuẩn mực, mở ra hướng nghiên cứu đa phương thức kết hợp giữa trắc lượng tâm lý học và khoa học nhận thức cho cộng đồng nghiên cứu khảo thí tại Việt Nam và Đông Nam Á.
  6. Khẳng định giá trị thực tiễn và chất lượng khảo thí của chứng chỉ ngoại ngữ quốc gia VSTEP.3-5, cung cấp cơ sở khoa học vững chắc phục vụ công tác giảng dạy, học tập và hoạch định chính sách ngoại ngữ quốc gia trong kỷ nguyên hội nhập toàn cầu.