CAT
Computer
Adaptive
Test
如果大家在不断关注SAT最新机考政策,应该已经从J老师的视频号上了解到SAT将于2023年全球推出机考版SAT考试,而且还是自适应考试。
正如J老师在视频中提到的,自适应考试可以在相对传统考试更短的时间内判断出考生对知识点或者技能的掌握程度。多邻国如果除去开篇10分钟的Onboarding(考生引导流程),整个考试只有40-45分钟,大大减少了学生考试的疲劳感,也更有利于学生有效发挥英语实力。
J老师在视频中又提到自适应考试需要依靠技术,而多邻国,作为一个纳斯达克上市公司(DUOL.US),根据其招股书显示,其400人的团队中有170人是工程师。其创始人Luis von Ahn和Severin Hacker是卡内基梅隆大学(Carnegie Mellon University)计算机科学系的教授和博士生。所以多邻国是一个充满科技感的在线教育公司。
那多邻国(以下简称DET)是如何利用其强大的技术背景实现在家随时就能考的CAT机制(Computer Adaptive Test,计算机化自适应测验)呢?今天小编就来给大家做一个全面的解析。
如果大家看过昨天的文章避坑指南|考了两次都拒绝认证,多邻国你给条活路吧!就应该知道DET是利用计算机自动生成试题再由专家进行审核的,所以可以生成非常庞大的题库。
而这对于CAT是非常重要的,因为每个考生可以生成的试卷是非常个性化的,因为每一道后续题目的难度都是依据你前一道题目的做题表现。而且在庞大题库的加持下,你多次考试遇到重复题的几率也非常低。官方的说法是你考1000次DET才有机会遇到重复题。所以DET才有底气以49美元一次的考试,让其成绩可以被美国众多顶级名校采纳。
其次,DET的题型不是全CAT,其13种题型中只有前5种属于CAT,而这5种题型也是所有考生开考后会被进行4到6次密集检测的5种题型,这就是在通过CAT题型对于学生的语言水平作出快速判断的过程。
每一道CAT试题都被打上了难度系数分,其难度依据来自欧洲共同语言参考标准Common European Framework of Reference for Language (CEFR)。CEFR将英语词汇分成从A1-A2-B1-B2-C1-C2 的六个层级,所以每一个试题都可以被快速的分到不同的难度系数中。让我们拿《官方指南DET Official Guide》的词汇辨析题Yes/No (text)题型举个例子。
在开启考试后,考生会接连做到一系列被预设好不同难度的CAT题型,然后计算机根据算法会给一个预估的临时能力等级,再根据之后每一道题的做题情况去调整,当被测试量达到算法要求后,CAT测试部分就完成了。
然后在进入写作和口语阶段,系统也会根据CAT做题情况调整写作和口语试题的难度。是的,写作口语试题也被划分了难度值。比如在官方指南中给出的看图描述题Picture Description如下图。虽然你看完下面三张图,肯定会很懵很想问:为啥老太太缝纫要比街头告示牌更难表述?
如果你在完成了CAT测试后,在进入口语测试时碰到了Level 3难度的老太太做缝纫图片,恭喜你!说明你的CAT测试阶段成绩是不错的。这也就是为什么在多邻国的备考练习中,我们非常强调学生在CAT测试阶段一定要争取拿高分的原因。
所以多邻国的CAT其实是将试题自适应CAT by item,和题型自适应CAT by item type相结合的出题形式。加上其庞大的题库,最终可以让考生在短短45分钟左右就能够拿到一个既有信度又有效度的申请大学的英语分数。而且DET也根据大量的研究数据,结合CEFR给出了对标托福和雅思成绩对照表。
* 本文的内容参考了以下资料,有兴趣的同学也可以读一下哦。
· DET Official Guide for Test Takers (2022)
· Machine Learning Driven Language Assessment, B. Settles, G. T. LaFlair, & M. Hagiwara (2020)
· Duolingo English Test: Technical Manual, G. T. LaFlair and B. Settles (2019)
· Improving Test Validityand Accessibility withDigital-First Assessments,Naomi Care & Bryan Maddox(2021)