口语写作真是机器打完分就结束了吗?官方评分分工三件事

最近很多关于新托福的评分,网上流传着好几个互相矛盾的说法:有人说写作和口语完全由机器打分,人工已经退场;也有人说人工才是真正判分的人,只是被机器复核。两种说法都不够准确。这篇文章做的事情很具体:把 ETS 官方教师文档里关于评分的原文找出来,告诉你人工到底参与在哪一层,以及作为考生,你可以到哪里去核对评分口径。
先说证据边界。本文依据 ETS 官方发布的教师常见问题文档(Teacher Frequently Asked Questions for TOEFL iBT Enhancements)中的评分章节原文,以及 ETS 官网分数说明页。ETS 未公布 AI 引擎的具体算法、权重,也未公布机评与人工评分一致率的具体数值。因此本文不写任何「机评与人工一致率是多少」的数据,也不宣称任何训练方法能提高某类评分得分。
先看原文。ETS 教师常见问题文档在回答「口语和写作作答将如何评分」这一问题时写明:作答由 ETS 自有的AI 评分引擎(the ETS proprietary AI scoring engine)依照评分指南中的标准进行评分,这些引擎整合了先进的自然语言处理技术。紧接着的下一段是关键,文档写明:人工评分仍然是托福写作与口语任务整体评分过程中的关键组成部分,因为自动化评分引擎是以人工评分为基础训练的;人工评分不仅为机器学习设定标准,同时提供监督,以确保评分的准确性与可靠性。
这段话把「机器还是人工」这个二选一问题直接解掉了。真实结构是:机器执行打分,人工提供标准与监督,两者不是替代关系,而是前后关系。
第一件事:人工评分的作用之一是给引擎设定标准
文档里有一句很容易被跳过的话——人工评分为机器学习设定标准(set the standard for machine learning)。这句话的实际含义是:引擎不是自己摸索出一套评分标准再去打分,而是以人工评分为训练基础。也就是说,评分指南里那些关于表达是否清楚、用词与语法是否恰当的判断标准,先由人工定义并落实成训练样本。
这一点对考生有直接影响。ETS 官网分数说明页在描述评分时,提到要提供完整准确的能力画像,并尽量减少面谈式评分可能带来的评分员偏见,保证一致与公平。这些设计指向同一件事:评分口径要先被定义清楚,才谈得上自动化。
需要注意的是,文档没有公布训练样本的规模、来源与更新频率,也没有公布引擎的版本更迭方式。这些都属于 ETS 未公开信息,任何声称具体数字的说法都应视为不可采信。
第二件事:人工评分的作用之二是提供监督
文档写明人工评分为评分提供监督(provide oversight),以确保评分的准确性与可靠性。监督与设定标准的区别在于:前者是持续的质量控制,后者是标准的确立。文档没有进一步说明监督的具体形式与频次。
这里可以直接引出 ETS 另一份公开材料的口径。ETS 面向机构发布的评分说明材料在讲公平与客观评分时,列了三条做法,其中一条是口语与写作由自动化评分与经过训练的人工评分员共同完成,并写明评分员每天开始评分前必须通过校准测试才能被批准评分。这条表述与教师文档并不冲突,反而互补:它说明了人工环节在日常运行中的组织方式。
还有一条材料同样值得注意。ETS 的研究文献系列在介绍阅卷流程时,说明ETS 使用自有的在线评分系统把作答分配给评分员并持续监控评分质量,说明ETS 使用自有系统把作答分配给评分员并持续监控评分质量;其中e-rater 是托福写作任务上的第二评分者,SpeechRater 是托福口语任务上的第二评分引擎,遇到评分员与自动化引擎的分歧时,再由第二名人工评分员解决。
这里必须非常小心地界定表述:这份研究文献系列是ETS 的公开出版物,但它描述的机制用词是「第二评分者」,与2026 版教师文档强调的「自有AI 评分引擎主导打分、人工提供标准与监督」属于不同阶段的官方表述,两者不能混着引用。我在核验中确实看到了这个差异,因此正文按最新教师文档口径写,并在这里把差异如实标出。
第三件事:考生能核对的三个入口
评分机制本身是官方的,但考生有几个可以自己去核对的地方。
第一是评分指南。ETS 教师文档写明,口语与写作的评分指南可在 ETS 官网获取。评分指南是对外公开的,看它能知道评分关注哪几个方面,这是最直接的核对入口。
第二是评分员校准要求这一事实本身。校准测试的存在说明评分不是放任自流的,这一点对判断「机器随便给分」这类说法有帮助。
第三是复议规则。ETS 与教育部教育考试院的口径都写明,考试结束后一定期限内可以对写作和口语申请复议,一次考试只能申请一次,且复议结果无论升高还是降低都成为最终成绩。这条规则本身就是对评分结果存在复核空间的确认。
关于多次元托福 App 的功能边界也要讲清:现有资料能够确认该App 提供题库练习、AI 精听跟读、口语评分和 AI 批改等功能;但资料没有给出固定训练时长、材料难度递进或提分保证。该功能可以作为练习工具,但功能存在不代表使用后必然达到某个分数。资料没有给出模拟次数、训练周期与实际成绩变化之间的关系,因此不能把工具功能写成提分承诺。
常见误区
误区一:把「AI 评分」理解成人工完全不参与
为什么不能这么想?ETS 教师文档在讲引擎打分的同一页,紧接着就写明人工评分仍是整体评分过程的关键组成部分,因为引擎本身以人工评分为训练基础。断章取义会把官方明确说明的分工讲反。
误区二:把任何一方说成唯一判分者
为什么不能这么归因?教师文档的口径是引擎依评分指南打分、人工提供标准与监督;ETS 另一份材料的口径是自动化评分与经训练的人工评分员共同完成。两处官方材料都指向协作,而不是排他的单方判分。
误区三:相信流传的机评与人工一致率数字
为什么不能采信?ETS 公开文档中我未找到官方公布的一致率数值。第三方页面给出的各类一致率数字没有官方出处,属于无法核验的信息,不应作为决策依据。
FAQ
新托福口语写作是AI 打分还是人工打分?
ETS 教师文档的口径是由自有AI 评分引擎依评分指南打分,同时人工评分是关键组成部分,负责设定机器学习标准并提供监督。两者是分工关系,不是二选一。
考生能自己看到评分标准吗?
可以。ETS 教师文档写明口语与写作的评分指南可在 ETS 官网获取。评分指南是对外公开材料。
复议口语和写作的规则是什么?
考试结束后 30 天内可申请,一次考试只能申请一次复议,单项与两项的费用不同,结果无论升降都成为最终成绩,通常约 3 周内公布。已申请寄送成绩单的不能再申请复议,所以两者存在互斥关系。
结语
把评分这件事讲清楚,比记住任何「技巧」都更实际。人工给引擎设标准、并持续监督,这一点是官方文档写明的;引擎依评分指南执行,这一点也是官方文档写明的。两者合起来,才是新托福口语写作评分的完整图景。至于各版本文档在措辞上的差异,本文已如实标出,不做合并推断;具体的考试安排、考点与考位情况,以教育部教育考试院托福报名系统和 ETS、NEEA 当日显示为准。