结论
Handshake AI Research团队在 Asia/Shanghai 9月24日首次公开预印本StudentBench,检验通用大模型在最小脚手架下能否达到人类专家一对一辅导的GRE提分效果。作者报告,在2383名参与者、超17.5万条学生-AI消息的对照中,混合AI辅导与人类辅导的提分在统计上等效,一名AI辅导在等效的同时单百分点成本低约918倍。以上为作者在受控GRE场景中的结论,为预印本v1未经同行评审,也未经本站独立验证,不应视为普遍教学保证。
方法与评估条件
研究对象是13种基于大模型的AI辅导配置与人类专家导师,对照组为观看与GRE无关教学视频的无辅导组。每名学生先完成27题定量或言语前测,花5分钟回顾错题,再接受约一小时辅导,最后完成后测,前后测为不同题目但长度、概念与GRE timing一致。GRE题目由前ETS与Kaplan命题人新编,未使用公开旧题以降低训练泄漏。AI辅导统一采用两个低引导提示分别负责教案与练习生成、实时文本互动,人类辅导为一对一视频。论文提交记录为2026年9月23日17时57分45秒UTC,对应北京时间2026年9月24日01时57分,收录于arXiv 9月24日公告批次,满足当日首次公开门槛。
主要结果
混合AI辅导与人类辅导的整体提分在±0.25合并标准差等效界内等效,p=0.015,在更严±0.20界内仍成立,p=0.023。七个GRE子域中有五个子域的最优AI辅导平均提分超过人类辅导,定量侧多模型均值高于真人,言语整节均值仍以真人最高。第二项研究由专家导师完成2028次成对量表评估,对比大模型生成的教案与练习题,与对话教学法、成本与参与度共同形成五维排行榜,不同AI辅导在备课与陪练维度明显分化。成本上,一名AI辅导整节推理成本均值0.067美元,单百分点提分成本0.0052美元对比真人4.81美元,低约918倍且等效性p=0.044。定量会话中,回复更快与学生消息更多、做对练习更多及提分更大相关,均p<0.002,为相关性而非因果结论。
- 2383人对照中超17.5万条消息,混合AI与真人提分在±0.25标准差界内等效p=0.015;七域中五域最优AI平均超真人,定量强、言语整节真人仍最高;2028次专家成对评估形成教案、习题、对话、成本与参与五维榜;单AI辅导等效p=0.044且单百分点成本低约918倍,更快回复与更大提分相关p<0.002。
局限与适用边界
本研究为预印本v1共47页含附录,未经同行评审,所有数字限本次冻结设计与测试模型版本,不得推广为任意学科或长期教学的普遍保证。样本主要为夏季两月通过Handshake平台招募的约7万随机邀请中入选的18至23岁学生,限GRE七域、一小时、27题考试场景,新编题防泄漏但仍是受控考试。AI为文本对话、真人为视频,模态不一致,低引导双提示与最小脚手架意味着结论是能力下界,脚手架优化可能改变排序。成本为采集期推理成本估算,含模型定价与计费口径假设,不同账户与路由会变化,真人成本按实验口径计算。长期保持、跨语言迁移与真实课堂效应尚未验证。
是否同行评审与潜在意义
截至核验时,该工作状态为预印本,页面明确为v1,无会议或期刊接收信息,编辑将其归为预印本而非已获同行认可的事实。若后续能被独立复现,其意义在于为一对一辅导可负担化提供一条可操作路径:在GRE这类结构化备考上先用低成本通用模型承担高频讲解与练习生成,再由人类导师处理言语长难结构与动机维持;实际采用仍需在自有学生分布上重测提分与成本,并单设防作弊与内容准确护栏。中国读者参考时应注意样本、语言与考试体系均为美国GRE,与国内考试迁移性尚未验证。