结论
浙江大学APRIL Lab与中国地质大学等合作的预印本PsycheMME报告了一个心理学引导的多模态视频基准:以1000道题目、630个片段检验17个多模态大模型的社会理解与交互选择。作者称,交互时机判断是验证后得分最低、得分保留率最低的能力,正确时机答案中约半数缺乏充分线索支撑;需求理解相近的模型在开放题完整性上仍差40个百分点。这是作者在受控评测中的结论,尚未经同行评审,也未经本站独立复现,不应视为普遍成立的行业事实。论文v1提交时间为协调世界时10月20日17时59分,对应北京时间10月21日1时59分,列入arXiv10月21日当日目录,符合当日窗口。
方法与数据范围
按作者描述,基准以社会信息加工与感知-行动循环组织8个诊断能力:理解侧的社会定位、心理理解与需求推断,回应侧的交互时机、言语回应与具身行动,以及记忆与风险边界调节。数据来自6个公开数据集加公开vlog、访谈与日常录制,经人工加视觉语言模型筛选保留具可观察社会线索的片段,覆盖16类场景。构建采用多智能体隔离管线:提问智能体提议题目与参考线索,作答智能体仅见题目独立作答,批评智能体核查可答性与逻辑,再经5名心理学背景研究者一致评审才冻结入库,微调数据与基准隔离。评估除原始答案分外,另以推理验证分加权答案正确性、解释信息量、参考线索支撑与逻辑完整性,参数为1.2时常规支撑仅得约69.44%分。数据范围为作者自建的1000题630集,其中890道选择题、110道开放题;动机与适应性另以输入控制与Qwen3.5-4B上的监督微调加组相对策略优化检验。
结果
作者报告,在17个冻结多模态大模型上,时机能力验证分最低且保留率最低,正确时机答案中弱支撑或矛盾支撑占49.74%,说明答对不等于有充分依据。开放需求题上,Gemini 3.6 Flash与Claude Opus 5需求分相近,但满分率差40个百分点,聚合准确率遮蔽了完整性差异。作者称,输入控制与历史消融显示上下文依赖明显,监督微调加组相对策略优化在小规模设置下可改变选择与适应,但推理验证仅用于评估。以上均为作者在自选基线、固定输入帧采样与语音转写条件下的报告结果,存在实现差异与指标选择的影响。编辑解释:这些数字只说明在该论文设定下的相对表现,不代表在其他视频分布、语言或产品管线中必然复现,40个百分点等差距为特定子集结果而非平均承诺。
局限与评审状态
该工作为arXiv预印本,未标注会议接收或同行评审信息,应视为待验证的研究进展。结论限作者自建的1000题630集与16场景类别,未覆盖开放域长流程交互、复杂外部依赖或真实用户偏好。视频筛选依赖人工加模型辅助,可能引入选择与质量偏差;推理验证依赖参考线索标注与语义裁判,标注主观性与裁判模型偏差未完全消除。评测限17模型固定输入与评测协议,更换帧数、历史长度或解码设置后结果可能变化;监督微调与强化学习仅在Qwen3.5-4B语言骨干加冻结视觉编码器的小规模设置验证,不直接推广至其他规模模型。读者应将其视为特定条件下的研究信号,而非已确认的产品能力或通用结论。
潜在意义
若后续能独立复现,该思路可能为社会交互评测提供更细的诊断:将理解与回应选择分开,并以线索支撑约束解释质量,避免只看选项命中率。对中国用户的编辑提示是,可关注其后续开源的代码、数据集与项目页的第三方复测,特别是在中文社会场景与长视频上的表现,但在同行评审与独立验证出现前,不宜将其直接用于选型或生产决策。本站将继续以当日可核验进展为准,不补发往日研究。