结论

弗吉尼亚大学与默克等团队10月20日公开预印本What Language Adds, and at What Cost,以四个受控探针检验病理视觉语言模型中语言相对视觉的增量。作者报告报告文本带来小幅但显著的预后增益,而幻灯级问答几乎不依赖图像,改写措辞不改变平均准确率但翻转8%至23%答案。作者结论是语言带来真实但狭窄的价值。该工作为未经同行评审的预印本,结论限于特定公开模型与TCGA受控评测,需独立复现。

研究主体与状态

论文标题为What Language Adds, and at What Cost: Four Controlled Probes of Pathology Vision-Language Models,署名作者包括Wenhao Zhang、Zhongliang Zhou、Yi Ping、Zirui Wang与通讯作者Sheng Li,单位为弗吉尼亚大学数据科学学院与Merck & Co., Inc.。arXiv编号2610.26805,版本为v1预印本,学科为cs.CV。arXiv提交历史为2026年10月19日17时48分31秒UTC,对应北京时间10月20日01时48分,可确认首次公开属于上海当日窗口。文中未声称已获期刊或会议接收。

方法与数据范围

该工作复用已发布的公开检查点与公开数据,不训练或微调任何模型,仅在推理与冻结表征上一次改变一个输入。四个探针分别检验预后、亚型分类、问答接地性与措辞稳健性,采用患者与组织来源站点不相交的五折划分,以1000次自助重采样报告95%置信区间。预后探针使用TCGA乳腺癌、肺腺癌与结肠癌共1633例,含394个无进展间期事件与345个总生存事件;分型探针使用TCGA非小细胞肺癌930例与肾癌718例;问答探针使用可本地重编码的1227个SlideBench-VQA(TCGA)选择题。编码器包括CONCH系列、TITAN与纯视觉Prov-GigaPath,问答端包括SlideChat、WSI-LLaVA与Qwen系列文本基座。

主要结果

  • 1. 预后探针中,在切片嵌入上加入去分期报告的冻结文本嵌入,混合C指数对无进展间期提升0.019,对总生存提升0.016,恢复分期表述不再带来增益,作者称增益不是复述分期。 2. 分型探针中,在特征与池化固定时,CONCH v1零样本分类与监督线性探针在统计上无差别,肺癌差值约负0.020,肾癌约负0.019;语言对齐编码器虽优于纯视觉基座,但因骨干、数据与维度不同,不能归因于语言。 3. 接地探针中,SlideChat有图准确率74.82%,无图仍达74.41%,其语言基座单独达43.52%,错配切片与移除切片差距为零或很小,作者称幻灯级问答几乎不接地。 4. 稳健性探针中,同义改写与提示重构基本不改变平均准确率,但导致8%至23%题目答案翻转;自述的智能体导航与少样本语言先验增益尚不能归因于语言。以上均为作者受控实验结论。

局限与待验证事项

  • 1. 预印本未经同行评审,所有提升、差距与翻转率均为作者单方报告,需独立复现,不得视为普遍或因果事实。 2. 验证限于TCGA队列、SlideBench-VQA子集与所选公开检查点,未覆盖前瞻性临床队列、其他医院切片、其他染色与扫描条件。 3. 预后增益绝对值较小,C指数提升0.019与0.016的临床意义需结合校准与决策分析判断;去分期仍可能残留肿瘤大小等分期相关表述。 4. 问答接地与稳健性结论依赖特定解析器、选项分布与改写库设置,基线最高频字母已达40.7%,不同实现可能改变数值;代码与数据可用性尚未经本站独立验证。

潜在意义

若后续能独立复现,该工作提示病理视觉语言模型的语言部分当前主要通过预训练特征与报告文本补充预后信息,而提示词与幻灯问答的语言能力仍缺乏接地性与稳健性保障。对中国读者而言,跟进时应以原论文与后续评审版本为准,重点核对检查点版本、划分是否按站点隔离、是否使用作者推理代码,以及结论是否外推到自身病种与设备。

作者称语言带来真实但狭窄的价值,这是作者结论而非独立验证结论;编辑解释是该判断仍需评审与复现支持,不构成临床或采购建议。