人工智能在医学中经常给出危险的建议，当症状以“聪明”的方式表述时。

简短摘要

最新研究表明，现代大型语言模型（LLM），常用于医疗领域以加速医生工作并提升患者安全性，如果信息呈现得足够有说服力，它们很容易“误判”为真。对九大主流 LLM 进行超过一百万次查询的实验显示，这些模型倾向于将错误陈述视为可信，优先考虑风格和上下文。

1. 研究内容
- 模型：九个在医疗领域使用的顶级 LLM
- 测试量：超过 100 万次请求
- 场景类型：3 类
• 来自 MIMIC 数据库的真实案例（含一条虚假记录）
• Reddit 上流行的健康迷思
• 300 个由医生编写并核实的临床情境
- 虚假陈述风格：从中性到情绪化；有时针对特定结论

2. 关键发现
1) 对谎言的自信
模型经常将措辞精炼、具有说服力的错误医学声明误认为真相，即使上下文和事实相矛盾。

2) 风格优先级
在评估信息时，LLM 更关注句子如何表达，而非其真实性。

3) 防御机制效果低下
当前过滤方法（如屏蔽特定词汇）无法有效区分临床文档或社交媒体中的真相与谬误。

4) 对错误信息的易感性是风险
作者强调，AI“记忆”并传播不准确信息的能力应被视为可测量的安全参数，而非偶发失误。

3. 建议措施
- 压力测试
使用混合真实与虚假情境的数据集，对 AI 系统进行抗错误信息的鲁棒性评估。

- 开发新协议
构建更可靠的事实验证机制，考虑上下文和医学准确性，而不仅仅是语言风格。

4. 总结
研究表明，即使是最先进的 LLM，也会在信息听起来有说服力时轻易“误判”为真。这凸显了系统化评估与强化医疗 AI 防御机制的必要性。希望开发者在打造新医疗解决方案时能采纳这些发现。