当AI能写诗却看不懂医学论文，它真的“智能”吗？
不知道你有没有过这种经历——一个AI聊天机器人在日常对话中妙语连珠，你甚至觉得它有了“意识”。但当你问它一个稍微专业的医学问题，比如“术前使用他汀类药物能减少冠状动脉搭桥术后的房颤吗？”它的回答要么含糊其辞，要么直接胡说八道。
你开始怀疑，这些模型到底是真的“理解”了，还是只是在玩高级的文字接龙游戏？
这正是PubMedQA诞生的核心动机。它不是一个工具，而是一面“照妖镜”——专门用来照出AI在真正需要深度推理的医学领域，到底有几分真本事。
来自PubMed的211,000个“灵魂拷问”
PubMedQA是一个生物医学问答数据集，于2019年由匹兹堡大学和谷歌AI的研究团队联合发布，并在当年的自然语言处理顶会EMNLP上正式亮相。
它的构建方式本身就很有创意：研究团队从PubMed这个收录了超过2500万篇生物医学文献的数据库中，找到了那些标题本身就是问句的论文。因为许多生物医学论文的标题，本身就是对某个科学问题的直接提问，而论文摘要的“结论”部分，恰好就是作者对这个问题的回答。
他们把每篇论文拆解为几个部分：
-
问题：通常是论文的标题本身，或由其衍生而来。
-
上下文：论文的摘要，但特意去掉了“结论”部分。
-
长答案：被去掉的“结论”部分，详细解释了研究结果。
-
简短答案：将结论进一步提炼为“yes”、“no”或“maybe” 三选一的分类标签。
这个设计非常巧妙。它迫使AI模型不能仅仅依靠关键词匹配，而必须真正理解整个摘要的定量研究内容和逻辑，才能推理出“yes”或“no”。因为答案的线索就藏在研究的实验设计、数据和结果描述里，而不是某一句现成的话。
整个PubMedQA数据集包含：
-
1,000条专家人工标注的样本
-
61,200条未标注的样本
-
211,300条人工生成的样本
一个“不那么友好”的挑战
PubMedQA被设计成一个非常有挑战性的基准。在其原始论文中，最佳模型（在BioBERT上多阶段微调）的准确率为68.1%，而单个人的表现能达到78.0%。
这意味着，即使是2024年之前的顶尖模型，离一个普通人的理解能力还有将近10个百分点的差距。这个差距，直到大语言模型（LLM）爆发后才逐渐被抹平。
根据后续研究，像Vicuna-13B这类模型在零样本情况下就能达到89.5%的准确率。而使用更先进的集成学习方法，比如让多个模型投票或动态选择最优模型，可以在PubMedQA上取得超过96%的准确率。GPT-4等顶级商业模型在该任务上的表现同样十分优异。
这些数字说明，曾经需要大量生物医学领域知识才能应对的挑战，正在被参数量巨大的通用大模型所攻克。但这是否意味着模型真正理解了医学，还是只是它记住了更多的模式，依然是个开放问题。
最后说点实在的
如果你是一名AI研究员或开发者，特别是从事生物医学自然语言处理方向的，PubMedQA是你绕不开的基准之一。在发表论文或评估模型时，引用这个数据集，并清晰说明在PQA-L测试集上的准确率和F1分数，是行业通行的做法。
如果你是一名医学信息学或临床决策支持系统的从业者，PubMedQA可以帮你快速评估不同大语言模型在理解和推理医学文献方面的潜力。一个在PubMedQA上得分低于90%的模型，在真实的临床咨询场景中可能需要非常谨慎地使用。
如果你只是一名对AI医疗应用感兴趣的普通读者，PubMedQA的历史和设计理念值得了解。它提醒我们，衡量AI在医疗领域是否“智能”的标准，不是它能不能写诗，而是它能不能正确理解一篇专业的论文。