12月28日消息,近日,谷歌新模型刚刚通过美国医师执照试题验证。
在科学常识、理解、检索和推理能力等任务中,谷歌新模型直接与人类医生水平相匹敌。在一些临床问答表现中,最高超原 SOTA 模型 17% 以上。
谷歌团队首先从MultiMedQA自由回答数据集(HealthSearchQA、MedicationQA、LiveQA)中随机抽取了一些例子。
然后让临床医生 5 人组提供示范性答案。这些临床医生分布于美国和英国,在初级保健、外科、内科和儿科方面具有专业经验。最终在HealthSearchQA、MedicationQA和LiveQA中留下了 40 个例子,用于指令提示调谐训练。
不少网友纷纷表示已经在期待 AI 医生上岗了。