东京医科齿科大学的一个研究小组验证了ChatGPT在自我诊断骨科疾病方面的可靠性，发现诊断的准确率和重复性较低。他们还发现，正确答案率会根据提问方式而变化，并阐明了获得高可靠性的要点。
使用人工智能聊天机器人在就诊前进行自我诊断的患者数量正在增加，并且预计未来这一数字将继续增加。然而，尽管已经有几项研究评估了ChatGPT在自我诊断中的正确答案率，但还没有关于其可重复性或建议进行体检的程度的研究。
在这项研究中，五名研究人员在五天内使用完全相同的文本反复询问 ChatGPT（版本 5）有关五种骨科疾病的问题，并验证答案。正确答案率和重现性因疾病而异，正确答案率最低仅为 5%，重现性为“差”。此外，只有约 5% 的受访者坚决建议去医疗机构就诊。此外，他们发现正确答案率因提问方式而异，并提出了更优选的问题格式。
这项研究强调了 ChatGPT 医疗使用中的问题。预计这将提高生成式人工智能作为自我诊断工具的安全性，并为开发用于医疗援助的新型生成式人工智能系统做出重大贡献。未来，他们计划探索针对每种疾病状态的适当询问方法，使用ChatGPT以外的一代AI以及ChatGPT的新版本进行研究，并评估其可靠性。
