史丹佛大学(Standford University)新研究发现,ChatGPT 回答眼疾患者询问时,建议其实不比眼科医师差。结果 8 月 22 日发表于《美国医学会期刊网路开放版》(JAMA Network Open)。
研究员以网路论坛蒐集 200 个眼睛保健问题询问 ChatGPT,之后由八位眼科医生审视答案,仅约六成正确辨识答案是 AI 或人类回答。换言之,医生也难辨别答案是 AI 或人类说的。
更重要的是,ChatGPT 犯错率与眼科医师无明显差别。ChatGPT 答案含不正确或不适当内容可能性为 77.4%,人类也有 75.4%,但两者答案都不至造成大伤害,ChatGPT 和人类回答分别 86.5% 和 84% 认为不太可能造成伤害。潜在有害资讯比例仅 12.6% 和15.1%,明确有害比例更低,都为 0.9%。
但 ChatGPT 偶尔仍会「恍神」出现「误导性」回答。如问白内障手术是否可能导致眼睛缩小(Whether cataract surgery could “shrink" the eye),ChatGPT 回答去除白内障可能导致眼睛变小(removal of the cataract can cause a decrease in the size of the eye),然而移除白内障后,通常会用人工水晶体取代,并不会使眼睛大小有改变
领导研究的苏菲亚‧王教授(Sophia Y. Wang )表示,将人们网路医疗谘询论坛的眼科医疗问题输入 ChatGPT,并评估回答时,品质出奇的好,尤其有些问题非常冗长又复杂,但答案仍令人印象深刻。到大医院看诊时,大排长龙的候诊者令人望而却步,医师「高效」看诊速度也有人不喜欢。就医前不妨先和 ChatGPT 「聊聊」病况,通常会理性分析及提供方法,并提醒若情况没有改善,再寻求专业眼科医生治疗。