Группа энтузиастов из стартапа Ansible Health протестировала нейросеть ChatGPT на способность сдать один из сложнейших экзаменов США – USMLE (экзамен на получение медицинской лицензии). Он состоит из трех частей, подготовка к нему занимает 300-400 часов, перечень вопрос варьируется от фундаментальных медицинских знаний до парадоксов биоэтики. Но самое главное – ChatGPT не имеет никаких познаний в медицине, он лишь мастерски манипулирует текстовой информацией для выдачи релевантных ответов.
Результат удивил всех участников – текстовый ИИ почти сумел сдать этот экзамен, его показатели успешных ответов варьировались от 52 % до 75 % при нормативе в 60 %. Важное уточнение: ИИ не обучали специально перед сдачей экзамена, он по-прежнему ничего не знает о медицине. И это нашло отражение в его ответах – ChatGPT «придумал» несколько несуществующих клинически важных открытий и исследований для аргументированного ответа на некоторые вопросы.
В ходе прохождения экзамена ИИ показал блестящую способность выстраивать логические цепочки для обоснования своих ответов. Он сумел отыскать в базе данных необходимую информацию по косвенным признакам, чтобы дать развернутый ответ. Увы, в некоторых случаях он был не только заведомо неверным, но и мог привести к трагическим последствиям в случае следования советам ИИ. Это означает, что в ближайшее время ИИ не заменит медицинских работников — но может стать незаменимым помощником для них, как источник полезной информации.