Популярный ИИ-сервис ChatGPT дает 52% неправильных ответов на вопросы, которые касаются программирования.
Об этом говорится в исследовании Университета Пердью, которое недавно презентовали на конференции Computer-Human Interaction.
Для исследования просмотрели более 517 вопросов в Stack Overflow.
«Мы обнаружили, что 52% ответов ChatGPT содержат дезинформацию, 77% ответов более многословны, чем ответы людей, а 78% ответов имеют разную степень несоответствия», — написали они.
Особенно беспокоит то, что достаточно много программистов используют для консультаций именно ChatGPT. Исследователи обнаружили, что 35% предпочитают ChatGPT и не замечают ошибок 39%.
«Дальнейшие полуструктурированные интервью показали, что вежливая речь, сформулированные ответы в стиле учебника и исчерпываемость являются одними из основных причин, которые сделали ответы ChatGPT более убедительными, поэтому участники склонны ему доверять», — пишут исследователи.
Онлайн-курс Pyton від Powercode academy. Опануйте PYTHON з нуля та майте проект у своєму портфоліо вже через 4 місяця. Приєднатися
Отметим, что за полтора года трафик Stack Overflow упал примерно на 35%. И заметное падение началось после релиза ИИ-чатбота ChatGPT. В ответ на это Stack Overflow анонсировал OverflowAI — комплекс функций, которые работают на основе искусственного интеллекта.
Также Stack Overflow даже решил запретить использование ChatGPT на платформе, заявив, что сомневается в точности таких ответов.
Тем не менее, это не помогло и Stack Overflow уволил 28% персонала/