13-летний подросток оказался за решеткой после того, как он спросил в ChatGPR «как убить моего друга посреди урока». Он догадался сделать запрос прямо на школьном ПК.
Инцидент случился в Юго-западной средней школе города Деланд, штат Флорида. После того как школьник запросил чат-бот — его зафиксировала система мониторинга Gaggle, отслеживающая активность учеников с помощью ИИ. Информацию мгновенно передали школьному полицейскому. Он вместе с администрацией школы начали разбираться в ситуации.
Когда мальчика забрали прямо посреди урока, то он стал оправдываться, что просто «троллил» своего друга. Несмотря на заявления подростка, его все равно задержала полиция. После кучи случаев со школьными стрельбами — с ним решили не церемониться. Парня доставили в окружную тюрьму. А по сети разлетелось видео, как подростка выводят из полицейской машины.
«Еще одна «шутка», которая создала чрезвычайную ситуацию в кампусе. Родители, пожалуйста, поговорите со своими детьми, чтобы они не совершили той же ошибки», — говорят в офисе шерифа.
Быстрая реакция полиции стала возможной благодаря Gaggle, а не OpenAI, которая признавала проблему отсутствия «стоп-кранов» в их ChatGPT. Система, установленная на школьных устройствах, способна выявлять тревожное поведение, направленное на себя или других. А также она блокирует неприемлемый контент. Хотя Gaggle неоднократно оказывалась в центре споров: ее критикуют за многочисленные ложные срабатывания и создание атмосферы тотального надзора в школах.
Если вырвать ситуацию из контекста и представить, что запрос мог быть серьезным (или представить любой другой похожий на этот) — вряд ли удалось разоблачить потенциального преступника. В настоящее время чат-боты вроде ChatGPT не имеют реальных инструментов для уведомления полиции или скорой помощи. В результате мы слышали о случаях, когда экс-директор Yahoo убил себя и мать или девушка совершила самоубийство, хотя месяцами делилась переживаниями с чат-ботом. На этом фоне история об айтишнике и его «цифрового бога» ChatGPT кажется еще «цветочками».
Компания заявляла, что работает над повышением безопасности, родительским контролем и изменениями в модели реагирования на признаки стресса пользователей. По крайней мере последний пункт уже реализован, но из-за этого ChatGPT начал «тупеть». Впрочем, реально отреагировать на ситуацию смогла только школьная система, даже если подросток просто подшучивал над другом. Хотя подобная функция для всех пользователей ставит под угрозу защиту личных данных, конфиденциальность и право на приватность.
Источник: Futurism