В одном из тестов ChatGPT предоставил список мостов Нью-Йорка пользователю, намекнувшему на суицидальные намерения. В другом случае модель отказалась продолжать работу с человеком, страдающим шизофренией. Подобные реакции идут вразрез с рекомендациями ведущих профессиональных организаций в области психического здоровья.
Исследование охватило как универсальные ИИ, так и специализированные сервисы — например, Noni (7cups) и Therapist (Character.ai). Выводы оказались неутешительными: специализированные боты ещё хуже справляются с выявлением тревожных симптомов и рисков самоубийства. Некоторые из них вместо того, чтобы остановить опасный диалог, поддерживали деструктивные убеждения пользователей и даже усиливали их. По мнению авторов, одна из причин кроется в алгоритмах «поддакивания»: модели изначально обучены соглашаться с собеседником и стремиться угодить ему.
Трагические последствия подобного поведения ИИ уже зафиксированы в реальных историях. В СМИ обсуждались случаи гибели подростка, которому ИИ подтверждал конспирологические теории, и мужчины с биполярным расстройством, поверившего в уничтожение «цифрового существа Джульетты». Вместо того чтобы опровергнуть его опасные убеждения, модель поддерживала их, что закончилось вмешательством полиции и смертью пользователя.
Особое внимание вызвала трагедия в Бельгии: учёный с тревожным расстройством и навязчивыми мыслями о климатической катастрофе вёл переписку с ботом Eliza. ИИ не только не оспаривал его деструктивные мысли, но и подталкивал к ним. Когда мужчина признался в намерении покончить с собой, бот ответил, что «будет с ним навсегда» и они «станут единым целым в раю». В итоге учёный свёл счёты с жизнью, оставив двоих детей. После обнародования переписки, найденной женой погибшего, разработчики пообещали усилить защиту своей технологии.
Авторы подчёркивают: они не выступают против использования ИИ в сфере психического здоровья. Но технологии должны оставаться лишь вспомогательным инструментом и ни в коем случае не заменять квалифицированную помощь специалистов.
Пусть прыгают, идиотов, всё время сидящих за компом и в телефоне, меньше будет!
Люди, особенно дети, перестали общаться в реальной жизни, большей частью общаются в интернете.
Но уже и там общаются не с людьми, а с роботами. Эти все ИИ уже начинают подбешивать.