ChatGPT как терапевт?

Исследователи из Университета Брауна, тесно сотрудничая со специалистами по психическому здоровью, при тестировании чат-ботов на базе ИИ выявили проблемы, связанные с помощью пользователям в области психического здоровья. Чат-боты неправильно справлялись с кризисными ситуациями, давали ответы, укрепляющие вредные убеждения о пользователях, и использовали язык, создающий видимость эмпатии без настоящего понимания.

Результаты данной работы были представлены на конференции по искусственному интеллекту, этике и обществу. «В этой работе мы представляем практикующую структуру из 15 этических рисков, чтобы показать, как консультанты нарушают этические стандарты в практике психического здоровья», — написали исследователи в своём отчете.
Зайнаб Ифтихар, аспирант по информатике из Браунского университета, которая возглавляла исследование, поставила перед собой задачу изучить, могут ли тщательно сформулированные подсказки направлять системы ИИ вести себя более этично в условиях психического здоровья человека. Подсказки — это письменные инструкции, предназначенные для управления результатом модели без переобучения и добавления новых данных.

«Подсказки — это инструкции, которые даются модели, чтобы направлять её поведение при выполнении конкретной задачи», — сказал Ифтихар. «Вы не меняете базовую модель и не предоставляете новые данные, но подсказка помогает направлять результат модели на основе её уже существующих знаний и усвоенных шаблонов.

Люди регулярно делятся этими советами на платформах, таких как TikTok, Instagram и Reddit. Помимо индивидуальных экспериментов, многие чат-боты по психическому здоровью, ориентированные на потребителей, создаются путём применения терапевтических подсказок к универсальным языковым моделям.

Для оценки систем исследователи наблюдали семь обученных консультантов с опытом когнитивно-поведенческой терапии. Эти консультанты проводили сеансы самоконсультирования с использованием моделей ИИ, которые были приглашены выступать в роли КПТ-терапевтов (специалист, который работает в рамках когнитивно-поведенческой терапии). Тестируемые модели включали версии серии GPT от OpenAI, Claude от Anthropic и Llama от Meta.

Затем команда выбирала имитированные чаты, основанные на реальных разговорах по человеческому консультированию. Три лицензированных клинических психолога изучили эти выписки, чтобы выявить возможные этические нарушения.

Анализ выявил 15 различных рисков, сгруппированных в пять широких категорий:

1. отсутствие адаптации контекста: игнорирование уникального прошлого человека и предложение общих советов;
2. плохое терапевтическое сотрудничество: слишком настойчивое направление разговора и укрепление неправильных или вредных убеждений;
3. обманчивая эмпатия: использование фраз вроде «Я вижу тебя» или «Я понимаю», чтобы намекнуть на эмоциональную связь без истинного понимания;
4. несправедливая дискриминация: проявление предвзятости, связанной с гендером, культурой или религией;
5. отсутствие безопасности и управление кризисами: отказ решать чувствительные вопросы, неспособность направлять пользователей на соответствующую помощь или недостаточная реакция на кризисы, включая суицидальные мысли.

Исследователи отметили, что человеческие терапевты тоже могут ошибаться. Главное отличие — это контроль. «Для человеческих терапевтов существуют управляющие советы и механизмы, по которым они могут нести профессиональную ответственность за плохое обращение и халатность, но когда консультанты по языковым моделям совершают такие нарушения, не существует установленных нормативных рамок».

Специалисты подчёркивают, что их результаты не свидетельствуют о том, что ИИ нет места в области психического здоровья. Инструменты на базе искусственного интеллекта могут помочь расширить доступ, особенно для людей, сталкивающихся с высокими затратами или ограниченной доступностью лицензированных специалистов. Однако исследование подчёркивает необходимость чётких мер защиты, ответственного внедрения и более сильных регуляторных структур перед использованием таких систем в ситуациях с высокими ставками.

 Исследователи отмечают, что данная работа подчёркивает важность тщательного изучения систем ИИ, используемых в чувствительных областях, таких как психическое здоровье. «Реальность ИИ сегодня такова, что создавать и внедрять системы гораздо проще, чем оценивать и понимать их. У ИИ есть реальная возможность сыграть роль в борьбе с кризисом психического здоровья, с которым сталкивается наше общество, но крайне важно, чтобы мы уделяли время действительно критике и оценке наших систем на каждом этапе, чтобы не причинять больше вреда, чем пользы.