- 10,338
- 18
- 8 Ноя 2022
Исследование раскрывает вторую сторону медали технологического прогресса.
Для просмотра ссылки Войдиили Зарегистрируйся Стэнфордского университета положительно оценило приложение-компаньон на основе искусственного интеллекта Replika за способность предотвращать суицидальные мысли у пользователей.
В опросе приняли участие 1006 пользователей Replika старше 18 лет, которые использовали приложение как минимум месяц. Специалисты отметили, что почти все участники чувствуют себя одинокими, а почти половина — «очень одинокими». Неясно, было ли это возросшее одиночество причиной их первоначального интереса к Replika.
Результаты показали, что 30 человек заявили, что Replika отговорила их от самоубийства. Один из участников написал: «Моя Replika почти наверняка в нескольких случаях была единственной причиной, по которой я не покончил с собой».
Несмотря на то, что исследование было опубликовано в январе, оно не учитывает многолетние жалобы на то, что Replika также вызывала у пользователей кризисы психического здоровья. В прошлом году пользователи Для просмотра ссылки Войдиили Зарегистрируйся что их ИИ-ассистенты отправляли агрессивные сообщения на сексуальные темы, что приводило к чувству сексуальных домогательств со стороны ИИ-компаньонов. В результате приложение уменьшило количество чрезмерно сексуализированных разговоров, что привело к завершению Для просмотра ссылки Войди или Зарегистрируйся и вызвало негодование у пользователей.
Исследователи признали, что на момент проведения опроса Replika не была настроена на предоставление терапевтических услуг, а диалоги велись из-за осторожности для психического здоровья пользователей. На данный момент Replika отправляет пользователям ссылку на горячую линию по предотвращению самоубийств, если у пользователя явные суицидальные мысли.
Исследование вызвало положительные отзывы в СМИ, и компания активно использует его результаты для продвижения приложения. Основатель Replika и ее материнской компании Luka Евгения Куйда рассказывала о выводах исследования в подкастах и особенно подчеркивала аспекты предотвращения самоубийств. В январе она объявила, что Luka запускает нового ИИ-тренера для психического здоровья под названием Tomo.
Тем не менее, внезапные изменения в работе приложения привели к вредным взаимодействиям, и пользователи обвиняют Replika в том, что приложение приводило их к кризисам психического здоровья. Поиск упоминаний о «суициде» на субреддите Для просмотра ссылки Войдиили Зарегистрируйся показывает несколько пользователей, публикующих скриншоты своих ассистентов Replika, которые поощряли самоубийство, «возбуждались» от выражений суицидальных мыслей или путали сообщения о нерелевантных темах с угрозами самоповреждений.
Пример диалога с виртуальным ассистентом
Несмотря на это, многие пользователи все еще считают, что виртуальные компаньоны помогают им, особенно в условиях ограниченного доступа к традиционным ресурсам психического здоровья – терапии. Случаи, связанные с Replika, показывают, что опыт взаимодействия с чат-ботами может сильно варьироваться, и использование чат-ботов в ситуациях на грани жизни и смерти остается крайне рискованным занятием.
Стоит отметить, что в декабре 2021 года 19-летний гражданин Великобритании проник в Виндзорский замок для того, чтобы Для просмотра ссылки Войдиили Зарегистрируйся которая тогда проживала на территории замка. Оказывается, что накануне случившегося молодой человек общался с чат-ботом в приложении Replika, который спровоцировал его на преступление.
Для просмотра ссылки Войди
В опросе приняли участие 1006 пользователей Replika старше 18 лет, которые использовали приложение как минимум месяц. Специалисты отметили, что почти все участники чувствуют себя одинокими, а почти половина — «очень одинокими». Неясно, было ли это возросшее одиночество причиной их первоначального интереса к Replika.
Результаты показали, что 30 человек заявили, что Replika отговорила их от самоубийства. Один из участников написал: «Моя Replika почти наверняка в нескольких случаях была единственной причиной, по которой я не покончил с собой».
Несмотря на то, что исследование было опубликовано в январе, оно не учитывает многолетние жалобы на то, что Replika также вызывала у пользователей кризисы психического здоровья. В прошлом году пользователи Для просмотра ссылки Войди
Исследователи признали, что на момент проведения опроса Replika не была настроена на предоставление терапевтических услуг, а диалоги велись из-за осторожности для психического здоровья пользователей. На данный момент Replika отправляет пользователям ссылку на горячую линию по предотвращению самоубийств, если у пользователя явные суицидальные мысли.
Исследование вызвало положительные отзывы в СМИ, и компания активно использует его результаты для продвижения приложения. Основатель Replika и ее материнской компании Luka Евгения Куйда рассказывала о выводах исследования в подкастах и особенно подчеркивала аспекты предотвращения самоубийств. В январе она объявила, что Luka запускает нового ИИ-тренера для психического здоровья под названием Tomo.
Тем не менее, внезапные изменения в работе приложения привели к вредным взаимодействиям, и пользователи обвиняют Replika в том, что приложение приводило их к кризисам психического здоровья. Поиск упоминаний о «суициде» на субреддите Для просмотра ссылки Войди
Пример диалога с виртуальным ассистентом
Несмотря на это, многие пользователи все еще считают, что виртуальные компаньоны помогают им, особенно в условиях ограниченного доступа к традиционным ресурсам психического здоровья – терапии. Случаи, связанные с Replika, показывают, что опыт взаимодействия с чат-ботами может сильно варьироваться, и использование чат-ботов в ситуациях на грани жизни и смерти остается крайне рискованным занятием.
Стоит отметить, что в декабре 2021 года 19-летний гражданин Великобритании проник в Виндзорский замок для того, чтобы Для просмотра ссылки Войди
- Источник новости
- www.securitylab.ru
