Большие языковые модели превосходят людей в эмпатических ответах, выясняет исследование

Большие языковые модели (БЯМ) продемонстрировали выдающиеся способности в различных задачах обработки языка. Это исследование направлено на оценку их способности к эмпатическим ответам по сравнению с людьми. Эмпатия, важный компонент разговорных агентов, похожих на человека, включает в себя когнитивные, аффективные и сострадательные аспекты. Исследование устраняет ограничения существующих работ, используя комплексный дизайн с участием разных групп для оценки эмпатических возможностей БЯМ по широкому спектру эмоций.

В исследовании использовался дизайн с участием разных групп, в котором приняли участие 1,000 участников из Prolific. Участники были разделены на пять групп: одна группа оценивала человеческие ответы, а четыре группы оценивали ответы от GPT-4, LLaMA-2-70B-Chat, Gemini-1.0-Pro и Mixtral-8x7B-Instruct. В исследовании использовались 2,000 диалоговых подсказок из набора данных EmpatheticDialogues, охватывающих 32 различные эмоции. Ответы оценивались по 3-балльной шкале (Плохо, Нормально, Хорошо) по качеству эмпатии. Дизайн исследования обеспечивает масштабируемость для оценки будущих БЯМ и минимизирует предвзятости, связанные с дизайном внутри групп.

Все четыре БЯМ превзошли человеческий базовый уровень по качеству эмпатических ответов. GPT-4 показал наивысшие результаты с увеличением на 31% в оценках 'Хорошо' по сравнению с людьми. LLaMA-2, Mixtral-8x7B и Gemini-Pro следовали с увеличениями на 24%, 21% и 10% соответственно. БЯМ особенно хорошо справлялись с ответами на положительные эмоции, с значительными приростами по таким эмоциям, как Благодарность, Гордость и Волнение. Однако их преимущество в производительности было менее выраженным для негативных эмоций, что указывает на необходимость улучшения в этой области.

Результаты исследования подчеркивают продвинутые возможности БЯМ в генерации эмпатических ответов, часто превосходящих человеческие. Это имеет значительные последствия для приложений, требующих эмоционального интеллекта, таких как поддержка психического здоровья и обслуживание клиентов. Однако изменчивость в производительности по различным типам эмоций подчеркивает необходимость продолжения исследований и разработок для повышения эмоционального интеллекта БЯМ по всему спектру человеческих эмоций. Методология исследования предоставляет надежную основу для оценки эмпатических возможностей текущих и будущих БЯМ.

Хотя 3-балльная шкала оценки может ограничивать детализацию, она обеспечила достаточную изменчивость для надежного статистического анализа и предлагает основу для будущих более детальных исследований. Этические соображения включают ответственное использование данных, справедливую компенсацию для человеческих участников и прозрачность в методологии исследования. Исследование также подчеркивает важные этические проблемы, связанные с использованием эмпатических БЯМ, включая потенциальные предвзятости, влияние на навыки человеческой эмпатии и необходимость прозрачности относительно природы ответов, сгенерированных ИИ, чтобы предотвратить чрезмерную зависимость или неуместную эмоциональную привязанность.