Les grands modèles de langage surpassent les humains dans les réponses empathiques, selon une étude

Les grands modèles de langage (LLMs) ont montré des capacités remarquables dans diverses tâches de traitement du langage. Cette étude vise à évaluer leurs capacités de réponse empathique par rapport aux humains. L'empathie, un composant crucial des agents conversationnels semblables aux humains, englobe des aspects cognitifs, affectifs et compassionnels. La recherche aborde les limites des études existantes en utilisant un design complet entre sujets pour évaluer les capacités empathiques des LLMs à travers un large éventail d'émotions.

L'étude a employé un design entre sujets, recrutant 1 000 participants via Prolific. Les participants ont été divisés en cinq groupes : un évaluant les réponses humaines et quatre évaluant les réponses de GPT-4, LLaMA-2-70B-Chat, Gemini-1.0-Pro et Mixtral-8x7B-Instruct. L'étude a utilisé 2 000 invites de dialogue provenant du jeu de données EmpatheticDialogues, couvrant 32 émotions distinctes. Les réponses ont été notées sur une échelle de 3 points (Mauvais, Correct, Bon) pour la qualité empathique. La conception de l'étude garantit l'évolutivité pour évaluer les futurs LLMs et minimise les biais associés aux conceptions intra-sujets.

Tous les quatre LLMs ont surpassé la référence humaine en qualité de réponse empathique. GPT-4 a montré la meilleure performance avec une augmentation de 31 % des notes 'Bon' par rapport aux humains. LLaMA-2, Mixtral-8x7B et Gemini-Pro ont suivi avec des augmentations respectives de 24 %, 21 % et 10 %. Les LLMs ont particulièrement bien performé en répondant aux émotions positives, avec des gains significatifs dans des émotions telles que Reconnaissant, Fier et Excité. Cependant, leur avantage de performance était moins prononcé pour les émotions négatives, suggérant une marge d'amélioration dans ce domaine.

Les résultats de l'étude soulignent les capacités avancées des LLMs à générer des réponses empathiques, surpassant souvent la performance humaine. Cela a des implications significatives pour les applications nécessitant une intelligence émotionnelle, telles que le soutien en santé mentale et le service client. Cependant, la variabilité des performances à travers différents types d'émotions souligne la nécessité de recherches et de développements continus pour améliorer l'intelligence émotionnelle des LLMs sur l'ensemble du spectre des émotions humaines. La méthodologie de l'étude fournit un cadre robuste pour évaluer les capacités empathiques des LLMs actuels et futurs.

Bien que l'échelle de notation à 3 points puisse limiter la granularité, elle a fourni une variabilité suffisante pour une analyse statistique robuste et offre une base pour des études futures plus détaillées. Les considérations éthiques incluent l'utilisation responsable des données, une compensation équitable pour les participants humains et la transparence dans la méthodologie de l'étude. L'étude met également en lumière d'importantes préoccupations éthiques entourant l'utilisation des LLMs empathiques, y compris les biais potentiels, l'impact sur les compétences d'empathie humaine et la nécessité de transparence sur la nature des réponses générées par l'IA pour prévenir une dépendance excessive ou un attachement émotionnel inapproprié.