Liste complète des modèles de langage open-source et des LLM chinois

Le Pocket des modèles de langage open-source est une liste organisée de modèles de langage open-source, avec un accent particulier sur les modèles qui sont soit conviviaux pour le chinois, soit principalement développés par des équipes chinoises. Cette ressource vise à fournir un aperçu complet des modèles disponibles, couvrant un large éventail d'applications et de domaines. Elle sert d'outil précieux pour les chercheurs, les développeurs et les passionnés qui cherchent à explorer et à utiliser des modèles de langage open-source pour divers projets. Ce guide de poche est continuellement mis à jour pour refléter le paysage en évolution rapide de l'IA et des modèles de langage.

Cette section met en évidence les modèles de langage à usage général qui sont soit conviviaux pour le chinois, soit développés par des équipes chinoises. Ces modèles sont conçus pour gérer une grande variété de tâches et conviennent aux applications générales. Parmi les exemples, citons Baichuan, Chinese LLaMA & Alpaca, Tongyi Qianwen Qwen, et bien d'autres. Ces modèles prennent souvent en charge le chinois et l'anglais et sont entraînés sur de grands ensembles de données pour atteindre des capacités étendues. La liste comprend également des modèles comme ChatGLM, Skywork et Yi-6B/34B, démontrant la diversité et l'innovation de la communauté open-source chinoise. Des modèles tels que Qwen1.5 et DeepSeek LLM représentent la pointe, offrant des performances et des capacités améliorées pour diverses tâches de traitement du langage naturel.

Cette section se concentre sur les modèles de langage spécifiquement conçus pour les applications de santé et médicales. Ces modèles sont entraînés sur des connaissances et des données médicales pour fournir des informations précises et fiables dans le domaine médical. Parmi les exemples, citons BenCao, HuaTuo, BianQue et Mingyi (MING). Ces modèles sont capables d'effectuer des tâches telles que la réponse aux questions médicales, l'aide au diagnostic et la génération de textes médicaux. La section comprend également des modèles comme DoctorGLM et ChatMed, qui sont conçus pour des consultations médicales spécialisées. L'inclusion de modèles comme Llama-3-8B-UltraMedical et ProLLM souligne les progrès continus dans ce domaine critique.

Cette section répertorie les modèles de langage adaptés aux applications financières et économiques. Ces modèles sont entraînés sur des données financières et sont conçus pour comprendre et traiter le langage et les concepts financiers. Parmi les exemples, citons PIXIU FinMA, XuanYuan et FinGLM. Ces modèles peuvent être utilisés pour des tâches telles que l'analyse financière, l'évaluation des risques et les prévisions économiques. Le développement de modèles comme Deepmoney et Cornucopia-LLaMA-Fin-Chinese démontre l'intérêt croissant pour l'application des LLM au secteur financier.

Cette section présente des modèles de langage conçus pour des applications juridiques. Ces modèles sont entraînés sur des textes juridiques et sont capables de comprendre et de traiter le langage juridique. Parmi les exemples, citons HanFei, Zhihai Luwen et ChatLaw. Ces modèles peuvent aider à des tâches telles que la recherche juridique, l'analyse de contrats et la génération de documents juridiques. L'inclusion de modèles comme LaWGPT et Lawyer LLaMA souligne l'importance des LLM spécialisés dans le domaine juridique.

Cette section met en évidence les modèles de langage axés sur l'éducation et les mathématiques. Ces modèles sont entraînés sur du matériel éducatif et des données mathématiques pour aider à l'apprentissage et à la résolution de problèmes. Parmi les exemples, citons TaoLi, EduChat et InternLM-Math. Ces modèles peuvent être utilisés pour des tâches telles que le tutorat, l'aide aux devoirs et le raisonnement mathématique. Le développement de modèles comme DeepSeekMath et Qwen2-Math reflète la demande croissante d'outils éducatifs alimentés par l'IA.

Cette section répertorie les modèles de langage conçus pour les tâches liées au code et à la programmation. Ces modèles sont entraînés sur des dépôts de code et de la documentation de programmation pour aider à la génération de code, au débogage et au développement de logiciels. Parmi les exemples, citons CodeShell, DeepSeek Coder et Magicoder. Ces modèles peuvent être utilisés pour des tâches telles que la complétion de code, la détection de bugs et la traduction de code. Des modèles comme CodeQwen1.5 et CodeGemma présentent les avancées en matière de codage assisté par l'IA.

Cette section comprend une variété d'autres modèles open-source qui sont remarquables pour leurs applications spécifiques ou leurs caractéristiques uniques. Ces modèles couvrent un large éventail de domaines, y compris le transport (TransGPT), les médias sociaux (MediaGPT) et la langue chinoise ancienne (Erya). Cette section comprend également des modèles développés en dehors de la Chine, tels que Cerebras, MPT-7B et Dolly 1&2, offrant une perspective plus large sur le paysage des modèles de langage open-source. Des modèles comme Mistral 7B et Llama 3 représentent des contributions significatives au domaine.

Cette section fournit des ressources et des outils pour l'entraînement et l'inférence des modèles de langage. Elle comprend des frameworks et des techniques tels qu'Alpaca-LoRA, ColossalAI et DeepSpeed-Chat. Ces ressources aident les développeurs à affiner et à déployer efficacement les modèles de langage. La section couvre également des méthodes comme le DPO (Direct Preference Optimization) et le QLoRA, qui sont utilisés pour améliorer les performances des modèles et réduire les coûts de calcul. Des outils comme llama.cpp et vLLM sont également répertoriés pour une inférence optimisée.

Cette section répertorie les benchmarks d'évaluation utilisés pour évaluer les performances des modèles de langage. Ces benchmarks fournissent des métriques standardisées pour évaluer les modèles sur diverses tâches. Parmi les exemples, citons FlagEval, C-Eval et HaluEval. Ces benchmarks aident les chercheurs et les développeurs à comparer différents modèles et à suivre les progrès dans le domaine. La section comprend également des benchmarks comme CMB (Comprehensive Medical Benchmark in Chinese) et Fin-Eva, qui sont conçus pour des domaines spécifiques.