Lista completa de modelos de lenguaje de código abierto y LLMs chinos

El Pocket de Modelos de Lenguaje de Código Abierto es una lista curada de modelos de lenguaje de código abierto, con un fuerte énfasis en modelos que son amigables con el chino o desarrollados principalmente por equipos chinos. Este recurso tiene como objetivo proporcionar una visión general completa de los modelos disponibles, cubriendo una amplia gama de aplicaciones y dominios. Sirve como una herramienta valiosa para investigadores, desarrolladores y entusiastas que buscan explorar y utilizar modelos de lenguaje de código abierto para diversos proyectos. Esta guía de bolsillo se actualiza continuamente para reflejar el panorama en rápida evolución de la IA y los modelos de lenguaje.

Esta sección destaca modelos de lenguaje de propósito general que son amigables con el chino o desarrollados por equipos chinos. Estos modelos están diseñados para manejar una amplia variedad de tareas y son adecuados para aplicaciones generales. Los ejemplos incluyen Baichuan, Chinese LLaMA & Alpaca, Tongyi Qianwen Qwen y muchos otros. Estos modelos a menudo admiten tanto el chino como el inglés y se entrenan en grandes conjuntos de datos para lograr amplias capacidades. La lista también incluye modelos como ChatGLM, Skywork y Yi-6B/34B, mostrando la diversidad e innovación en la comunidad china de código abierto. Modelos como Qwen1.5 y DeepSeek LLM representan la vanguardia, ofreciendo un rendimiento y capacidades mejorados para diversas tareas de procesamiento del lenguaje natural.

Esta sección se centra en modelos de lenguaje diseñados específicamente para aplicaciones sanitarias y médicas. Estos modelos se entrenan con conocimientos y datos médicos para proporcionar información precisa y fiable en el dominio médico. Los ejemplos incluyen BenCao, HuaTuo, BianQue y Mingyi (MING). Estos modelos son capaces de realizar tareas como responder preguntas médicas, ayudar en el diagnóstico y generar texto médico. La sección también incluye modelos como DoctorGLM y ChatMed, que están diseñados para consultas médicas especializadas. La inclusión de modelos como Llama-3-8B-UltraMedical y ProLLM destaca los avances continuos en esta área crítica.

Esta sección enumera modelos de lenguaje adaptados para aplicaciones financieras y económicas. Estos modelos se entrenan con datos financieros y están diseñados para comprender y procesar el lenguaje y los conceptos financieros. Los ejemplos incluyen PIXIU FinMA, XuanYuan y FinGLM. Estos modelos se pueden utilizar para tareas como análisis financiero, evaluación de riesgos y pronóstico económico. El desarrollo de modelos como Deepmoney y Cornucopia-LLaMA-Fin-Chinese demuestra el creciente interés en aplicar LLMs al sector financiero.

Esta sección presenta modelos de lenguaje diseñados para aplicaciones legales. Estos modelos se entrenan con textos legales y son capaces de comprender y procesar el lenguaje legal. Los ejemplos incluyen HanFei, Zhihai Luwen y ChatLaw. Estos modelos pueden ayudar en tareas como investigación legal, análisis de contratos y generación de documentos legales. La inclusión de modelos como LaWGPT y Lawyer LLaMA subraya la importancia de los LLMs especializados en el campo legal.

Esta sección destaca modelos de lenguaje centrados en la educación y las matemáticas. Estos modelos se entrenan con materiales educativos y datos matemáticos para ayudar en el aprendizaje y la resolución de problemas. Los ejemplos incluyen TaoLi, EduChat e InternLM-Math. Estos modelos se pueden utilizar para tareas como tutoría, ayuda con las tareas y razonamiento matemático. El desarrollo de modelos como DeepSeekMath y Qwen2-Math refleja la creciente demanda de herramientas educativas impulsadas por IA.

Esta sección enumera modelos de lenguaje diseñados para tareas relacionadas con código y programación. Estos modelos se entrenan con repositorios de código y documentación de programación para ayudar en la generación de código, la depuración y el desarrollo de software. Los ejemplos incluyen CodeShell, DeepSeek Coder y Magicoder. Estos modelos se pueden utilizar para tareas como autocompletado de código, detección de errores y traducción de código. Modelos como CodeQwen1.5 y CodeGemma muestran los avances en la codificación asistida por IA.

Esta sección incluye una variedad de otros modelos de código abierto que son notables por sus aplicaciones específicas o características únicas. Estos modelos cubren una amplia gama de dominios, incluyendo transporte (TransGPT), medios de comunicación (MediaGPT) y lenguaje chino antiguo (Erya). Esta sección también incluye modelos desarrollados fuera de China, como Cerebras, MPT-7B y Dolly 1&2, proporcionando una perspectiva más amplia sobre el panorama de los modelos de lenguaje de código abierto. Modelos como Mistral 7B y Llama 3 representan contribuciones significativas al campo.

Esta sección proporciona recursos y herramientas para el entrenamiento y la inferencia de modelos de lenguaje. Incluye frameworks y técnicas como Alpaca-LoRA, ColossalAI y DeepSpeed-Chat. Estos recursos ayudan a los desarrolladores a ajustar e implementar modelos de lenguaje de manera eficiente. La sección también cubre métodos como DPO (Direct Preference Optimization) y QLoRA, que se utilizan para mejorar el rendimiento del modelo y reducir los costos computacionales. También se enumeran herramientas como llama.cpp y vLLM para una inferencia optimizada.

Esta sección enumera benchmarks de evaluación utilizados para evaluar el rendimiento de los modelos de lenguaje. Estos benchmarks proporcionan métricas estandarizadas para evaluar modelos en diversas tareas. Los ejemplos incluyen FlagEval, C-Eval y HaluEval. Estos benchmarks ayudan a los investigadores y desarrolladores a comparar diferentes modelos y seguir el progreso en el campo. La sección también incluye benchmarks como CMB (Comprehensive Medical Benchmark in Chinese) y Fin-Eva, que están diseñados para dominios específicos.