Lista Abrangente de Modelos de Linguagem de Código Aberto e LLMs Chineses

O Pocket de Modelos de Linguagem de Código Aberto é uma lista curada de modelos de linguagem de código aberto, com forte ênfase em modelos que são amigáveis ao chinês ou desenvolvidos principalmente por equipes chinesas. Este recurso visa fornecer uma visão geral abrangente dos modelos disponíveis, cobrindo uma ampla gama de aplicações e domínios. Ele serve como uma ferramenta valiosa para pesquisadores, desenvolvedores e entusiastas que buscam explorar e utilizar modelos de linguagem de código aberto para vários projetos. Este guia de bolso é continuamente atualizado para refletir o cenário em rápida evolução da IA e dos modelos de linguagem.

Esta seção destaca modelos de linguagem de propósito geral que são amigáveis ao chinês ou desenvolvidos por equipes chinesas. Esses modelos são projetados para lidar com uma ampla variedade de tarefas e são adequados para aplicações gerais. Exemplos incluem Baichuan, Chinese LLaMA & Alpaca, Tongyi Qianwen Qwen e muitos outros. Esses modelos geralmente suportam os idiomas chinês e inglês e são treinados em grandes conjuntos de dados para alcançar amplas capacidades. A lista também inclui modelos como ChatGLM, Skywork e Yi-6B/34B, mostrando a diversidade e a inovação na comunidade chinesa de código aberto. Modelos como Qwen1.5 e DeepSeek LLM representam o que há de mais moderno, oferecendo desempenho e capacidades aprimoradas para várias tarefas de processamento de linguagem natural.

Esta seção foca em modelos de linguagem especificamente projetados para aplicações de saúde e medicina. Esses modelos são treinados em conhecimento e dados médicos para fornecer informações precisas e confiáveis no domínio médico. Exemplos incluem BenCao, HuaTuo, BianQue e Mingyi (MING). Esses modelos são capazes de realizar tarefas como resposta a perguntas médicas, assistência ao diagnóstico e geração de texto médico. A seção também inclui modelos como DoctorGLM e ChatMed, que são projetados para consultas médicas especializadas. A inclusão de modelos como Llama-3-8B-UltraMedical e ProLLM destaca os avanços contínuos nesta área crítica.

Esta seção lista modelos de linguagem adaptados para aplicações financeiras e econômicas. Esses modelos são treinados em dados financeiros e são projetados para entender e processar linguagem e conceitos financeiros. Exemplos incluem PIXIU FinMA, XuanYuan e FinGLM. Esses modelos podem ser usados para tarefas como análise financeira, avaliação de risco e previsão econômica. O desenvolvimento de modelos como Deepmoney e Cornucopia-LLaMA-Fin-Chinese demonstra o crescente interesse em aplicar LLMs ao setor financeiro.

Esta seção apresenta modelos de linguagem projetados para aplicações jurídicas. Esses modelos são treinados em textos jurídicos e são capazes de entender e processar linguagem jurídica. Exemplos incluem HanFei, Zhihai Luwen e ChatLaw. Esses modelos podem auxiliar em tarefas como pesquisa jurídica, análise de contratos e geração de documentos jurídicos. A inclusão de modelos como LaWGPT e Lawyer LLaMA ressalta a importância de LLMs especializados no campo jurídico.

Esta seção destaca modelos de linguagem focados em educação e matemática. Esses modelos são treinados em materiais educacionais e dados matemáticos para auxiliar no aprendizado e na resolução de problemas. Exemplos incluem TaoLi, EduChat e InternLM-Math. Esses modelos podem ser usados para tarefas como tutoria, assistência com dever de casa e raciocínio matemático. O desenvolvimento de modelos como DeepSeekMath e Qwen2-Math reflete a crescente demanda por ferramentas educacionais impulsionadas por IA.

Esta seção lista modelos de linguagem projetados para tarefas relacionadas a código e programação. Esses modelos são treinados em repositórios de código e documentação de programação para auxiliar na geração de código, depuração e desenvolvimento de software. Exemplos incluem CodeShell, DeepSeek Coder e Magicoder. Esses modelos podem ser usados para tarefas como preenchimento de código, detecção de bugs e tradução de código. Modelos como CodeQwen1.5 e CodeGemma mostram os avanços na codificação assistida por IA.

Esta seção inclui uma variedade de outros modelos de código aberto que são notáveis por suas aplicações específicas ou recursos exclusivos. Esses modelos cobrem uma ampla gama de domínios, incluindo transporte (TransGPT), auto-mídia (MediaGPT) e linguagem chinesa antiga (Erya). Esta seção também inclui modelos desenvolvidos fora da China, como Cerebras, MPT-7B e Dolly 1&2, fornecendo uma perspectiva mais ampla sobre o cenário de modelos de linguagem de código aberto. Modelos como Mistral 7B e Llama 3 representam contribuições significativas para o campo.

Esta seção fornece recursos e ferramentas para treinamento e inferência de modelos de linguagem. Inclui frameworks e técnicas como Alpaca-LoRA, ColossalAI e DeepSpeed-Chat. Esses recursos ajudam os desenvolvedores a ajustar e implantar modelos de linguagem de forma eficiente. A seção também abrange métodos como DPO (Direct Preference Optimization) e QLoRA, que são usados para melhorar o desempenho do modelo e reduzir os custos computacionais. Ferramentas como llama.cpp e vLLM também são listadas para inferência otimizada.

Esta seção lista benchmarks de avaliação usados para avaliar o desempenho de modelos de linguagem. Esses benchmarks fornecem métricas padronizadas para avaliar modelos em várias tarefas. Exemplos incluem FlagEval, C-Eval e HaluEval. Esses benchmarks ajudam pesquisadores e desenvolvedores a comparar diferentes modelos e acompanhar o progresso no campo. A seção também inclui benchmarks como CMB (Comprehensive Medical Benchmark in Chinese) e Fin-Eva, que são projetados para domínios específicos.