Полный список моделей с открытым исходным кодом и китайских LLM

Карманный справочник по моделям с открытым исходным кодом — это тщательно подобранный список моделей с открытым исходным кодом, с особым акцентом на модели, которые либо дружественны к китайскому языку, либо разработаны в основном китайскими командами. Этот ресурс призван предоставить всесторонний обзор доступных моделей, охватывающий широкий спектр приложений и областей. Он служит ценным инструментом для исследователей, разработчиков и энтузиастов, желающих изучить и использовать модели с открытым исходным кодом для различных проектов. Этот карманный справочник постоянно обновляется, чтобы отражать быстро развивающийся ландшафт ИИ и языковых моделей.

В этом разделе представлены универсальные языковые модели, которые либо дружественны к китайскому языку, либо разработаны китайскими командами. Эти модели предназначены для выполнения широкого спектра задач и подходят для общего применения. Примеры включают Baichuan, Chinese LLaMA & Alpaca, Tongyi Qianwen Qwen и многие другие. Эти модели часто поддерживают как китайский, так и английский языки и обучены на больших наборах данных для достижения широких возможностей. Список также включает такие модели, как ChatGLM, Skywork и Yi-6B/34B, демонстрируя разнообразие и инновации в китайском сообществе с открытым исходным кодом. Модели, такие как Qwen1.5 и DeepSeek LLM, представляют собой передовые разработки, предлагающие улучшенную производительность и возможности для различных задач обработки естественного языка.

В этом разделе представлены языковые модели, специально разработанные для здравоохранения и медицины. Эти модели обучены на медицинских знаниях и данных для предоставления точной и надежной информации в медицинской области. Примеры включают BenCao, HuaTuo, BianQue и Mingyi (MING). Эти модели способны выполнять такие задачи, как ответы на медицинские вопросы, помощь в диагностике и генерация медицинских текстов. Раздел также включает такие модели, как DoctorGLM и ChatMed, предназначенные для специализированных медицинских консультаций. Включение таких моделей, как Llama-3-8B-UltraMedical и ProLLM, подчеркивает постоянный прогресс в этой критически важной области.

В этом разделе перечислены языковые модели, разработанные для финансового и экономического применения. Эти модели обучены на финансовых данных и предназначены для понимания и обработки финансового языка и концепций. Примеры включают PIXIU FinMA, XuanYuan и FinGLM. Эти модели могут использоваться для таких задач, как финансовый анализ, оценка рисков и экономическое прогнозирование. Разработка таких моделей, как Deepmoney и Cornucopia-LLaMA-Fin-Chinese, демонстрирует растущий интерес к применению LLM в финансовом секторе.

В этом разделе представлены языковые модели, разработанные для юридических приложений. Эти модели обучены на юридических текстах и способны понимать и обрабатывать юридический язык. Примеры включают HanFei, Zhihai Luwen и ChatLaw. Эти модели могут помочь в таких задачах, как юридические исследования, анализ контрактов и генерация юридических документов. Включение таких моделей, как LaWGPT и Lawyer LLaMA, подчеркивает важность специализированных LLM в юридической сфере.

В этом разделе представлены языковые модели, ориентированные на образование и математику. Эти модели обучены на образовательных материалах и математических данных для помощи в обучении и решении задач. Примеры включают TaoLi, EduChat и InternLM-Math. Эти модели могут использоваться для таких задач, как репетиторство, помощь с домашними заданиями и математическое рассуждение. Разработка таких моделей, как DeepSeekMath и Qwen2-Math, отражает растущий спрос на образовательные инструменты на базе ИИ.

В этом разделе перечислены языковые модели, разработанные для задач, связанных с кодом и программированием. Эти модели обучены на репозиториях кода и документации по программированию для помощи в генерации кода, отладке и разработке программного обеспечения. Примеры включают CodeShell, DeepSeek Coder и Magicoder. Эти модели могут использоваться для таких задач, как автодополнение кода, обнаружение ошибок и перевод кода. Модели, такие как CodeQwen1.5 и CodeGemma, демонстрируют прогресс в области помощи в написании кода с помощью ИИ.

В этом разделе представлены различные другие модели с открытым исходным кодом, которые заслуживают внимания благодаря своим конкретным приложениям или уникальным особенностям. Эти модели охватывают широкий спектр областей, включая транспорт (TransGPT), самомедиа (MediaGPT) и древнекитайский язык (Erya). Этот раздел также включает модели, разработанные за пределами Китая, такие как Cerebras, MPT-7B и Dolly 1&2, предоставляя более широкий взгляд на ландшафт языковых моделей с открытым исходным кодом. Модели, такие как Mistral 7B и Llama 3, представляют собой значительный вклад в эту область.

В этом разделе представлены ресурсы и инструменты для обучения и инференса языковых моделей. Он включает такие фреймворки и методы, как Alpaca-LoRA, ColossalAI и DeepSpeed-Chat. Эти ресурсы помогают разработчикам эффективно дообучать и развертывать языковые модели. Раздел также охватывает такие методы, как DPO (Direct Preference Optimization) и QLoRA, которые используются для улучшения производительности моделей и снижения вычислительных затрат. Также перечислены такие инструменты, как llama.cpp и vLLM для оптимизированного инференса.

В этом разделе перечислены эталонные тесты, используемые для оценки производительности языковых моделей. Эти эталонные тесты предоставляют стандартизированные метрики для оценки моделей по различным задачам. Примеры включают FlagEval, C-Eval и HaluEval. Эти эталонные тесты помогают исследователям и разработчикам сравнивать различные модели и отслеживать прогресс в этой области. Раздел также включает такие эталонные тесты, как CMB (Comprehensive Medical Benchmark in Chinese) и Fin-Eva, разработанные для конкретных областей.