Umfassende Liste von Open-Source-Sprachmodellen und chinesischen LLMs

Das Open-Source Language Model Pocket ist eine kuratierte Liste von Open-Source-Sprachmodellen mit einem starken Fokus auf Modelle, die entweder chinesenfreundlich sind oder hauptsächlich von chinesischen Teams entwickelt wurden. Diese Ressource zielt darauf ab, einen umfassenden Überblick über verfügbare Modelle zu geben, der eine breite Palette von Anwendungen und Domänen abdeckt. Sie dient als wertvolles Werkzeug für Forscher, Entwickler und Enthusiasten, die Open-Source-Sprachmodelle für verschiedene Projekte erkunden und nutzen möchten. Dieser Pocket Guide wird kontinuierlich aktualisiert, um die sich schnell entwickelnde Landschaft von KI und Sprachmodellen widerzuspiegeln.

Dieser Abschnitt hebt allgemeine Sprachmodelle hervor, die entweder chinesenfreundlich sind oder von chinesischen Teams entwickelt wurden. Diese Modelle sind darauf ausgelegt, eine Vielzahl von Aufgaben zu bewältigen und eignen sich für allgemeine Anwendungen. Beispiele hierfür sind Baichuan, Chinese LLaMA & Alpaca, Tongyi Qianwen Qwen und viele andere. Diese Modelle unterstützen oft sowohl Chinesisch als auch Englisch und wurden auf großen Datensätzen trainiert, um breite Fähigkeiten zu erzielen. Die Liste enthält auch Modelle wie ChatGLM, Skywork und Yi-6B/34B, die die Vielfalt und Innovation in der chinesischen Open-Source-Community zeigen. Modelle wie Qwen1.5 und DeepSeek LLM repräsentieren den neuesten Stand der Technik und bieten verbesserte Leistung und Fähigkeiten für verschiedene Aufgaben der natürlichen Sprachverarbeitung.

Dieser Abschnitt konzentriert sich auf Sprachmodelle, die speziell für Gesundheits- und medizinische Anwendungen entwickelt wurden. Diese Modelle werden auf medizinischem Wissen und Daten trainiert, um genaue und zuverlässige Informationen im medizinischen Bereich bereitzustellen. Beispiele hierfür sind BenCao, HuaTuo, BianQue und Mingyi (MING). Diese Modelle können Aufgaben wie medizinische Fragenbeantwortung, Diagnoseunterstützung und Generierung medizinischer Texte ausführen. Der Abschnitt enthält auch Modelle wie DoctorGLM und ChatMed, die für spezialisierte medizinische Beratungen entwickelt wurden. Die Einbeziehung von Modellen wie Llama-3-8B-UltraMedical und ProLLM unterstreicht die laufenden Fortschritte in diesem kritischen Bereich.

Dieser Abschnitt listet Sprachmodelle auf, die für Finanz- und Wirtschaftsanwendungen zugeschnitten sind. Diese Modelle werden auf Finanzdaten trainiert und sind darauf ausgelegt, Finanzsprache und -konzepte zu verstehen und zu verarbeiten. Beispiele hierfür sind PIXIU FinMA, XuanYuan und FinGLM. Diese Modelle können für Aufgaben wie Finanzanalyse, Risikobewertung und Wirtschaftsprognosen verwendet werden. Die Entwicklung von Modellen wie Deepmoney und Cornucopia-LLaMA-Fin-Chinese zeigt das wachsende Interesse an der Anwendung von LLMs im Finanzsektor.

Dieser Abschnitt stellt Sprachmodelle vor, die für juristische Anwendungen entwickelt wurden. Diese Modelle werden auf juristischen Texten trainiert und sind in der Lage, juristische Sprache zu verstehen und zu verarbeiten. Beispiele hierfür sind HanFei, Zhihai Luwen und ChatLaw. Diese Modelle können bei Aufgaben wie juristischer Recherche, Vertragsanalyse und Erstellung juristischer Dokumente unterstützen. Die Einbeziehung von Modellen wie LaWGPT und Lawyer LLaMA unterstreicht die Bedeutung spezialisierter LLMs im juristischen Bereich.

Dieser Abschnitt hebt Sprachmodelle hervor, die sich auf Bildung und Mathematik konzentrieren. Diese Modelle werden auf Lehrmaterialien und mathematischen Daten trainiert, um beim Lernen und bei der Problemlösung zu helfen. Beispiele hierfür sind TaoLi, EduChat und InternLM-Math. Diese Modelle können für Aufgaben wie Nachhilfe, Hausaufgabenhilfe und mathematisches Denken verwendet werden. Die Entwicklung von Modellen wie DeepSeekMath und Qwen2-Math spiegelt die steigende Nachfrage nach KI-gestützten Bildungswerkzeugen wider.

Dieser Abschnitt listet Sprachmodelle auf, die für Code- und programmbezogene Aufgaben entwickelt wurden. Diese Modelle werden auf Code-Repositories und Programmierdokumentationen trainiert, um bei der Code-Generierung, Fehlersuche und Softwareentwicklung zu helfen. Beispiele hierfür sind CodeShell, DeepSeek Coder und Magicoder. Diese Modelle können für Aufgaben wie Code-Vervollständigung, Fehlererkennung und Code-Übersetzung verwendet werden. Modelle wie CodeQwen1.5 und CodeGemma zeigen die Fortschritte bei KI-gestütztem Coding.

Dieser Abschnitt enthält eine Vielzahl anderer Open-Source-Modelle, die sich durch ihre spezifischen Anwendungen oder einzigartigen Merkmale auszeichnen. Diese Modelle decken eine breite Palette von Domänen ab, darunter Transport (TransGPT), Selbstmedien (MediaGPT) und alte chinesische Sprache (Erya). Dieser Abschnitt enthält auch Modelle, die außerhalb Chinas entwickelt wurden, wie Cerebras, MPT-7B und Dolly 1&2, und bietet so eine breitere Perspektive auf die Landschaft der Open-Source-Sprachmodelle. Modelle wie Mistral 7B und Llama 3 stellen bedeutende Beiträge auf diesem Gebiet dar.

Dieser Abschnitt bietet Ressourcen und Werkzeuge für das Training und die Inferenz von Sprachmodellen. Er umfasst Frameworks und Techniken wie Alpaca-LoRA, ColossalAI und DeepSpeed-Chat. Diese Ressourcen helfen Entwicklern, Sprachmodelle effizient zu trainieren und bereitzustellen. Der Abschnitt behandelt auch Methoden wie DPO (Direct Preference Optimization) und QLoRA, die zur Verbesserung der Modellleistung und zur Reduzierung der Rechenkosten eingesetzt werden. Werkzeuge wie llama.cpp und vLLM werden ebenfalls für optimierte Inferenz aufgeführt.

Dieser Abschnitt listet Evaluierungs-Benchmarks auf, die zur Bewertung der Leistung von Sprachmodellen verwendet werden. Diese Benchmarks bieten standardisierte Metriken zur Bewertung von Modellen für verschiedene Aufgaben. Beispiele hierfür sind FlagEval, C-Eval und HaluEval. Diese Benchmarks helfen Forschern und Entwicklern, verschiedene Modelle zu vergleichen und den Fortschritt in diesem Bereich zu verfolgen. Der Abschnitt enthält auch Benchmarks wie CMB (Comprehensive Medical Benchmark in Chinese) und Fin-Eva, die für spezifische Domänen entwickelt wurden.