オープンソース大規模言語モデルと中国語LLMの包括的なリスト

オープンソース大規模言語モデルポケットは、特に中国語フレンドリーなモデル、または中国のチームによって主に開発されたモデルに重点を置いた、オープンソース大規模言語モデルのキュレーションされたリストです。このリソースは、さまざまなアプリケーションやドメインをカバーする、利用可能なモデルの包括的な概要を提供することを目的としています。これは、さまざまなプロジェクトでオープンソース大規模言語モデルを探索および利用したい研究者、開発者、愛好家にとって貴重なツールとなります。このポケットガイドは、急速に進化するAIと大規模言語モデルの状況を反映するために継続的に更新されています。

このセクションでは、中国語フレンドリーであるか、中国のチームによって開発された汎用大規模言語モデルを紹介します。これらのモデルは、さまざまなタスクを処理できるように設計されており、一般的なアプリケーションに適しています。例としては、Baichuan、Chinese LLaMA & Alpaca、Tongyi Qianwen Qwenなどがあります。これらのモデルは、中国語と英語の両方をサポートし、広範な機能を実現するために大規模なデータセットでトレーニングされていることがよくあります。このリストには、ChatGLM、Skywork、Yi-6B/34Bなどのモデルも含まれており、中国のオープンソースコミュニティにおける多様性と革新性を示しています。Qwen1.5やDeepSeek LLMのようなモデルは最先端であり、さまざまな自然言語処理タスクに強化されたパフォーマンスと機能を提供します。

このセクションでは、特にヘルスケアおよび医療アプリケーション向けに設計された大規模言語モデルに焦点を当てています。これらのモデルは、医療知識とデータでトレーニングされており、医療ドメインで正確で信頼性の高い情報を提供します。例としては、BenCao、HuaTuo、BianQue、Mingyi (MING) があります。これらのモデルは、医療に関する質問応答、診断支援、医療テキスト生成などのタスクを実行できます。このセクションには、専門的な医療相談のために設計されたDoctorGLMやChatMedのようなモデルも含まれています。Llama-3-8B-UltraMedicalやProLLMのようなモデルの包含は、この重要な分野における継続的な進歩を強調しています。

このセクションでは、金融および経済アプリケーション向けに調整された大規模言語モデルをリストします。これらのモデルは、金融データでトレーニングされており、金融言語と概念を理解および処理するように設計されています。例としては、PIXIU FinMA、XuanYuan、FinGLMがあります。これらのモデルは、財務分析、リスク評価、経済予測などのタスクに使用できます。DeepmoneyやCornucopia-LLaMA-Fin-Chineseのようなモデルの開発は、金融セクターへのLLMの応用に対する関心の高まりを示しています。

このセクションでは、法律アプリケーション向けに設計された大規模言語モデルを紹介します。これらのモデルは、法律文書でトレーニングされており、法律言語を理解および処理できます。例としては、HanFei、Zhihai Luwen、ChatLawがあります。これらのモデルは、法律調査、契約分析、法律文書作成などのタスクを支援できます。LaWGPTやLawyer LLaMAの包含は、法律分野における専門的なLLMの重要性を強調しています。

このセクションでは、教育および数学に焦点を当てた大規模言語モデルを紹介します。これらのモデルは、教育資料と数学データでトレーニングされており、学習と問題解決を支援します。例としては、TaoLi、EduChat、InternLM-Mathがあります。これらのモデルは、個別指導、宿題支援、数学的推論などのタスクに使用できます。DeepSeekMathやQwen2-Mathのようなモデルの開発は、AIを活用した教育ツールの需要の高まりを反映しています。

このセクションでは、コードおよびプログラミング関連のタスク向けに設計された大規模言語モデルをリストします。これらのモデルは、コードリポジトリとプログラミングドキュメントでトレーニングされており、コード生成、デバッグ、ソフトウェア開発を支援します。例としては、CodeShell、DeepSeek Coder、Magicoderがあります。これらのモデルは、コード補完、バグ検出、コード翻訳などのタスクに使用できます。CodeQwen1.5やCodeGemmaのようなモデルは、AI支援コーディングにおける進歩を示しています。

このセクションには、特定のアプリケーションまたはユニークな機能で注目すべきさまざまなその他のオープンソースモデルが含まれています。これらのモデルは、輸送（TransGPT）、セルフメディア（MediaGPT）、古代中国語（Erya）など、幅広いドメインをカバーしています。このセクションには、Cerebras、MPT-7B、Dolly 1&2など、中国国外で開発されたモデルも含まれており、オープンソース大規模言語モデルの状況をより広い視点から提供しています。Mistral 7BやLlama 3のようなモデルは、この分野への重要な貢献を表しています。

このセクションでは、大規模言語モデルのトレーニングと推論のためのリソースとツールを提供します。Alpaca-LoRA、ColossalAI、DeepSpeed-Chatなどのフレームワークとテクニックが含まれています。これらのリソースは、開発者が大規模言語モデルを効率的にファインチューニングおよびデプロイするのに役立ちます。このセクションでは、モデルのパフォーマンスを向上させ、計算コストを削減するために使用されるDPO（Direct Preference Optimization）やQLoRAのような手法もカバーしています。llama.cppやvLLMのようなツールも、最適化された推論のためにリストされています。

このセクションでは、大規模言語モデルのパフォーマンスを評価するために使用される評価ベンチマークをリストします。これらのベンチマークは、さまざまなタスクでモデルを評価するための標準化されたメトリックを提供します。例としては、FlagEval、C-Eval、HaluEvalがあります。これらのベンチマークは、研究者や開発者がさまざまなモデルを比較し、この分野の進捗を追跡するのに役立ちます。このセクションには、特定のドメイン用に設計されたCMB（Comprehensive Medical Benchmark in Chinese）やFin-Evaのようなベンチマークも含まれています。