Llama 3.1: メタの画期的なオープンソースAIモデルがトップのクローズドシステムに挑む

メタはLlama 3.1を発表しました。これは、405Bパラメータモデルを含む画期的なオープンソースの大規模言語モデルのコレクションであり、世界で最も大きく、最も能力のあるオープンに利用可能な基盤モデルとして称賛されています。このリリースはAI開発における重要なマイルストーンであり、オープンソースモデルをAI能力の最前線に押し上げ、クローズドソースの代替品に対抗し、潜在的にはそれを超える可能性があります。

Llama 3.1は、前のモデルに比べていくつかの印象的な機能と改善を誇っています。モデルは現在、128Kトークンのコンテキスト長をサポートしており、長文コンテンツの理解と生成をより包括的に行えるようになっています。さらに、8つの言語にわたる多言語サポートを提供し、グローバルな適用性を高めています。特に405Bモデルは、一般知識、操作性、数学、ツール使用、そして多言語翻訳において最先端の能力を示しており、さまざまなAIアプリケーションにとって多用途なツールとして位置付けられています。

Llama 3.1の開発、特に405Bモデルは、スケールと効率の面で大きな課題を呈しました。メタは、16,000以上のH100 GPUを利用するようにトレーニングスタックを最適化し、これまでで最大のLlamaモデルを訓練しました。アーキテクチャは、標準的なデコーダー専用トランスフォーマーであり、より複雑な設計（例えば、エキスパートの混合モデル）よりもトレーニングの安定性を優先するために、わずかな適応が施されています。トレーニングプロセスには、さまざまな能力のパフォーマンスを向上させるために、監視付きファインチューニングや直接的な好みの最適化を含む反復的なポストトレーニング手順が含まれました。

ユーザーの指示に対するモデルの応答性と全体的な品質を向上させるために、メタはポストトレーニング中にマルチラウンドのアライメントプロセスを実施しました。このプロセスには、監視付きファインチューニング（SFT）、拒否サンプリング（RS）、および直接的な好みの最適化（DPO）が含まれました。重要な焦点は、ファインチューニングのための高品質な合成データを生成することであり、これによりさまざまな能力にわたってスケーリングを可能にし、短いコンテキストのベンチマークでのパフォーマンスを維持し、安全性を確保しました。

メタはLlamaを単なる言語モデルから、さまざまなコンポーネントや外部ツールを統合できる包括的なシステムへと拡張しています。これには、サンプルアプリケーションやLlama Guard 3、Prompt Guardなどの新しいコンポーネントを含む完全なリファレンスシステムのリリースが含まれ、安全性を向上させています。メタはまた、AIコンポーネントやアプリケーションを構築するための標準化されたインターフェースのセットである「Llama Stack」を提案しており、エコシステム内での相互運用性を容易にすることを目指しています。

Llama 3.1をオープンソースにすることで、メタは高度なAI能力へのアクセスを民主化することを目指しています。このアプローチにより、開発者は特定のニーズに合わせてモデルを完全にカスタマイズし、新しいデータセットでトレーニングし、メタとデータを共有することなく追加のファインチューニングを行うことができます。Llamaのオープンソースの性質は、革新を加速し、より多様なアプリケーションを可能にし、AIの利益が社会全体により均等に分配されることを期待されています。

405Bモデルは膨大な力を提供しますが、メタは開発者がこのような大規模なモデルを利用する際に直面する可能性のある課題を認識しています。これに対処するために、彼らはAIエコシステム内のさまざまなパートナーと協力し、リアルタイムおよびバッチ推論、監視付きファインチューニング、評価、継続的な事前トレーニング、情報検索強化生成（RAG）、関数呼び出し、合成データ生成のためのソリューションを提供しています。このエコシステムのサポートは、高度なAI開発をより広範な開発者や組織にとってアクセスしやすくすることを目指しています。

メタはLlama 3.1における責任あるAI開発へのコミットメントを強調しています。リリース前に、モデルは広範なリスク評価を受け、展開前のリスク発見演習や安全性のファインチューニングが行われました。会社は、内部および外部の専門家とともに徹底的なレッドチーミングを実施し、潜在的な悪用を特定し、必要な安全策を実施しています。このアプローチは、Llama 3.1の強力な能力が安全かつ倫理的に展開されることを保証することを目指しています。

メタは開発者や研究者にLlama 3.1の可能性を探求するよう促しています。モデルはllama.meta.comおよびHugging Faceでダウンロード可能であり、さまざまなパートナープラットフォームを通じて即時に開発にアクセスできます。これらのモデルのリリースにより、メタはコミュニティが創造する革新的なアプリケーションや体験を楽しみにしており、医療、教育などの分野を変革する可能性があります。