MetaがLlama 3を発表：オープンソースAI言語モデルの飛躍的進歩

Metaは、オープンソースの大規模言語モデル（LLM）であるLlama 3の最新バージョンを発表しました。この新しいリリースは、AI技術における重要な進展を示しており、最先端のパフォーマンスと強化された機能を提供します。Llama 3は、さまざまなアプリケーションやユースケースをサポートするように設計されており、AIコミュニティの開発者や研究者にとって多用途なツールとなっています。 Llama 3の初期リリースには、8Bおよび70Bパラメータを持つモデルが含まれており、異なる計算要件やパフォーマンスニーズに応じた選択肢を提供します。MetaのLlama 3に対する目標は、責任あるAIの開発と展開を維持しながら、プロプライエタリな代替品と競争できる最高のオープンモデルを作成することです。

Llama 3は、前モデルであるLlama 2に対していくつかの顕著な改善をもたらします： 1. パフォーマンスの向上：Llama 3は、さまざまな業界ベンチマークで優れたパフォーマンスを示し、そのスケールのモデルにおいて新しい最先端の結果を確立しています。 2. 推論能力の向上：新しいモデルは、推論能力において重要な進展を示し、複雑なタスクや意思決定プロセスに対してより効果的です。 3. コード生成の改善：Llama 3は、コード生成において強化された能力を示し、開発者やプログラマーにとって強力なツールとなります。 4. 偽拒否率の低下：トレーニング後の手続きの改善により、偽拒否率が大幅に低下し、モデルの全体的な有用性が向上しました。 5. 応答の多様性の向上：Llama 3は、より多様で文脈に適した応答を提供し、さまざまなユースケースにおける多用途性を高めています。 6. 指示に従う能力の向上：モデルは、指示に従う能力が改善されており、特定のタスクに対してより操作可能で適応性があります。

Llama 3のアーキテクチャとトレーニングプロセスは、パフォーマンスと効率のために最適化されています： 1. デコーダー専用トランスフォーマー：モデルは、Llama 2に対して重要な改善を施した比較的一般的なデコーダー専用トランスフォーマーアーキテクチャを使用しています。 2. 語彙の拡張：Llama 3は、128Kトークンの語彙を持つトークナイザーを使用しており、より効率的な言語エンコーディングとモデルのパフォーマンス向上を実現しています。 3. グループ化クエリアテンション（GQA）：8Bおよび70Bモデルの両方が、推論効率を向上させるためにGQAを使用しています。 4. 大規模なトレーニングデータ：Llama 3は、公開されているソースからの15Tトークン以上で事前トレーニングされており、Llama 2で使用されたデータセットの7倍の大きさです。 5. 多言語準備：事前トレーニングデータセットの5%以上が、30以上の言語をカバーする高品質の非英語データで構成されており、将来の多言語機能の基盤を築いています。 6. 高度なデータフィルタリング：Metaは、最高品質のトレーニングデータを確保するために、ヒューリスティックフィルター、NSFWフィルター、セマンティック重複排除アプローチを含む高度なデータフィルタリングパイプラインを開発しました。 7. スケーリング法則：データミックスとトレーニング計算の決定を最適化するために詳細なスケーリング法則が開発され、さまざまなユースケースと機能において強力なパフォーマンスを確保しています。

Llama 3は、さまざまなベンチマークと評価で優れたパフォーマンスを示しています： 1. 標準ベンチマーク：モデルは、8Bおよび70Bパラメータスケールの両方で、さまざまな業界標準ベンチマークで最先端のパフォーマンスを示しています。 2. 人間評価セット：Metaは、12の主要なユースケースをカバーする1,800のプロンプトを含む新しい高品質の人間評価セットを開発しました。Llama 3は、これらの実世界のシナリオにおいて競合モデルに対して強力なパフォーマンスを示しました。 3. コーディングパフォーマンス：Llama 3は、HumanEvalなどのベンチマークで評価されたコード生成タスクにおいて重要な改善を示しています。 4. 推論と指示の遵守：モデルは、推論タスクと複雑な指示に従う能力が向上しており、さまざまなアプリケーションに対してより多用途です。 5. 効率の向上：パラメータ数が増加しているにもかかわらず、Llama 3はトークナイザーの効率の改善とグループ化クエリアテンションの実装により、前モデルと同等の推論効率を維持しています。

Metaは、Llama 3の作成と展開において責任あるAI開発を優先しています： 1. システムレベルのアプローチ：責任ある開発と展開に対する包括的なアプローチが採用されており、Llamaモデルは開発者が特定のニーズに合わせてカスタマイズできるより広範なシステムの一部と見なされています。 2. 安全性テスト：Llama 3は、安全性のために広範なレッドチーミング（テスト）を受けており、内部および外部の取り組みを通じて潜在的なリスクを特定し、軽減しています。 3. Llama Guard 2：Llama Guardの更新版がリリースされ、特定のアプリケーションニーズに合わせて微調整できるプロンプトと応答の安全性の基盤を提供します。 4. CyberSecEval 2：この拡張評価ツールは、コードインタープリターの悪用やプロンプトインジェクション攻撃など、さまざまなサイバーセキュリティリスクに対するLLMの脆弱性を評価します。 5. コードシールド：LLMによって生成された不安全なコードの推論時フィルタリングを提供する新しいツールが導入され、不安全なコードの提案やコマンド実行に関連するリスクを軽減します。 6. 更新された責任ある使用ガイド：Metaは、LLMを使用した責任ある開発に関する包括的な情報を提供する更新されたガイドをリリースしました。 7. オープンアプローチ：AI開発に対するオープンなアプローチを維持することで、Metaはエコシステム内のコラボレーションを促進し、潜在的な危害や課題に共同で対処することを目指しています。

Llama 3は、広範なアクセス性と展開の容易さを考慮して設計されています： 1. クラウドプラットフォームの利用可能性：このモデルは、AWS、Google Cloud、Microsoft Azureなどの主要なクラウドプラットフォームで近日中に利用可能になります。 2. ハードウェアサポート：Llama 3は、AMD、AWS、Dell、Intel、NVIDIA、Qualcommが提供するハードウェアプラットフォームでサポートされています。 3. 開発者ツール：Metaは、微調整、展開、モデル評価のためのオープンソースコードを含むLlamaレシピなど、開発者向けの包括的なリソースを提供しています。 4. トークナイザーの効率：新しいトークナイザーは、Llama 2と比較して最大15%少ないトークンを提供し、パラメータ数が増加しても推論効率を維持します。 5. コミュニティファーストアプローチ：Metaは、Llama 3に対してコミュニティファーストのアプローチを取り、モデルを主要なクラウド、ホスティング、ハードウェアプラットフォームで利用可能にし、AIエコシステムにおける革新と成長を促進します。

Metaは、Llama 3の将来の開発に対して野心的な計画を持っています： 1. より大きなモデル：400Bパラメータを超えるモデルが現在トレーニング中であり、期待される初期結果が得られています。 2. 新しい機能：今後のリリースでは、マルチモーダル機能、改善された多言語サポート、さらに長いコンテキストウィンドウが特徴となります。 3. 継続的な改善：Metaは、特に推論やコーディングの分野において、全体的なモデル機能の継続的な向上にコミットしています。 4. 研究論文：トレーニングプロセスが完了次第、Llama 3に関する詳細な研究論文が発表されます。 5. オープンエコシステム：Metaは、オープンなAIエコシステムの育成に引き続きコミットしており、オープン性がより良い、安全な製品と迅速な革新につながると信じています。

Llama 3技術はMeta AIに統合され、さまざまなプラットフォームでの機能を強化しています： 1. マルチプラットフォームの利用可能性：Llama 3を搭載したMeta AIは、Facebook、Instagram、WhatsApp、Messenger、ウェブで利用可能です。 2. 多用途なアプリケーション：ユーザーは、コンテンツ作成や学習から生産性や接続性まで、さまざまなタスクにMeta AIを活用できます。 3. スマートグラス統合：Ray-Ban MetaスマートグラスでのマルチモーダルMeta AIのテスト計画があります。 4. 継続的な更新：Metaは、Llama 3技術の最新の進展を活用し、Meta AIの継続的な改善と更新にコミットしています。 Llama 3をMeta AIに統合することで、同社はユーザーにデジタルインタラクションや生産性のさまざまな側面を強化する強力で多用途なAIアシスタントを提供することを目指しています。