메타, Llama 3 공개: 오픈 소스 AI 언어 모델의 도약

메타는 최신 오픈 소스 대형 언어 모델(LLM)인 Llama 3를 공개했습니다. 이번 출시로 AI 기술에서 중요한 발전이 이루어졌으며, 최첨단 성능과 향상된 기능을 제공합니다. Llama 3는 다양한 응용 프로그램과 사용 사례를 지원하도록 설계되어 AI 커뮤니티의 개발자와 연구자들에게 다재다능한 도구가 됩니다. Llama 3의 초기 릴리스에는 8B 및 70B 매개변수를 가진 모델이 포함되어 있어 다양한 계산 요구 사항과 성능 필요에 맞는 옵션을 제공합니다. 메타의 목표는 Llama 3를 통해 독점 대안과 경쟁할 수 있는 최고의 오픈 모델을 만드는 것이며, 책임 있는 AI 개발 및 배포에 대한 약속을 유지하는 것입니다.

Llama 3는 이전 모델인 Llama 2에 비해 여러 가지 주목할 만한 개선 사항을 제공합니다: 1. 향상된 성능: Llama 3는 다양한 산업 벤치마크에서 우수한 성능을 보여주며, 동급 모델의 새로운 최첨단 결과를 수립합니다. 2. 개선된 추론: 새로운 모델은 추론 능력에서 상당한 발전을 보여주어 복잡한 작업과 의사 결정 과정에서 더 효과적입니다. 3. 향상된 코드 생성: Llama 3는 코드 생성에서 향상된 능력을 보여주어 개발자와 프로그래머에게 강력한 도구가 됩니다. 4. 감소된 잘못된 거부율: 후속 훈련 절차의 개선으로 잘못된 거부율이 크게 감소하여 모델의 전반적인 유용성이 증가했습니다. 5. 응답의 다양성 증가: Llama 3는 더 다양하고 맥락에 적합한 응답을 제공하여 다양한 사용 사례에서의 다재다능성을 향상시킵니다. 6. 향상된 지시 따르기: 모델은 지시를 따르는 능력이 개선되어 특정 작업에 더 잘 적응하고 조정할 수 있습니다.

Llama 3의 아키텍처와 훈련 과정은 성능과 효율성을 위해 최적화되었습니다: 1. 디코더 전용 트랜스포머: 모델은 Llama 2에 비해 주요 개선 사항이 있는 비교적 표준 디코더 전용 트랜스포머 아키텍처를 사용합니다. 2. 확장된 어휘: Llama 3는 128K 토큰의 어휘를 가진 토크나이저를 사용하여 더 효율적인 언어 인코딩과 개선된 모델 성능을 제공합니다. 3. 그룹 쿼리 주의(GQA): 8B 및 70B 모델 모두 GQA를 사용하여 추론 효율성을 향상시킵니다. 4. 방대한 훈련 데이터: Llama 3는 공개적으로 사용 가능한 출처에서 15T 이상의 토큰으로 사전 훈련되었으며, 이는 Llama 2에 사용된 데이터 세트보다 7배 더 큽니다. 5. 다국어 준비: 사전 훈련 데이터 세트의 5% 이상이 30개 이상의 언어를 포함하는 고품질 비영어 데이터로 구성되어 있어 향후 다국어 기능을 위한 기초를 마련합니다. 6. 고급 데이터 필터링: 메타는 최고 품질의 훈련 데이터를 보장하기 위해 정교한 데이터 필터링 파이프라인을 개발했으며, 여기에는 휴리스틱 필터, NSFW 필터 및 의미론적 중복 제거 접근 방식이 포함됩니다. 7. 스케일링 법칙: 다양한 사용 사례와 기능에서 강력한 성능을 보장하기 위해 데이터 믹스 및 훈련 컴퓨팅 결정을 최적화하기 위한 상세한 스케일링 법칙이 개발되었습니다.

Llama 3는 다양한 벤치마크와 평가에서 뛰어난 성능을 보여줍니다: 1. 표준 벤치마크: 모델은 8B 및 70B 매개변수 스케일 모두에서 다양한 산업 표준 벤치마크에서 최첨단 성능을 보여줍니다. 2. 인간 평가 세트: 메타는 12개의 주요 사용 사례를 포함하는 1,800개의 프롬프트로 구성된 새로운 고품질 인간 평가 세트를 개발했습니다. Llama 3는 이러한 실제 시나리오에서 경쟁 모델에 대해 강력한 성능을 보여주었습니다. 3. 코딩 성능: Llama 3는 HumanEval과 같은 벤치마크에서 평가된 코드 생성 작업에서 상당한 개선을 보여줍니다. 4. 추론 및 지시 따르기: 모델은 추론 작업과 복잡한 지시를 따르는 능력이 향상되어 다양한 응용 프로그램에 더 다재다능합니다. 5. 효율성 향상: 매개변수 수가 증가했음에도 불구하고 Llama 3는 토크나이저 효율성의 개선과 그룹 쿼리 주의의 구현 덕분에 이전 모델과 동등한 추론 효율성을 유지합니다.

메타는 Llama 3의 생성 및 배포에서 책임 있는 AI 개발을 우선시했습니다: 1. 시스템 수준 접근: 책임 있는 개발 및 배포를 위한 포괄적인 접근 방식이 채택되어 Llama 모델을 개발자가 특정 요구에 맞게 사용자 정의할 수 있는 더 넓은 시스템의 일부로 보고 있습니다. 2. 안전성 테스트: Llama 3는 안전성을 위한 광범위한 레드 팀 테스트를 거쳤으며, 내부 및 외부 노력을 통해 잠재적 위험을 식별하고 완화했습니다. 3. Llama Guard 2: 특정 응용 프로그램 요구에 맞게 조정할 수 있는 프롬프트 및 응답 안전성을 위한 기반을 제공하는 업데이트된 Llama Guard 버전이 출시되었습니다. 4. CyberSecEval 2: 이 확장된 평가 도구는 코드 해석기 남용 및 프롬프트 주입 공격을 포함한 다양한 사이버 보안 위험에 대한 LLM의 취약성을 평가합니다. 5. 코드 쉴드: LLM이 생성한 불안전한 코드의 추론 시간 필터링을 제공하여 불안전한 코드 제안 및 명령 실행과 관련된 위험을 완화하는 새로운 도구가 도입되었습니다. 6. 업데이트된 책임 있는 사용 가이드: 메타는 LLM과 함께 책임 있는 개발에 대한 포괄적인 정보를 제공하는 업데이트된 가이드를 발표했습니다. 7. 개방적 접근: 메타는 AI 개발에 대한 개방적 접근을 유지함으로써 생태계 내에서 협력을 촉진하여 잠재적 해악과 도전에 공동으로 대응하는 것을 목표로 하고 있습니다.

Llama 3는 광범위한 접근성과 배포 용이성을 위해 설계되었습니다: 1. 클라우드 플랫폼 가용성: 이 모델은 곧 AWS, Google Cloud, Microsoft Azure 등 주요 클라우드 플랫폼에서 사용할 수 있게 됩니다. 2. 하드웨어 지원: Llama 3는 AMD, AWS, Dell, Intel, NVIDIA 및 Qualcomm이 제공하는 하드웨어 플랫폼에서 지원됩니다. 3. 개발자 도구: 메타는 Llama 레시피를 포함하여 미세 조정, 배포 및 모델 평가를 위한 오픈 소스 코드를 제공하는 포괄적인 리소스를 개발자에게 제공합니다. 4. 토크나이저 효율성: 새로운 토크나이저는 Llama 2에 비해 최대 15% 적은 토큰을 제공하여 매개변수 수가 증가했음에도 불구하고 유지된 추론 효율성에 기여합니다. 5. 커뮤니티 우선 접근: 메타는 Llama 3와 함께 커뮤니티 우선 접근 방식을 취하여 AI 생태계의 혁신과 성장을 촉진하기 위해 주요 클라우드, 호스팅 및 하드웨어 플랫폼에서 모델을 제공합니다.

메타는 Llama 3의 향후 개발에 대한 야심찬 계획을 가지고 있습니다: 1. 더 큰 모델: 현재 400B 이상의 매개변수를 가진 모델이 훈련 중이며, 초기 결과가 유망합니다. 2. 새로운 기능: 향후 릴리스에는 다중 모드 기능, 개선된 다국어 지원 및 훨씬 긴 컨텍스트 창이 포함될 것입니다. 3. 지속적인 개선: 메타는 특히 추론 및 코딩과 같은 영역에서 전반적인 모델 기능의 지속적인 향상에 전념하고 있습니다. 4. 연구 발표: 훈련 과정이 완료되면 Llama 3에 대한 자세한 연구 논문이 발표될 예정입니다. 5. 개방형 생태계: 메타는 개방형 AI 생태계를 조성하는 데 전념하고 있으며, 개방성이 더 나은 안전한 제품과 더 빠른 혁신으로 이어진다고 믿고 있습니다.

Llama 3 기술은 메타 AI에 통합되어 다양한 플랫폼에서 기능을 향상시킵니다: 1. 다중 플랫폼 가용성: Llama 3로 구동되는 메타 AI는 Facebook, Instagram, WhatsApp, Messenger 및 웹에서 사용할 수 있습니다. 2. 다재다능한 응용 프로그램: 사용자는 콘텐츠 생성, 학습, 생산성 및 연결성에 이르기까지 다양한 작업에 메타 AI를 활용할 수 있습니다. 3. 스마트 안경 통합: Ray-Ban Meta 스마트 안경에서 다중 모드 메타 AI를 테스트할 계획이 있습니다. 4. 지속적인 업데이트: 메타는 Llama 3 기술의 최신 발전을 활용하여 메타 AI의 지속적인 개선 및 업데이트에 전념하고 있습니다. Llama 3를 메타 AI에 통합함으로써 회사는 사용자가 디지털 상호작용 및 생산성의 다양한 측면을 향상시킬 수 있는 강력하고 다재다능한 AI 어시스턴트를 제공하는 것을 목표로 하고 있습니다.