개인 맞춤형 AI: NVIDIA의 텍스트-이미지 혁명

생성형 AI, 특히 시각 효과 분야는 텍스트 프롬프트에서 이미지를 생성하는 방식을 혁신했습니다. 사전 훈련된 시각 언어 기반 모델을 통해 구동되는 이 기술은 이미지 캡셔닝부터 3D 합성까지 다양한 응용 분야로 확장됩니다. 중요한 과제는 이러한 모델을 개인 맞춤화하여 사용자별 시각적 개념을 통합할 수 있도록 하는 것입니다. 이 글은 NVIDIA Research에서 이러한 과제를 해결하기 위해 개발한 혁신적인 접근 방식을 탐구하며, 향상된 제어 및 효율성으로 개인 맞춤형 이미지를 만드는 데 중점을 둡니다.

텍스트 인버전은 개인 맞춤형 생성형 AI의 기반 기술입니다. 이는 고정된 시각 언어 기반 모델의 단어 임베딩 공간에서 새로운 단어를 찾아 모델에 새로운 개념을 학습시키는 과정입니다. 이 방법은 새로운 의사 단어(pseudo-word)를 특정 개념과 연관시키는 방법을 학습하여, 프롬프트에 의사 단어가 사용될 때 모델이 학습 이미지와 유사한 이미지를 생성하도록 합니다. 핵심 장점은 기본 기반 모델을 변경하지 않아 광범위한 텍스트 이해 및 일반화 능력을 보존한다는 것입니다. 이 접근 방식은 소수의 매개변수를 사용하여 개념을 인코딩합니다.

텍스트 인버전은 가볍지만, 여러 개념을 결합하거나 정밀한 제어가 필요할 때 품질이 저하될 수 있습니다. 또 다른 접근 방식인 DreamBooth는 더 큰 U-Net 아키텍처를 사용하므로 리소스 집약적인 모델이 됩니다. NVIDIA Research는 이러한 한계를 극복하기 위해 Key-Locked Rank One Editing, 즉 Perfusion을 도입했습니다. Perfusion은 더 나은 일반화, 더 작은 모델 크기(약 100KB), 더 빠른 개인 맞춤화(4-7분)를 가능하게 합니다. 핵심 아이디어는 이미지 생성 중에 모델의 핵심 구성 요소, 특히 교차 주의 모듈(cross-attention module)을 '잠그는' 것입니다. 이를 통해 생성된 이미지가 텍스트 프롬프트와 학습된 개념의 시각적 특성 모두에 더 가깝게 일치하도록 합니다. 게이팅 메커니즘은 프로세스를 더욱 개선하여 여러 학습된 개념의 조합을 허용합니다.

Perfusion은 여러 새로운 개념을 완벽하게 결합한 고품질의 개인 맞춤형 이미지를 생성할 수 있습니다. 예를 들어, 모델은 'Teddy™'와 'Teapot™'의 개념을 학습한 후 'a teddy sailing in a Teapot™'와 같은 이미지를 생성할 수 있습니다. 또한, Perfusion은 단일 런타임 매개변수를 사용하여 시각적 충실도와 텍스트 유사성 간의 균형을 제어할 수 있습니다. 이 매개변수를 통해 모델을 재학습하지 않고도 광범위한 결과를 얻을 수 있습니다.

개인 맞춤화 프로세스를 더욱 가속화하기 위해 NVIDIA Research는 Encoder for Tuning (E4T)을 개발했습니다. E4T는 사전 훈련된 인코더를 사용하여 개인 맞춤화 학습 프로세스의 결과를 예측합니다. 이 두 단계 접근 방식은 새로운 단어와 개념 범주에 대한 가중치 오프셋 세트를 예측하는 방법을 학습하는 것을 포함합니다. 그런 다음 전체 모델 가중치를 미세 조정하여 학습 시간을 몇 초로 단축하고 몇 번의 학습 단계만으로 상당한 속도 향상을 달성합니다.

Perfusion은 학습 이미지의 특성에 과도하게 영향을 받지 않으면서도 기준선 방법보다 뛰어난 프롬프트 일관성을 보여줍니다. 이를 통해 제공된 텍스트 프롬프트를 기반으로 더 정확하고 제어 가능한 이미지 생성이 가능합니다.

이러한 발전에도 불구하고 이러한 기술에는 여전히 한계가 있습니다. 학습된 모델이 항상 개념의 특성을 완벽하게 보존하지 못할 수 있으며, 일반적인 개념이 아닌 텍스트 프롬프트를 사용하여 편집하는 것이 어려울 수 있습니다. 향후 연구는 개인 맞춤형 이미지 생성의 품질과 제어를 더욱 개선하기 위해 이러한 한계를 해결하는 데 중점을 둘 것입니다.

개인 맞춤형 생성형 AI의 최신 발전, 특히 NVIDIA Research에서 개발한 기술은 놀라운 새로운 맥락에서 고품질의 개인 맞춤형 이미지를 생성할 수 있도록 합니다. Key-Locked Rank One Editing 및 Encoder for Tuning과 같은 기술을 결합하면 이제 개인 맞춤형 이미지를 빠르고 효율적으로, 그리고 높은 수준의 제어로 생성할 수 있습니다. 이러한 혁신은 AI 기반 이미지 생성이 더욱 접근 가능하고 개별적인 요구와 창의적인 비전에 맞춰질 수 있는 미래를 열어갑니다.