Персонализированный ИИ: Революция NVIDIA в генерации изображений по тексту

Генеративный ИИ, особенно в области визуальных эффектов, произвел революцию в создании изображений по текстовым описаниям. Эта технология, основанная на предварительно обученных визуально-языковых фундаментальных моделях, расширяет сферу применения от подписей к изображениям до 3D-синтеза. Значительная проблема заключается в персонализации этих моделей, позволяющей им интегрировать пользовательские визуальные концепции. В этой статье исследуются инновационные подходы, разработанные NVIDIA Research для решения этой задачи, с акцентом на создание персонализированных изображений с улучшенным контролем и эффективностью.

Текстовая инверсия (Textual Inversion) служит основополагающим методом для персонализированного генеративного ИИ. Он заключается в обучении модели новым концепциям путем поиска новых слов в пространстве векторных представлений (word embedding) замороженной визуально-языковой фундаментальной модели. Этот метод учится ассоциировать новое псевдо-слово с конкретной концепцией, позволяя модели генерировать изображения, похожие на обучающие, когда псевдо-слово используется в запросе. Ключевое преимущество заключается в том, что он не изменяет базовую фундаментальную модель, сохраняя ее широкое понимание текста и возможности обобщения. Этот подход использует небольшое количество параметров для кодирования концепций.

Хотя текстовая инверсия является легковесной, ее качество может снижаться при объединении нескольких концепций или при необходимости точного контроля. DreamBooth, другой подход, использует более крупную архитектуру U-Net, что приводит к ресурсоемким моделям. NVIDIA Research представила Key-Locked Rank One Editing, или Perfusion, для преодоления этих ограничений. Perfusion обеспечивает лучшую обобщающую способность, меньший размер модели (около 100 КБ) и более быструю персонализацию (4-7 минут). Основная идея заключается в «запирании» ключевых компонентов модели, в частности модуля перекрестного внимания (cross-attention), во время генерации изображений. Это гарантирует, что сгенерированное изображение будет более точно соответствовать как текстовому запросу, так и визуальным характеристикам изученной концепции. Механизм шлюзования (gating mechanism) дополнительно уточняет процесс, позволяя комбинировать несколько изученных концепций.

Perfusion позволяет создавать высококачественные персонализированные изображения, которые бесшовно объединяют несколько новых концепций. Например, модель может изучить концепции «Teddy™» и «Teapot™», а затем сгенерировать изображения «плюшевого мишки, плывущего в чайнике™». Кроме того, Perfusion позволяет создателям контролировать баланс между визуальной точностью и сходством с текстом с помощью одного параметра времени выполнения. Этот параметр позволяет получать широкий спектр результатов без переобучения модели.

Для дальнейшего ускорения процесса персонализации NVIDIA Research разработала Encoder for Tuning (E4T). E4T использует предварительно обученный энкодер для прогнозирования результатов процесса обучения персонализации. Этот двухэтапный подход включает обучение прогнозированию новых слов и набора смещений весов для категории концепции. Затем полные веса модели донастраиваются, что приводит к значительному ускорению, сокращая время обучения до нескольких секунд и требуя всего нескольких шагов обучения.

Perfusion демонстрирует превосходную согласованность с запросами по сравнению с базовыми методами, не подвергаясь чрезмерному влиянию характеристик обучающих изображений. Это позволяет более точно и контролируемо генерировать изображения на основе предоставленных текстовых запросов.

Несмотря на достижения, эти методы по-прежнему имеют ограничения. Изученные модели не всегда могут идеально сохранять характеристики концепции, а редактирование с использованием текстовых запросов, а не общих концепций, может быть сложным. Будущие исследования будут направлены на устранение этих ограничений для дальнейшего повышения качества и контроля персонализированной генерации изображений.

Последние достижения в области персонализированного генеративного ИИ, в частности методы, разработанные NVIDIA Research, позволяют создавать высококачественные персонализированные изображения в удивительных новых контекстах. Объединяя такие методы, как Key-Locked Rank One Editing и Encoder for Tuning, теперь можно генерировать персонализированные изображения быстро, эффективно и с высокой степенью контроля. Эти инновации открывают путь к будущему, в котором генерация изображений с помощью ИИ станет более доступной и адаптированной к индивидуальным потребностям и творческим замыслам.