Генерация изображений с помощью Amazon Bedrock и Stable Diffusion XL на Java

Amazon Bedrock — это полностью управляемый сервис, предлагающий выбор высокопроизводительных базовых моделей (FM) от ведущих компаний в области ИИ. Stable Diffusion XL, предлагаемый Stability.ai, — это мощная модель преобразования текста в изображение, способная генерировать высококачественные изображения по текстовым запросам. В этой статье мы расскажем, как использовать Amazon Bedrock для вызова Stable Diffusion XL для генерации изображений с помощью Java SDK.

Прежде чем приступить к генерации изображений, вам необходимо настроить клиент Bedrock Runtime в вашей среде Java. Это включает создание экземпляра `BedrockRuntimeClient`, его настройку с вашими учетными данными AWS и желаемым регионом AWS. Вот как вы можете это сделать: ```java import software.amazon.awssdk.auth.credentials.DefaultCredentialsProvider; import software.amazon.awssdk.regions.Region; import software.amazon.awssdk.services.bedrockruntime.BedrockRuntimeClient; // Создайте клиент Bedrock Runtime в желаемом регионе AWS. // Замените DefaultCredentialsProvider на предпочитаемый вами поставщик учетных данных. var client = BedrockRuntimeClient.builder() .credentialsProvider(DefaultCredentialsProvider.create()) .region(Region.US_EAST_1) .build(); ``` Убедитесь, что AWS SDK для Java 2.x добавлен в зависимости вашего проекта.

API `InvokeModel` требует определенного формата полезной нагрузки, который понимает модель Stable Diffusion XL. Эта полезная нагрузка включает такие параметры, как текстовый запрос, предустановка стиля и зерно (seed). Вы можете создать строку JSON, представляющую эту полезную нагрузку, используя следующий шаблон: ```java var nativeRequestTemplate = """ { "text_prompts": [{ "text": "{{prompt}}" }], "style_preset": "{{style}}", "seed": {{seed}} }"""; // Определите запрос для генерации изображения. var prompt = "Стилизованная картинка милого старого стимпанк-робота"; // Получите случайное 32-битное зерно для генерации изображения (макс. 4 294 967 295). var seed = new BigInteger(31, new SecureRandom()); // Выберите предустановку стиля. var style = "cinematic"; // Встройте запрос, зерно и стиль в исходную полезную нагрузку запроса модели. String nativeRequest = nativeRequestTemplate .replace("{{prompt}}", prompt) .replace("{{seed}}", seed.toString()) .replace("{{style}}", style); ``` Настройте переменные `prompt`, `style` и `seed` для генерации различных изображений.

После настройки клиента Bedrock Runtime и создания полезной нагрузки запроса вы можете вызвать модель Stable Diffusion XL с помощью метода `invokeModel`: ```java import software.amazon.awssdk.core.SdkBytes; import software.amazon.awssdk.core.exception.SdkClientException; // Установите идентификатор модели, например Stable Diffusion XL v1. var modelId = "stability.stable-diffusion-xl-v1"; try { // Закодируйте и отправьте запрос в Bedrock Runtime. var response = client.invokeModel(request -> request .body(SdkBytes.fromUtf8String(nativeRequest)) .modelId(modelId) ); // Декодируйте тело ответа. var responseBody = new JSONObject(response.body().asUtf8String()); // Извлеките данные сгенерированного изображения из ответа модели. var base64ImageData = new JSONPointer("/artifacts/0/base64") .queryFrom(responseBody) .toString(); return base64ImageData; } catch (SdkClientException e) { System.err.printf("ОШИБКА: Не удалось вызвать '%s'. Причина: %s", modelId, e.getMessage()); throw new RuntimeException(e); } ``` Этот код отправляет запрос в Amazon Bedrock и получает ответ.

Ответ от метода `invokeModel` содержит данные сгенерированного изображения в формате base64. Вам необходимо декодировать эти данные для отображения изображения. Следующий фрагмент кода показывает, как извлечь данные изображения base64 из ответа: ```java import org.json.JSONObject; import org.json.JSONPointer; // Декодируйте тело ответа. var responseBody = new JSONObject(response.body().asUtf8String()); // Извлеките данные сгенерированного изображения из ответа модели. var base64ImageData = new JSONPointer("/artifacts/0/base64") .queryFrom(responseBody) .toString(); ```

После получения данных изображения в формате base64 вы можете отобразить их с помощью подходящего метода отображения изображений. Исходный код использует метод `displayImage`. Вам потребуется реализовать этот метод на основе выбранного вами UI-фреймворка или библиотеки изображений. Простой пример может включать преобразование строки base64 в массив байтов, а затем использование библиотеки изображений для ее отображения. ```java // Предполагая, что у вас есть метод displayImage displayImage(base64ImageData); ```

Вот полный пример кода на Java для вызова Stable Diffusion XL в Amazon Bedrock: ```java import org.json.JSONObject; import org.json.JSONPointer; import software.amazon.awssdk.auth.credentials.DefaultCredentialsProvider; import software.amazon.awssdk.core.SdkBytes; import software.amazon.awssdk.core.exception.SdkClientException; import software.amazon.awssdk.regions.Region; import software.amazon.awssdk.services.bedrockruntime.BedrockRuntimeClient; import java.math.BigInteger; import java.security.SecureRandom; import static com.example.bedrockruntime.libs.ImageTools.displayImage; public class InvokeModel { public static String invokeModel() { // Создайте клиент Bedrock Runtime в желаемом регионе AWS. // Замените DefaultCredentialsProvider на предпочитаемый вами поставщик учетных данных. var client = BedrockRuntimeClient.builder() .credentialsProvider(DefaultCredentialsProvider.create()) .region(Region.US_EAST_1) .build(); // Установите идентификатор модели, например Stable Diffusion XL v1. var modelId = "stability.stable-diffusion-xl-v1"; // API InvokeModel использует исходную полезную нагрузку модели. // Узнайте больше о доступных параметрах инференса и полях ответа по адресу: // https://docs.aws.amazon.com/bedrock/latest/userguide/model-parameters-diffusion-1-0-text-image.html var nativeRequestTemplate = """ { "text_prompts": [{ "text": "{{prompt}}" }], "style_preset": "{{style}}", "seed": {{seed}} }"""; // Определите запрос для генерации изображения. var prompt = "Стилизованная картинка милого старого стимпанк-робота"; // Получите случайное 32-битное зерно для генерации изображения (макс. 4 294 967 295). var seed = new BigInteger(31, new SecureRandom()); // Выберите предустановку стиля. var style = "cinematic"; // Встройте запрос, зерно и стиль в исходную полезную нагрузку запроса модели. String nativeRequest = nativeRequestTemplate .replace("{{prompt}}", prompt) .replace("{{seed}}", seed.toString()) .replace("{{style}}", style); try { // Закодируйте и отправьте запрос в Bedrock Runtime. var response = client.invokeModel(request -> request .body(SdkBytes.fromUtf8String(nativeRequest)) .modelId(modelId) ); // Декодируйте тело ответа. var responseBody = new JSONObject(response.body().asUtf8String()); // Извлеките данные сгенерированного изображения из ответа модели. var base64ImageData = new JSONPointer("/artifacts/0/base64") .queryFrom(responseBody) .toString(); return base64ImageData; } catch (SdkClientException e) { System.err.printf("ОШИБКА: Не удалось вызвать '%s'. Причина: %s", modelId, e.getMessage()); throw new RuntimeException(e); } } public static void main(String[] args) { System.out.println("Генерация изображения. Это может занять несколько секунд..."); String base64ImageData = invokeModel(); displayImage(base64ImageData); } } ```

Для получения дополнительной информации об Amazon Bedrock, AWS SDK для Java и Stable Diffusion XL обратитесь к следующим ресурсам: * [Документация Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/) * [Справочник по API AWS SDK для Java 2.x](https://sdk.amazonaws.com/java/api/latest/) * [Репозиторий примеров кода AWS на GitHub](https://github.com/awsdocs/aws-doc-sdk-examples) * [Документация Stable Diffusion XL](https://stability.ai/)