Stable Diffusionチュートリアル：AI画像生成の包括的ガイド

Stable Diffusionは、テキストの説明から詳細な画像を生成する潜在拡散モデルです。画像インペインティング、アウトペインティング、テキストから画像/画像から画像への変換などのタスクに優れています。テキストを入力することで、Stable Diffusionは仕様に一致するリアルな画像を生成します。画像生成をノイズ除去プロセスに変換し、ランダムなガウスノイズから開始して、鮮明な画像が現れるまで繰り返し洗練させます。計算負荷に対処するため、Stable Diffusionは潜在拡散を使用し、低次元の潜在空間で動作することでメモリとコストを削減します。オープンソースの性質は、さまざまな画像生成スタイルに最適な選択肢となる、さまざまなツールや事前学習済みモデルとの迅速な開発と統合を促進します。

Stable Diffusionを効果的に使用するには、コアコンセプトを理解することが不可欠です： * **オートエンコーダー（VAE）：** 画像を低次元の潜在表現に変換するエンコーダーと、この表現から画像を再構築するデコーダーで構成されます。 * **U-Net：** ダウンサンプリング中の情報損失を防ぐためのスキップ接続を備えたエンコーダーとデコーダーを持つニューラルネットワークです。テキスト埋め込みによって条件付けられ、ノイズを繰り返し除去することで潜在画像表現を洗練させます。 * **テキストエンコーダー：** 入力プロンプトをU-Netが理解できる埋め込み空間に変換します。通常、Transformerベースのエンコーダーを使用します。効果的なプロンプトは高品質な出力に不可欠であり、プロンプト設計の重要性を強調します。

Stable Diffusionのプロセスには以下が含まれます： 1. 潜在シードとテキストプロンプトの入力。 2. シードからランダムな潜在画像表現の生成。 3. CLIPテキストエンコーダーを使用してテキストプロンプトをテキスト埋め込みに変換。 4. テキスト埋め込みによって条件付けられたU-Netを使用して、潜在画像表現の繰り返しノイズ除去。 5. スケジューラアルゴリズムを使用して、ノイズ除去された画像表現を計算。 6. VAEデコーダーを使用して最終的な潜在画像表現をデコード。 一般的に使用されるスケジューラには、PNDM、DDIM、K-LMSなどがあります。

ローカル展開の前に、これらのツールを試してみてください： 1. **Dream Studio：** Stability AIによる公式Webアプリで、すべてのモデルをサポートしています。 2. **Replicate：** API経由で機械学習モデルを共有および使用するためのプラットフォームです。 3. **Playground AI：** AI画像生成に特化したウェブサイトで、多数のモデルを提供し、制限付きで無料利用できます。 4. **Google Colab：** 共有Colabノートブックを使用して、Jupyter NotebookでStable Diffusionを使用します。 5. **BaseTen：** Stable DiffusionのAPIサポートを提供するMLOpsプラットフォームです。

Stable Diffusion Web UIは、ノーコードのビジュアル環境であり、ローカル展開を簡素化します。次の手順に従ってください： 1. **システム要件：** 少なくとも4GBのVRAMを備えたNVIDIA GPU、10GBのディスクスペース（8GBのVRAMと25GBのディスクスペースを推奨）。 2. **環境準備：** GitとPython（Miniconda経由）をインストールします。 3. **Gitのインストール：** 公式ウェブサイトからGitをダウンロードしてインストールします。 4. **Pythonのインストール：** Minicondaを使用してPython環境を管理します。 5. **国内ソースの設定：** ダウンロード速度を向上させるために、condaのインストールソースを清華大学やUSTCなどの国内ミラーに置き換えます。 6. **Stable Diffusion Web UIのインストール：** GitHubからリポジトリをクローンし、インストールスクリプト（Windowsの場合はwebui.bat、Linux/Macの場合はwebui.sh）を実行します。 7. **モデルのインストール：** Hugging Faceからモデルをダウンロードし、models/Stable-diffusionディレクトリに配置します。

Web UIには以下が含まれます： * **モデル選択：** ダウンロードした事前学習済みモデルから選択します。 * **機能タブ：** * **txt2img：** テキストプロンプトから画像を生成します。 * **img2img：** 画像テンプレートとテキストプロンプトに基づいて画像を生成します。 * **Extras：** 画像を最適化します。 * **PNG Info：** 画像情報を表示します。 * **Checkpoint Merger：** モデルをマージします。 * **Train：** カスタム画像でモデルをトレーニングします。 * **Settings：** システム設定。 * **txt2imgインターフェース：** プロンプト領域、パラメータ調整領域、出力ブラウジング領域が含まれます。 * **img2imgインターフェース：** txt2imgと同様ですが、パラメータ調整の代わりに画像テンプレートを使用します。 * **インターフェースのローカライズ：** 言語ファイルをダウンロードし、設定で選択してインターフェースを翻訳します。

プロンプトエンジニアリングは、特定の画像スタイルを生成するために不可欠です。主なテクニックは次のとおりです： * **キーワードとフレーズ：** キーワードをカンマで区切り、重みの高い用語を前に配置します。 * **プロンプトモディファイア：** 重みを増やすには括弧（（タグ））、重みを減らすには角括弧（[タグ]）を使用します。 * **タグブレンディング：** タグを混合するには[tag1 | tag2]、タグをランダムに選択するには{tag1 | tag2 | tag3}を使用します。 * **LoRAモデル：** LoRAモデルを組み込むには`<lora:filename:multiplier>`を使用します。 例：`<lora:koreanDollLikeness_v10:0.66>, best quality, ultra high res, (photorealistic:1.4), 1girl, thighhighs, ((school uniform)),((pleated skirt)), ((black stockings)), (full body), (Kpop idol), (platinum blonde hair:1), ((puffy eyes)), smiling, solo focus, looking at viewer, facing front` ネガティブプロンプトを使用して、不要なスタイルや要素を除外します：`paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glan`

事前学習済みモデルにアクセスするには： 1. **Hugging Face：** オープンソースの機械学習モデルの構築、トレーニング、展開のためのプラットフォームです。 2. **Civitai：** Stable Diffusion AIアートモデル専用のウェブサイトです。 3. **Discord：** Stable Diffusion Discordサーバーには、「Models-Embeddings」チャンネルがあります。 4. **Rentry for SD：** 数多くのダウンロード可能なモデルを備えたRentryページです。 カスタムAIモデル、特にCKPTファイルは悪意のあるコードを含む可能性があるため、ダウンロードする際は注意してください。安全な使用のためにはsafetensorファイルを優先してください。