Stable Diffusionは、拡散技術に基づいて2022年にリリースされたディープラーニングによるテキスト画像変換モデルです。この生成型人工知能技術はStability AIの主力製品であり、現在進行中の人工知能ブームの一翼を担うものと考えられています。

これは主にテキスト記述を条件とした詳細な画像を生成するために使用されますが、インペインティング、アウトペインティング、テキストプロンプトに誘導された画像間翻訳の生成などの他のタスクにも適用できます。[3]その開発には、ミュンヘンのルートヴィヒ・マクシミリアン大学のCompVisグループの研究者とRunwayが参加し、Stabilityからの計算寄付と非営利団体からのトレーニングデータが使用されました。[4] [5] [6] [7]

安定拡散は潜在拡散モデルであり、深層生成型人工ニューラルネットワークの一種です。そのコードとモデルの重みは公開されており[ 8]、最適化版は2.4GBのVRAMを搭載した中程度のGPUを搭載したほとんどのコンシューマーハードウェアで実行できます[9]。これは、クラウドサービス経由でしかアクセスできなかったDALL-EやMidjourneyといった従来の独自のテキスト画像変換モデルからの脱却を示しました[10] [11]。

発達

Stable Diffusionは、ドイツのミュンヘンにあるルートヴィヒ・マクシミリアン大学とハイデルベルク大学の研究者によって開発されたLatent Diffusion [ 12]と呼ばれるプロジェクトから生まれました。オリジナルの5人の著者のうち4人（Robin Rombach、Andreas Blattmann、Patrick Esser、Dominik Lorenz）は後にStability AIに加わり、Stable Diffusionの後継バージョンをリリースしました。[13]

このモデルの技術ライセンスは、ミュンヘンのルートヴィヒ・マクシミリアン大学のCompVisグループによってリリースされました。[11]開発は、 RunwayのPatrick Esser氏とCompVisのRobin Rombach氏が主導しました。彼らは、Stable Diffusionで使用されている潜在拡散モデルアーキテクチャを以前に発明した研究者の一人です。[7] Stability AIはまた、EleutherAIとLAION（Stable Diffusionのトレーニングに使用されたデータセットを作成したドイツの非営利団体）をプロジェクトの支援者として認めています。[7]

テクノロジー

Stable Diffusionで使用される潜在拡散アーキテクチャの図
Stable Diffusionが使用するノイズ除去プロセス。このモデルは、概念について事前学習されたCLIPテキストエンコーダとアテンションメカニズムに基づいて、設定されたステップ数に達するまでランダムノイズを繰り返し除去することで画像を生成します。その結果、学習済みの概念を表現した目的の画像が生成されます。

建築

2015年に導入された拡散モデルは、訓練画像にガウスノイズを連続的に適用して除去することを目的として学習されます。これは、ノイズ除去オートエンコーダのシーケンスと考えることができます。拡散モデルという名称は、熱力学から着想を得て最初に開発されたため、熱力学的 拡散に由来しています。[14] [15]

SD 3以前の安定拡散シリーズのモデルはすべて、2021年にLMUミュンヘンのCompVis（コンピュータビジョン＆ラーニング）[16]グループによって開発された潜在拡散モデル（LDM）と呼ばれる拡散モデルの変種を使用していました。[17] [8]

安定拡散は、変分オートエンコーダ（VAE）、U-Net、そしてオプションのテキストエンコーダの3つの部分から構成されています。 [18] VAEエンコーダは、画像をピクセル空間からより低次元の潜在空間に圧縮し、画像のより基本的な意味を捉えます。[17]ガウスノイズは、順方向拡散中に圧縮された潜在表現に反復的に適用されます。[18] ResNetバックボーンで構成されるU-Netブロックは、順方向拡散からの出力を逆方向にノイズ除去して潜在表現を取得します。最後に、VAEデコーダは、その表現をピクセル空間に変換することで最終画像を生成します。[18]

ノイズ除去ステップは、テキスト文字列、画像、またはその他のモダリティに基づいて柔軟に条件付けできます。エンコードされた条件付けデータは、クロスアテンションメカニズムを介してノイズ除去U-Netに提示されます。[18]テキスト条件付けには、固定された事前学習済みのCLIP ViT-L/14テキストエンコーダーを使用して、テキストプロンプトを埋め込み空間に変換します。[8]研究者たちは、LDMの利点として、学習と生成における計算効率の向上を指摘しています。[7] [17]

 U-Netのパラメータが8億6000万、テキストエンコーダのパラメータが1億2300万である安定拡散は、2022年の基準では比較的軽量であると考えられており、他の拡散モデルとは異なり、コンシューマー GPUで実行でき、[19] OpenVINOバージョンの安定拡散を使用する場合はCPUのみでも実行できます。[20]

SD XL

XLバージョンは、以前のバージョンと同じLDMアーキテクチャを使用していますが[21]、UNetバックボーンが大きく、クロスアテンションコンテキストが大きく、テキストエンコーダが1つではなく2つあり、複数のアスペクト比でトレーニングされています（以前のバージョンのような正方形のアスペクト比だけではありません）。

同時にリリースされた SD XL Refiner は SD XL と同じアーキテクチャを備えていますが、テキスト条件付き img2img を介して既存の画像に細かいディテールを追加するようにトレーニングされています。

SD 3.0

バージョン3.0 [22]ではバックボーンが完全に変更されました。UNetではなく、整流フロートランスフォーマーが採用され、整流フロー方式[23] [24]をトランスフォーマーで実装しています。

SD 3.0で使用されるTransformerアーキテクチャには、元のテキストエンコーディング、変換されたテキストエンコーディング、そして画像エンコーディング（潜在空間）の3つの「トラック」があります。変換されたテキストエンコーディングと画像エンコーディングは、各Transformerブロック内で混合されます。

このアーキテクチャは「マルチモーダル拡散トランスフォーマー（MMDiT）」と名付けられています。「マルチモーダル」とは、テキストエンコーディングと画像エンコーディングを演算処理内で混在させることを意味します。これは、テキストエンコーディングが画像エンコーディングに影響を与えるものの、その逆は起こらないという以前のバージョンのDiTとは異なります。

トレーニングデータ

Stable Diffusionは、ウェブからスクレイピングされたCommon Crawlデータから派生した公開データセットであるLAION-5Bから取得した画像とキャプションのペアでトレーニングされました。このデータセットでは、50億の画像とテキストのペアが言語に基づいて分類され、解像度、透かしが含まれる可能性の予測、および「美的」スコアの予測（例：主観的な視覚品質）ごとに別々のデータセットにフィルタリングされました。[25]データセットは、Stability AIから資金提供を受けているドイツの非営利団体LAIONによって作成されました。 [25] [26] Stable Diffusionモデルは、LAION-5Bの3つのサブセット、laion2B-en、laion-high-resolution、およびlaion-aesthetics v2 5+でトレーニングされました。[25]モデルのトレーニングデータに対する第三者による分析では、元のより広範なデータセットから抽出された1200万枚の画像のより小さなサブセットのうち、画像のサンプルサイズの約47％が100の異なるドメインからのものであり、Pinterestがサブセットの8.5％を占め、WordPress、Blogspot、Flickr、DeviantArt、Wikimedia Commonsなどのウェブサイトがそれに続いていることが判明しました。[引用が必要] Bayerischer Rundfunkによる調査では、Hugging FaceでホストされているLAIONのデータセットには、大量の個人情報と機密データが含まれていることが示されました。[27]

トレーニング手順

このモデルは当初、laion2B-en と laion-high-resolution のサブセットでトレーニングされ、最後の数回のトレーニングは LAION-Aesthetics v2 5+ で行われました。これは、LAION-Aesthetics Predictor V2 が、人間が平均して、これらの画像に対する好感度を尋ねられたときに 10 点満点中 5 点以上をつけるであろうと予測した 6 億枚のキャプション付き画像のサブセットです。[28] [25] [29] LAION-Aesthetics v2 5+ サブセットでは、低解像度の画像と、LAION-5B-WatermarkDetection が80% 以上の確率で透かしが含まれていると識別した画像も除外されました。 [25]トレーニングの最終ラウンドでは、さらに、Classifier-Free Diffusion Guidance を改善するために、テキスト条件付けを 10% 削減しました。[30]

このモデルは、Amazon Web Services上の256個のNvidia A100 GPUを使用して合計15万GPU時間、60万ドルの費用でトレーニングされました。[31] [32] [33]

制限事項

Stable Diffusionには、特定のシナリオにおいて画質の低下や不正確さの問題があります。モデルの初期リリースは、512×512解像度の画像で構成されるデータセットで学習されました。つまり、ユーザーの仕様が「期待される」512×512解像度から逸脱すると、生成される画像の品質が著しく低下します。[34] Stable Diffusionモデルのバージョン2.0アップデートでは、後に768×768解像度の画像をネイティブに生成する機能が導入されました。[35]もう一つの課題は、LAIONデータベースの四肢データの品質が低いため、人間の四肢を生成することです。[36]データベースに人間の四肢や顔の特徴が不足しているため、モデルは人間の四肢や顔を再現するための学習が不十分であり、そのような種類の画像を生成するようモデルに指示すると、モデルが混乱する可能性があります。[37]人間の四肢に加えて、Stable Diffusionは判読可能なアンビグラムやその他の形式のテキストやタイポグラフィを生成できません。 2023年7月にリリースされたStable Diffusion XL（SDXL）バージョン1.0では、ネイティブ1024x1024解像度が導入され、手足とテキストの生成が改善されました。[38] [39]

個々の開発者にとってのアクセシビリティも問題となる可能性がある。データセットに含まれていない新しいユースケース、例えばアニメキャラクターの生成（「waifu diffusion」）などに合わせてモデルをカスタマイズするには、 [40]新しいデータと追加のトレーニングが必要となる。追加の再トレーニングによって作成されたStable Diffusionの微調整された適応は、医療用画像[41]からアルゴリズム生成音楽[42]まで、様々なユースケースに使用されている。しかし、この微調整プロセスは新しいデータの品質に敏感であり、低解像度の画像や元のデータとは異なる解像度の画像は、新しいタスクを学習できないだけでなく、モデルの全体的なパフォーマンスを低下させる可能性がある。たとえモデルが高品質の画像で追加的にトレーニングされたとしても、個人が民生用電子機器でモデルを実行することは困難である。例えば、waifu-diffusionのトレーニングプロセスには最低30GBのVRAMが必要であり[43]、これは約12GBしか搭載されていないNvidiaのGeForce 30シリーズなどの民生用GPUに通常提供されるリソースを超えている。 [44]

Stable Diffusionの開発者は、このモデルが主に英語の説明が付いた画像で学習されたため、アルゴリズムによるバイアスの可能性を認めています。 [32]その結果、生成された画像は社会的バイアスを強化し、西洋的な視点からのものとなっています。開発者は、このモデルには他のコミュニティや文化のデータが欠けていると指摘しています。このモデルは、英語で書かれたプロンプトに対しては、他の言語で書かれたプロンプトと比較してより正確な結果を提供し、西洋文化や白人文化がデフォルトの表現となることが多いです。[32]

エンドユーザーの微調整

モデルの初期トレーニングの限界に対処するため、エンドユーザーは追加のトレーニングを実施し、より具体的なユースケースに合わせて生成出力を微調整することができます。このプロセスはパーソナライゼーションとも呼ばれます。安定拡散モデルのチェックポイントにユーザーがアクセス可能な微調整を適用するには、以下の3つの方法があります。

  • 「埋め込み」は、ユーザーが提供する画像のコレクションから学習させることができ、生成プロンプト内で埋め込みの名前が使用されるたびに、モデルが視覚的に類似した画像を生成することを可能にします。[45]埋め込みは、2022年にテルアビブ大学の研究者がNvidiaの支援を受けて開発した「テキスト反転」の概念に基づいています。この概念では、モデルのテキストエンコーダーで使用される特定のトークンのベクトル表現が、新しい疑似単語にリンクされます。埋め込みは、元のモデル内のバイアスを低減したり、視覚スタイルを模倣したりするために使用できます。[46]
  • 「ハイパーネットワーク」とは、大規模なニューラルネットワーク内の様々なポイントに適用される、事前学習済みの小規模なニューラルネットワークであり、NovelAIの開発者であるKurumuzが2021年に開発した技術を指し、元々はテキスト生成トランスフォーマーモデル向けに開発されました。ハイパーネットワークは結果を特定の方向に導き、安定拡散ベースのモデルが特定のアーティストのアートスタイルを模倣できるようにします。たとえ元のモデルがそのアーティストを認識していなくてもです。ハイパーネットワークは、髪や目などの重要な領域を見つけて画像を処理した後、これらの領域を二次潜在空間にパッチします。[47]
  • DreamBoothは、2022年にGoogle Researchとボストン大学の研究者によって開発されたディープラーニング生成モデルであり、特定の被写体を描写した一連の画像によるトレーニングの後、モデルを微調整して、特定の被写体を描写する正確でパーソナライズされた出力を生成することができます。[48]

機能

安定拡散モデルは、出力に含める要素または省略する要素を記述したテキストプロンプトを使用することで、ゼロから新しい画像を生成する機能をサポートしています。[8]このモデルは、拡散ノイズ除去メカニズムを介して、テキストプロンプトで記述された新しい要素を組み込むように既存の画像を再描画できます（「ガイド付き画像合成」[49]と呼ばれるプロセス）。[8]さらに、このモデルは、適切なユーザーインターフェース（このような機能をサポートするもの）と併用することで、プロンプトを使用して既存の画像を部分的にインペインティングおよびアウトペインティングによって変更することもできます。このような機能には、多数の異なるオープンソース実装が存在します。[50]

安定拡散は10GB以上のVRAMで実行することが推奨されますが、VRAMが少ないユーザーは、モデルのパフォーマンスとVRAM使用量のトレードオフとして、デフォルトのfloat32ではなくfloat16精度で重みをロードすることを選択できます。[34]

テキストから画像への生成

ネガティブプロンプトがイメージ生成に与える影響の実証
  • 上：否定プロンプトなし
  • 中央：「緑の木々」
  • 下：「丸い石、丸い岩」

Stable Diffusion内のテキストから画像へのサンプリングスクリプト（「txt2img」と呼ばれる）は、テキストプロンプトに加えて、サンプリングタイプ、出力画像のサイズ、シード値などを含む様々なオプションパラメータを使用します。スクリプトは、モデルによるプロンプトの解釈に基づいて画像ファイルを出力します。[8]生成された画像には、ユーザーがStable Diffusionによって生成された画像であることを識別できるように、目に見えないデジタル透かしが付けられます。[8 ]ただし、この透かしは、画像のサイズが変更されたり回転したりすると無効になります。[51]

txt2imgの各生成には、出力画像に影響を与える特定のシード値が含まれます。ユーザーは、異なる出力結果を得るためにシードをランダム化することも、同じシードを使用して以前に生成された画像と同じ画像出力を得ることもできます。 [34]また、ユーザーはサンプラーの推論ステップ数を調整することもできます。値が高いほど時間がかかりますが、値が小さいと視覚的な欠陥が生じる可能性があります。[34]もう一つの設定可能なオプションである分類器フリーのガイダンススケール値を使用すると、出力画像がプロンプトにどれだけ忠実に従うかを調整できます。[30]より実験的なユースケースでは低いスケール値を選択する場合があり、より具体的な出力を目指すユースケースでは高いスケール値を使用する場合があります。[34]

Stable Diffusionのフロントエンド実装では、text2imgの追加機能が提供されており、ユーザーはテキストプロンプトの特定の部分に与えられる重みを変更できます。強調マーカーを使用すると、キーワードを括弧で囲むことで、強調度を増減できます。[52]プロンプトの一部に重みを調整する別の方法として、「ネガティブプロンプト」があります。ネガティブプロンプトは、Stability AI独自のDreamStudioクラウドサービスを含む一部のフロントエンド実装に含まれる機能で、ユーザーは画像生成中にモデルが回避すべきプロンプトを指定できます。指定されたプロンプトは、ユーザーが提供したポジティブなプロンプト、またはモデルの元のトレーニング方法（よくある例として、人間の手が歪んでいる）によって、画像出力に本来含まれているはずの望ましくない画像特徴である可能性があります。[50] [53]

画像の修正

img2imgの変更のデモンストレーション
  • 左：Stable Diffusion 1.5で作成したオリジナル画像
  • 右：Stable Diffusion XL 1.0で作成した修正画像

Stable Diffusionには、別のサンプリングスクリプト「img2img」も含まれています。このスクリプトは、テキストプロンプト、既存画像へのパス、そして0.0～1.0の強度値を受け取ります。このスクリプトは、元の画像に基づいて、テキストプロンプトで指定された要素も含む新しい画像を出力します。強度値は、出力画像に追加されるノイズの量を示します。強度値が高いほど、画像内のバリエーションは多くなりますが、プロンプトの意味と一致しない画像が生成される場合があります。[8]

img2imgを実行するには様々な方法があります。主な方法はSDEdit [54]で、まず画像にノイズを追加し、その後text2imgと同様にノイズを除去します。

img2imgは元の画像にノイズを加えることができるため、画像データの視覚的特徴を変更して匿名化するデータ匿名化やデータ拡張に潜在的に有用である。 [55]同じプロセスは画像の解像度を上げ、より多くの詳細を画像に追加できる画像アップスケーリングにも有用である可能性がある。[55]さらに、安定拡散は画像圧縮ツールとして実験されている。JPEGやWebPと比較して、安定拡散における画像圧縮に使用される最近の手法は、小さなテキストや顔を保存する上で限界がある。[56]

img2imgによる画像修正の追加のユースケースは、Stable Diffusionモデルの多数のフロントエンド実装によって提供されています。インペインティングは、ユーザーが提供するレイヤーマスクで囲まれた既存の画像の一部を選択的に修正し、提供されたプロンプトに基づいてマスクされた空間を新しく生成されたコンテンツで埋める処理です。[50]インペインティングのユースケース向けに特別に微調整された専用モデルは、Stable Diffusion 2.0のリリースに合わせてStability AIによって作成されました。[35]逆に、アウトペインティングは画像を元の寸法を超えて拡張し、以前は空だった空間を提供されたプロンプトに基づいて生成されたコンテンツで埋めます。[50]

2022年11月24日のStable Diffusion 2.0のリリースに伴い、「depth2img」と呼ばれる深度ガイドモデルが導入されました。このモデルは、提供された入力画像の深度を推測し、テキストプロンプトと深度情報の両方に基づいて新しい出力画像を生成します。これにより、生成された出力において元の入力画像の一貫性と深度が維持されます。[35]

コントロールネット

ControlNet [57]は、追加条件を組み込むことで拡散モデルを管理するように設計されたニューラルネットワークアーキテクチャです。ニューラルネットワークブロックの重みを「ロックされた」コピーと「学習可能な」コピーに複製します。「学習可能な」コピーは望ましい条件を学習し、「ロックされた」コピーは元のモデルを維持します。このアプローチにより、小規模な画像ペアデータセットを用いた学習でも、実運用可能な拡散モデルの整合性が損なわれることはありません。「ゼロ畳み込み」は、重みとバイアスがともにゼロに初期化された1×1畳み込みです。学習前は、すべてのゼロ畳み込みがゼロ出力を生成するため、ControlNetによる歪みを防止できます。どの層も最初から学習されるわけではなく、微調整プロセスが継続されるため、元のモデルは安全に保たれます。この手法により、小規模デバイスや個人用デバイスでも学習が可能になります。

ユーザーインターフェース

StabilityはDreamStudioというオンライン画像生成サービスを提供している。[58] [59]同社はまた、StableStudioというDreamStudioのオープンソース版をリリースした。[60] [61] Stabilityのインターフェースに加えて、AUTOMATIC1111 Stable Diffusion Web UI（最も人気があり追加機能も提供）、[62] Fooocus（ユーザーによるプロンプト操作の回数を減らすことを目指している）、[63] ComfyUI（ノードベースのユーザーインターフェースを備え、多くの3Dモデリングアプリケーションに似たビジュアルプログラミング言語）など、多くのサードパーティ製のオープンソースインターフェースが存在する。[64] [65] [66]

リリース

主要論文

  • 自然言語教師からの転移可能な視覚モデルの学習(2021). [80]この論文では、テキストを浮動小数点ベクトルに変換するテキストエンコーダーの学習にCLIP法を用いている。このようなテキストエンコーディングは、拡散モデルによって画像を作成する際に用いられる。
  • SDEdit: 確率微分方程式によるガイド付き画像合成と編集(2021). [54]この論文ではSDEdit（別名「img2img」）について説明しています。
  • 潜在拡散モデルを用いた高解像度画像合成（2021年、2022年更新）。[81]この論文では、安定拡散アーキテクチャのバックボーンとなる潜在拡散モデル（LDM）について説明しています。
  • 分類器フリー拡散ガイダンス（2022年）。[30]この論文では、テキストエンコーディングベクトルが拡散モデルを操作してテキストで記述された画像を作成することを可能にするCFGについて説明しています。
  • SDXL: 高解像度画像合成のための潜在拡散モデルの改良（2023）。[21] SDXLについて説明しています。
  • Flow Straight and Fast: Rectified Flowによるデータ生成と転送の学習（2022年）。[23] [24] SD 3.0のバックボーンアーキテクチャに使用されるRectified Flowについて説明しています。
  • 高解像度画像合成のための整流フロー変圧器のスケーリング（2024年）。[22] SD 3.0について説明しています。

研修費用

  • SD 2.0: A100（40GB）で20万時間[71]

Stable Diffusion 3.5 LargeはAmazon Web ServicesのAmazon Bedrock上でエンタープライズ向けに利用可能になりました。[82]

使用法と論争

Stable Diffusionは生成された画像に対する権利を主張せず、画像の内容が違法または個人に有害でない限り、モデルから生成された画像の使用権をユーザーに自由に付与します。[83]

Stable Diffusionの訓練に使用された画像は人間の介入なしにフィルタリングされており、その結果、有害な画像や大量の個人情報や機密情報が訓練データに含まれてしまう。[27]

より伝統的なビジュアルアーティストは、Stable Diffusionなどの画像合成ソフトウェアの普及により、写真家、モデル、撮影監督、俳優など人間のアーティストが、AIベースの競合他社に対して徐々に商業的な成功を失うことになるのではないかと懸念を表明している。[84]

Stable Diffusionは、生成AIをベースにした他の商用製品と比較して、暴力的または性的に露骨な画像など、ユーザーが生成するコンテンツの種類に関して、はるかに寛容である。[85]このモデルが悪用される可能性があるという懸念に対し、Stability AIのCEOであるEmad Mostaque氏は、「この技術をどのように運用するかが倫理的、道徳的、合法的であるかどうかは、人々の責任である」[11]と主張し、Stable Diffusionの機能を一般の人々の手に委ねることで、潜在的な悪影響にもかかわらず、この技術は純利益をもたらすだろうと主張している。[11]さらにMostaque氏は、Stable Diffusionをオープンに利用できるようにした意図は、これまで画像合成用のクローズドAIシステムしか開発していなかった企業による、こうした技術への支配と支配を終わらせることだと主張している。[11] [85]これは、ユーザーが生成するコンテンツに対してStability AIが課す制限は、ソースコードが利用可能であるため簡単に回避できるという事実に反映されています。[86]

Stable Diffusionによって生成された未成年キャラクターの写実的な性的描写をめぐる論争が巻き起こっている。これは、そのような画像がPixivなどのウェブサイトで共有されているためである。[87]

2024年6月、 Stable DiffusionのユーザーインターフェースであるComfyUIの拡張機能に対するハッキングが発生し、ハッカーはAIによるアート生成、アートの盗難、暗号通貨の宣伝など、「私たちの罪の一つ」を犯したユーザーを標的にしたと主張しました。[88] [説明が必要]

訴訟

アンダーセン、マッカーナン、オルティス対スタビリティAI、ミッドジャーニー、デビアントアート

2023年1月、サラ・アンダーセン、ケリー・マッケルナン、カーラ・オルティスの3人のアーティストが、スタビリティAI、ミッドジャーニー、デビアントアートを相手取り著作権侵害訴訟を起こし、これらの企業がウェブから収集した50億枚の画像を使ってAIツールを訓練し、元のアーティストの同意なしに何百万人ものアーティストの権利を侵害したと主張した。[89]

2023年7月、米国地方裁判所のウィリアム・オリック判事は、アンダーセン、マッカーナン、オルティスの3人が提起した訴訟の大部分を却下する傾向にあったが、新たな訴状を提出することを認め、彼らに主張を再構築する機会を与えた。[90]

ゲッティイメージズ対スタビリティAI

2023年1月、ゲッティイメージズは、スタビリティーAIに対し、知的財産権の重大な侵害を理由に、英国高等裁判所に訴訟を起こしました。ゲッティイメージズは、スタビリティーAIがゲッティイメージズのウェブサイトから数百万枚の画像を無断で「スクレイピング」し、それらの画像を自社のディープラーニング「安定拡散モデル」の学習と開発に使用したと主張しています。[91] [92]

訴訟の要点は次のようなものであった。

  • ゲッティイメージズは、ステーブル・ディフュージョンのトレーニングと開発において、同社の画像が不正に使用され、英国内にある可能性のあるサーバーやコンピュータにダウンロードされたと主張した。一方、スタビリティAIは、すべてのトレーニングと開発は英国外、具体的にはAmazon Web Servicesが運営する米国のデータセンターで行われたと主張した。[93]
  • Stability AI社は、研修および開発に関する請求と二次的著作権侵害に関する請求の2件について、原告の棄却および／または棄却を申し立てました。しかし、高等裁判所はこれらの請求の棄却を拒否し、裁判手続きを進めることを決定しました。裁判所は、Stable Diffusion社の研修および開発が英国で行われたかどうかを判断することになっており、これは英国の1988年著作権・意匠・特許法（CDPA）に基づく管轄権を確立する上で極めて重要です。[94]
  • 二次的な侵害の主張は、GitHub、HuggingFace、DreamStudioなどのプラットフォームを通じて英国で利用可能になっている、事前学習済みのStable Diffusionソフトウェアが、CDPAの第22条および第23条に基づく「物品」を構成するかどうかを中心に展開された。[94]

2025年11月4日現在、ゲッティイメージズはAI画像ジェネレーターをめぐる訴訟でスタビリティAIにほぼ敗訴しており、ゲッティイメージズと一部の弁護士はイギリスの著作権者に対するより強力な保護を求めるようになった。[95]

ライセンス

DALL-Eのようなモデルとは異なり、Stable Diffusionはソースコード[96] [8]をモデル（事前学習済み重み）と共に公開しています。Stable Diffusion 3以前は、Responsible AI License（RAIL）の一種であるCreative ML OpenRAIL-Mライセンスをモデル（M）に適用していました。[97]このライセンスは、犯罪、名誉毀損、嫌がらせ、ドクシング、「未成年者の搾取」、医療アドバイスの提供、法的義務の自動作成、法的証拠の作成、「社会的行動または個人的または人格的特性に基づく個人またはグループへの差別または危害」など、特定の使用例を禁止しています。[98] [99]ユーザーは生成された出力画像の権利を所有し、商用利用も自由です。[100]

Stable Diffusion 3.5では、許容度の高いStability AI Community Licenseが適用されますが、収益が100万ドルを超える商業企業にはStability AI Enterprise Licenseが必要です。[101] OpenRAIL-Mライセンスと同様に、ユーザーは生成された出力画像の権利を保持し、自由に商用利用できます。[79]

参照

参考文献

  1. ^ “Stable Diffusion 3.5”. Stability AI . 2024年10月23日時点のオリジナルよりアーカイブ。 2024年10月23日閲覧。
  2. ^ Ryan O'Connor (2022年8月23日). “How to Run Stable Diffusion Locally to Generate Images”. 2023年10月13日時点のオリジナルよりアーカイブ。2023年5月4日閲覧。
  3. ^ “Diffuse The Rest - a Hugging Face Space by huggingface”. huggingface.co . 2022年9月5日時点のオリジナルよりアーカイブ。 2022年9月5日閲覧。
  4. ^ 「リークされた資料が、Stability AIの投資家向けシリーズAプレゼンテーションに疑問を投げかける」sifted.eu。2023年6月29日時点のオリジナルよりアーカイブ。 2023年6月20日閲覧。
  5. ^ 「AIによる画像生成の革命：テキストを画像に変える」www.lmu.de . 2022年9月17日時点のオリジナルよりアーカイブ。 2023年6月21日閲覧。
  6. ^ Mostaque, Emad (2022年11月2日). 「Stable Diffusion came from the Machine Vision & Learning research group (CompVis) @LMU_Muenchen」. Twitter . 2023年7月20日時点のオリジナルよりアーカイブ。 2023年6月22日閲覧。
  7. ^ abcd 「Stable Diffusion Launch Announcement」. Stability.Ai . 2022年9月5日時点のオリジナルよりアーカイブ。 2022年9月6日閲覧。
  8. ^ abcdefghi 「GitHub上の安定した拡散リポジトリ」。CompVis - マシンビジョンと学習研究グループ、LMUミュンヘン。2022年9月17日。2023年1月18日時点のオリジナルよりアーカイブ。 2022年9月17日閲覧。
  9. ^ “basujindal/stable-diffusion”. GitHub . 2022年11月16日. 2025年3月20日時点のオリジナルよりアーカイブ。2025年3月30日閲覧。
  10. ^ 「新たなキラーアプリ：AIアートの作成はPCを圧倒する」PCWorld . 2022年8月31日時点のオリジナルよりアーカイブ。 2022年8月31日閲覧。
  11. ^ abcde Vincent, James (2022年9月15日). 「このAIアートジェネレーターは誰でも使える ― それがリスクだ」The Verge . 2023年1月21日時点のオリジナルよりアーカイブ。 2022年9月30日閲覧。
  12. ^ "CompVis/潜在拡散". GitHub .
  13. ^ 「安定拡散3：研究論文」。
  14. ^ David, Foster. 「8. 拡散モデル」.生成的ディープラーニング（第2版）. O'Reilly.
  15. ^ Jascha Sohl-Dickstein、Eric A. Weiss、Niru Maheswaranathan、Surya Ganguli (2015 年 3 月 12 日)。 「非平衡熱力学を使用した教師なし深層学習」。arXiv : 1503.03585 [cs.LG]。{{cite arXiv}}: CS1 maint: multiple names: authors list (link)
  16. ^ "ホーム". Computer Vision & Learning Group . 2024年9月5日閲覧。
  17. ^ abc Rombach; Blattmann; Lorenz; Esser; Ommer (2022年6月). 潜在拡散モデルによる高解像度画像合成(PDF) . International Conference on Computer Vision and Pattern Recognition (CVPR). New Orleans, LA. pp.  10684– 10695. arXiv : 2112.10752 . 2023年1月20日時点のオリジナルよりアーカイブ(PDF) . 2022年9月17日閲覧。
  18. ^ abcd Alammar, Jay. 「The Illustrated Stable Diffusion」. jalammar.github.io . 2022年11月1日時点のオリジナルよりアーカイブ。 2022年10月31日閲覧。
  19. ^ “安定拡散パイプライン”. huggingface.co . 2023年6月25日時点のオリジナルよりアーカイブ。 2023年6月22日閲覧。
  20. ^ 「Stable DiffusionとOpenVINO™によるテキストから画像への生成」openvino.ai.Intel . 2024年2月10日閲覧。
  21. ^ abc ダスティン・ポデル、ザイオン・イングリッシュ、カイル・レイシー、アンドレアス・ブラットマン、ティム・ドックホーン、ジョナス・ミュラー、ジョー・ペンナ、ロビン・ロンバッハ（2023年7月4日）。「SDXL：高解像度画像合成のための潜在拡散モデルの改良」arXiv：2307.01952 [cs.CV]。
  22. ^ abc Esser, Patrick; Kulal, Sumith; Blattmann, Andreas; Entezari, Rahim; Müller, Jonas; Saini, Harry; Levi, Yam; Lorenz, Dominik; Sauer, Axel (2024年3月5日)「高解像度画像合成のための整流フロートランスフォーマーのスケーリング」arXiv : 2403.03206
  23. ^ ab Liu, Xingchao; Gong, Chengyue; Liu, Qiang (2022年9月7日)、「Flow Straight and Fast: Rectified Flowによるデータ生成と転送の学習」、arXiv : 2209.03003
  24. ^ ab "Rectified Flow — Rectified Flow". www.cs.utexas.edu . 2024年3月6日閲覧。
  25. ^ abcde Baio, Andy (2022年8月30日). “Exploring 12 Million of the 2.3 Billion Images Used to Train Stable Diffusion's Image Generator”. Waxy.org . 2023年1月20日時点のオリジナルよりアーカイブ。 2022年11月2日閲覧。
  26. ^ 「このアーティストはAI生成アートを席巻している。そして彼はそれに満足していない」MITテクノロジーレビュー。2023年1月14日時点のオリジナルよりアーカイブ。 2022年11月2日閲覧。
  27. ^ ab Brunner, Katharina; Harlan, Elisa (2023年7月7日). 「私たちは皆、AIの原料です」. Bayerischer Rundfunk (BR). 2023年9月12日時点のオリジナルよりアーカイブ。 2023年9月12日閲覧。
  28. ^ Schuhmann, Christoph (2022年11月2日)、CLIP+MLP Aesthetic Sc​​ore Predictor、2023年6月8日時点のオリジナルよりアーカイブ。2022年11月2日閲覧。
  29. ^ “LAION-Aesthetics | LAION”. laion.ai . 2022年8月26日時点のオリジナルよりアーカイブ。2022年9月2日閲覧。
  30. ^ abc Ho, Jonathan; Salimans, Tim (2022年7月25日). 「分類器を使用しない拡散ガイダンス」. arXiv : 2207.12598 [cs.LG].
  31. ^ Mostaque, Emad (2022年8月28日). 「建設費用」. Twitter . 2022年9月6日時点のオリジナルよりアーカイブ。 2022年9月6日閲覧。
  32. ^ abc “CompVis/stable-diffusion-v1-4 · Hugging Face”. huggingface.co . 2023年1月11日時点のオリジナルよりアーカイブ。 2022年11月2日閲覧。
  33. ^ Wiggers, Kyle (2022年8月12日). 「スタートアップ企業がDALL-E 2の技術を民主化したい、どんな結果になっても構わない」TechCrunch . 2023年1月19日時点のオリジナルよりアーカイブ。 2022年11月2日閲覧。
  34. ^ abcde 「🧨ディフューザーによる安定した拡散」huggingface.co . 2023年1月17日時点のオリジナルよりアーカイブ。2022年10月31日閲覧。
  35. ^ abc 「Stable Diffusion 2.0 Release」。stability.ai。2022年12月10日時点のオリジナルよりアーカイブ。
  36. ^ “LAION”. laion.ai . 2023年10月16日時点のオリジナルよりアーカイブ。 2022年10月31日閲覧。
  37. ^ 「安定拡散法による画像生成」Paperspace Blog . 2022年8月24日. 2022年10月31日時点のオリジナルよりアーカイブ。 2022年10月31日閲覧。
  38. ^ “SDXL 1.0 を発表”. Stability AI . 2023年7月26日時点のオリジナルよりアーカイブ。 2023年8月21日閲覧。
  39. ^ Edwards, Benj (2023年7月27日). 「Stability AI、次世代画像合成モデル「Stable Diffusion XL」をリリース」Ars Technica . 2023年8月21日時点のオリジナルよりアーカイブ。 2023年8月21日閲覧。
  40. ^ “hakurei/waifu-diffusion · Hugging Face”. huggingface.co . 2023年10月8日時点のオリジナルよりアーカイブ。2022年10月31日閲覧。
  41. ^ Chambon, Pierre; Bluethgen, Christian; Langlotz, Curtis P.; Chaudhari, Akshay (2022年10月9日). 「事前学習済みの視覚・言語基礎モデルの医用画像領域への適応」arXiv : 2210.04133 [cs.CV].
  42. ^ Seth Forsgren、Hayk Martiros. 「Riffusion - リアルタイム音楽生成のための安定した拡散」Riffusion . 2022年12月16日時点のオリジナルよりアーカイブ。
  43. ^ Mercurio, Anthony (2022年10月31日)、「Waifu Diffusion」、2022年10月31日時点のオリジナルよりアーカイブ。2022年10月31日閲覧。
  44. ^ ライアン・スミス「NVIDIAがGeForce RTX 3080 12GBをひっそり発売：VRAM増量、消費電力増、価格増」www.anandtech.com . 2023年8月27日時点のオリジナルよりアーカイブ。 2022年10月31日閲覧。
  45. ^ Dave James (2022年10月28日). 「RTX 4090を8時間連続でStable Diffusionのトレーニングに使い、ヘルマンおじさんのような絵を描けた」PC Gamer . 2022年11月9日時点のオリジナルよりアーカイブ。
  46. ^ Gal, Rinon; Alaluf, Yuval; Atzmon, Yuval; Patashnik, Or; Bermano, Amit H.; Chechik, Gal; Cohen-Or, Daniel (2022年8月2日). 「画像は一言で表せる：テキスト反転を用いたテキストから画像への生成のパーソナライズ」. arXiv : 2208.01618 [cs.CV].
  47. ^ “NovelAI Improvements on Stable Diffusion”. NovelAI . 2022年10月11日. 2022年10月27日時点のオリジナルよりアーカイブ。
  48. ^ 山下裕貴 (2022年9月1日). 「愛犬の合成画像を生成できるAI文章で指示するだけでコスプレ米Googleが開発」。アイティメディア株式会社2022年8月31日のオリジナルよりアーカイブ。
  49. ^ メン、チェンリン;彼、ユートン。ソン、ヤン。宋嘉明。ウー、ジアジュン。朱潤燕。エルモン、ステファノ（2021年8月2日）。 「SDEdit: 確率微分方程式を使用したガイド付き画像合成と編集」。arXiv : 2108.01073 [cs.CV]。
  50. ^ abcd “Stable Diffusion web UI”. GitHub . 2022年11月10日. 2023年1月20日時点のオリジナルよりアーカイブ。2022年9月27日閲覧。
  51. ^ invisible-watermark、Shield Mountain、2022年11月2日、2022年10月18日時点のオリジナルよりアーカイブ。2022年11月2日閲覧。
  52. ^ “stable-diffusion-tools/emphasis at master · JohannesGaessler/stable-diffusion-tools”. GitHub . 2022年10月2日時点のオリジナルよりアーカイブ。 2022年11月2日閲覧。
  53. ^ “Stable Diffusion v2.1 and DreamStudio Updates 7-Dec 22”. stability.ai . 2022年12月10日時点のオリジナルよりアーカイブ。
  54. ^ ab メン、チェンリン;彼、ユートン。ソン、ヤン。宋嘉明。ウー、ジアジュン。朱潤燕。エルモン、ステファノ（2022年1月4日）。 「SDEdit: 確率微分方程式を使用したガイド付き画像合成と編集」。arXiv : 2108.01073 [cs.CV]。
  55. ^ ab ルジ、ロレンツォ;シアクーヒ、アリ。メイヤー、ポール M.カスコ・ロドリゲス、ジョスエ。リチャード・バラニューク（2022年10月21日）。 「ブーメラン: 拡散モデルを使用した画像多様体上のローカル サンプリング」。arXiv : 2210.12100 [cs.CV]。
  56. ^ Bühlmann, Matthias (2022年9月28日). 「Stable Diffusion Based Image Compression」. Medium . 2022年11月2日時点のオリジナルよりアーカイブ。2022年11月2日閲覧。
  57. ^ Zhang, Lvmin (2023年2月10日). 「テキストから画像への拡散モデルへの条件制御の追加」. arXiv : 2302.05543 [cs.CV].
  58. ^ Edwards, Benj (2022年11月10日). 「ポケットに安定した拡散？『Draw Things』でiPhoneにAI画像が登場」Ars Technica . 2024年7月10日閲覧。
  59. ^ Wendling, Mike (2024年3月6日). 「AIは簡単に偽の選挙写真を作るのに使える - 報告書」. bbc.com . 2024年7月10日閲覧。キャンペーン団体CCDHは、Midjourney、OpenAIのChatGPT Plus、Stability.aiのDreamStudio、MicrosoftのImage Creatorという、最大規模の一般向けAIプラットフォーム4つをテストした。
  60. ^ Wiggers, Kyle (2023年5月18日). 「Stability AI、AI搭載デザインスタジオをオープンソース化」. TechCrunch . 2024年7月10日閲覧。
  61. ^ Weatherbed, Jess (2023年5月17日). 「Stability AIがDreamStudioウェブアプリをオープンソース化」The Verge .
  62. ^ Mann, Tobias (2024年6月29日). 「Stable DiffusionとAutomatic1111を用いたローカルAI画像生成の分かりやすいガイド」The Register .
  63. ^ Hachman, Mak. 「FooocusはPCでAIアートを作成する最も簡単な方法です」PCWorld。
  64. ^ 「ComfyUIワークフローと知っておくべきこと」thinkdiffusion.com . 2023年12月. 2024年7月10日閲覧。
  65. ^ “ComfyUI”. github.com . 2024年7月10日閲覧。
  66. ^ Huang, Yenkai (2024年5月10日). 潜在的自動再帰合成エンジン (MSコンピュータサイエンス論文).ダートマス大学. 2024年7月10日閲覧。
  67. ^ “CompVis/stable-diffusion-v1-4 · Hugging Face”. huggingface.co . 2023年1月11日時点のオリジナルよりアーカイブ。 2023年8月17日閲覧。
  68. ^ “CompVis (CompVis)”. huggingface.co . 2023年8月23日. 2024年3月6日閲覧。
  69. ^ ab "runwayml/stable-diffusion-v1-5 · Hugging Face". huggingface.co . 2023年9月21日時点のオリジナルよりアーカイブ。 2023年8月17日閲覧。
  70. ^ “stable-diffusion-v1-5/stable-diffusion-v1-5 · Hugging Face”. huggingface.co . 2025年5月26日時点のオリジナルよりアーカイブ。 2025年6月1日閲覧。
  71. ^ ab “stabilityai/stable-diffusion-2 · Hugging Face”. huggingface.co . 2023年9月21日時点のオリジナルよりアーカイブ。 2023年8月17日閲覧。
  72. ^ “stabilityai/stable-diffusion-2-base · Hugging Face”. huggingface.co . 2024年1月1日閲覧。
  73. ^ “stabilityai/stable-diffusion-2-1 · Hugging Face”. huggingface.co . 2023年9月21日時点のオリジナルよりアーカイブ。 2023年8月17日閲覧。
  74. ^ “stabilityai/stable-diffusion-xl-base-1.0 · Hugging Face”. huggingface.co . 2023年10月8日時点のオリジナルよりアーカイブ。 2023年8月17日閲覧。
  75. ^ 「SDXL 1.0の発表」Stability AI . 2024年1月1日閲覧。
  76. ^ “stabilityai/sdxl-turbo · Hugging Face”. huggingface.co . 2024年1月1日閲覧。
  77. ^ 「敵対的拡散蒸留」. Stability AI . 2024年1月1日閲覧。
  78. ^ 「Stable Diffusion 3」. Stability AI . 2024年3月5日閲覧。
  79. ^ ab “Stable Diffusion 3.5”. Stability AI . 2024年10月23日時点のオリジナルよりアーカイブ。2024年10月23日閲覧。
  80. ^ Radford, Alec; Kim, Jong Wook; Hallacy, Chris; Ramesh, Aditya; Goh, Gabriel; Agarwal, Sandhini; Sastry, Girish; Askell, Amanda; Mishkin, Pamela (2021年2月26日). 「自然言語教師からの転送可能な視覚モデルの学習」. arXiv : 2103.00020 [cs.CV].
  81. ^ Rombach, Robin; Blattmann, Andreas; Lorenz, Dominik; Esser, Patrick; Ommer, Björn (2022). 「潜在拡散モデルを用いた高解像度画像合成」. IEEE/CVF コンピュータビジョンおよびパターン認識会議 (CVPR) の議事録. pp.  10684– 10695. arXiv : 2112.10752 .
  82. ^ Kerner, Sean Michael (2024年12月19日). 「Stable Diffusion 3.5 が Amazon Bedrock に登場：エンタープライズAIワークフローにとっての意味」VentureBeat . 2024年12月25日閲覧。
  83. ^ “LICENSE.md · stabilityai/stable-diffusion-xl-base-1.0 at main”. huggingface.co . 2023年7月26日. 2024年1月1日閲覧。
  84. ^ Heikkilä, Melissa (2022年9月16日). 「このアーティストはAI生成アートを席巻している。そして彼はそれについて満足していない」MITテクノロジーレビュー. 2023年1月14日時点のオリジナルよりアーカイブ。 2022年9月26日閲覧。
  85. ^ ab 清水涼 (2022年8月26日). 「Midjourneyを超えた？無料の絵AI「#StableDiffusion」が「AIを民主化した」と認められる理由」。Business Insider Japan（日本語） 2022年12月10日のオリジナルからアーカイブ。2022 年10 月 4 日に取得。
  86. ^ Cai, Kenrick. 「AI画像ジェネレーターStable Diffusionを開発するスタートアップ、評価額10億ドルの資金調達に向けて協議中」Forbes . 2023年9月30日時点のオリジナルよりアーカイブ。 2022年10月31日閲覧。
  87. ^ “AIによる児童性的虐待画像の違法取引が明らかに”. BBCニュース. 2023年6月27日. 2023年9月21日時点のオリジナルよりアーカイブ。2023年9月26日閲覧。
  88. ^ Maiberg, Emanuel (2024年6月11日). 「ハッカーがGitHub上の悪意のある安定版拡散ツールでAIユーザーを標的に、『芸術品盗難』に抗議」 404 Media . 2024年6月14日閲覧。
  89. ^ Vincent, James (2023年1月16日). 「AIアートツールStable DiffusionとMidjourneyが著作権訴訟の標的に」The Verge . 2023年3月9日時点のオリジナルよりアーカイブ。 2023年1月16日閲覧。
  90. ^ Brittain, Blake (2023年7月19日). 「米判事、AI企業に対するアーティストの訴訟に欠陥を発見」ロイター. 2023年9月6日時点のオリジナルよりアーカイブ。 2023年8月6日閲覧。
  91. ^ Goosens, Sophia (2024年2月28日). 「Getty Images対Stability AI：英国の著作権法とライセンスへの影響」
  92. ^ Gill, Dennis (2023年12月11日). 「ゲッティイメージズ対スタビリティAI：著作権侵害の申し立ては裁判に進むことができる」
  93. ^ グーセンス、ソフィア（2024年2月28日）「ゲッティ対スタビリティAI訴訟、英国で裁判へ ― そこから見えてきたこと」
  94. ^ ab Hill、シャーロット（2024年2月16日）。「法廷における生成AI：ゲッティイメージズ対スタビリティAI」
  95. ^ Tobin, Sam (2025年11月4日). 「ゲッティイメージズ、AI画像生成器をめぐる英国での画期的な訴訟でほぼ敗訴」
  96. ^ “Stable Diffusion Public Release”. Stability.Ai . 2022年8月30日時点のオリジナルよりアーカイブ。2022年8月31日閲覧。
  97. ^ “From RAIL to Open RAIL: Topologies of RAIL Licenses”. Responsible AI Licenses (RAIL) . 2022年8月18日. 2023年7月27日時点のオリジナルよりアーカイブ。 2023年2月20日閲覧。
  98. ^ 「準備はできているかどうかに関わらず、大量のディープフェイク動画がやってくる」ワシントン・ポスト、2022年8月30日。2022年8月31日時点のオリジナルよりアーカイブ。 2022年8月31日閲覧。
  99. ^ “License - a Hugging Face Space by CompVis”. huggingface.co . 2022年9月4日時点のオリジナルよりアーカイブ。2022年9月5日閲覧。
  100. ^ 石田勝男 (2022年8月26日). 「言葉で指示した画像をすごいAIが描く「Stable Diffusion」 ～画像は商業利用も可能」。株式会社インプレス2022年11月14日のオリジナルからアーカイブ。2022 年10 月 4 日に取得。
  101. ^ 「コミュニティライセンス」. Stability AI . 2024年7月5日. 2024年10月23日閲覧。
ウィキメディア コモンズには、安定拡散に関連するメディアがあります。
  • 安定拡散デモ
  • 「拡散モデルのステップバイステップのビジュアル紹介 - Kemal Erdemのブログ」 。 2024年8月31日閲覧。
  • 「安定拡散のためのU-Net」。安定拡散のためのU-Net 。 2024年8月31日閲覧。
  • 安定拡散のインタラクティブな説明
  • 「私たちは皆、AIの原材料です」：安定拡散学習データにおける機密データとプライベートデータの調査
  • 「安定的な拡散におけるネガティブなプロンプト」
  • 「安定的な拡散におけるネガティブなプロンプト」