雑談：始まりは、Stable Diffusion

2022年の10月頃、以前から興味のあったAI画像生成を始めた。
ローカルPC環境で生成できる「Stable Diffusion」が出てきたからだ。

一度これまでの流れや経験をまとめたいと思います。長くなるかもしれないので、時間がある時にでも見て下さい。

学習内容はメモっているので、振り返りながら、新しい情報と解釈でこれまでを解説できればと思います。ちなみにサーバー系のウェブサービスはほとんど利用したことがないので、そこは完全に別ジャンルですね。

まずどんな仕組みなのか？技術的に細かく解説すると頭がパンクすると思いますし、分からなくても使えるというのが、ツールのいい所ですよね。間違っているかもしれませんが、ざっくり簡単に説明すると、ノイズを加えたり、消したりすることで画像の情報を記録できる。

どういった処理なのか、詳しくはComfyUIなどツールの使い方を覚えるといいかもしれません。細かい部分は初期の頃に覚えていた方が、後々の制作活動でヒントになるかもしれませんので、何となくでもいいので、少しだけ理解しておいた方がいいのではと思います。

ここでもざっくり解説すると、モデルと呼ばれる本体にテキストエンコーダと呼ばれる翻訳機でデータを入れ、ノイズの処理をしたら、VAEというデコーダーで取り出すようなもの？このテキストエンコーダに入れるプロンプトを考えるのがユーザーで、処理とか設定をするのがツールの主な役割です。

ツールの使い方はある程度経験し慣れた方がいいかもしれません。そうするとモデルの細かい仕様を理解するのにも役立ちます。あと動作にGit（ギット）やPython（パイソン）についても知っておかないと動かすのは難しいかもしれません。まずは推奨される設定を素直にやってみることが大事だと思います。

モデルなどはCivitai（シビタイ）で無料でダウンロードすることが出来ます。更新も早いですし、たくさんあるので、好きなのをダウンロードしてみて下さい。でもファイルのサイズがどれもギガ級の巨大ファイルなので、SSDやHDDに余裕がなければ厳しいかもしれません。同時に推奨される環境の確認もしておきましょう。テキストエンコーダとVAEは何を使うか、ステップ数やスケール、サンプラーといった設定値を確認してメモしておいた方がいいでしょう。

とりあえず生成までが一番大変かもしれません。AIに相談し間違ったことや古いことを教えられ、迷うこともあるかもしれませんが、ちゃんと要点を理解した解説などを読めば解決できることが多くあります。重要なことの方が中々見つけにくいというのが良くありますよね。でもローカル環境はそこからの学習コストは比較的小さいかなって思うので、パソコンがあるなら是非試してみて欲しいですね。

でも新し目のゲーミングPCくらいの要求スペックが必要になりますし、上を見れば業務用の桁違いなグラボでもまだ足りないと思わせるので、ハードルは意外と高い？実質的な目安はRTX3060の12GBで、それ以下のVRAM、性能、世代だとちょっと厳しいかもしれません。

でもAnima（アニマ）のターボモデルなら消費VRAMが6GBくらいで1枚当たり30秒くらいの生成を可能にするので、本当におすすめです。それで指の破綻が少なく、文字が表示出来て、LoRAが不要でキャラが簡単に生成できる。乗り換えるなら今って感じはしますね。

さて、モデルにどのような進化があったのか、振り返りたいと思います。2022.10頃は美少女の絵が出るよ、色んな絵や線が出せるよって感じでした。ミュシャなんかが人気だったような気がします。今見るとボケッとした絵なんですけどね。個人的にはだいたい半年ぐらいで次の段階にシフトするイメージです。すぐに限界を感じて飽きたりするんですよね。

次は2023.03頃でした。アジア人が綺麗に出せる、衣装も変えられるって感じでした。この頃にLoRAを使い始め、絵柄を寄せることがある程度できるようになった感じです。ちなみに実写系をずっと使っていて、アニメ系はほとんど触らなかったので分からないことが多いですが、キャラが学習されているって話題になったのも、それ以前だと思います。法的なリスクも色々と言われていましたし、その辺は今でも変わらないと思いますけど、注意ですよね。

ここから何となく1年くらいダラダラとプロンプトを試しながら同じモデルで、たまに生成していた感じですね。この頃にティファとエアリスのLoRAを使い画像加工で雑誌表紙風の画像をアップしたりしていました。リアルなフィギュア風なのは作れましたが、手に何かを持つなどは難しかった時期ですね。

2023.07にはSDXLが登場し、解像度が512×512ドットから1024×1024ドットへ進化しました。それまでのSD1.5より、学習したベースの解像度が高いために、生成時も安定するっていうものでした。LoRAなどは当然使えなくなり、過去の資産を一旦手放す決断が必要になりました。ここでベースモデルと派生モデルの違いの説明ですが、基本はベースモデルっていう普通のが発表されます。それに追加で学習したり、他のと混ぜるマージなどを行いカスタムしたモデルがCivitaiなどで公開されます。

更に2024.08にはFLUXというモデルが登場し、なんか凄いのが出た！と衝撃だったのだが……
要求スペックも無限大……一般ユーザーはまともに動かせず、SDXLモデルへ逆戻りというのも珍しくなかった？

実はここで省力化の技術が発展したらしい、量子化、蒸留、メモリオフロード、少ないVRAMでも動作させることが可能な廉価版のような？色々と減らすけど、劣化は最小限で違いは分かりにくいよのレベルにしたらしい。

そこから長く触っていなかった気がする。年末くらいに適当にダウンロードして、複数人の描き分けや文字入力を試して、そこからまた半年くらいスルーしていた。

2025.08頃、夏ごろにイラストリアス系、ポニー系などSDXL系列の大きな派閥の派生モデルを少し触った。アニメ系に手を出したのは実質的に初だったかもしれない。さすがの完成度と言うべきか、かなり可能性を感じて触っていたが、やっぱりSDXLの限界というか、ガチャや不安定感は残るって感じだった。

――それから約一年。偶然Anima（アニマ）を見つけた。すぐ分かるくらいの安定感。LoRAなしでDanbooruタグが通じる。それから先日の仕様の確認で判明した潜在能力。自然言語の理解度、圧倒的な省力化。改めて整理してみても評価が高いのではないか。間違った記述で十分な性能を発揮していた。

同じく可能性を感じるのはKrea2（クレアツー）である。FLUXのアーキテクチャ？新規で学習された安定感？SDXLなどで感じていた限界を同じく超えてきたベースモデルである。どちらか、もしくは両方を使って進めるのがいいのではないか？

自分の中でもかなり情報が整理出来ました。結論は今すぐAnimaかKrea2で自然言語のプロンプトを学ぼうということです。かなり英語の文法などに気を使い、英語力アップも狙えますよ（笑）

ローカルPC勢の現状報告でした。ちなみに画像はアリスコスのエアリス。指とか文字とかいい感じでしょ！