進化した画像生成AI Flux.1 + Comfyui を pinokio で Macローカルに簡単インストール ポートレート作成してみました #Flux #Mac

SDXL以降あまり画像生成AIを追っていなかったのですが、Flux.1の生成する画像が実写レベルですごいと話題でしたので、Macローカルにインストールして試してみました。FLUX.1は、Stable Diffusionの開発者が立ち上げた「Black Forest Labs」が開発した、プロンプトへの忠実性と多様なスタイル対応を兼ね備えた高性能な画像生成AIモデルです。

MacへのインストールはPinokioという、1クリックでAIツールをインストールできるというツールを使うのが便利。インストールの複雑な工程を自動化してくれます。
https://pinokio.computer/ へアクセスして、Downloadをクリック。macの項目からインストールファイルをダウンロードして、実行してマウントします。

Pinokio.app を Applications にドラッグ&ドロップして、インストール。さらに右上のpatch.commandを実行し、アカウントのパスワードを入力します。

アプリケーションフォルダから、Pinokio.app を実行します。

色々なAIツールが並んでいます。Comfyuiを選択。

Downloadを押します。

するとステップに沿って必要なソフトを自動的にインストールしていってくれます。

Comfyuiが問題なくインストールできたら、実行します。

flux1-schnell-fp8.safetensorsまでインストールされている状態でしたので、下記からFP8 Checkpoint versionのFlux Schnellのworkflowの画像をダウンロードして、Loadすれば問題なく実行できました。こんなに簡単にインストールできるなんて。

https://comfyanonymous.github.io/ComfyUI_examples/flux

Schnellモデルは4ステップで画像生成できるので速いですね。でも、プロンプトを変えて少し実行してみましたが、結果はいまいち。
せっかくM1 MacBook Pro 64GBを使っているので、Flux.1 Devを使うことに。PinokioのComfyuiでは簡単にモデルがダウンロードできるようになっています。

Terminal横の■Stopを押して停止し、Download ModelsからFlux 1 Devを押すと、自動的にモデルをインストールしてくれます。

ただリポジトリの構成が変わったためか、私が実行した時点では、ae.safetensorsが自動でインストールできなかったので、下記からダウンロードして、pinokio/api/comfy.git/app/models/vae に配置

https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main

さらに、pinokio/api/comfy.git/app/models/unet の flux1-dev.sft を flux1-dev.safetensors にリネームすることで実行できました。

workflow は こちら の Flux Dev用のものを使っています。

プロンプトを変えながら画像生成してみましたが、なかなか良い感じの画像がでてきますね。
生成は結構時間がかかるので、プロンプトを入れQueue Promptをしておき、できるまで待ちます。

Japanese や school uniform などに反応してか、photoとか入れてもアニメ調の画像がある程度の確率で生成されますね。
ネガティブプロンプトは使わない方式みたいなので、プロンプトで実写に固定させるのは難しいかな。

違うプロンプトで。

1024×1600のサイズの生成も問題なくできました。
またアニメ調に。

わざと手指を入れてみましたが、たまに6本指になります。
でも以前と比べて破綻する確率は低そう。

ラーメンを食べる姿も比較的まともに。
ただ、全部アニメ風になり、実写風の画像は生成できませんでした。

まだ簡単にプロンプト書いただけですが、なかなか良い感じの画像がどんどん生成できますね。
もっと詳しく指定したら面白そうです。試してみたいと思います。