ComfyUI キャラLoRAで全員同じ顔になる問題

ComfyUI キャラLoRAで全員同じ顔になる問題 AIニュース
{"prompt":"minimalist tech blog cover image, abstract digital art, futuristic AI aesthetic, deep blue purple gradient, no text, professional editorial style, 16:9","originalPrompt":"minimalist tech blog cover image, abstract digital art, futuristic AI aesthetic, deep blue purple gradient, no text, professional editorial style, 16:9","width":512,"height":480,"seed":42,"model":"sana","enhance":true,"nologo":true,"negative_prompt":"undefined","nofeed":false,"safe":false,"quality":"medium","image":[],"transparent":false,"has_nsfw_concept":false,"concept":[],"trackingData":{"actualModel":"sana","usage":{"completionImageTokens":1,"totalTokenCount":1}}}

ComfyUIでキャラクターLoRAを使ったら、主役だけでなく背景の人物や脇役まで全員そのキャラの顔になってしまった——。r/comfyuiに投稿されたこのスレッドは、笑える結果と同時にキャラLoRAの典型的な落とし穴を浮き彫りにした。本記事ではRedditの一次情報のみを根拠に、何が起きていて、現場でどう回避するかを整理する。

何が起きたのか

投稿者はComfyUIでキャラクターLoRAを適用した画像を生成したところ、画面に映る人物全員が同じキャラクターの顔になるという結果に直面した。本人のコメントは短い。

Hi there. The topic. How to fix that? It looks funny but that is not I expect it to be honestly

投稿には添付画像が1枚あり(i.redd.it上のjpeg)、エンゲージメント61、コメント16件が集まっている。スレッドの反応は二分されており、「Animate this pic and it will be peak」「Fix what? This is fabulous」「You’re on the golden path, don’t turn back now」といったジョーク系と、実用的なワークフロー提案が混在している。

なぜ起きたか/何が問題か

スレッド内では原因の技術的解説が深くは行われていない。ただし、ある回答者は学習データ起因の問題として次の指摘を残している。

You need to name the person in the caption, also add images of said person with other people

つまり、LoRA学習時に「そのキャラがそのキャラだとモデルに識別させるためのキャプション(人物名)」が不足している、あるいは「そのキャラ単独の画像」ばかり学習させている場合、モデルは「人物 = このキャラ」という強い結びつきを覚えてしまう、というのがこの回答者の見立てだ。原文ではトレーニングスクリプトや具体的パラメータには言及がなく、あくまでキャプションと学習素材の構成の話に留まっている。

読者がどう守るか

スレッド内で提示された対処法は大きく3系統ある。いずれもRedditコメントに明示的に書かれている範囲のみを記す。

  • img2imgで部分適用:まずLoRA無効で全体を生成し、その上で置き換えたい人物にマスクをかけ、LoRAを有効にした状態で低ノイズ(low noise)のimg2imgを再走させる。回答者自身「Havent done these in a while」「I hope there is easier ways these days」と前置きしており、現在もこの手順がベストかは保証されていない。
  • 外部ツールで合成:LoRA無しの画像とLoRA有りの画像をそれぞれ生成し、Krita(またはPhotoshop)でステッチして1枚に仕上げる。
  • 学習段階での対処:次回LoRAを学習する際、キャプションでそのキャラの名前を明示し、かつ「他の人物と一緒に写っている画像」も学習データに混ぜる。

注意したいのは、スレッドにはComfyUIの具体的なノード名やワークフロー.jsonは添付されていないことだ。「マスクを使った低ノイズimg2img」「キャプションに人物名」といった抽象的な指示しか元情報にはないため、具体的な実装は読者自身が手元のComfyUI環境で組む必要がある。

まとめ

  • キャラLoRAが画面全員に伝播するのはコミュニティでよくある困りごとで、ジョーク半分・実用半分でスレッドが進行した。
  • その場しのぎなら「LoRA無し→マスクしてimg2imgでLoRA適用」または「別生成して外部ツールで合成」。
  • 根本対処は学習データ・キャプションの設計を見直すこと。

実装家視点で言うと、キャラLoRAの「染み出し」は学習データの偏りに対するモデルの素直な反応で、推論側だけで完全に殺すのは難しい。案件で複数人物の絵を出す必要があるなら、最初からマスク+inpaintを組み込んだワークフローを前提に設計するか、学習時点で「単体カット」と「他者と写ったカット」を混ぜておく方が事故が少ない。スレッドのジョーク勢が言う通り「これはこれで作品として面白い」のは確かだが、納品物ではそうも言ってられない。


コメント

タイトルとURLをコピーしました