ローカル LLM を試した件

最近、ローカル LLM 用に M6 Mac Mini を買った。Ollama で gemma4 を動かし、仕事用の Windows PC から Open WebUI で対話している。主な用途は英文の添削。プレフィル (プロンプトの処理) に数十秒かかるのが難点といえば難点だけど、機微な情報をゼロリスクで渡せるので、やはり便利。

チャットボットの稼働が Mac Mini の購入目的だったんだけど、魔が差して叡智な画像生成にも手を出してしまった。芸術的な方向の画像なら、チャットボットにプロンプトを作ってもらい、手動で微調整したものを ZIT などの text-to-image AI に渡すだけで簡単に作れた。でも、もっと過激なものとなると、作るのは容易でないことが分かった。体の部位や場面に特化した色んな LoRA モデル (アドオン) が出回っていて、いくつか試してみたけど、容姿や服装が変わってしまったり、ちょっとグロくなってしまったりと上手くいかなかった。パラメータを微調整すればそこそこ納得いくものが作れるのかも知れないけど、そこまでパッションを燃やせそうにない。それに、著作権とか肖像権とか、その辺は大丈夫なのか (特に有志が作った LoRA) という問題もある。

上は ZIT が生成した画像の例。左の人、指何本あんねん。右の人、腕何本あんねん。(良さそうな画像が得られるまで seed を変えつつ画像生成を続けるのが standard practice らしい。)