Paint-Anything:任意の16進色指定で画像生成と編集を同じ方法で操作できるようにする新手法
この論文は、画像生成や編集で「任意の色」を正確に指定できる仕組みを作ることをめざしています。ここで言う任意の色とは、通常のデザインで使う24ビットの16進表記(例:#FF8800)のような任意の六桁のコードで色を指定することです。研究チームは、この「16進コードを直接使う」インターフェースを学習させたモデルをPaint-Anythingと名付けました。
研究者はまず、実画像から作った大規模データセット Paint-500K を用意しました。データ生成は、(1)物体の位置を特定するオブジェクト・グラウンディング、(2)人が見たときの色に近い「知覚的な色ラベリング」、(3)編集前後の対になる例を合成する工程、の組み合わせで進められています。しかし実画像には影などがあり、ラベルが厳密な色と一致しないことがあります。そこで正確な色の学習を補うために、ピクセルが指定した16進値と完全に一致する「純色アンカー」も用意しました。これらのアンカーは学習のうちノイズが高い段階(高ノイズタイムステップ)だけで使い、ノイズが低い段階は自然画像で学ばせるという工夫をしています。
手法の核は「共通の16進プロンプト(hex-prompt)インターフェース」です。最近の大規模言語モデルはコンパクトなものでも16進コードと色の意味を結びつける能力を持つため、その性質を利用して、生成(テキストから画像を作る)と編集(画像内の特定物体の色を置き換える)の両方で同じ入力様式を使えるように学習させます。つまりユーザーは色を自然言語ではなく、直接16進コードで指定できます。
なぜ重要かというと、プロのデザイン現場では特定の色を正確に指定する必要があるからです。先行研究の多くは色表現の専用形式や特殊な推論手順に頼ってきましたが、本研究はより単純なプロンプト形式で高い色忠実度を狙います。評価用にも Any Color Benchmark(ACBench)という基準を新設し、テキストから画像(ACBench-T2I)と編集(ACBench-Edit)の両方で物体ごとの16進色忠実度を測るようにしました。実験では、FLUX.2-4Bという基礎モデルに対してPaint-Anythingを適用すると、ACBench-T2Iで基礎モデル比85.3%向上、ACBench-Editで28.3%向上を記録し、比較手法の中で平均的なCompColorスコアが最も高くなったと報告しています。
重要な注意点もあります。実画像から作るラベルは影や照明の影響で正確な色とずれるため、純色アンカーという補助を入れた設計になっています。しかもアンカーは学習の一部でのみ使われ、全体の学習は自然画像に依存する部分が大きいことから、実際の照明条件や基礎モデルによって結果が変わる可能性があります。論文は学習レシピの有効性を示すアブレーション(要素を外して性能を確かめる実験)も載せていますが、他のモデルや環境でどれだけ再現できるかはさらに検証が必要です。
まとめると、Paint-Anythingは任意の16進色指定で生成と編集を統一的に扱えるようにする試みです。大規模な実画像データと純色アンカーを組み合わせた学習レシピと、新しい評価ベンチマークを提示した点が主な貢献です。一方で実画像ラベルの不確実性や基礎モデル依存性といった限界も明示されています。