InstantX團隊出品!風格遷移模型CSGO:玩轉各種風格合成
CSGO是InstantX團隊與南京理工大學、北京航空航天大學及北京大學合作開發的一種全新風格遷移模型,旨在提升圖像生成技術,特別強調內容與風格的結合。該模型支持三種模式:1)內容圖片與風格參考圖片合成風格圖片;2)風格參考圖片與文字提示合成對應內容風格圖片;3)通過文字編輯圖片中的指定對象。CSGO的核心在於其獨特的數據構建流程,通過設計的數據生成和自動清洗管道,構建了一個包含21萬個圖像三元組的IMAGStyle大規模風格轉移數據集。該模型通過端到端訓練,能夠明確區分內容和風格特徵,且在推理階段無需額外微調。CSGO不僅保留了文本到圖像的生成能力,沒有對UNet進行訓練,而且在圖像驅動、文本驅動的風格轉移以及文本編輯驅動的風格合成方面表現出色。實驗結果顯示,CSGO在風格控制能力上優於現有技術,展示了圖像生成的新高度。