新智元报道

编辑：编辑部 HYZ

【新智元导读】LLM统一了语言生成任务，图像生成可以吗？就在刚刚，智源推出了全新扩散模型架构OmniGen，单个模型就能生成图像，彻底告别繁琐工作流！

大语言模型（LLM）的出现统一了语言生成任务，并彻底改变了人机交互。

然而，在图像生成领域，能够在单一框架内处理各种任务的统一模型在很大程度上仍未得到探索。

代码仓库：https://github.com/VectorSpaceLab/OmniGen

Demo: https://huggingface.co/spaces/Shitao/OmniGen

介绍

近年来，许多文生图模型在生成式AI的浪潮中脱颖而出。然而，这些出色的专有模型仅能基于文本生成图像。当用户产生更灵活、复杂、精细等的图像生成需求时，往往需要额外的插件和操作。

例如，若想参考任一姿态生成图像，常规方法是：用姿态检测器从参考图像中估计姿态作为条件输入，并加载对应的Controlnet插件，最后提取条件输入的特征馈入扩散模型生成图像。

此外，若想基于合照中的特定人物生成新图像，流程更加繁琐，需要裁剪图像以确保结果图像仅包含目标人物。而诸如InstandID等方法还需使用额外的人脸检测器提取面部信息，并用面部编码器提取特征以输入模型。

值得注意的是，各种不同的生成任务甚至还需更多不同的插件和操作，如此复杂、琐碎而冗长的工作流极大地增加了训练和应用的成本。

然而，即便如此繁琐，有时也仍难以满足一般的图像生成的需求，例如基于指定多张照片中的实体生成新图像。

相反，在文本生成领域，以ChatGPT为代表的模型可通过人类指令直接处理各种文本任务。

那么，在图像生成领域，能否通过单个支持多种输入且耦合多项能力的模型，基于用户指令完成各种生成任务，而无需各种繁杂的流程吗？

为解决这一挑战性问题，智源发布了统一图像生成模型OmniGen。

OmniGen模型具有良好的简洁性和易用性，集成了多种基础图像生成任务，包括但不限于：文生图、图像编辑、角色一致性生成、基于视觉条件的生成等。OmniGen支持基于任意多模态的文图指令完成任务，而无需任何其他额外插件和操作。

能力

OmniGen集多项能力于一体，包括但不限于：

以下简要展示部分能力效果：

OmniGen具备类似InstandID、Pulid等模型生成角色一致性图像等能力，即：输入具有单个对象的图像，理解并遵循指令，输出基于该对象的新图像。

同时，OmniGen具有更高阶的能力：指代表达生成能力，我们把这种能力定义为能够从包含多个对象的图像中，识别指令所指代的对象并生成新的图像。

OmniGen不仅支持类似ControlNet根据特定显式条件生成图像的能力，还同时具备处理经典计算机视觉任务的能力（如人体姿态估计、深度估计等）。

因此，OmniGen可凭借单个模型完成整个ControlNet流程：直接使用OmniGen对原图提取视觉条件，并基于所提取的条件生成图像，无需额外处理器。

OmniGen具备潜在的推理能力，可以处理对模型理解和推断能力具有一定要求的非显式查询指令。

那么，是否可以将类似的替代方案应用于图像生成呢？受人类绘画的基本方式的启发，研究人员希望模仿一步一步的绘画过程，从空白画布上迭代地生成图像。

模型

OmniGen的核心设计原则是：简洁和有效。

因此，研究人员最大程度舍弃了各种额外模块。OmniGen的基本架构为：一个 Transformer 模型和一个VAE模块，共3.8B参数。

为实现强大的通用和泛化能力，研究人员需要基于大规模和多样化的数据集训练模型。然而，在图像生成领域，尚无一个可用的通用数据集。

为此，研究人员构建了首个大规模且多样化的统一图像生成数据集X2I，意为 「Anything to Image」。

其中，不同任务的数据格式被重新组织和统一，以便于管理和使用。

小结与展望

总之，OmniGen的统一图像生成范式，不但有助于执行各种下游任务，而且有利于组合各种能力满足更通用的需求。

当前，OmniGen的报告、权重和代码等已开源，欢迎社区共同参与对OmniGen潜在能力的发掘、基本性能的提升和广泛应用的探索。

OmniGen模型是对统一图像生成的初步尝试，还有很大的提升空间。未来，智源将进一步改进模型基本能力，拓展更多有趣的功能。

同时，微调代码已发布，用户可简单对其进行微调，由于OmniGen的输入形式非常多样，用户可自行定义各式各样的微调任务，赋予模型更多有意思的能力。

参考资料：