阿里巴巴推AI画图框架SCEdit 可显著减少训练参数

阿里巴巴的新项目SCEdit是一个AI画图框架，可以显著减少训练参数、内存使用率和计算开销。在训练阶段，它减少了52%的内存消耗，仅利用ControlNet所需参数的7.9%，并实现内存使用量减少30%。

项目地址:https://scedit.github.io/

该项目的简介指出，图像扩散模型已被用于各种任务，如文本到图像生成和可控图像合成。最近的研究引入了微调方法，对原始模型进行细微调整，在基础生成式扩散模型的特定适应性方面取得了有希望的结果。

SCEdit并不是修改扩散模型的主干部分，而是深入研究U-Net中跳跃连接的作用，并揭示出在编码器和解码器之间聚合远程信息的分层特征对图像生成内容和质量产生重大影响。

基于这一观察，SCEdit提出了一个高效的生成式调整框架，它使用轻量级调节模块SC-Tuner来集成和编辑Skip Connection。此外，所提出的框架允许通过注入不同条件与可控SC-Tuner简化并统一多条件输入网络设计以实现可控图像合成任务。由于其轻量级调节器使得反向传播仅传递给解码器块，SCEdit显著减少了训练参数、内存使用率和计算开销。

在文本到图像生成和可控图像合成任务上进行了大量实验，结果表明SCEdit在效率和性能方面具有优势。同时，该项目也宣布了开源，尽管还没有提供具体的代码，但已经有开发者表示愿意帮助实现。