PowerPaint:多功能图像修复模型

核心信息

以下信息由程序从官方接口读取，不经模型改写。

仓库地址: https://github.com/open-mmlab/PowerPaint
许可证: MIT
语言: Python
维护方: open-mmlab
主页: https://powerpaint.github.io/
核验日期: 2026-10-31

它是什么

项目方称,PowerPaint 是一个高质量的多功能图像修复模型,同时支持文本引导的对象修复、对象移除、形状引导的对象插入和外扩绘制。它通过针对不同修复任务学习量身定制的任务提示来实现这一点。团队开源了 PowerPaint v2 的模型权重和代码。团队重新训练了一个新的 PowerPaint,并借鉴了 Brushnet。

主要能力

PowerPaint 与 ControlNet 兼容。
因此用户可以借助控制图像生成对象。
PowerPaint 支持形状引导的对象修复,用户可以控制生成对象与遮罩形状的贴合程度。
团队为任务提示输入保留了被 BrushNet 删除的交叉注意力层。

怎么上手

用户可以通过运行命令,从头构建 conda 环境。
用户可以通过运行命令启动 PowerPaint 的 Gradio 界面。
对于基于 BrushNet 的 PowerPaint,用户可以运行对应的命令。
启动 Gradio 界面后,用户可以上传图像、绘制遮罩、选择文本引导对象修复标签并输入文本提示,从而向图像中插入对象。
随后模型会生成输出图像。
进行图像外扩时,选择图像外扩标签并调整水平扩展比例和垂直扩展比例的滑块,PowerPaint 就会扩展图像。

摘自 README · bash

# Clone the Repository
git clone git@github.com:open-mmlab/PowerPaint.git

# Create Virtual Environment with Conda
conda create --name ppt python=3.9
conda activate ppt

# Install Dependencies
pip install -r requirements/requirements.txt

摘自 README · bash

conda env create -f requirements/ppt.yaml
conda activate ppt

摘自 README · bash

# Set up Git LFS
conda install git-lfs
git lfs install

# Clone PowerPaint Model
git lfs clone https://huggingface.co/JunhaoZhuang/PowerPaint-v1/ ./checkpoints/ppt-v1

python app.py --share

摘自 README · bash

# Clone PowerPaint Model
git lfs clone https://huggingface.co/JunhaoZhuang/PowerPaint_v2/ ./checkpoints/ppt-v2

python app.py --share --version ppt-v2 --checkpoint_dir checkpoints/ppt-v2