Nunchaku:4-bit 神经网络推理引擎

核心信息

以下信息由程序从官方接口读取，不经模型改写。

仓库地址: https://github.com/nunchux-ai/nunchaku
许可证: Apache-2.0
语言: Python
维护方: nunchux-ai
主页: nunchux.ai
核验日期: 2026-11-02

它是什么

Nunchaku 是针对 4-bit 神经网络优化的推理引擎。它实现了 SVDQuant,这是一种针对 4-bit 权重和激活的训练后量化技术。项目指向 DeepCompressor 作为量化库。SVDQuant 论文的标题是 SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models。

主要能力

项目称,朴素地运行秩为 32 的低秩分支会带来 57% 的延迟开销,原因是 Down Projection 中额外读取 16-bit 输入,以及 Up Projection 中额外写入 16-bit 输出。
Nunchaku 通过内核融合来优化这一开销。
在 SVDQuant 的第一阶段,激活和权重都含有离群值,使 4-bit 量化具有挑战。
在 SVDQuant 的第二阶段,离群值从激活迁移到权重。
在 SVDQuant 中,以 16-bit 精度运行的低秩分支缓解了量化难度。

怎么上手

项目的入门列表中包含安装指南。
入门列表中也包含使用教程。
入门列表中列出了 ComfyUI 插件 ComfyUI-nunchaku。
入门列表中把 DeepCompressor 列为自定义模型量化的入口。
入门列表中还有 Gradio 演示应用。
入门列表中同样包含 API 参考。

适合谁

项目称,官方 Nunchaku 文档现已上线。项目还列出了常见问题解答。项目的更新记录中提到支持 ComfyUI。

项目的更新记录中提到 Python 后端现已可用。项目报告称,Qwen-Image 现在支持异步卸载,可将显存占用降低到最低 3 GiB,且没有性能损失。项目的更新记录中列出了对 FLUX.1-Kontext 的支持。

Nunchaku 的 FLUX 模型现在可以作为单个文件加载。项目报告称,支持 4-bit 文本编码器和逐层 CPU 卸载后,FLUX 的最低内存需求仅为 4 GiB,同时保持 2–3 倍加速。项目的更新记录中提到在 NVIDIA RTX 5090 上支持 NVFP4 精度。

项目的更新记录中提到支持 4-bit SANA。SVDQuant 已被 ICLR 2025 接收。项目报告称,在 12B FLUX.1-dev 上,Nunchaku 相比 BF16 模型实现了 3.6 倍的内存缩减。

项目报告称,借助 Nunchaku,其 INT4 模型在台式机和笔记本 NVIDIA RTX 4090 GPU 上都比 NF4 W4A16 基线快 3.0 倍。项目报告称,其 NVFP4 模型在 RTX 5090 GPU 上比 BF16 和 NF4 都快 3.1 倍。项目报告称,SVDQuant 将 12B FLUX.1 模型的大小缩小 3.6 倍,并将 16-bit 模型的内存占用降低 3.5 倍。

项目的安全检查器借用自 hart。Nunchaku 受到许多开源库的启发。

本站已收录的相关工具。