LlamaFactory:微调100+大语言模型

核心信息

以下信息由程序从官方接口读取，不经模型改写。

仓库地址: https://github.com/hiyouga/LlamaFactory
许可证: Apache-2.0
语言: Python
维护方: hiyouga
主页: https://llamafactory.readthedocs.io
核验日期: 2026-10-31

它是什么

LlamaFactory 以零代码方式微调 100+ 个大语言模型。它支持的模型包括 LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen3、Qwen3-VL、DeepSeek、Gemma、GLM、Phi 等。

主要能力

集成的方法包括(持续)预训练、(多模态)监督微调、奖励建模、PPO、DPO、KTO、ORPO 等。
资源方面提供 16 位全量微调、冻结微调、LoRA,以及通过 AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ 实现的 2/3/4/5/6/8 位 QLoRA。
任务涵盖多轮对话、工具使用、图像理解、视觉定位、视频识别、音频理解等。
项目开发了用于训练、评估和推理的一体化 Web UI。
项目支持 FSDP+QLoRA,可在 2x24GB GPU 上微调 70B 模型。
项目在仓库中集成了 MMLU、C-Eval 和 CMMLU 基准。

怎么上手

可选依赖有 metrics 和 deepspeed。
Docker 镜像基于 Ubuntu 22.04 (x86_64)、CUDA 12.4、Python 3.11、PyTorch 2.6.0 和 Flash-attn 2.7.4 构建。
快速开始使用 3 条命令,分别对 Qwen3-4B-Instruct 模型运行 LoRA 微调、推理和合并。
数据集可以来自 HuggingFace / ModelScope / Modelers hub,也可以加载本地磁盘上的数据集,或指定 s3/gcs 云存储路径。
使用自定义数据集需要更新数据集信息文件。

摘自 README · bash

git clone --depth 1 https://github.com/hiyouga/LlamaFactory.git
cd LlamaFactory
pip install -e .
pip install -r requirements/metrics.txt

摘自 README · bash

docker run -it --rm --gpus=all --ipc=host hiyouga/llamafactory:latest

摘自 README · bash

llamafactory-cli train examples/train_lora/qwen3_lora_sft.yaml
llamafactory-cli chat examples/inference/qwen3_lora_sft.yaml
llamafactory-cli export examples/merge_lora/qwen3_lora_sft.yaml

适合谁

如果无法使用最新功能,请拉取最新代码并重新安装 LlamaFactory。训练和推理时要使用相同的模板。对于 instruct/chat 模型,要使用对应的模板。

有些数据集在使用前需要确认,因此建议用 Hugging Face 账号登录。在 Ascend NPU 设备上安装 LlamaFactory 时,请使用 Python 3.12。项目支持在 Ascend NPU 设备上训练和推理。

从 Hugging Face 下载模型和数据集遇到困难时,可以使用 ModelScope。也可以使用 Modelers Hub 下载模型和数据集。在 Windows 平台上需要手动安装 GPU 版 PyTorch。

在 Windows 上启用量化 LoRA(QLoRA)需要安装 bitsandbytes。在 Ascend NPU 上编译 bitsandbytes 需要至少 3.22.1 版本的 cmake 和至少 12.x 版本的 g++。项目支持 RoPE scaling,用于扩展 LLaMA 模型的上下文长度。

项目支持数据集流式加载。使用对应的模型权重时,请遵守各模型的许可证。

本站已收录的相关工具。