xTuring · AI Nav City

核心信息

以下信息由程序从官方接口读取，不经模型改写。

仓库地址: https://github.com/stochasticai/xTuring
许可证: Apache-2.0
语言: Python
维护方: stochasticai
主页: https://xturing.stochastic.ai
核验日期: 2026-11-02

它是什么

xTuring 用于微调、评估和运行私有的、个性化的大语言模型。项目列出了用于数据准备、训练和推理的 API。

主要能力

项目称，xTuring 能让在自有数据上微调开源大语言模型变得简单、快速且经济高效，可在本地或私有云中进行。
项目把 LoRA 和低精度（INT8/INT4）列为降低成本的高效方式。
xTuring 默认私有：可在本地或 VPC 中运行。
xTuring 可使用内置指标评估模型，例如困惑度。
xTuring 可使用和微调 GPT-OSS 120b 与 20b，提供现成、INT8、LoRA、LoRA+INT8 和 LoRA+INT4 选项。
GPT-OSS 集成包含可配置的推理级别和 harmony 响应格式支持。

怎么上手

xTuring 需要 transformers 4.36.0 或更高版本。
目前不要升级到 transformers 5.x。
LoRA、INT8 以及 INT8 + LoRA 版本使用各自的模板。
要加载模型的 INT4 + LoRA 版本，使用 GenericLoraKbitModel 类。
模型路径可以替换为本地目录或 Hugging Face 模型。
xturing 命令行工具提供用于操作微调后模型的交互式工具。

摘自 README · bash

pip install xturing

摘自 README · python

from xturing.datasets import InstructionDataset
from xturing.models import BaseModel

# Load a toy instruction dataset (Alpaca format)
dataset = InstructionDataset("./examples/models/llama/alpaca_data")

# Start with the lightweight Qwen 0.6B LoRA checkpoint
model = BaseModel.create("qwen3_0_6b_lora")

# Fine‑tune and then generate
model.finetune(dataset=dataset)
output = model.generate(texts=["Explain quantum computing for beginners."])
print(f"Model output: {output}")

摘自 README · python

model = GenericLoraKbitModel('<model_path>')

摘自 README · bash

# Chat with a fine-tuned model
xturing chat -m "<path-to-model-folder>"

# Launch the UI playground (alternative to programmatic Playground)
xturing ui

# Get help and see all available commands
xturing --help

适合谁

Qwen3-Omni 支持尚未发布。xTuring 可使用 GenericLoraKbitModel 以 INT4 微调多种大语言模型。xTuring 可通过 Intel Extension for Transformers 在 CPU（包括笔记本）上运行推理，使用仅权重量化和 Intel 平台上的优化内核。

README 比较了不同微调技术在 LLaMA 7B 模型上的性能。项目方已经微调了一些模型，可用作基础模型或直接尝试。路线图中已勾选使用 self-instruction 生成数据集。

路线图中已勾选用于数据集生成的 OpenAI、Cohere 和 Claude 模型 API。路线图中已勾选大语言模型的评估。路线图中已勾选低精度 LoRA 微调和无监督微调。

路线图中已勾选 INT4 低精度微调支持。路线图中已勾选对 Generic model 封装的支持。路线图中已勾选对 MiniMax M2、Qwen3 0.6B 和 Mamba 模型的支持。

项目使用 pytest 进行测试。测试文件位于 tests 目录中。gpu 标记用于标注需要 GPU 硬件的测试。

项目采用 Apache License 2.0 许可。模型和引擎使用基于注册表的工厂模式。训练和生成参数按模型定义在 YAML 文件中。

引擎负责底层操作（加载权重、分词、DeepSpeed 集成）。模型提供高层 API。

本站已收录的相关工具。