DeepFabric
DeepFabric 为语言模型和智能体评测生成合成训练数据。
核验日期
核心信息
以下信息由程序从官方接口读取,不经模型改写。
- 许可证
- Apache-2.0
- 语言
- Python
- 维护方
- nolabs-ai
- 核验日期
它是什么
DeepFabric 为语言模型和智能体评测生成合成训练数据。DeepFabric 可以作为库、命令行工具使用,也可以通过 YAML 配置使用。项目方称,它通过结合推理轨迹与工具调用模式来创建特定领域的数据集。
主要能力
DeepFabric 在数据集生成过程中使用 Spin Framework 支持真实的工具执行。
工具在隔离的 WebAssembly 沙箱中执行,而不是模拟工具输出。
DeepFabric 使用 ReAct(Reason-Act-Observe)循环进行工具调用,智能体在决定下一步动作之前会观察真实结果。
工具定义可以直接从 MCP(Model Context Protocol)服务器模式导入并自动模拟。
项目方称,DeepFabric 在生成时使用约束解码和响应验证,并在隔离的 webassembly 环境中真实执行工具。
训练之后,DeepFabric 内置的评估引擎会评估模型性能。
怎么上手
DeepFabric 还使用 YAML 配置,包含 3 个主要部分和可选的共享 LLM 默认设置。
YAML 配置示例使用模拟的工具执行,并需要一个 Spin 服务,项目方在 docker 镜像中提供该服务。
使用 YAML 配置前,要先把配置保存为 config.yaml,再以这个文件作为输入来运行生成;本页不收录该 YAML 示例,具体写法以官方文档为准。
工具追踪可以在 YAML 配置中启用;本页附的 YAML 代码块只是启用工具追踪的片段,不是完整配置,要并入包含三个主要部分的完整 YAML 配置后才能使用,完整配置须另取官方文档,不能把这个片段单独保存为 config.yaml 去运行。
DeepFabric 返回标准的 HuggingFace 数据集。
数据集生成后,可以自动上传到 Hugging Face。
生成的数据集可以直接导入 TRL、Unsloth 和 Axolotl 这类训练框架。
pip install deepfabricexport OPENAI_API_KEY="your-api-key"
deepfabric generate \
--topic-prompt "Python programming fundamentals" \
--generation-system-prompt "You are a Python expert" \
--mode graph \
--depth 3 \
--degree 3 \
--num-samples 9 \
--batch-size 3 \
--provider openai \
--model gpt-4o \
--output-save-as dataset.jsonldeepfabric generate config.yamlgeneration:
conversation:
type: cot
reasoning_style: agent
tools:
spin_endpoint: "http://localhost:3000" # Spin service URL
available: # Filter to specific tools
- read_file
- write_file
- list_files
max_agent_steps: 5 # Max ReAct iterations
# Optional: Seed initial state for scenarios
scenario_seed:
files:
"config.json": '{"debug": true}'适合谁
DeepFabric 包含一个虚拟文件系统(VFS)组件。在 VFS 中,每个会话获得一个隔离的文件系统。VFS 会话文件系统中的变更不会在样本之间保留。
DeepFabric 可以用 Python、JavaScript、Go 或 Rust 编写的自定义工具来扩展。DeepFabric 提供评估系统,用于衡量微调后的模型在工具调用任务上的表现。评估器会针对工具调用任务计算多项指标。
在提供商列表中,OpenAI 被列为云端提供商。在提供商列表中,Anthropic 被列为云端提供商。在提供商列表中,Google Gemini 被列为云端提供商。
在提供商列表中,Ollama 被列为本地提供商。在提供商列表中,OpenRouter 被列为云端提供商。项目方会收集匿名的使用指标,用于改进 DeepFabric。
项目方不收集个人数据、提示词或 API 密钥。
来源
本页内容整理自以下官方来源,点击可核对原文。
- GitHub READMEhttps://github.com/nolabs-ai/deepfabric抓取于
核验日期 ·
本页由 AI 依据上述官方来源整理,并经自动核对,未经本站实测。 发现错误?告诉我们。