EN

NeMo Data Designer

NeMo Data Designer 可从零开始或使用自有种子数据生成合成数据集。

核验日期

核心信息

以下信息由程序从官方接口读取,不经模型改写。

许可证
Apache-2.0
语言
Python
维护方
NVIDIA-NeMo
核验日期

它是什么

NeMo Data Designer 可以从零开始或使用自有种子数据生成合成数据集。Data Designer 提供生成框架。插件可扩展 Data Designer 工作流中可用的数据源、生成能力和处理步骤。NeMo Data Designer 采用 Apache License 2.0 许可。

主要能力

  1. Data Designer 可使用采样器、大语言模型、图像模型或现有种子数据集生成文本、结构化数据和图像。

  2. Data Designer 可构建带有图像、音频和视频上下文的多模态工作流。

  3. Data Designer 可通过本地或远程 MCP 服务器连接生成过程与外部工具,并记录交互轨迹。

  4. Data Designer 可通过感知依赖关系的生成方式控制字段之间的关系。

  5. Data Designer 可使用 Python、SQL、自定义验证器和大语言模型评审对输出进行验证和评分。

  6. Data Designer 可预览、恢复和监控生成过程,规模从小型实验到大型运行。

怎么上手

  1. Data Designer 也可以从源码安装。

  2. 可选的安全约束文件用于应用已维护的、针对已知漏洞的最低依赖版本。

  3. 项目列出了可供起步使用的默认模型提供方。

  4. 安装 Data Designer 之后,可以从默认的 NVIDIA 目录中浏览并安装兼容的软件包。

  5. NVIDIA 目录默认已配置。

摘自 README · bash
pip install data-designer
摘自 README · bash
git clone https://github.com/NVIDIA-NeMo/DataDesigner.git
cd DataDesigner
make install
摘自 README · bash
export NVIDIA_API_KEY="your-api-key-here"

export OPENAI_API_KEY="your-openai-api-key-here"

export OPENROUTER_API_KEY="your-openrouter-api-key-here"
摘自 README · python
import data_designer.config as dd
from data_designer.interface import DataDesigner

# Initialize with default settings
data_designer = DataDesigner()
config_builder = dd.DataDesignerConfigBuilder()

# Add a product category
config_builder.add_column(
    dd.SamplerColumnConfig(
        name="product_category",
        sampler_type=dd.SamplerType.CATEGORY,
        params=dd.CategorySamplerParams(
            values=["Electronics", "Clothing", "Home & Kitchen", "Books"],
        ),
    )
)

# Generate personalized customer reviews
config_builder.add_column(
    dd.LLMTextColumnConfig(
        name="review",
        model_alias="nvidia-text",
        prompt="Write a brief product review for a {{ product_category }} item you recently purchased.",
    )
)

# Preview your dataset
preview = data_designer.preview(config_builder=config_builder)
preview.display_sample_record()
摘自 README · bash
data-designer plugin list
data-designer plugin info github
data-designer plugin install github
data-designer plugin installed

适合谁

DataDesignerPlugins 仓库包含由 NVIDIA 维护的可选软件包,用于添加插件能力。插件包可为现有工作流添加专门能力,也可以提供带有自身命令行工具的现成工作流。插件包应安装在与 Data Designer 相同的 Python 环境中。

插件包的扩展在安装后会被自动发现。Data Designer 提供面向编码代理的技能。该技能已使用 Claude Code 和 Codex 测试。

Data Designer 收集遥测数据,用于帮助改进该库。NeMo Data Designer 包含一个可选功能,可向 NVIDIA 共享匿名遥测数据以改进产品。所收集的遥测数据仅限于所用模型的名称以及输入和输出的令牌数量。

遥测不收集用户或设备信息。用户可以随时选择退出遥测收集。退出仅适用于 NeMo Data Designer 库自身的数据收集。

NeMo Data Designer 可配置为使用多种推理端点。NVIDIA Build 仅用于评估和测试目的,不得用于生产环境。

来源

本页内容整理自以下官方来源,点击可核对原文。

核验日期 ·

本页由 AI 依据上述官方来源整理,并经自动核对,未经本站实测。 发现错误?告诉我们。