GraphGen:知识图谱引导的合成数据生成框架

核心信息

以下信息由程序从官方接口读取，不经模型改写。

仓库地址: https://github.com/InternScience/GraphGen
许可证: Apache-2.0
语言: Python
维护方: InternScience
主页: https://chenzihong.gitbook.io/graphgen-cookbook/
核验日期: 2026-11-02

它是什么

GraphGen 是一个由知识图谱引导的合成数据生成框架。GraphGen 首先从源文本构建细粒度的知识图谱,然后使用期望校准误差指标识别大语言模型中的知识缺口,并优先生成针对高价值长尾知识的问答对。GraphGen 还结合多跳邻域采样来捕获复杂的关系信息,并采用风格控制生成来使生成的问答数据多样化。项目方已发布 GraphGen 的初始版本。

主要能力

GraphGen 现已支持将 HuggingFace Datasets 作为数据生成的输入数据源。
GraphGen 现已支持视觉问答(VQA)数据生成。
GraphGen 已添加对知识图谱社区检测的支持,使用 Leiden 算法,可用于合成思维链(CoT)数据。
GraphGen 已添加 Google、Bing、Wikipedia 和 UniProt 作为搜索后端。
GraphGen 提供知识图谱评估指标,涉及准确性(实体/关系)、一致性(冲突检测)以及结构稳健性(噪声、连通性、度分布)。
GraphGen 支持多种大语言模型推理服务器、API 服务器、推理客户端、输入文件格式、数据模态、输出数据格式和输出数据类型。
用户可以根据合成数据的需求,灵活地配置 GraphGen 所支持的各类选项。

怎么上手

通过 PyPI 运行 GraphGen 时,需要安装 GraphGen。
通过 PyPI 运行 GraphGen 时,在命令行中运行。
通过 Docker 运行 GraphGen 时,需要构建 Docker 镜像。
通过 Docker 运行 GraphGen 时,需要运行 Docker 容器。
从源码运行 GraphGen 时,选择所需的格式并运行匹配的脚本。
从源码运行 GraphGen 时,可以获取生成的数据。
GraphGen 的准备部分包含克隆仓库这一步骤。
GraphGen 的准备部分还包含创建新的 uv 环境这一步骤。
GraphGen 的准备部分另有配置依赖项这一步骤。
从源码运行 GraphGen 时,用户需要配置环境。
从源码运行 GraphGen 时,用户需要设置环境变量。

摘自 README · bash

   uv pip install graphg

摘自 README · bash

   SYNTHESIZER_MODEL=your_synthesizer_model_name \
   SYNTHESIZER_BASE_URL=your_base_url_for_synthesizer_model \
   SYNTHESIZER_API_KEY=your_api_key_for_synthesizer_model \
   TRAINEE_MODEL=your_trainee_model_name \
   TRAINEE_BASE_URL=your_base_url_for_trainee_model \
   TRAINEE_API_KEY=your_api_key_for_trainee_model \
   graphg --output_dir cache

摘自 README · bash