OpenAI 审核模型：检测文本和图像中的有害内容

OpenAI 审核模型用于检测文本和图像中的有害内容。

核验日期

定义

OpenAI 审核模型用于检测文本和图像中的有害内容。可以用审核端点对独立输入分类，也可以在生成回复的同时请求审核分数。审核结果可用于执行应用自身的策略，例如过滤内容、将请求转交审核，或对提交被标记内容的账号采取干预措施。

omni-moderation-latest 模型接受文本和图像输入。omni-moderation-latest 模型不对音频分类。

一图看懂

当应用使用 Responses API 或 Chat Completions API 生成文本并需要审核信号时，适用生成内容的审核方式。在带有审核请求的生成请求中，模型仍然正常生成。

  • 当应用同时需要生成文本和审核分数时，在生成请求中传入顶层 moderation 对象。
  • API 返回针对模型输入和生成输出的审核分数，无需单独的审核请求。
  • 如果应用需要处理审核失败，在读取分数之前先检查审核结果的类型。
  • 如果某个审核步骤无法完成，对应的输入或输出审核字段可能包含错误，而不是审核分数。
  • 先用 flagged 做初步判断，再检查 categories 和 category_scores，用于日志、路由、审计记录或人工审核队列。
  • 拒绝回答或其他注重安全的回复如果谈到有害内容，仍可能触发标记。
  • 将审核分数视为应用策略的信号，而不是自动拦截的决定。
  • 在向用户展示输出或执行下游操作之前，先查看审核结果。

原文没有明确这些要点的先后顺序，因此按要点列出，不画先后箭头。

工作原理

审核端点可用于对文本或图像输入分类，而无需生成模型回复。对于工具调用请求，当工具调用参数和工具输出出现在对话内容中时，审核会覆盖它们，但不覆盖工具名称、工具描述、工具模式或响应格式模式。如果以流式方式生成回复，审核分数在完整生成输出可用之后才到达，不包含在部分输出增量中。

JSON 响应包含若干字段，描述输入中存在哪些类别，以及模型对每个类别的置信度。category_scores 包含按类别给出的分数字典。category_scores 的值介于 0 和 1 之间，值越高表示置信度越高。

categories 包含按类别给出的违规标记字典。category_applied_input_types 包含类别分数所适用的输入类型。切勿将已知或疑似的儿童性虐待材料（CSAM）发送到 Moderation API。

Moderation API 不是为 CSAM 检测或处理而设计，也不能替代专门的儿童安全保障措施。

例子

illicit 类别涵盖就如何实施非法行为给出建议或指导的内容。类似“how to shoplift”的短语属于 illicit 类别。violence 类别涵盖描绘死亡、暴力或身体伤害的内容。

sexual/minors 类别涵盖包含未满 18 岁个人的色情内容。self-harm 类别涵盖宣扬、鼓励或描绘自残行为的内容。标记为“Text only”的类别不支持图像输入。

来源

本页内容整理自以下官方来源，点击可核对原文。

核验日期 ·

本页由 AI 依据上述官方来源整理，并经自动核对，未经本站实测。 发现错误？告诉我们。