Laya：多语言非自回归 System 1 决策引擎

核心信息

以下信息由程序从官方接口读取，不经模型改写。

仓库地址: https://github.com/NandhaKishorM/laya
许可证: Apache-2.0
语言: Python
维护方: NandhaKishorM
主页: https://huggingface.co/convaiinnovations/laya
核验日期: 2026-11-02

它是什么

Laya 是多语言、非自回归的 System 1 决策引擎。它在单次前向传播中对 100+ 种语言给出类型化决策。它通过强化学习、依据严格适当评分规则（RLCD）训练。Laya 由 Convai Innovations 开发，采用 Apache 2.0 许可。

主要能力

Laya 提供三个检查点。
Router 按每次请求在这三个检查点之间做选择。
Laya 对状态（文本、邮件、工单或 JSON 文档）评估类型化问题，包括 choice、score 和 noul。
Laya 不生成文本。
choice 类型输出排名第一的标签、每个选项的概率和置信度。
score 类型输出有序量表上的期望等级、分布和置信度。

怎么上手

安装要求 Python 3.10 或更新版本。
Laya 包提供可选的额外组件，包括 HTTP 服务器和 MCP 服务器。
安装该包还会安装用于快速本地测试的 laya 命令。
在命令行中，lang 选项给出真实语言代码时，会选定检查点并跳过检测。
设备按 CUDA、MPS、XPU、CPU 的顺序自动选择。

摘自 README · bash

python -m pip install laya

摘自 README · python

from laya import Router

router = Router()  # downloads a checkpoint on first use; Router(preload=True) loads all three up front

state = "Hi, we were billed twice for March. Please refund the duplicate today or we will cancel our plan."
questions = {
    "department": {"type": "choice", "instructions": "Which department should handle this?",
                   "criteria": {"billing": "invoices, payments, refunds",
                                "technical": "bugs, outages, system errors",
                                "other": "everything else"}},
    "urgency": {"type": "score", "instructions": "How urgent is this?",
                "criteria": ["not urgent", "soon", "blocking"]},
    "churn_risk": {"type": "noul", "instructions": "Does the user threaten to cancel or leave?"},
}

result = router.predict(state, questions)
print(result["answers"]["department"]["choice"])  # billing
print(result["answers"]["churn_risk"]["noul"])    # probability the answer is yes
print(result["routing"]["model"])                 # english

适合谁

项目文档推荐把内置的 Router 作为入口。项目在其 Honest limits 中指出，基础检查点在 typed-decisions 上的零样本表现接近随机水平。项目报告称，在包含四个工作流、共 2,000 项决策的 typed-decisions 基准上，微调后的 laya-typed-decisions 检查点准确率为 0.766，基础英文检查点在同样决策上为 0.362。

仅做路由不会下载检查点。Router 默认最多同时保留两个检查点在内存中。laya.serve 通过 HTTP 暴露 Router。

将最大长度设为 8192 时，laya-multilingual 最多可读取 8,192 个 token。未设置的钩子不执行任何操作。laya.evals 对带标签的数据集打分，并据此把关构建。

laya.evals 不导入 torch。MCP 服务器是可选组件，核心包没有 mcp 依赖。按模式驱动的决策用 JSON schema 或 pydantic 模型来描述所需的结构。

GPU 快速路径在 CPU 或 MPS 上，或未安装 tilelang 时，会回退到原有的前向计算。Laya 的微调提供两种训练方式。其中 Kaggle 微调笔记本运行在 Kaggle 免费的 2xT4 GPU（DDP）上。

另一种是面向 Apple Silicon MacBook 的独立训练脚本，使用 PyTorch MPS 并可回退到 CPU。

本站已收录的相关工具。