EN

RESTai:通过REST API使用AI项目

创建AI项目并通过REST API使用,包含带分析功能的React仪表盘。

核验日期

核心信息

以下信息由程序从官方接口读取,不经模型改写。

许可证
Apache-2.0
语言
Python
维护方
apocas
核验日期

它是什么

RESTai是AIaaS(AI即服务):创建AI项目,并通过简单的REST API使用它们。它包含带分析功能的React仪表盘,而不仅仅是API。每个项目都有自己的LLM、系统提示词、工具和配置。每个模型都有可配置的上下文窗口和自动聊天记忆管理,较早的消息会被摘要而不是丢弃。

主要能力

  1. RAG可以上传文档,并通过LLM驱动的检索进行查询。

  2. Block使用基于Blockly的IDE以可视化方式构建处理逻辑,无需LLM。

  3. 每一次系统提示词变更都会被自动版本化。

  4. 平台上的每一次变更(创建、更新、删除)都会被自动记录,包括谁在何时做了什么以及影响了哪个资源。

  5. 本地和远程图像生成器会被动态加载。

  6. 内置零样本文本分类器,支持多个模型。

怎么上手

  1. 需要Python 3.11或更高版本。

  2. 项目提供了Helm图表。

摘自 README · bash
pip install restai-core
restai init      # Create database + admin user
restai migrate   # Run migrations
restai serve     # → http://localhost:9000/admin (admin / admin)
摘自 README · bash
restai serve -e .env -p 8080 -w 4
摘自 README · bash
docker run -p 9000:9000 apocas/restai:latest
# → http://localhost:9000/admin (admin / admin)
摘自 README · bash
make install    # Install deps, initialize DB, build frontend
make dev        # Development server with hot reload (port 9000)
make start      # Production server (4 workers, port 9000)

适合谁

推理功能提供直接的LLM聊天和补全。直接访问可以通过兼容OpenAI的API端点使用LLM、图像生成器和音频转录,无需项目。内置评估系统,用于衡量并长期跟踪AI项目的质量。

每个团队都有自己的用户、管理员、项目以及LLM/嵌入访问控制。每个团队可以为其成员自定义平台外观。用户可以属于多个团队,每个团队可有可选的自定义品牌。

聊天组件连接到RESTai项目,实时流式返回响应,并保持对话上下文。可以用基于TOTP的双因素认证保护本地用户账户,兼容Google Authenticator、Authy和其他验证器应用。输入防护会在推理之前检查用户问题。

输出防护会在推理之后检查LLM的响应。防护是常规的RESTai项目。限流功能在超过限制时返回HTTP 429。

每分钟的最大请求数在项目编辑页面中配置。RESTai在启动时自动检测NVIDIA GPU。支持的数据库为SQLite(默认)、PostgreSQL和MySQL。

项目采用Apache License 2.0许可。RESTai 的知识库同步按计划从外部来源同步,使项目的 RAG 知识库保持最新,同步间隔可配置,范围为 15 分钟到 24 小时。

来源

本页内容整理自以下官方来源,点击可核对原文。

核验日期 ·

本页由 AI 依据上述官方来源整理,并经自动核对,未经本站实测。 发现错误?告诉我们。