RESTai:通过REST API使用AI项目
创建AI项目并通过REST API使用,包含带分析功能的React仪表盘。
核验日期
核心信息
以下信息由程序从官方接口读取,不经模型改写。
- 许可证
- Apache-2.0
- 语言
- Python
- 维护方
- apocas
- 核验日期
它是什么
RESTai是AIaaS(AI即服务):创建AI项目,并通过简单的REST API使用它们。它包含带分析功能的React仪表盘,而不仅仅是API。每个项目都有自己的LLM、系统提示词、工具和配置。每个模型都有可配置的上下文窗口和自动聊天记忆管理,较早的消息会被摘要而不是丢弃。
主要能力
RAG可以上传文档,并通过LLM驱动的检索进行查询。
Block使用基于Blockly的IDE以可视化方式构建处理逻辑,无需LLM。
每一次系统提示词变更都会被自动版本化。
平台上的每一次变更(创建、更新、删除)都会被自动记录,包括谁在何时做了什么以及影响了哪个资源。
本地和远程图像生成器会被动态加载。
内置零样本文本分类器,支持多个模型。
怎么上手
需要Python 3.11或更高版本。
项目提供了Helm图表。
pip install restai-core
restai init # Create database + admin user
restai migrate # Run migrations
restai serve # → http://localhost:9000/admin (admin / admin)restai serve -e .env -p 8080 -w 4docker run -p 9000:9000 apocas/restai:latest
# → http://localhost:9000/admin (admin / admin)make install # Install deps, initialize DB, build frontend
make dev # Development server with hot reload (port 9000)
make start # Production server (4 workers, port 9000)适合谁
推理功能提供直接的LLM聊天和补全。直接访问可以通过兼容OpenAI的API端点使用LLM、图像生成器和音频转录,无需项目。内置评估系统,用于衡量并长期跟踪AI项目的质量。
每个团队都有自己的用户、管理员、项目以及LLM/嵌入访问控制。每个团队可以为其成员自定义平台外观。用户可以属于多个团队,每个团队可有可选的自定义品牌。
聊天组件连接到RESTai项目,实时流式返回响应,并保持对话上下文。可以用基于TOTP的双因素认证保护本地用户账户,兼容Google Authenticator、Authy和其他验证器应用。输入防护会在推理之前检查用户问题。
输出防护会在推理之后检查LLM的响应。防护是常规的RESTai项目。限流功能在超过限制时返回HTTP 429。
每分钟的最大请求数在项目编辑页面中配置。RESTai在启动时自动检测NVIDIA GPU。支持的数据库为SQLite(默认)、PostgreSQL和MySQL。
项目采用Apache License 2.0许可。RESTai 的知识库同步按计划从外部来源同步,使项目的 RAG 知识库保持最新,同步间隔可配置,范围为 15 分钟到 24 小时。
来源
本页内容整理自以下官方来源,点击可核对原文。
- GitHub READMEhttps://github.com/apocas/restai抓取于
核验日期 ·
本页由 AI 依据上述官方来源整理,并经自动核对,未经本站实测。 发现错误?告诉我们。