Off Grid AI
Off Grid AI 是在手机或 Mac 硬件上原生运行的离线 AI 套件。
核验日期
核心信息
以下信息由程序从官方接口读取,不经模型改写。
- 许可证
- MIT
- 语言
- TypeScript
- 维护方
- off-grid-ai
- 主页
- getoffgridai.co/pro
- 核验日期
它是什么
Off Grid AI 是一套离线 AI 套件,涵盖文本生成、图像生成、视觉 AI、语音转写、工具调用和文档分析,原生运行在手机或 Mac 的硬件上。语音输入使用设备端 Whisper 语音转文字。Off Grid AI Pro 是一个可选的附加层级。一个许可证涵盖一部手机和一台 Mac。
主要能力
支持函数调用的模型可以使用内置工具:网页搜索、计算器、日期/时间、设备信息和知识库搜索。
工具调用带有自动工具循环,并有防失控机制。
远程 LLM 服务器功能可连接本地网络上兼容 OpenAI 的服务器,例如 Ollama、LM Studio、LocalAI。
图像生成使用设备端 Stable Diffusion,并带有实时预览。
图像生成在 Snapdragon 上由 NPU 加速,在 iOS 上使用 Core ML。
怎么上手
最新的 APK 可从 GitHub Releases 获取。
在 macOS 上,iOS App Store 版本通过 Mac Catalyst / iPad 兼容性在 Apple Silicon Mac 上原生运行。
从源码构建需要 Node.js 20 或更新版本、Android 所需的 JDK 17 与 Android SDK 36,以及 iOS 所需的 Xcode 15 或更新版本。
测试在每个 PR 上跨 3 个平台运行。
git clone https://github.com/off-grid-ai/OGAM.git
cd OGAM
npm install
# Android
cd android && ./gradlew clean && cd ..
npm run android
# iOS
cd ios && pod install && cd ..
npm run iosnpm test # Run all tests (Jest + Android + iOS)适合谁
匿名统计和崩溃报告在用户开启前保持关闭,并且不包含提示词、回复或文件。语音模式中,Pro 增加了设备端 Kokoro 文本转语音,因此助手会开口回应,也可以免手操作。项目称,应用会检测设备配置并默认选择最快的可用后端,用户也可以在设置中覆盖该选择。
远程 LLM 服务器连接会自动发现模型、通过 SSE 流式返回响应,并将 API 密钥安全地存放在系统钥匙串中。项目知识库可上传 PDF 和文本文档。知识库文档会被分块,用内置 MiniLM 模型在设备端嵌入,通过余弦相似度检索,并本地存储在 SQLite 中。
语音输入使用设备端 Whisper 语音转文字。语音输入可点按麦克风开始和停止,也可使用 Auto 和 Hands-free 模式。文档分析可以把 PDF、代码文件、CSV 等附加到对话中。
文本模型会自动增强图像生成提示词。模型管理器显示当前驻留的模型及各自占用的内存,并提供逐个模型的弹出操作。下载管理器同时运行 3 个下载,其余按先进先出排队并显示为 Queued。
下载可以暂停、恢复、重试和取消。性能结果随模型大小和量化方式而变化。
来源
本页内容整理自以下官方来源,点击可核对原文。
- GitHub READMEhttps://github.com/off-grid-ai/OGAM抓取于
核验日期 ·
本页由 AI 依据上述官方来源整理,并经自动核对,未经本站实测。 发现错误?告诉我们。