Pocket LLM for Android · AI Nav City

核心信息

以下信息由程序从官方接口读取，不经模型改写。

仓库地址: https://github.com/dineshsoudagar/local-llms-on-android
许可证: MIT
语言: Kotlin
维护方: dineshsoudagar
核验日期: 2026-11-02

它是什么

Pocket LLM for Android 可将安卓手机变为家庭网络的本地 LLM 服务器,也可在设备上私密聊天,支持文本、图像、PDF、音频和离线语音转文字。用户可以在应用中聊天、在电脑上打开其 Web UI,或在模型运行于手机的同时连接兼容的 OpenAI 客户端。先安装小体积的基础 APK,再下载内置模型或导入自己的 LiteRT 模型(测试版)。模型不随 APK 一同打包。

主要能力

应用通过 ONNX 或 LiteRT 在手机上运行模型,安装后可离线使用。
推理和聊天数据保留在手机上,无遥测。
内置模型可选 Qwen2.5、Qwen3、DeepSeek R1 Distill Qwen 或 Gemma 4。
可在应用内下载、切换和删除模型。
在受支持的 Qwen3 和 Gemma 模型上可以切换推理模式。
借助离线多语言 Whisper(包括德语),可将录音转为可编辑的文本。

怎么上手

克隆本仓库。
安装最新的 Android Studio。
在 Android 设备上构建并安装应用。
首次启动时,从内置模型选择器中选择一个模型。
在应用内直接下载所选模型。
使用 LAN 服务器时,先加载模型,在 Android 应用中打开 LAN Server,输入至少 8 个字符的密码,然后点按 Save password。

摘自 README · text

    pocket_llm_src/

适合谁

可附加文本文件以及 PDF,其中扫描版 PDF 通过 OCR 读取。文本文件(UTF-8 或 UTF-16)最多 16 MiB,在 Android 应用中 PDF 最多 64 MiB 和 500 页。可附加 Android 可解码的音频,最多 512 MiB 和 2 小时,也可在应用内录音。

当原生音频不可用时,使用多语言 Whisper tiny int8 转写,需另行下载约 100 MB。每个 Android 聊天保持一个活动文档或音频来源;不要在一次发送中将其与图像混用。可为每个 LiteRT 模型设置上下文大小,以平衡历史与内存使用。

LAN 服务器向同一私有网络中的设备提供手机上选定的模型,Web UI 受密码保护,推理仍留在手机上。在 PC 浏览器中聊天、上传 PDF 或图像,并将对话保存在手机上。浏览器中的直接图像上传需要兼容的模型。

兼容的客户端可通过模型和聊天补全端点连接 OpenAI 兼容 API。自定义模型不通过 LAN API 提供原生工具调用。自定义模型的兼容性是实验性的,较大的模型或上下文可能无法加载或崩溃。

更改模型或密码之前,请先停止 LAN 服务器。要求列出了用于部署和测试的真实 Android 设备,以及较小模型至少 4 GB 内存。加载模型前,Pocket LLM 会检查可用存储并校验已下载的文件,应用还会自动尝试用可用的后端回退方案初始化。

已保存的聊天记录独立保存,不会被模型加载恢复删除。ONNX 后端支持 Qwen2.5 和 Qwen3。运行时改进部分将 LiteRT-LM 更新并固定到 0.17.1。

本站已收录的相关工具。

来源

本页内容整理自以下官方来源，点击可核对原文。

GitHub READMEhttps://github.com/dineshsoudagar/local-llms-on-android抓取于 2026-11-01

核验日期 · 2026-11-02

本页由 AI 依据上述官方来源整理，并经自动核对，未经本站实测。发现错误？告诉我们。