PocketPal AI 可以在 Android 和 iOS 手机上直接运行 GGUF 格式的本地语言模型。模型下载完成后,日常对话和文本生成可以在手机本地完成,不必把每次提问发送到云端。
手机的内存、散热和持续功耗远弱于电脑,因此模型不是越大越好。第一次使用建议先从 1.5B 左右的小模型开始,确认导入、对话和速度都正常后,再尝试 7B 量化模型。
PocketPal AI 下载地址
- GitHub 项目:a-ghorbani/pocketpal-ai
- Android APK:PocketPal AI Releases
- 国内网盘备份:夸克网盘安装包与模型
Android 用户优先从 GitHub Releases 下载当前正式版 APK;iPhone 用户应通过项目主页指向的 App Store 页面安装。第三方网盘只作访问困难时的备份,安装前应核对来源、版本和签名。
手机本地模型怎么选
模型参数量、量化等级和上下文长度都会影响文件大小、运行内存、速度与发热。文件能下载到手机,并不代表手机一定有足够内存完成推理。
- 1B–2B:更适合第一次测试、普通手机和短对话,速度通常更容易接受。
- 3B–4B:质量与资源占用折中,适合内存较充足的中高端手机。
- 7B:量化后仍会占用较多存储和运行内存,长时间使用更容易发热、降频或被系统杀掉。
- Q4/Q5/Q6/Q8:通常量化精度越高,文件和内存占用越大;小屏手机体验中,不一定值得盲目追求 Q8。
模型文件大小不等于实际峰值内存。运行时还需要 KV Cache、应用本身和系统空间。导入大模型前应关闭重要应用,并为系统保留足够内存。
DeepSeek R1 Distill GGUF 模型下载
- 1.5B 模型仓库:DeepSeek-R1-Distill-Qwen-1.5B-GGUF
- 1.5B Q8 文件:DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf
- 7B 模型仓库:DeepSeek-R1-Distill-Qwen-7B-GGUF
- 7B Q6 文件:DeepSeek-R1-Distill-Qwen-7B-Q6_K.gguf
- 7B Q8 文件:DeepSeek-R1-Distill-Qwen-7B-Q8_0.gguf
这些链接是本文原测试所使用的模型来源,文件和仓库结构可能随时间变化。下载前查看模型卡、许可证和量化说明;手机资源有限时,优先选择更小的量化文件。
怎样把 GGUF 模型导入 PocketPal
- 先把完整的
.gguf文件下载到手机本地,确认文件没有只下载一部分。 - 打开 PocketPal 的模型管理页面,选择添加或从本地导入模型。不同版本的按钮名称可能略有变化。
- 选择刚下载的 GGUF 文件,等待应用读取模型信息。
- 为模型设置名称,并先使用较短上下文和默认参数加载。
- 创建新对话,发送一句简单问题测试加载速度和稳定性。
导入后不要立即删除原始 GGUF 文件,先确认 PocketPal 是复制模型还是直接引用文件。否则清理下载目录时可能让模型失效。
PocketPal 运行慢、闪退或发热怎么办
- 加载时闪退:模型过大或可用内存不足,改用更小参数量或更低量化版本。
- 生成速度很慢:缩短上下文,关闭其他应用,并降低同时生成的内容长度。
- 手机明显发热:暂停推理并等待降温,不要一边快速充电一边长时间满载运行大模型。
- 模型无法导入:确认文件后缀是 GGUF、下载完整,并检查当前 PocketPal 版本是否支持该模型架构。
- 后台后模型消失:手机系统可能回收了应用,重新打开并减少后台应用数量。
本地运行真的完全保护隐私吗
本地推理可以减少把聊天内容发给云端模型的需要,但仍应确认 APK、模型文件和应用权限来自可信来源。应用更新、模型下载、崩溃日志或外部搜索功能仍可能联网。
不要把未知来源模型当作可靠知识库。模型可能产生错误内容,医疗、法律、财务和账号安全问题仍需查证。
国内网盘备用下载
- 夸克网盘:安装包和模型备份
- 百度网盘:提取码 hduf
- 123 网盘:PocketPal 备用文件