PocketPal 使用教程:手机离线运行 DeepSeek 本地大模型

PocketPal AI 可以在 Android 和 iOS 手机上直接运行 GGUF 格式的本地语言模型。模型下载完成后,日常对话和文本生成可以在手机本地完成,不必把每次提问发送到云端。

手机的内存、散热和持续功耗远弱于电脑,因此模型不是越大越好。第一次使用建议先从 1.5B 左右的小模型开始,确认导入、对话和速度都正常后,再尝试 7B 量化模型。

PocketPal AI 下载地址

Android 用户优先从 GitHub Releases 下载当前正式版 APK;iPhone 用户应通过项目主页指向的 App Store 页面安装。第三方网盘只作访问困难时的备份,安装前应核对来源、版本和签名。

手机本地模型怎么选

模型参数量、量化等级和上下文长度都会影响文件大小、运行内存、速度与发热。文件能下载到手机,并不代表手机一定有足够内存完成推理。

  • 1B–2B:更适合第一次测试、普通手机和短对话,速度通常更容易接受。
  • 3B–4B:质量与资源占用折中,适合内存较充足的中高端手机。
  • 7B:量化后仍会占用较多存储和运行内存,长时间使用更容易发热、降频或被系统杀掉。
  • Q4/Q5/Q6/Q8:通常量化精度越高,文件和内存占用越大;小屏手机体验中,不一定值得盲目追求 Q8。

模型文件大小不等于实际峰值内存。运行时还需要 KV Cache、应用本身和系统空间。导入大模型前应关闭重要应用,并为系统保留足够内存。

DeepSeek R1 Distill GGUF 模型下载

这些链接是本文原测试所使用的模型来源,文件和仓库结构可能随时间变化。下载前查看模型卡、许可证和量化说明;手机资源有限时,优先选择更小的量化文件。

怎样把 GGUF 模型导入 PocketPal

  1. 先把完整的 .gguf 文件下载到手机本地,确认文件没有只下载一部分。
  2. 打开 PocketPal 的模型管理页面,选择添加或从本地导入模型。不同版本的按钮名称可能略有变化。
  3. 选择刚下载的 GGUF 文件,等待应用读取模型信息。
  4. 为模型设置名称,并先使用较短上下文和默认参数加载。
  5. 创建新对话,发送一句简单问题测试加载速度和稳定性。

导入后不要立即删除原始 GGUF 文件,先确认 PocketPal 是复制模型还是直接引用文件。否则清理下载目录时可能让模型失效。

PocketPal 运行慢、闪退或发热怎么办

  • 加载时闪退:模型过大或可用内存不足,改用更小参数量或更低量化版本。
  • 生成速度很慢:缩短上下文,关闭其他应用,并降低同时生成的内容长度。
  • 手机明显发热:暂停推理并等待降温,不要一边快速充电一边长时间满载运行大模型。
  • 模型无法导入:确认文件后缀是 GGUF、下载完整,并检查当前 PocketPal 版本是否支持该模型架构。
  • 后台后模型消失:手机系统可能回收了应用,重新打开并减少后台应用数量。

本地运行真的完全保护隐私吗

本地推理可以减少把聊天内容发给云端模型的需要,但仍应确认 APK、模型文件和应用权限来自可信来源。应用更新、模型下载、崩溃日志或外部搜索功能仍可能联网。

不要把未知来源模型当作可靠知识库。模型可能产生错误内容,医疗、法律、财务和账号安全问题仍需查证。

国内网盘备用下载

相关阅读

Page Assist 使用教程:在 Chrome/Edge 浏览器调用 Ollama 本地模型