大小: 63.48M 类型: 生活服务 系统要求: 安卓4.5+ or ios 10.0+
版本: v1.8.15 语言: 简体中文 更新时间: 2025-05-25 22:48:03
截图
简介
PocketPal一款可在手机上本地运行的AI对话工具，无需联网即可与其他AI大模型进行流畅的聊天互动。用户需按照流程完成本地部署，并可添加近期热门的DeepSeek模型，确保运行流畅无卡顿。这款工具为用户提供了便捷、高效的本地AI交流体验！
首先是下载安装。安卓直接在本站下载安装，苹果中国大陆区的 App Store 可以直接下载，大小 28.5MB，没想到这么小巧，语言意料之中只支持英语。下载完成后不能直接使用，因为没有模型。
进入模型页面，点击展开支持直接下载的模型，找你喜欢的模型点击 Download 按钮直接下载。
这里我个人推荐中文用户选用阿里的 Qwen2.5-3B-Instruct(Q5 KM) 模型，大小为 2.44 GB。
除了上面那些模型外，也可以点击加号按钮，从 Hugging Face 搜索下载或者从本地添加。
继续下载。
下载了一会，我发现进度条完全没动，暗叫不好，这尼玛肯定是被墙了。
开了代理，果然进度条才开始动起来，速度起来了（唉，可恶的墙）。
下载完成后，顶部 Ready to use 下面就展示出该模型。
点击 Load 加载模型，会跳转到聊天界面，展示出 Loading model 状态，首次加载时间长一点，大概有十几秒钟，后面从熄屏中恢复比较快，只需要三秒钟左右。
由于是本地大模型，所以我特地关闭 WiFi，开启飞行模式开始测试。
首先我问你是谁，回答没问题。
然后我问了一副对联 “弓虽强但石更硬”，qwen2.5-3b 的答案看起来不行，我给出提示后还是给出了一个愚蠢的下联。
看起来不太聪明的样子。
文字工作测试完，我发现 App 有一个 Benchmark（基准测试）功能，就跑了一下。
测试过程中需要保持手机亮屏（iOS 熄屏会限制 App 活动），整个测试花了 3分钟16秒，电量掉了 2%。
基准测试结果显示生成速度也是 10.52t/s，跟我使用中的差不多。
给基准测试结果一个大图：
测试结束。
作为对比，我在 mac 上用微软最近出的 Phi4 模型测试了一下那个对联，效果也不行。
Phi4 的体积是 9.1GB，是手机上的 Qwen2.5-3b 的近4 倍。
最后用 ChatGPT 测了一下，结果吊打本地大模型。
唉，用消费级设备跑本地大模型，目前也只能玩玩罢了。
1、在本站点击下载，打开软件点击Models，点+，点Hugging Face搜索大模型
2、尽量下载名字带Q4_NL（4bit量化 normal 压缩）的模型，回答比较精准。
3、解释一下部分量化标识命名规则：NL 平衡精度与速度（Normal）、M 中等优化（middle）、 XS 极致压缩（Extra Small）、K 极限压缩（K-special）、Qx 量化位数（手机上运行 Q4 最佳）。
4、在加载好模型后在Settings中把N PREDICT设置为4096。如果遇到问题请发到评论区，我会试着解决。
1、PocketPal 能够直接在手机上运行，无需依赖互联网，这使得在各种环境下都可以流畅使用 AI，避免了网络延迟和连接问题。
2、用户可以在多个小型语言模型(SLM)之间自由切换，例如 Danube 2 和 3、Phi、Gemma 2 和 Qwen。
3、应用能够在后台自动管理内存，通过卸载不活跃的模型来确保性能最大化。
4、用户可以根据需要自定义模型的各种参数，包括系统提示符、温度、BOS 令牌和聊天模板。
1、PocketPal 的最大优点是其便捷性，使用户能够随时随地与 AI 互动，而不必担心数据消耗或网络覆盖的问题。
2、由于其在本地运行，PocketPal 的响应时间通常较快，用户可以立即获得所需的信息，从而提高了工作和生活的效率。
3、数据在本地处理，用户的对话记录不会通过互联网传输，这为重视隐私的用户提供了额外的安全保护。
