2026 年能在手机和笔记本本地运行的 AI 模型盘点：Bonsai、Qwen、Gemma 等怎么选

Last checked: 2026-07-16.

现在谈“本地 AI”已经不能只问模型能不能启动。真正有用的问题是：你的手机或笔记本能否在可接受的内存、速度和电量下完成一项具体任务。Bonsai 27B 最近进入移动设备讨论，但计划核验的仓库地址当前返回 404，不能把聚合信号当成已确认发布。对大多数人，Qwen、Gemma 等 1B–8B 量化模型仍是更稳的日常入口；27B 更适合高内存设备或特制压缩路线的边界实验。

先看当前官方快照

先按设备选，不要先按榜单选

手机的限制不只是 RAM。系统会占用内存，模型加载后还要为 KV cache、运行时和输入留空间；长上下文会继续增加压力。一个标称 8GB 的模型文件不等于 8GB 手机就能稳定运行。笔记本同样要区分统一内存和独立显存，并记录运行时是否把部分层卸载到 CPU。最务实的第一步是先看空闲内存，再选模型尺寸。

如果设备只有 8GB 可用内存，从 1B–4B 的 4-bit 量化开始。16GB 设备可以把 7B–12B 纳入候选，但仍要限制上下文。24GB 或 32GB 以上的 Apple Silicon 和高内存设备才适合认真尝试更大的模型。27B 级模型只有在权重、量化、运行器和设备实测都公开后，才有资格进入具体推荐。

本地模型真正值得用的五类任务

第一类是敏感文本的离线摘要，例如会议纪要、未公开产品说明和个人笔记。第二类是固定格式抽取，例如把一批发票或表单转成 JSON。第三类是断网环境的短问答。第四类是低延迟的文本改写。第五类是开发者在本地做提示词和数据管道验证。需要实时联网事实、强推理或超长材料时，云端模型通常仍更省时间。

设备选型表怎么读

记录四组数字：模型文件体积、加载后的峰值内存、首 token 延迟、持续生成速度。只报 tokens/s 不够，因为一个模型可能速度尚可，却在长输入时被系统杀掉；也可能首 token 等很久，之后生成很快。手机还要补充 10 分钟连续运行后的温度与电量下降。笔记本要记录是否影响浏览器、IDE 等常驻应用。

Bonsai、Qwen 和 Gemma 分别适合谁

Bonsai 适合想验证极限压缩和移动端大模型的用户，重点是复现官方运行路径。Qwen 的优势是尺寸选择多、中文任务友好、社区部署路径丰富，适合把本地模型真正接进中文工作。Gemma 适合已经使用 Google AI 工具链、需要开放模型和多模态实验的人。选择不是排一个总榜，而是用同一设备、同一输入和同一验收口径做横向测试。

许可证和隐私不能只看“本地”二字

本地运行降低了把输入发给第三方 API 的风险，但下载工具、模型管理器、遥测和插件仍可能联网。先检查模型许可证、运行器隐私设置和更新机制。商业使用尤其要保存当日模型卡与许可证副本。不要因为权重能下载，就默认所有场景都允许。

具体型号与规模：先看能下载什么

Qwen 官方 Qwen3 仓库列出的 dense 尺寸包括 0.6B、1.7B、4B、8B、14B、32B，另有 30B-A3B 和 235B-A22B 两个 MoE 规格。对普通笔记本，真正有现实意义的是 0.6B、1.7B、4B 和 8B；14B 往上需要更多内存，30B-A3B 虽然每次只激活约 3B 参数，但完整权重仍要装入内存，不能按“3B 模型”估算设备要求。Qwen3 官方同时给出 Transformers、ModelScope、llama.cpp、Ollama、LM Studio、SGLang 和 vLLM 路线；transformers>=4.51.0，llama.cpp 则建议至少 b5401 才有完整 Qwen3 支持。

Gemma 官方当前把 Gemma 1、2、3、3n、4 放在同一生态中，并提供 JAX gemma 包、Transformers、Kaggle/Hugging Face checkpoint 和移动端相关工具链。Gemma 3 常见公开尺寸为 1B、4B、12B、27B，其中 4B、12B、27B 是图文模型路线；更小的 1B 更适合纯文本和端侧实验。Google 的旧 Gemma 仓库系统要求示例曾给出 2B checkpoint 建议 8GB+ GPU RAM、7B 建议 24GB+，这说明“参数量乘每参数字节”只是权重下限，不是完整运行内存。

Bonsai 27B 的聚合信号声称采用 1-bit/ternary 压缩并面向手机和笔记本，但本轮计划使用的 github.com/Prism-ML/Bonsai 地址在 2026-07-16 核验时返回 404。因此本文不能把它写成已经通过官方仓库核验的可下载模型，也不能引用 3.9GB、5.9GB 或性能保留比例作为已确认事实。现阶段它只能作为“需要等待官方模型卡、权重、许可证和复现说明”的观察项。

4-bit 权重体积可以怎样粗算

不含量化元数据时，4-bit 权重的理论下限约为每 10 亿参数 0.5GB：0.6B 约 0.3GB、1.7B 约 0.85GB、4B 约 2GB、8B 约 4GB、12B 约 6GB、27B 约 13.5GB。实际 GGUF、MLX 或其他量化包还包含 scale、zero point、词表和元数据，文件会更大；运行时还要加 KV cache、计算 buffer 和运行器本身。

上下文长度为什么会吃掉更多内存

模型文件体积固定，但 KV cache 会随上下文长度增长。模型层数、hidden size、KV heads、数据类型和运行器优化都会影响实际占用，因此不能从参数量直接算出唯一数字。同一 8B 量化模型在 4K、16K 和 32K 上下文下可能表现出完全不同的可用性。手机端应先把上下文限制在 2K–4K；16GB 笔记本先从 4K–8K 开始，再观察峰值内存。Qwen3-2507 的部分大模型官方支持 256K、可扩到 1M，这属于模型能力上限，不代表消费级电脑适合用完整长度运行。

运行器怎么选

llama.cpp 适合 GGUF、CPU/GPU 混合卸载和大量硬件；Ollama 在其上提供更简单的模型下载、运行和本地 API；LM Studio 适合图形界面试用；MLX/MLX-LM 更贴近 Apple Silicon；Android/iOS 则需要 MLC、MediaPipe/LiteRT、ExecuTorch 或产品提供的原生运行时。选模型前先确认目标运行器已经支持该架构和量化格式，否则“有权重”仍然无法在你的设备运行。

直接给设备档位结论

8GB 设备优先 0.6B–4B，并限制上下文；16GB Apple Silicon 或普通笔记本优先 4B–8B，12B 只做短上下文试验；24GB–32GB 可以认真比较 12B–14B，并尝试 27B 的重度量化；64GB 才有更宽松的 27B–32B 本地空间。手机上“能启动”与“可日用”要分开，持续速度、发热、耗电、后台杀进程和包体都要过关。

许可证与模型身份

Qwen3 官方仓库和各 checkpoint 模型卡是许可证真源；Gemma 使用自己的条款，不应简单写成 Apache/MIT 式开源；Ollama library 只是分发入口，不能替代上游许可证。下载量化包时还要确认它对应哪个 base/instruct 版本、量化者是谁、是否改过 tokenizer 和 chat template。无法追到上游模型卡的包，不建议进入商业产品。

Q2、Q3、Q4、Q5 量化标签是什么意思

GGUF 文件名常见 Q2_K、Q3_K_M、Q4_K_M、Q5_K_M、Q8_0。数字越低，文件通常越小、内存越省，但质量损失更明显；K 系列采用分组量化，M/S/L 表示同一量化家族的不同组合。普通用户可先选 Q4_K_M：体积与质量更平衡。内存紧张才降到 Q3/Q2；有充足内存、在意代码和事实准确性，可比较 Q5 或 Q8。量化不会改变模型参数量和架构，只改变权重表示；也不能让不支持该架构的运行器突然兼容。

Apple Silicon 使用统一内存，模型、KV cache、系统和其他应用共享同一池内存；独显电脑则还要处理显存不足后的 CPU offload。购买设备时不要把“16GB 统一内存”和“16GB 系统 RAM + 8GB 独显”直接当成同一种配置。

官方与一手来源

• Qwen official GitHub：官方模型家族
• Google Gemma：模型和条款
• llama.cpp：GGUF 本地推理
• Ollama library：本地运行包

延伸阅读

• 2026 年开源大模型选型清单
• Qwen API 价格与接入