要点

  • 在近期公布的端侧 AI 路线图中，高通（Qualcomm）提出到 2028 年让智能手机直接在本地运行约 1000 亿（100B）参数 AI 模型的目标。
  • 目标用例包括高级生成式 AI、复杂本地推理与多模态任务，且无需依赖云端——意味着端侧 NPU 算力与内存带宽需求将出现数量级跃升。
  • 与此同步，Google 的 LiteRT-LM 已扩展对 Gemma 4、EmbeddingGemma 2、Llama、Phi-4、Qwen 等小模型的支持；Gemma 4 的「E」变体采用逐层嵌入（per-layer embeddings）大幅降低运行时内存占用，使 3B–4B 参数模型在移动 NPU 上实现低于 50ms 延迟。
  • 社区基准显示，Phi-4-mini、Gemma 4 等 3B–4B 模型在现代移动 NPU 上已达生产可用延迟，开发者可在 Ollama（灵活）与 ExecuTorch/ONNX Runtime（特定硬件最高性能）之间取舍。
  • 市场侧，DC Market Insights 报告将全球 AI 芯片市场从 2025 年约 1852.6 亿美元预测到 2035 年约 6775.9 亿美元，主驱动为「推理（inference）与定制芯片」——边缘推理芯片需求已被确认取代训练集群成为新增长极。

端侧 AI 算力跃迁路线图 2025 ~数 B 参数 2026 3–4B <50ms Gemma/Phi 2028(目标) ~100B 参数 本地多模态 无云依赖 手机/车载/边缘 2035 市场 AI 芯片 ~6776 亿美元

影响

  • 100B 参数的端侧目标把「本地智能」的边界大幅外推，将推动手机/车载/边缘 NPU 算力、高带宽内存与散热设计的全面升级。
  • 推理芯片取代训练芯片成为增长主轴，利好专注端侧 NPU、低功耗推理与模型压缩的技术与厂商。
  • 与 IoT 关联：端侧多模态推理的本地化趋势正向摄像头、可穿戴、车载等嵌入式设备外溢，是「嵌入式集成 AI」的上游算力信号。

来源（带链接）