9 月 26 日，开发者 Low Zi Hong 在 GitHub 上开源了一个“听起来像行为艺术”的项目：用 7 块 ESP32-S3 组成的集群运行一个 0.5B 参数的大语言模型，整机推理功耗约 1.5 瓦，硬件成本低于一顿外卖。

要点

  • 集群架构：1 块主板负责分词、embedding 与采样，6 个计算节点各承担 4 层 transformer，节点间以 SPI 菊花链互联；单节点每步推理约 1.3 秒。
  • 量化关键：采用微软 BitNet b1.58 三值量化——每个权重仅取 {-1, 0, +1} 三个值，1.58 bit 恰为三态的信息论下限；模型为词表剪枝后的 Qwen2-0.5B。对比：0.5B 模型按 FP16 存储约需 1GB 内存，远超任何 MCU 的承载能力。
  • 为何“原生”重要：BitNet 从预训练阶段即以三值权重训练（论文《The Era of 1-bit LLMs》），信息保留度远好于训后量化；微软 2025 年 4 月已开源 2B 参数的 BitNet b1.58 2B4T（4 万亿 token 训练、MIT 协议）。
  • 工程细节：项目以 MIT 协议开源，包含汇编级优化的三值乘加（MAC）运算；整机推理约 1.5W、待机 1.15W。
  • 诚实的边界：作者明确这是概念验证而非生产系统——模型欠训练、输出仅“半连贯”；但架构可横向扩展（更多节点跑更大模型），并附有与其他端侧 AI 方案的对比分析。

影响

当“跑大模型”的最低门槛降到几十元人民币与 1.5 瓦，TinyML 与 LLM 之间的成本鸿沟被实证打通：教育套件、语音玩具、无网环境下的简单助手都有了可复现的参考设计。BitNet、Bonsai 等三值量化开源模型与超低端硬件的组合，值得端侧 AI 团队纳入技术雷达。

来源