刚做完整年的低功耗AI芯片评估手里还留着十几份评测数据和几块焊过电流采样电阻的开发板。趁记忆新鲜把这个领域的真实情况整理出来。我最大的感受是这个行业的竞争早已不是单纯比谁算力高而是比谁能在极严格的能量预算里跑出实际可用的效果。用客户常说的一句话概括就是——电池不换、体积不变、价格不涨但AI能力还得翻倍。谁先做到谁就能拿到下一代产品的入场券。这篇文章就从我实际接触到的方案、踩过的坑和测量过的数据出发把低功耗AI芯片的明争暗斗拆开揉碎讲清楚。1. 低功耗AI芯片到底在争什么1.1 先搞清楚“低功耗”为什么比“高性能”更重要前几年大家聊AI芯片开口就是几百TOPS闭口就是云端训练集群。但真实世界里绝大多数AI应用根本不在数据中心里跑而是在终端设备上跑——门锁上的人脸识别、耳机里的语音降噪、手环上的心率异常检测、电表里的负荷识别、工业振动传感器里的故障分类。这些设备有一个共同约束电池很小或者根本没有电池只能靠能量收集供电。一个典型的智能门锁四节五号电池要撑八个月到一年一个带AI功能的TWS耳机单次充电要能用四五个小时配合充电仓要撑两三天一个工业无线传感器两节锂亚电池可能要支撑两到三年。在这种预算下任何“堆算力”的策略都是死路。所以低功耗AI芯片竞争的核心指标从来都不是峰值算力而是能效比——单位功耗能跑多少有效运算。一颗芯片静态功耗10mW看起来微不足道但如果你要做的是一个待机功耗5mW的产品这颗芯片连上电的资格都没有。我见过太多方案在一开始就被功耗卡死根本不是性能不够而是连门都没进。1.2 TOPS/W低功耗AI芯片的“油耗指标”行业内衡量低功耗AI芯片水平最常用的两个指标是TOPS和TOPS/W。TOPS是每秒万亿次运算描述的是算力。TOPS/W则是每瓦功耗能提供多少算力描述的是能效。如果把芯片比作汽车TOPS是最高车速TOPS/W就是百公里油耗。低功耗AI芯片领域大家比的主要是后者相当于比谁“跑得远还省电”。这里需要特别留意一个细节标称TOPS/W通常是理想条件下的数值实际跑真实模型时会大打折扣。原因包括数据搬运、内存带宽限制、算子支持不全、芯片无法长时间满负荷运行等。我实测过的多款芯片标称2 TOPS/W的芯片跑实际模型往往只能达到0.8-1.2 TOPS/W差距不小。所以行业内有一句话纸面参数只能参考真实效果得上板实测。1.3 用电池寿命倒推功耗预算选择低功耗AI芯片之前必须先学会用电池寿命倒推功耗预算否则后面全白谈。举例来说一个智能门锁需要一年续航电池组容量是8000mAh采用锂亚电池供电。不考虑电池自放电、温度衰减等因素平均工作电流上限为8000mAh ÷ 8760小时 ≈ 0.91mA。这意味着整个系统平均功耗必须在3.3V×0.91mA≈3mW以内。而这个系统里还有无线通信模块、传感器、单片机等分给AI芯片的功耗预算可能只有不到1mW。这个预算下很多标称“低功耗”的AI芯片根本没法用因为单芯片待机电流就超标了。真实产品里的AI处理往往不是持续运行而是事件触发后短时间唤醒、快速运算、再进入深度睡眠。这时候“低功耗”指的不只是运行功耗低更重要的是待机功耗足够低、唤醒速度足够快。2. 技术路线的明争暗斗2.1 三种主流路线的定位差异围绕低功耗AI技术路线大致可以分成三派。第一派是传统CPU/DSP处理器加上专用NPU加速器组成异构架构。这是当前最主流的方案在可编程灵活性、AI算力、功耗之间取得了一个较平衡的点。绝大部分量产芯片都走这条路因为CPU核可以跑控制逻辑和通用代码NPU专心处理AI推理两者各司其职。第二派是存算一体技术。核心思路是把计算放到存储单元内部去完成省掉数据搬运的能耗。传统架构里数据在存储器和计算单元之间来回搬运搬运过程消耗的能耗远大于计算本身。存算一体让数据“就地计算”理论上可以把能耗节约一到两个数量级。但代价是灵活性差、编程模型不成熟、精度控制困难目前还处在商用早期阶段。第三派是类脑芯片和稀疏化计算路线模拟神经元工作机制强调事件驱动、异步计算。这种路线的极致低功耗特性很吸引人但生态和编译器都不成熟适合特定场景的探索距离大规模量产商用还有距离。2.2 NPU异构架构为什么成为最普适的选择我目前接触到的量产低功耗AI产品绝大多数采用CPUNPU的异构方案。原因是AI推理任务里有大量可并行的乘加运算正好是NPU的强项而业务逻辑、协议栈、外设控制等复杂任务CPU更擅长。对于一个典型的端侧AI场景比如语音唤醒加关键词识别整个流程是麦克风采集音频DSP或CPU做预处理然后NPU跑神经网络推理最后CPU根据推理结果执行交互逻辑。如果全部用CPU来跑不仅速度慢功耗还高得离谱因为CPU是通用计算单元做矩阵乘法的效率远不如专用硬件。异构架构能站住脚还有一个重要因素是工具链相对成熟。经过多年打磨NPU的编译器、量化工具、算子库、调试工具都已经比较完善开发者拿到开发板按照文档操作几天内就能跑通一个基础模型。相比存算一体和类脑方案这种成熟度是巨大的优势。2.3 存算一体理论美好落地尚早存算一体这几年热度很高尤其在低功耗AI领域被视为长期解。它的核心省电逻辑在于减少数据搬运。我做过一个粗略的能量对比实验。传统架构跑一次固定的AI推理数据搬运消耗的能量占总能耗的比例常常超过60%真正算力单元消耗的能量占比反而不到40%。存算一体把“计算”嵌到“存储”里省掉了搬运这层大头理论上节省显著。但实际使用中有三个很现实的问题阻碍了存算一体的大规模落地。精度问题严重。存算一体的计算在模拟域完成受温度、噪声、工艺偏差影响计算误差高于数字电路INT8精度的模型跑起来容易掉点某些场景还要做额外的补偿校准。编程模型和工具链不成熟。普通AI开发者已经习惯了主流的深度学习框架工作流而存算一体芯片的编译器栈和算子库远没有达到“开箱即用”的水平开发门槛非常高。灵活性和扩展性受限。一旦模型结构变化或者算子不匹配存算一体芯片的适配工作量巨大。所以我的判断是存算一体在未来非常有想象空间但至少现阶段只适合有专门算法团队深度定制模型的少数玩家。对大多数产品团队而言这不是一个可以商业化的成熟选项。2.4 制程工艺与片上存储的暗战有一件事大家容易忽略那就是低功耗AI芯片的竞争不仅是架构之争还是工艺和存储之争。先进工艺制程能有效降低芯片的工作电压和开关能耗但成本也水涨船高。低功耗AI芯片的市场对成本非常敏感一颗消费级AI芯片的售价可能只有几十元这就决定了厂商不能无脑追求最先进工艺。业内常见选择是16nm、28nm、40nm等成熟工艺配合架构优化来达到功耗目标。少数高端产品会用到7nm或更先进工艺但这类产品通常定位旗舰市场量不是最大的。片上SRAM的大小也是决定实际功耗的关键因素。AI推理过程中的中间数据如果都能放在片上SRAM里就不需要频繁访问外部DDR能节省大量功耗和等待时间。可以看到各家芯片越来越拼SRAM容量本质是在拼“在低功耗下能吃下多大的模型、多大batch的数据”。SRAM越大模型本地化程度越高外部内存访问越少功耗表现越好。但SRAM是芯片成本的敏感部分不可能无限扩大所以每一代芯片都要在这上面做权衡。3. 落地场景需求分化的实测观察3.1 语音场景低功耗AI芯片的“基本盘”在所有低功耗AI应用场景中语音是量最大的一个也是技术成熟度最高的一个。从唤醒词检测到语音命令识别再到本地转写语音AI对算力的要求并不高但对功耗和延迟极其敏感。一个典型的低功耗语音方案需要一颗常开的音频前端DSP搭配NPU麦克风阵列采集音频后先做回声消除、波束成形、降噪再做唤醒词识别。在这个过程中AI芯片的平均功耗通常要被控制在10mW以内唤醒响应延迟则要控制在100ms以内。超过这个水平用户体验就会明显下降。我实测过的低功耗语音SoC在实现“始终在线监听本地唤醒”时整机功耗可以压到3mA 3.7V左右也就是说一个500mAh的电池可以撑将近一周的纯待机。当然如果要跑更复杂的全双工语音交互功耗会往上走一个台阶。3.2 视觉场景门锁、安防到智能眼镜视觉类应用的算力需求比语音高一个数量级但在低功耗前提下做视觉任务挑战主要在ISP、内存带宽和NPU的协同配合。智能门锁是最典型的量产场景。一颗人脸识别模组要做的包括人脸检测、活体检测、人脸比对整个流程快要好持续功耗还要低。门锁是电池供电的不可能像摄像头那样一直开。合理的做法是使用低功耗人体传感器激活激活后系统在几百毫秒内完成检测和识别然后立刻进入休眠。整个过程中的平均功耗必须控制在毫瓦级别。智能眼镜是更大的挑战。眼镜的电池容量通常只有几百毫安时但需要在长时间待命的同时随时响应拍照和识别需求。要求AI芯片的待机功耗极低单次识别功耗低、延迟低同时芯片面积和高度都要压缩到适合眼镜结构的程度。目前这一场景的量产芯片不多但竞争极其激烈因为眼镜被视为下一波智能硬件的重要载体。3.3 工业与家电场景藏在角落里的大市场除了消费电子低功耗AI芯片在工业状态监测、智能家电、能源管理等领域也在快速渗透。这些场景的特点是单品价值不高但总量巨大对成本极敏感。以空调为例新一代空调引入了AI节能算法让压缩机根据环境温度、使用习惯、电费时段进行智能调节。控制算法的计算量并不大但要求极低的成本和极低功耗通常整机增加的成本不能超过十几元。这对芯片厂商的压力相当大考验的是极致性价比能力。工业场景则更看重可靠性和恶劣环境适应能力比如工业振动传感器要在高温环境下连续工作AI芯片需要在极端温度下保持算法识别的稳定性。我测试过几颗工业级芯片在85℃环境下的识别准确率和25℃相比有所下降这种温漂问题在设计散热方案时必须提前考虑。场景典型算力需求平均功耗预算核心痛点成本敏感度语音唤醒/TWS耳机0.1-0.5 TOPS毫瓦级待机响应延迟、功耗高智能门锁/可视门铃0.5-1 TOPS事件触发后低功耗唤醒准确率、漏报中高智能眼镜/AR1-4 TOPS极低待机短期高算力散热、体积、续航中工业监测/传感器0.1-0.2 TOPS电池用两年以上温漂、稳定性中高智能家电0.1-1 TOPS待机功耗符合国标成本、PWM控制极高4. 市场博弈里的“明争”与“暗斗”4.1 老牌厂商的降维打击低功耗AI芯片这个市场既有玩家做“明争”——拼产品定位、拼Roadmap、拼发布节奏也有大量“暗斗”——SDK里夹带私货、基准测试挑项目、开发者被生态绑架等。这些现象在这个行业里屡见不鲜对选型影响巨大。头部SoC厂商的做法最典型把AI能力直接集成进主控芯片里不再单独卖一颗AI协处理器。这样做的优势很明显主控芯片集成了NPU客户不用多贴一颗芯片物料清单成本下降板上面积节省可靠性还提高了。对于做智能门锁、家电控制板的客户来说这几乎是无法拒绝的理由。但集成方案也有让人头疼的地方。最典型的就是SDK绑定和生态锁定。一旦你选了某个主控平台并在上面完成了全部算法适配后面如果要换平台基本意味着整个软件栈重写。厂商清楚这一点所以会在前期以非常优惠的合作条件拉客户进来后面逐渐提高依赖程度。这种现象在市场上很常见是典型的商业博弈策略。4.2 初创团队的生存缝隙低功耗AI芯片的初创团队没法在通用市场和老牌厂商正面对抗所以通常选择非常垂直的细分场景切入。常见策略包括专注超低功耗语音唤醒、专注健康监测的体征信号处理器、专注边缘侧图像识别模块等。这类团队的优势在于反应速度快、定制能力强、服务响应及时。一个大客户对算法或接口有特殊需求初创团队几周就能调整SDK和硬件适配这种灵活度是超大厂很难做到的。但劣势也很明显团队规模有限工具链、文档、技术支持这类“看不见的投入”往往跟不上。我接触过不少初创芯片的方案硬件指标看起来很好实际开发起来才发现缺少成熟的编译器、算子库、示例工程算法人员要花大量时间做手工算子移植整个项目周期被拖得很长。所以选择这种方案时一定要先评估的是软件团队匹配度而不仅仅是芯片参数。4.3 软件生态真正的护城河很多团队选芯片时最关注的是算力、功耗和价格但实际项目做下来决定生死的往往是工具链和软件生态。低功耗AI芯片的软件生态包含几个关键部分深度学习框架对接能力、模型训练后的量化工具、算子编译器、GPU仿真器或FPGA原型验证环境、调试与性能分析工具、量产烧录与OTA升级机制。任何一个环节薄弱都可能让项目停滞。我见过一个团队芯片算力足够、功耗也达标、价格还便宜但量化工具非常难用导出的模型跑起来精度掉了5个点以上。算法同事反复调整了一周也没解决最后只能更换芯片平台前面几个月的工作几乎报废。这种案例在行业里并不少见。所以说低功耗AI芯片的竞争早就超出了芯片本身。最终能跑量的产品一定是那些“芯片SDK工具链技术文档现场支持”整体解决方案过硬的厂商。这也解释了为什么很多团队选型后很快又开始看下一家因为很多产品只把功夫下在了芯片参数上软件生态却一塌糊涂。5. 芯片选型评估的实操方法论5.1 从Datasheet里读出真实信息评估一颗低功耗AI芯片第一步是看懂Datasheet。我的习惯是先看几个最关键指标再找官方评估板实测。算力要看INT8实数算力不要只看主频。很多芯片宣传的TOPS是FP16算力换成INT8后大打折扣。对低功耗AI芯片来说主流商用量产模型基本还是INT8量化为主所以INT8算力才是你需要关心的。能效比看TOPS/W但要注意是在什么条件下测的。如果标称条件下是理想稀疏化或混合精度那和真实跑卷积网络的效果是两个世界。内存子系统是关键。重点看片上SRAM大小、是否有DDR控制器、内存带宽多大。对端侧AI推理来说数据搬运经常是瓶颈足够大的SRAM能提升实际能效。低功耗模式要看得非常仔细。芯片有几级睡眠模式各级的唤醒时间是多少待机电流分别是多少唤醒后迅速跑一次模型再睡回去整个过程的平均功耗是多少这些信息对电池供电产品至关重要。还有一个我反复强调的是外设集成度。芯片自带的音频编解码器、ISP图像处理单元、电源管理单元质量如何如果外设集成度高且质量好可以省掉一堆外围芯片整机成本和面积都会更优化。5.2 我常用的选型评估表下面这张表可以帮团队在选型阶段快速形成评估结论评估维度指标参考实测方法算力INT8 TOPS、有效算力非峰值跑目标模型测帧率能效TOPS/W、运行功耗电流探头测运行平均电流待机深睡电流、唤醒时间评估板配合精密电流计实测内存SRAM大小、DDR带宽跑不同大小模型验证工具链编译成功率、算子覆盖率把目标模型完整移植一遍生态文档质量、示例工程、论坛活跃度让工程师按文档独立跑通Demo成本单价、BOM总成本、NRE费用结合生命周期量级预估交付供货周期、长期供货承诺、第二供应商由采购侧调研5.3 如何做真实的功耗测量评测功耗是选型的关键也是很多团队最容易范error的地方。我总结了几个经验。不能只测跑Division算力的功耗因为真实产品里的AI运行单位和测试工具不一样。正确做法是把你最终要跑的模型完整移植到评估板上让它以目标流程运行比如“待机-唤醒-采集-推理-决策-休眠”完整循环然后测整个循环的平均电流。测量工具要配齐。常见的测量仪表包括高精度万用表、专用电流探头、示波器和电子负载。测待机微安级电流时要保证采样精度不能只用普通万用表因为普通表的底噪就可能大于芯片的睡眠电流。我习惯在待机时想办法串联一个大电阻配合高精度表同时要注意电源噪声对芯片的影响必要时在测量引脚加去耦电容。多次测量取均值。芯片在不同温度、不同电压下的功耗表现差异较大最好在25℃、45℃、70℃几个温度点分别测试。实测中发现有些芯片在高温下因为漏电增加和节流机制功耗变化高达30%以上。6. 项目实战中的避坑经验6.1 工具链的三座大山算子、量化、仿真这几年用过多家低功耗AI芯片的开发流程踩坑最多的永远是工具链已经不是一次两次了而是常态。第一座大山是算子覆盖。目标模型里的每个算子在NPU工具链里不一定都有高效的映射实现。比如一些动态形状或者不规则卷积算子在GPU上运行良好到了NPU上可能根本编译不过或者被降级到CPU执行导致性能骤降。我的习惯是在选型阶段就把目标模型的算子列表导出逐一核对工具链支持情况提前发现不支持的算子并提前修改模型结构。第二座大山是量化精度。很多低功耗芯片不擅长处理浮点需要把模型量化到INT8。量化过程中一个常见的错误是使用不当的校准数据集导致量化后精度下降严重。建议收集尽量与实际业务分布接近的数据并对比量化前后每一层输出的误差分布。如果某一层误差特别大就要考虑对那部分做混合精度处理或者修改模型结构。第三座大山是仿真与实测不一致。芯片厂商提供的模拟器PC端跑出来的性能数据和真实芯片往往有较大差距原因包括访存延迟没有被准确建模、NPU调度策略模拟不完全、编译器的实际执行结果不同等。所以我的经验是仿真结果只用来验证功能性能数字还是以开发板实测为准。6.2 我踩过的几个具体坑分享几个真实踩过的坑希望后来者不要再犯。曾经遇到一个项目芯片标称INT8算力很高但在跑目标网络时发现问题模型里的5×5卷积在NPU上的效率极低实际帧率只有预期的三分之一。原因是这种卷积操作的数据重用特性与NPU的硬件数据流不匹配导致计算单元大量等待数据搬运。后来我们把5×5卷积改成两个3×3卷积串联帧率提升了两倍多。这个小改动完全来自实测只看paper永远也意识不到。还有一个项目芯片体积、功耗都很满意但是SDK只支持两种指定的编译器版本和特定的操作系统内核版本。我们现有产品线用的是另一套嵌入式框架软件团队针对芯片的使用限制纠结了一个多月最后还是只能在最小化的混合架构里做了妥协。再有就是唤醒延迟的问题。有一款芯片的睡眠模式看起来很有吸引力待机电流低至微安级但实际测试发现从睡眠到NPU可运行的时间需要60毫秒再加上模型推理时间整个语音交互的响应速度明显偏慢。后来改用不同级别的低功耗模式组合快速启动模式保持关键数据状态把真正的深度睡眠留给机会极少的场景总算把延迟压缩到了可接受范围。6.3 系统级功耗优化的几个技巧芯片本身选好了系统级功耗优化也会深刻影响最终产品续航。以下几点是我在项目里反复用的经验。第一尽量让工作负载显得“稀疏”。低功耗产品里AI推理不一定是每帧都做。比如人体传感器检测到有活动才触发识别摄像头可以被限制在一个低帧率。把三个不同工作负载交织运行避免整套系统始终满负荷。第二尽可能利用异构单元。很多芯片内部除了NPU还有DSP或低功耗协处理器某些预处理任务可以放到这类低功耗单元上运行。比如音频前端算法在DSP上跑NPU只跑神经网络推理整体功耗会比全部塞给NPU更低。有芯片的能效差距能到50%以上。第三精心调校电源管理策略。要充分利用芯片的多个电源域不用的外设及时下电。但要注意下电顺序和等待时间避免在模块尚未停止时就切断时钟芯片可能死机或数据损坏。需要在极端环境下做长稳定性验证。第四利用厂商提供的功耗分析工具在开发阶段就持续识别功耗热点。有一个项目我们在开发板上直接焊了电流采样电阻配合示波器看各个阶段待机、唤醒、推理、通信、休眠的电流波形很快发现了蓝牙模块的空闲扫描电流异常偏高最后通过调整扫描策略省下了将近三分之一的平均功耗。6.4 建议的低功耗AI项目开发节奏根据这些经验我认为一个稳健的低功耗AI产品开发流程应该是这样的。需求定义阶段先做功耗预算将整机可用功耗拆解到每个模块确定AI芯片的功耗窗口、算力下限和成本上限。这个阶段一定要把测量工具准备好不要等到方案确定了才想起来。选型评估阶段拿到评估板立刻跑通目标模型实测功耗、帧率和延迟。重点测完整业务循环而不是只测设计公司的演示模型。同时进行软件SDK的深度评估不要只看文档。原型验证阶段用开发板搭出接近真实产品的外设环境充分模拟真实交互流确认功耗数据和系统稳定性。温度和电源波动测试在这个阶段就应该开始。量产优化阶段结合产品结构做整机功耗调优特别注意外部电源转换效率、传感器功耗、无线通信的占空比。同时复核AI模型在量产固件上的精度变化情况。这几轮下来产品基本能做到续航和功能可兼顾。我也见过不少项目为了抢进度跳过前面的评估步骤结果拿到真正量产阶段才暴露出功耗超标、工具链受限、模型效果不达标等问题最后往往得不偿失。写在最后的几句实在话低功耗AI芯片领域的明争暗斗说到底争的不是谁家的名字响、发布会热闹、PPT参数最漂亮而是谁能在真实产品里用最少的电、最小的芯片面积、最友好的开发体验把AI模型稳定地跑起来。我见过太多看似参数很美的芯片最后折在工具链、生态和真实场景的功耗细节上。作为从业者我深知纸面数据和量产表现之间隔着的是无数个加班夜和厚厚的实测报告。我个人最深的体会是芯片选型这件事永远不要只依赖原厂提供的基准数据和评测模板。你的模型、你的场景、你的结构限制只有你自己最清楚。把核心模型跑上开发板用电流表实测功耗让软件工程师完整走一遍工具链再做决定。芯片战争输赢其实与你无关但你自己的产品能不能在时间和预算内落地是你必须负责到底的事。如果你正准备启动一个低功耗AI终端项目我的建议是先把功耗预算表做出来把模型算子梳理清楚再带着这些维度的标准去挑选芯片。你会发现很多看起来很大的“差距”在真实需求面前根本无关紧要而很多不起眼的“暗斗”恰恰是决定你项目生死的关键。祝你们的第一块开发板一次点亮第一版固件一次跑通。