对话Jeremy Holleman:超低功耗AI处理器的设计与开发之道
作为某机构投资企业Syntiant的首席科学家,Jeremy Holleman阐释了其新型处理器架构如何使机器学习能力部署至任意终端设备。
MLPerf Tiny基准测试的意义
MLPerf Tiny基准测试包含四项核心测试:关键词识别、人员检测、图像识别和异常检测。每个测试均提供参考模型及测量参考平台延迟与功耗的代码。该基准通过封闭赛道(统一模型)和开放赛道(自定义模型)两种模式,为系统开发者提供准确的能效对比标准,尤其注重在精度、功耗与速度之间寻找帕累托最优解。
超低功耗AI处理器的核心设计理念
-
硬件与算法的深度协同
芯片设计师与算法建模师全程紧密协作,通过优化内存访问架构,专门适配机器学习工作负载的计算模式,显著提升能效与性能。 -
端到端解决方案构建
针对深度学习部署的复杂性,构建包含数据采集、模型验证与调试的完整流程,为缺乏ML专业知识的客户提供开箱即用的解决方案。
边缘计算的三大挑战与突破
- 功耗与成本约束:终端设备需在严格能效预算下维持全天候续航
- 环境多样性:语音助手需适应从厨房到工厂等全场景识别需求
- 系统级权衡:通过架构创新打破处理器性能、模型精度与电池寿命的"气球挤压效应"
语音界面的未来展望
新型处理器架构使本地化语音交互扩展至更小更低成本的设备,如可通过语音查询电视遥控器位置或烟雾报警器状态。这种架构突破使得强机器学习模型首次能部署于任意边缘设备,同时避免云端传输带来的成本与隐私问题。
传统通用处理器无法在边缘设备约束下高效运行强模型,而新架构首次实现了机器学习在任何场景的规模化部署。——Jeremy Holleman