近日,美的集团AI创新中心自主研发的edge AI算法部署工具链Aidget(AI edge toolbox)在Github和OpenI社区正式上线。推进开源开放是美的集团承担的智能服务机器人国家新一代人工智能开放创新平台的重要内容。Aidget将帮助美的和开发者推动AI生态共创,赋能行业技术发展。
在各种智能嵌入式边缘设备上运行深度学习模型(深度神经网络)已经成为AIoT的主流方式。然而,由于主流深度学习模型的高部署要求和边缘设备的有限计算资源,直接部署存在大量计算资源浪费等直接挑战,阻碍了深度学习模型在资源有限的边缘设备上的部署。致力于解决AI的通用部署问题,针对智能家电领域操作系统和芯片工程部署难度高、效率低、通用工具链对资源极其匮乏的家电和物联网设备适应性差、通用工具链对语音算法支持度低、运营商实现和优化不够等实际问题,美的集团AI创新中心于2021年启动了Aidget项目。
作为美的全自研高性能深度学习推理部署工具链,Aidget包含模型压缩工具和推理加速引擎工具,实现从模型压缩到推理加速的全链路优化。Aidget适用于linux/rtos/android/ios等不同终端系统,为armv7/v8、dsp等不同终端平台提供指令级加速。为多计算单元设备提供高性能异构计算能力;针对边缘的小内存设备,优化内存管理。
Aidget工具链的主要工作流程是通过压缩工具对模型进行压缩,支持剪枝、蒸馏、量化等前沿主流算法技术。通过多种压缩方法的联合应用,实现了高压缩比并保持了良好的精度性能。通过推理机端转换工具对压缩后的模型进行分析,并进一步优化,包括运算符删除、运算符替换、布局调整等图优化操作。推理时加载模型,然后通过预处理将模型从抽象图形转化为具体算子和张量连接的描述形式,并进行内存重用、执行调度等操作优化。
目前,Aidget已陆续在智能冰箱、洗碗机、家庭服务机器人等智能家电上实现生产验证和大规模量产,持续发挥降本增效作用。美的集团希望通过Aidget开源项目,为边缘智能提供AI解决方案;同时,美的AI将继续推动语音技术、计算机视觉、机器人学习相关算法/模型的开放服务和开源共创,赋能行业发展。
评论前必须登录!
注册