开启边缘智能新时代 ST引领AI开发潮流
加入技术交流群
这些装置将渗透到日常生活的方方面面，从家庭到工厂，从公司到城市，从大楼到交通出行，几乎无处不在。当我们深入剖析这些装置的运作模式以及它们所带来的商业模式时，我们便能清晰地看到边缘AI为我们的未来开创了怎样的新局面。
那么，意法半导体是如何将这一远景转化为现实的呢？这又需要哪些关键元素的支持呢？意法半导体亚太区人工智能技术创新中心暨智能手机技术创新中心的资深经理Matteo MARAVITA指出，边缘AI的实现离不开三个基本要素：安全性、连接性和自主性。而在今天的分享中，他将重点聚焦于第三个要素——如何提升这些装置的智能和自主性，而?时将安全性和连接性问题置于一旁。他将进一步探讨意法半导体是如何在这一领域实现其远景的。
图二
以车用传感器为例，Matteo MARAVITA介绍了意法半导体与HPE集团的合作。他们正在利用边缘AI技术来优化电动汽车的马达运作。他们开发了一种名为“虚拟传感器”的解决方案，该方案将AI算法运用在最新的Stellar系列车规微控制器上。这个算法能从传感器中获取马达运作的数据，并利用这些数据来推断和估计那些无法直接测量的马达内部温度。值得一提的是，这个车规微控制器不仅能执行人工智能任务，还能驱动马达，并同时运行其他预测性维护的AI算法，以识别减震、机械和电气系统中可能存在的异常状态。
图三
在近期的一项技术合作中，知名计算机与笔记本电脑市场的领军企业惠普与合作伙伴携手，利用先进的智慧传感器技术，针对笔记本电脑的电源监控进行了优化。该方案的核心在于采用了ST的六轴IMU MEMS传感器，惠普与ST的工程师们紧密合作，通过在不同环境条件下收集IMU传感器的资料，并根据不同设备与用户行为模式来开发和训练AI模型。
图四
此次合作目的在识别特定使用场景，例如用户将笔记本电脑合上并放入计算机包前忘记关闭电源的情况。在此类情况下，由于未能及时关闭系统，笔记本电脑可能会过热，导致电池迅速耗尽。为了解决这一问题，双方全面收集了各类资料，并合作开发了机器学习模型。一旦模型经过验证，该算法将被整合至智能传感器中，从而实现更为精准的电源管理。
此外，在另一项引人注目的应用中，AI技术也被成功引入到了日常生活中已存在数十年的洗衣机领域。随着技术的不断进步，现代洗衣机在马达控制性能上已实现了显着的提升，相较于15或20年前的洗衣机，现在的洗衣机不仅马达性能更高，而且能耗更低。
图五
在此次创新中，STM32微控制器被用于控制洗衣机的马达运行，并同时执行AI算法。马达控制器算法将马达的电流状态信息发送至AI算法，后者利用这些信息来估算待洗衣物的重量。通过更准确地估算衣物重量，洗衣机能够选择更为合适的洗涤程序，从而以恰到好处的电流驱动马达，减少整体用水量、洗衣液用量以及能源消耗。据统计，这一技术可为一个洗衣周期节省高达15到40%的能源和水资源。
不仅如此，AI算法还具备提前检测洗衣机滚筒在旋转过程中可能发生的碰撞以及撞击洗衣机外壳的能力。这一功能的实现得益于ST的六轴IMU传感器，使得整体解决方案更加稳定可靠。
通过这些案例，我们可以看到，越来越多的公司、应用领域的工程师们正积极寻求将人工智能技术整合到他们的产品中，以实现更高效、节能和稳定的性能。
图六
在当前的技术领域中，开发人员仍然面临着一系列挑战。这些挑战主要可分为硬件和软件两大层面。从硬件角度来看，尽管开发者追求实现人工智能功能，但仍需兼顾整体性能、安全性以及功耗控制。特别是在选择硬件时，必须确保其具备特定的安全功能，并能在维持低功耗的同时稳定运行。对于半导体供货商而言，如意法半导体，他们致力于为客户提供一系列整体方案，以应对不同硬设备的挑战。
图七
在另一方面，软件层面的挑战同样不容忽视。为了在设备中实现可训练的模型，开发者不仅需要在最终产品中创建、训练和部署模型，还需负责其维护。特别是在边缘AI领域，这一挑战尤为突出。
意法半导体早在十年前便开始了AI研发计划。他们从机器学习的基础研究入手，专注于未来将成为焦点的边缘设备。因此，他们的机器学习技术特别针对硬件资源受限的设备进行了优化。2018年，他们推出了首个STM32 AI函数库——STM32Cube.AI，并自此开始与客户合作，共同开发了多个项目。
图八
同年，他们还推出了首款内置MLC机器学习核心的MEMS传感器，该传感器具备机器学习模型硬件加速功能。此外，他们还加入了TinyML联盟，并随后将AI的布局和支持范围扩展至其他芯片，如车用微控制器和Linux相关产品，如STM32微处理器。
到了2021年，意法半导体进一步推出了新的AutoML工具生态系统NanoEdge AI。一年后，他们再次发布了新款具有更先进硬件加速器的MEMS传感器，该传感器能够在同一设备内运行更小的深度学习网络。去年，他们继续改进软件生态系统，推出了STM32开发者云端模型库，并更新了Stellar系列车规MCU工具。
图九
值得一提的是，STM32在通用微控制器领域取得了显着成绩。在MLPerf Tiny基准检验中，STM32提交的项目数量位居第一，占所有提交项目的73%。这充分证明了意法半导体多年的努力得到了回报，并吸引了大量开发者在其平台上进行边缘AI的开发与探索。
图十
这一成功的背后，有三个关键因素不可忽视。首先，意法半导体在通用微控制器、工业和消费性微控制器市场具有优势地位，STM32系列特别适用于这些应用。其次，他们对边缘AI基准检验做出了重要贡献，如MLPerf Tiny基准检验。最后，他们的在线平台——STM32 AI开发者云端平台，为客户和开发者提供了便捷的在线工具和STM32开发板，?明他们轻松测试模型。这些因素共同推动了STM32在AI创新领域的广泛应用。
图十一
在成功利用硬件解决方案协助开发者应对硬件挑战之后，ST如今进一步聚焦如何?明客户克服软件方面的挑战。开发边缘AI解决方案涉及多种类型的AI工程师，他们各自拥有不同的开发技能，因此其需求也各不相同。
图十二
嵌入式软件工程师是专注于实现边缘AI并将其无缝整合到整个系统中的关键角色。这类工程师往往会从可靠的示例项目入手，根据特定应用需求调整参考设计。与此同时，机器学习工程师、AI工程师或数据科学家则主要致力于机器学习模型的研发，他们不仅关注模型的数据集，还需根据目标硬件装置优化模型性能。
图十三
硬件工程师则渴望拥有一个简便的基准检验工具，以便在不同的硬件平台或组件上测试数据科学家提供的先进算法，并在性能、功耗、尺寸和价格之间找到最佳平衡点。
鉴于这些多样化的需求，ST开发了一个独特的工具——ST Edge AI开发工具包，以满足各类工程师的需求。
图十四
那么，ST Edge AI开发工具包究竟是什么呢？它是一个集成了边缘AI开发所需全套工具和模块的综合性解决方案。从利用模型库建立示例、收集数据集，到将模型部署到特定硬件，该套件覆盖了整个开发流程。客户可以利用ST的AutoML工具直接从数据开始构建模型，或者采用自研或第三方工具将自主研发的模型导入套件，进行模型基准检验，并在硬件上部署模型。
图十五
ST Edge AI开发工具包旨在支持多种硬件，包括MEMS传感器、微控制器、MPU微处理器以及车用微控制器。此外，套件还提供了丰富的开发资源，如文档、培训课程和小区访问权限等，为开发者提供了全方位的支持。
图十六
ST正致力于将多个工具整合为一个全面的边缘AI开发工具包，详细信息已全部呈现。这一生态系统不仅与内部AI开发流程相兼容，同时也与外部AI开发生态系统保持协同工作。值得一提的是，该套件支持众多主流且广泛应用的深度学习框架，包括TensorFlow Lite、Keras、PyTorch等，使得用户能够轻松利用这些框架训练的机器学习模型进行开发。
图十七
此外，ST Edge AI开发工具包还展示了与NVIDIA工具包的兼容性，为用户提供更多选择和灵活性。同时，该套件也提供了与AWS和微软Azure等云端服务的连接可能性，使得用户能够轻松将边缘AI解决方案与云端服务相结合，实现更广泛的数据处理和分析。
不仅如此，ST Edge AI开发工具包还与MATLAB等模拟工具保持兼容，为用户提供了更强大的模拟和测试能力。这使得用户能够在开发过程中更早地发现和解决问题，提高开发效率和质量。
图十九
ST Edge AI解决方案的核心在于其通用的软件库和指令列接口，即ST Edge AI核心。这一核心功能使得客户能够方便地评估机器学习模型，并利用工具将模型编译为特定目标。因此，无论是STM32微控制器、Stellar车用微控制器，还是具备MLC或ISPU等硬件加速器的MEMS传感器，都可以轻松集成到ST Edge AI解决方案中。
图二十
值得一提的是，这些工具都是免费的。不仅ST Edge AI套件本身是免费的，而且ST还宣布自去年12月起，Nano AI Studio在任何STM32上都可以无限免费使用。此外，ST还将根据特殊许可协议，继续为客户提供其他搭载Arm Cortex-M核心的微控制器的支持。
图二十一
综上所述，ST Edge AI开发工具包为用户提供了一个全面、高效且灵活的边缘AI开发解决方案。无论是初学者还是有经验的开发者，都能够利用这一套件快速构建和优化边缘AI应用，推动智慧化时代的发展。
评论