边缘 AI：结合开源的目的、理由和方式

by Canonical on 2 July 2024

边缘 AI 正在改变设备与数据中心交互的方式，使组织在跟上最新创新的速度方面面临挑战。从 AI 驱动的医疗器械到自动驾驶汽车，大量的用例都受益于边缘设备上的人工智能。本篇博客将深入探讨该话题，了解开始边缘 AI 项目时的关键考虑因素、边缘 AI 的主要益处、存在的挑战以及如何与开源技术融合。

什么是边缘 AI？

位于边缘的 AI 即边缘 AI，是指人工智能与边缘计算相结合。其目标是在连接的边缘设备上执行机器学习模型。它能够使设备做出更明智的决策，无需总是连接到云来处理数据。其之所以被称为边缘，是因为机器学习模型在用户附近运行，而非数据中心。

随着行业发现新的用例和机会来优化工作流程、实现业务流程自动化或解锁新的创新机遇，边缘 AI 越来越受欢迎。自动驾驶汽车、可穿戴设备、工业装配线、智能家电等都是利用边缘 AI 能力，在最重要的情形下实时向用户传递信息的技术。 

边缘 AI 的益处

算法能够理解文本、声音或图像等不同的输入信息。对于遇到实际问题的终端用户而言，它们尤其实用。由于延迟、带宽和隐私相关的问题，将这些 AI 应用程序部署到集中式云或企业数据中心是不切实际的，甚至是不可能的。

边缘 AI 的一些最重要的益处如下：

• 实时洞察：由于数据是实时分析的，靠近用户，边缘 AI 可以实现实时处理，减少完成操作和获得洞察所需的时间。
• 成本节约：根据用例的不同，一些数据可以在数据收集处的边缘进行处理，因此不必将所有数据都发送到数据中心进行机器学习算法训练。这样可以减少存储数据和训练模型的成本。与此同时，组织常常利用边缘 AI，通过优化边缘设备开关时间，降低这些设备的功耗，从而再次降低成本。
• 高可用性：企业组织采用分散式方法训练和运行模型，即使数据中心内部存在问题，也能够确保其边缘设备从模型中受益。
• 隐私性：边缘 AI 可以实时分析数据，不会将数据暴露给任何人，从而增强对所涉对象的外貌、声音或身份隐私的保护。例如，监控摄像头不需要人脸对准摄像头看，而是部署机器学习模型，根据用例或需求发送警报。
• 可持续性：使用边缘 AI 来降低边缘设备的功耗不仅可以最大限度地降低成本，还可以使企业组织变得更具可持续性。使用边缘 AI，企业可以在不需要的情况下避免使用其设备。

工业领域用例

在垂直领域中，企业正在快速开发和部署边缘 AI 模型，以此处理各种各样的用例。为了更好地了解边缘 AI 所能提供的价值，我们来深入了解一下它在工业领域的应用情况。

工业制造商们正在努力应对通常使用到大量设备的大型工厂这一难题。Arm 在 2023 年春季进行的一项调查中发现，边缘计算和机器学习是未来几年对制造业影响最大的五大技术之二。边缘 AI 用例通常与现有制造工厂的现代化有关。  其中包括生产调度、质量检查和资产维护——但实际应用不止这些。主要目标是提高产品装配和质量控制等自动化任务的效率与速度。

边缘 AI 在制造业中的一些最突出的用例如下：

• 实时检测缺陷，作为使用深度神经网络分析产品图像的质量检测流程中的一部分。通常，这样还可以实现预测性维护，帮助制造商通过前瞻性地解决潜在问题来最大限度地减少对零部件的响应性维修需求。 
• 基于工业机器人的低延迟操作执行实时生产装配任务。 
• 基于增强现实 (AR) 和混合现实 (MR) 设备为现场任务技术人员提供远程支持； 

低延迟是边缘 AI 应用于工业领域的主要驱动因素。不过，一些用例也受益于增强的安全性和隐私性。例如，3D 打印机可以使用边缘 AI 通过集中式云基础架构来保护知识产权。

边缘 AI 的最佳实践

与其他类型的 AI 项目相比，在边缘运行 AI 面临着一系列独特的挑战。为了将边缘 AI 的价值最大化并避免常见的问题，我们建议遵循以下最佳实践：

• 边缘设备：边缘 AI 的核心是最终运行模型的设备。它们都有着不同的架构、特性和依赖关系。确保硬件的功能可以满足 AI 模型的要求，并确保软件（如操作系统）在边缘设备上通过了认证。 
• 安全性：在数据中心以及边缘设备上，都存在可能危及组织安全的人为产物。无论谈论的是用于训练的数据，用于开发或部署 ML 模型的 ML 基础架构，还是边缘设备的操作系统，企业组织都需要保护所有这些人为产物。利用适当的安全功能来保护这些组件，例如安全包、从边缘设备安全启动操作系统或者设备上的全磁盘加密。
• 机器学习规模：根据用例的不同，机器学习模型的规模也有所不同。模型规模需要与拟运行模型的终端设备适配，因此开发人员需要优化模型规模并确定成功部署模型的概率。
• 网络连接：机器学习生命周期是一个迭代的过程，因此需要定期更新模型。网络连接因而既影响数据收集过程，也影响模型部署能力。在构建部署模型或构建 AI 战略之前，企业组织需要检查并确保可靠的网络连接。
• 延迟：企业组织常常使用边缘 AI 进行实时处理，因此延迟需要最小化。例如，当监测到欺诈行为时，零售商需要即时警报，其不能要求顾客在收银台等待数分钟才确认付款。根据用例的不同，在选择工具和模型更新频率时需要评估和考虑延迟。
• 可扩展性：规模通常限于移动和处理信息的云带宽。因此成本较高。为了确保更广范围的可扩展性，数据收集和部分数据处理应在边缘进行。 
• 远程管理：企业组织通常拥有多个设备或多个远程位置，因此扩展到所有这些设备或位置也会带来管理方面的新挑战。为了应对这些挑战，请确保您拥有相应的机制来实现轻松的远程配置和自动更新。

边缘 AI 与开源

开源是人工智能革命的核心，开源解决方案可以有效的途径来解决上述许多最佳实践中的问题。当涉及到边缘设备时，开源技术可用于确保设备以及机器学习模型的安全性、稳健性和可靠性。据此，企业组织可以从广泛的工具和技术中灵活选择，从社区支持中受益，并且无需大量投资即可快速入门。从运行在边缘设备上的操作系统，到用于培训的 MLOps 平台，再到用于部署机器学习模型的框架，开源工具可以在所有堆栈层上使用。

边缘 AI 与 Canonical

Canonical 推出了一个全面的 AI 堆栈，其中包括企业组织边缘 AI 项目可能需要的所有开源软件。

Canonical 提供端到端的 MLOps 解决方案，使您能够训练您的模型。Charmed Kubeflow 是解决方案的基础，其与领先的开源工具（如用于模型注册的 Mlflow 或用于数据流的 Spark）无缝集成。企业组织可以在任何云平台和任何 Kubernetes 发行版上灵活开发自己的模型，同时提供用户管理、使用包或托管服务的安全维护等功能。

设备运行的操作系统起着至关重要的作用。Ubuntu Core 是专用于物联网设备的 Ubuntu 开源操作系统发行版。其具有安全启动和全磁盘加密等功能，有助于确保设备的安全性。  对于某些用例而言，运行 Microcloud 等小型云可以使无人值守的边缘集群利用机器学习。

将模型打包为 Snaps，可使模型在生产中易于维护和更新。Snaps 具有 OTA 更新、故障时自动回滚、无接触部署等多种益处。同时，对于模型的机器学习生命周期管理和远程管理，Brand store 是一个理想的解决方案。

边缘 AI 入门

使用我们的 MLOps Toolkit 进一步探索 Canonical 解决方案，了解构建机器学习工具包时需要考虑的关键因素，其中包括：

• 已在市场上经过测试和验证的硬件和软件
• 用于数据处理和模型构建的开源机器学习工具
• 用于编排的容器解决方案
• 具有多种选项的云计算
• 可以在企业内推出的生产级解决方案

下载 MLOps Toolkit，请点击此处。或阅读中文版MLOPs 指南。
欲了解关于 Canonical 边缘 AI 解决方案的更多信息，请联系我们。

更多阅读资料

• 【中文白皮书】微云指南：边缘计算成功路径  了解如何使用 MicroCloud 构建您的边缘策略
• 【中文白皮书】MLOPs 指南
• 【白皮书】MLOps Toolkit Explained
• 实时内核如何减少电信边缘云中的延迟