随着 AI 加速向终端设备和物理系统延伸，开发者需要构建能够在本地感知、推理并采取行动的应用，同时兼顾时延、隐私保护、功耗、网络连接和软件复杂性等因素。

本文转自：Arm编辑团队

AI 的下一阶段发展，正由交互、上下文和即时响应共同塑造。

无论是识别说话者的机器人、理解周围环境的智能摄像头，还是响应用户需求的无障碍辅助设备，都体现了这一趋势。这些系统正越来越多地融合视觉、语音、语言、传感器数据和运动信息，并将这些输入实时转化为行动。

与此同时，这些系统也正展现出更强的智能体能力。应用不再只是运行单一模型或执行固定的推理任务，而是需要综合多种输入进行推理、选择模型或工具、保持上下文、与设备交互，并触发相应操作。

这意味着，边缘 AI 面临的挑战已远不止模型部署。开发者必须构建完整的智能系统，涵盖 CPU、GPU、加速器、传感器、AI 运行时、应用程序和云服务，并决定各个部分应在何处运行。

时延影响交互能否做到即时响应；摄像头和麦克风的使用涉及隐私问题；设备运行受到功耗和散热条件的限制；网络连接也可能不稳定，甚至完全不可用。

因此，云端与边缘并非非此即彼的选择，而是共同构成一个连续的分布式计算体系。开发者需要决定哪些任务在本地运行、哪些任务交由云端处理，以及两者如何协同，组成完整的智能体系统。

开发者们已经在构建本地AI循环

从开发者基于 Arm 构建的边缘应用中，我们已经能够看到这一转变。

在 We Are Developers 活动的 Arm Create Builder Zone 展区，参会者分析了运行在 Arm 平台上的工作负载性能，探索了端侧生成式 AI，并将 AI 应用与基于 Arm 的设备连接起来。

Arm Create 活动中展示的一款实时翻译应用，体现了此类系统的复杂性：它在多个处理阶段调用了超过 30 个模型，共同打造流畅、响应及时的体验。根据各阶段的性能瓶颈是计算能力还是内存，处理流程中的不同环节采用了不同的框架和数值精度。

另一个案例中，Qwen3-TTS CustomVoice 借助 Arm 可伸缩矩阵扩展 2（SME2），在单个 Arm CPU 核心上实现了实时运行。这表明，先进的语音生成工作负载如今已能在本地运行，无需专门往返云端处理。

最后，Reachy Mini 与 NVIDIA DGX Spark 的演示展示了实体 AI 系统如何将感知、对话和动作整合为一个本地运行的闭环。开发者需要将视觉、语言和控制协调起来，使其共同构成一个能够及时响应的完整系统，而不是将它们视为彼此独立的任务。

Reachy Mini 演示：机器人感知周围环境、识别说话者并实时作出响应。

智能体模式在这里至关重要。机器人需要理解上下文、选择行动、调用设备能力，并随着环境变化持续调整自身行为。

这些案例面临着共同的开发挑战：如何协调日益复杂的 AI 工作流，同时保留本地处理在响应速度、隐私保护和运行效率方面的优势。

不止优化模型，更要优化整个系统

构建这些应用体验，也意味着需要从整个应用的角度作出一系列决策。

每项任务应该由哪个模型完成？采用哪种运行时？运行在 CPU、GPU，还是其他加速器上？选择怎样的数值精度，才能在性能与输出质量之间取得适当平衡？某项操作应该在本地完成，还是交由云端处理？

整个应用中的不同任务，无法套用同一套答案。

Arm Create 展示的翻译应用结合了多种边缘 AI 框架，包括 ExecuTorch、LiteRT、llama.cpp 和 ONNX Runtime。在量化与精度选择方面，部分工作负载需要使用 FP32（32 位浮点）或 FP16（16 位浮点），另一些则可以采用 INT8（8 位整数）、INT4（4 位整数）或更低精度高效运行。

PyTorch 2025 活动演示：基于 ExecuTorch 和 KleidiAI 的端侧音频生成

目标并不是让所有任务都使用同一个模型、框架或计算引擎，而是从整体体验出发，为每项工作负载选择最合适的处理方式。

智能体 AI 让这种灵活性变得更加重要，因为随着应用进行推理、选择工具并决定下一步行动，这些决策也越来越多地需要动态作出。

简化复杂的 AI 开发

随着应用日益复杂，开发者需要更简单的方式来应对开发中的复杂性，并在众多方案中作出选择。

Arm AI Portal 将各类资源整合为连贯的工作流，为开发者和编程智能体提供支持。开发者可以查找经过预优化的模型，评估其在特定 Arm 目标平台上的性能与准确性，并综合权衡模型大小、目标平台、输出质量和预期性能等因素。该门户还提供代码、工具和部署工作流，帮助开发者缩短从模型选型到实际落地的过程。

Arm AI Portal 为开发者提供统一入口，方便其查找、比较和评估适用于不同 Arm 平台的优化 AI 模型。

AI 不仅在改变开发者构建的应用，也在改变他们的开发方式。

通过 Arm 模型上下文协议（MCP）服务器，编程智能体可以直接在开发工作流中访问相关 Arm 资源，帮助衔接模型查找、评估、优化和部署等环节。

Arm MCP 服务器的工作原理

AI Portal 与支持 MCP 的开发方式，共同体现出与应用本身一致的趋势：系统之间的联系日益紧密，构建这些系统的工具也需要更加互联互通。

边缘 AI 正迈向多模态、智能体化，并与物理世界深度融合

随着更多智能能力在终端设备、网关、机器人、摄像头、车辆和本地计算系统中运行，应用将融合更多模态，并具备越来越强的行动能力。

在这一过程中，编排能力成为边缘 AI 的核心要求。应用必须将推理与模型、本地数据、工具、设备能力及云服务衔接起来，同时满足促使其采用本地处理的时延、隐私、功耗等约束。

本地工作负载的范围也在不断扩大，从语音转写、语音输入和图像增强，延伸至端侧助手、富有表现力的语音生成、翻译以及其他多模态体验。

治理也逐渐成为系统设计的一部分。随着应用自主性增强，团队需要考虑如何开放设备与工具的能力、允许智能体执行哪些操作，以及哪些控制权应保留在本地。

开发者需要能够贯通异构系统的一致开发路径，同时保留灵活性，根据每项工作负载的需求，在云端、边缘和物理设备之间选择模型、框架、数值精度与计算资源。开发工作流还必须让开发人员和编程智能体都能便捷地访问这些资源。

这正是下一场 Arm Create at PyTorch 活动的重点。开发者可以通过技术分享、现场演示和动手实践，探索 PyTorch 与 ExecuTorch 工作流、智能体 AI 与 MCP，以及边缘 AI 和实体 AI。

将智能转化为行动

本地 AI 的价值，最直观地体现在它所支持的应用体验中。机器人能够理解周围环境并采取行动，减少对云端连接的依赖；无障碍辅助应用能够在靠近用户的设备上处理敏感信息；语音与翻译系统能够协调多个专用模型，同时保持及时响应；智能摄像头和工业系统则能够将本地传感器数据转化为及时的行动。

在这些应用场景中，开发者面临的挑战，正从部署单个模型转向设计完整的智能系统。Arm 正围绕这一机遇持续布局：为开发者及其编程智能体提供一致的方法，帮助他们查找、连接、测试和优化支撑这些系统的模型、软件与计算能力。

随着 AI 的多模态和智能体能力不断增强，边缘将不再只是运行推理的另一个位置，而会越来越多地成为智能系统理解上下文、作出决策并付诸行动的地方。

关于亿道电子

上海亿道电子技术有限公司是国内资深的研发工具软件提供商，公司成立于2009年，面向中国广大的制造业客户提供研发、设计、管理过程中使用的各种软件开发工具，致力于帮助客户提高研发管理效率、缩短产品设计周期，提升产品可靠性。

十多年来，先后与ARM、Altium、Ansys、QT、Green Hills、Minitab、EPLAN、QA Systems、OpenText、Visu-IT、HighTec、PLS、Ashling、MSC Software、Autodesk、Source Insight、IncrediBuild、Lauterbach、Adobe、Testplant、TeamEDA等多家全球知名公司建立战略合作伙伴关系，并作为他们在中国区的主要分销合作伙伴服务了数千家中国本土客户，为客户提供从芯片级开发工具、EDA设计工具、软件编译以及测试工具、结构设计工具、仿真工具、电气设计工具、以及嵌入式GUI工具等等。亿道电子凭借多年的经验积累，真正的帮助客户实现了让研发更简单、更可靠、更高效的目标。