强化学习与数字孪生在制造业的局限——以及真正有效的方法

理论上，AI 原生工厂的前景令人惊叹，在某些方面也显得不言自明。如果工厂可以实现端到端的可观测和自动化，就可以把它当作一个可控系统来处理，而不是一堆相互孤立的机器和人员。在那样的世界里，强化学习（RL）成为一种有吸引力的方法：观察系统状态、采取动作、获得奖励、重复进行。

将强化学习与数字孪生结合起来，看起来是对制造业中难以维护的基于规则系统的一个很好的替代方案。对于静态优化来说，相互作用的变量太多、不确定性太大。其想法是，与其手工编码逻辑，不如让系统随着时间学习并自我适应。

从远处看，车间就像一个应该可以被学习的巨大系统。但在实践中，许多重要因素对软件仍然是不可见的，且超出了其直接控制范围。

未来的某个时刻，我希望以人工智能为核心的工厂成为常态。但对大多数工厂而言，那一未来仍遥遥无期。仅美国就有数十万家制造工厂，其中绝大多数是传统设施。

如果我们想在有意义的层面上提升生产力，就必须优化现有的东西。为此，把强化学习和数字孪生应用到全厂级运营上是错误的起点。

第一道壁垒：你实际上并没有“状态”

强化学习假定你可以观测到你试图控制的系统的状态。而在大多数工厂，情况并非如此。

大多数工厂仍然使用带有有限遥测功能的旧设备。时间戳不一致。像材料质量、刀具磨损或工艺窍门这样的重要变量存在于操作员的脑海中，而不是数据库里。

理论上可以对设备进行传感器改造，但这代价高昂且需要大量手工工作。遗憾的是，并不存在干净的数据流。你必须整合 PLC、历史数据库、MES 系统、电子表格和手写记录。因此呈现出来的是对车间实际情况的拼凑、不完整的近似。

这就是为什么许多数字孪生最终只是部分实现、滞后，或完全错误的原因。没有有意义的状态，就无法学到有意义的策略。

第二道墙：你无法控制环境

强化学习还假设动作会被执行且反馈是干净的。要是在制造业真是这样就好了！

工厂是由多层相互叠加的流程构成的社会-技术系统。物料搬运、加工、质量、维护、排程、劳动力分配等。建议有时会被忽视。日程会被延误。会做出例外处理。

这使得实施真正能采取行动的系统变得困难。报警、建议和推荐在许多情况下已经存在，但告诉某人该做什么与真正能够去做是完全不同的。

我最近与我的朋友 Pavel Konov 交谈过，他曾在 Toyota Research Institute 担任机器学习工程师，并曾担任 Hadrian 的顾问。他举了一个对 DevOps 很有用的类比：

“正如 DevOps 从 Nagios 这样的工具过渡到 PagerDuty，再到如今的云原生告警和工作流系统一样，我认为在这方面有巨大的改进空间，AI 数据科学家实际上可以提供帮助。现在如果你看看工厂里任意一个仪表盘——很可能是某个脆弱、原始的 Excel VBA 脚本或类似东西——你会收到成千上万条工程师和操作员干脆忽略的告警。造成这种情况的原因有很多：大量误报、告警可配置性差、基线值漂移等。这就像 60 个遗留遥测问题中的第 3 个问题。”

建议与行动之间的差距意味着信号层本身仍需改进。即便工业数据可以被采集，它通常也通过不可靠的连接传输，并且缺乏成为有用信息所需的上下文。将原始遥测转换为有意义的信号需要大量处理和特定领域的建模，而这又依赖于在遗留工业环境中稀缺的数据科学和工程人才。

没有这些，就无法在观测与结果之间建立稳定的映射，供系统学习。

实际有效的方法

在某些领域，强化学习（RL）确实可以在工业环境中发挥作用。这些通常出现在已经表现得像“环境”的系统部分：单一工序、受控设备和软件定义的工作流。在这些情况下，动作空间是有界的。反馈回路紧凑且快速。并且不需要人类介入。

这些机会更多集中在工序级而非工厂级的优化。一般来说，范围越窄，效果越好。

这就是为什么近期目标不应是让现有工厂完全自主——而应当是让特定决策更好。形式可能包括改进的过程控制、单元级优化、更智能的派工系统、更好的决策仿真，或者将操作员在工作流中已使用的启发式规则捕捉下来。

找到合适范围的一个有用方法是提出一小组具体问题：

• 系统具体控制哪个决策？

• 该决策是自动执行的还是仅作建议？

• 奖励多快出现？

• 该系统能否在不重新架构工厂的情况下部署？

• 它能在单一工序上证明提升效果吗？

这些问题有助于判断什么真正能成为一个可学习的系统。它们迫使人们明确智能可以应用的领域，以及在实践中是否可行。

前进之路

工业人工智能的未来将由控制特定功能的系统构建，这些系统的状态可被观测、动作可被测量。随着时间推移（实际上已经在发生），这些系统会演进成编排层 ：使这些系统能够协同工作，协调多个控制回路、管理它们之间的权衡，并将局部智能转化为工厂级成果。

只有在该基础规模化存在之后，才有意义进一步展望并尝试构建能够学习整个工厂的系统。