如何使机器人能够像生物体一样，在没有明确外部奖励信号的情况下自主学习并优化行为，一直是机器人与人工智能产业关注的焦点。近日赫特福德大学自适应系统研究小组开发出了一种新算法，可以让机器人更直观地运作，即利用环境作为指导做出决策。其原理是，机器人代理通过算法创建自己的目标。

该算法首次将不同的目标设定方法统一在一个与物理直接相关的概念之下，并且进一步使这种计算变得透明，以便其他人可以研究和采用它。目前该论文已发表在《PRX Life》期刊上，篇题为《Intrinsic Motivation in Dynamical Control Systems》，该研究引入了人工智能（AI）公式，可以计算出机器人无需直接指令或人工输入就能决定未来行动的方法。

▍研究人员不再依赖奖励函数方式 而是采用代理环境系统的动态特性推导

生物体能够在没有明确奖励信号的情况下，自主选择并执行一系列行为以解决新挑战，这种能力被称为“内在动机”（Intrinsic Motivation）。然而，这种行为的计算原理至今仍不清楚。现有的机器学习方法，尤其是强化学习（Reinforcement Learning, RL），大多依赖于明确的奖励函数来指导学习过程。但在现实世界中，设计恰当的奖励函数往往非常困难，且可能引入主观性和复杂性。

为此赫特福德大学研究团队提出了一种基于信息论的新方法，通过最大化代理（agent）的“能力值”（empowerment），即过去行动与未来状态之间的互信息，来引导内在动机行为。该方法不依赖于具体的奖励函数，而是直接从代理-环境系统的动态特性中推导出来。

互信息衡量了两个随机变量之间的共享信息量，该研究将其应用于衡量代理的潜在行动与未来系统状态之间的信息量。通过最大化这一互信息，即“能力值”，代理能够选择那些在未来能够产生最多样化状态的行动。

针对离散化过程序列的信息理论内在动机的统一观点

在离散时间和状态空间中，计算能力值在原则上是可行的，但其计算复杂度随着时间范围的增加而指数级增长。为了将该方法扩展到连续空间和连续时间极限，研究团队提出了一个有效的算法。该算法基于系统动力学的线性响应近似，将能力值的计算转化为线性高斯信道的容量问题，从而大大简化了计算过程。

权力受限机制下基于内在动机的控制

此外研究团队还引入了“广义能力值”的概念，它考虑了不同长度的行动序列和未来状态序列对能力值的影响。通过广义能力值的定义，研究揭示了不同内在动机算法之间的内在联系，包括传统的能力值最大化、因果熵力（Causal Entropic Forcing, CEF）以及控制Lyapunov指数等。

▍三种稳定控制测试结果

为了验证所提出的方法，研究团队在一系列基准控制问题上进行了测试，包括单摆、双摆和倒立摆车的稳定控制。

研究展示了如何通过最大化能力值来稳定倒立摆，即使在没有外部奖励信号的情况下，代理也能通过学习逐步积累能量并最终使摆杆保持直立。通过能力值最大化，代理能够找到最有效的控制策略，这一结果与通过优化控制算法获得的最优控制策略相似。

对于更为复杂的双摆系统，实验结果表明，尽管状态空间更加复杂，但通过最大化能力值，代理仍然能够成功地将两个摆杆都稳定到直立位置。以此证明了能力值最大化方法在处理高维、非线性动态系统时的有效性。

在倒立摆车系统中，代理通过控制小车来间接控制摆杆的稳定性。实验结果表明，即使在这种间接控制的情况下，能力值最大化方法依然能够引导代理找到有效的控制策略，使摆杆保持直立。

▍结语与未来：

赫特福德大学研究团队提出的框架理论不仅为理解生物体的自主学习机制提供了新的视角，也为设计具有内在动机的人工智能系统提供了理论基础。尤其是能力值最大化方法为复杂动态系统的控制提供了新的解决方案。在未来的机器人技术、自动驾驶、智能制造等领域，该方法有望显著提高系统的自主学习能力和适应性。

不过目前该框架还有部分问题需要继续探索，例如，如何将能力值最大化与具体的任务目标相结合，以设计更加实用和高效的内在动机控制算法，此外如何在实际应用中有效估计和优化动态系统的能力值也是需要深入挖掘的方向。