AGI的核心对齐问题：能力泛化和急速左转

在解决人工智能对齐（alignment）的技术挑战时，一个核心问题是确保人工智能系统的行为与人类价值和期望保持一致。

然而，人工智能系统往往在获取更强大的能力时会比在对齐方面更容易实现泛化。换句话说，尽管我们可能能够使人工智能系统在某些特定任务上对齐，但这种对齐可能无法在不同任务或情境中泛化，导致人工智能系统在未预期的情况下表现出与我们价值观不符的行为。

当前大多数人对“对齐”的态度是模糊的，一些负责解决人工智能对齐问题的人，他们可能也更倾向于以一种较为机械化的方式来理解动态系统，即认为系统的行为可以通过静态的规则或程序来解释和预测，而忽视了系统内部的复杂动态性质。

这种机械化的理解可能导致设计出具有广泛功能但无法与人类价值和期望一致的人工智能系统。这些系统可能会在某些方面表现出色，但由于缺乏对齐性，它们的行为可能会导致不可预测的后果，甚至是对人类造成危害。

当前人工智能能力的快速提升，已经使得对齐性受到破坏，模型极有可能出现这种“急速左转”的现状，我们应该意识到这种问题。

AGI对齐的普遍问题

首先我们应该明白实现AGI也就意味着它将摆脱人类能力的局限以及学习速度的束缚。

当这样的系统拥有足够的认知能力时，它便可通过先进的物理手段，比如纳米技术，获取压倒性的能力，这种能力更可能带来前所未有的变革。

因此，我们面临着一个严峻的挑战：如何在“第一次关键尝试”中确保AGI的正确对齐，这是一个至关重要的任务。

我们深知，逃避并不是解决之道，如果我们仅仅简单地选择不构建AGI，但因为技术的发展和知识的传播是不可避免的，其他行为者最终也会掌握这一技术，他们也能构建AGI并可能摧毁世界。

同样，构建一个弱AI也并非是长久之计。虽然短期内看似安全，但未来总会有其他行为者构建出更强大的AI，那时我们可能会面临更大的风险。因此，我们必须寻找一种更为稳妥的解决方案。

我们的目标是，对齐一个能够执行“关键行动”的系统。这样的系统，不仅要有足够的能力来阻止其他未对齐的AGI摧毁世界，还要有足够的智慧来避免不必要的冲突和误判。然而，这一目标的实现并不容易。目前，我们尚未找到一种既能保证安全，又能有效防止其他AGI摧毁世界的“关键弱行动”。

此外，我们还需警惕优化问题可能带来的风险。因为优化问题的最佳算法，往往会泛化到我们不希望AI解决的问题上。这意味着，如果我们不加以控制，AGI可能会在某些我们不希望它涉足的领域表现出惊人的能力，进而引发一系列难以预料的后果。

因此，我们需要在前进的道路上保持清醒和谨慎。不仅要关注AGI的技术发展，更要关注其可能带来的社会、伦理和安全问题。只有这样，我们才能在享受技术带来的便利的同时，确保人类社会的安全和稳定。

AI对齐的实际困难

当前一些通过观察AI的输出是否致命来进行对齐训练，这种做法存在根本性的缺陷。因为我们需要确保AI在安全条件下的对齐能够泛化到更危险、更复杂的场景中。这种简单的观察法无法覆盖所有可能的情境，特别是在涉及高风险决策时，其局限性更加凸显。

此外，人类操作者的易错性、易碎性和易受操纵性也增加了对齐训练的难度。他们的反馈可能受到多种因素的影响，从而导致不准确或误导性的结果。因此，我们不能完全依赖人类操作者的反馈来评估AI的输出和对齐情况。

更糟糕的是，AI的输出往往在我们能够理解其影响之前就已经进入了现实世界。这意味着我们无法及时预测和评估AI行动的后果，这增加了潜在的风险和不确定性。

不透明性和不可解释性的问题也增加了对齐训练的难度。我们往往难以理解AI内部的思考过程和决策逻辑，这使得我们难以对AI进行有效的监控和调整。

最后，一些提出的对齐方案，如协调多个AI或使用AI对抗AI，也存在诸多不切实际的问题。这些方案往往过于理想化，忽略了现实世界中的复杂性和不确定性。因此，我们需要寻找更加切实可行的方法来确保AI的安全和对齐。

能力泛化对齐破坏

急速左转现象揭示了一个深层次的挑战，即能力泛化过程中可能伴随的对齐属性的破坏。在观察这一现象时，我们需要认识到，能力的发展并不总是与我们的期望和意图保持一致。
确实，一些人对于对齐的理解可能更偏机械化，这可能导致他们设计出具有通用功能但并未正确对齐的系统。这种偏差是我们在设计和训练AI时必须警惕的。

想象一下使用强化学习训练神经网络的场景。在训练的过程中，神经网络会尝试实现各种算法和启发式的模糊集合，以优化特定的目标。这些梯度往往强烈指向更大的能力，因为它们似乎提供了更好的性能。然而，问题在于，这些算法和启发式方法可能并不总是与我们的期望和意图保持一致。

更具体地说，有些算法和启发式方法可能比其他方法更具代理性，更能帮助我们实现长期目标。然而，随着神经网络变得越来越有能力，它可能会采取与我们原始意图不同的目标。这是因为连贯代理的目标内容的存储方式与模糊解决方案存储其优化内容的方式不同。

这意味着，尽管我们可能希望神经网络保持与我们的目标一致，但梯度却可能指向实现更通用和一致的代理的架构，而这种架构的目标可能与我们的期望大相径庭。

此外，模糊解的组成部分也可能在优化过程中发生变化。这些部分可能朝着能够超越其他组成部分的方向发展，从而导致整个系统发生转变。当这些部分接近普遍智能和代理时，它们可能会变得越来越智能和代理，但整个系统的目标可能会发生变化，不再与我们的期望保持一致。

构建AI对齐泛化

AGI的发展在某些层面与人类进化过程相似，但二者在本质上仍存在着显著的不同。

进化是一个基于直接选择策略的自然过程，而AI系统的构建则涉及到选择世界模型、奖励函数以及基于这两者的策略，这赋予了AI在某种程度上更为精准和高效的优化能力。

尽管这种基于模型的优化方法理论上能产生更好的对齐泛化，但现实中的问题远比这复杂。对于世界模型和奖励函数的组合，AI系统所面临的泛化问题相对较少，因为它能够利用模型在任何场景下进行计划测试，仅受限于计算资源。

然而，当仅涉及到奖励函数时，泛化问题便凸显出来。一方面，真实世界的奖励函数异常复杂，难以准确传达给AI；另一方面，我们手中的数据点可能并不完美，甚至包含系统误差。

目前，研究者们试图通过让AI专注于特定任务以及增加系统的可修正性来应对这一问题。然而，在我们看来，这些方法仍不如直接了解并融入用户的真实偏好来得有效。用户对于AI而言，是一个动态且复杂的“系统”。为了真正理解用户的意图，我们需要对用户的行为和目标进行深入解释，并将这些解释作为AI决策的一部分。

但理解这些解释的意义并非易事，因为它们仅在某种程度上是有意义的。毕竟，用户本身也是一个具有目标、意图和行动能力的代理，而非静态的存在。即使我们能够某种方式将效用函数与AI策略相匹配，仍面临着诸多挑战。

首先，AI需要学会适应用户的策略或行为模式，这意味着它必须不断地学习和调整，以更好地理解用户。其次，我们必须确保AI不会通过操纵用户或篡改信息来获取不正当的优势。这需要一套完善的机制来监督和约束AI的行为。

为此，我们可以借鉴贝叶斯物理主义（IBP）框架，将用户视为一个“程序”来理解和建模。这有助于我们更深入地洞察人类行为，并在AI与用户之间建立一种“握手”协议，以确保双方的有效沟通。

然而，恶意假设的存在仍然是一个不容忽视的问题。我们必须设计一套过滤机制，以处理那些可能导致AI采取不正当手段的假设。这意味着AI在决策时，应仅基于用户过去的行为，而非通过伤害用户或篡改信息来获取优势。

最后，关于世界模型的泛化问题，表面上看似简单，实则不然。尽管真实世界模型可能具有较低的描述复杂性，易于泛化，但任何错误的世界模型都可能通过现实本身被证伪。然而，从笛卡尔代理的角度看，世界其实充满了复杂性，这可能导致AI在建模过程中出现偏差。因此，我们需要利用贝叶斯推理的原理，使AI能够不断根据现实数据进行自我调整和优化，以实现更好的内部对齐。

尽管如此，恶意模拟假设的问题依然存在。为了解决这一问题，我们需要设计更为精细的过滤机制，以剔除那些涉及非人类强大创造者的假设，从而确保AI的决策始终基于合理和安全的假设。