想象一下，当你打开电视，新闻正在播放一组来自远方城市战场的镜头，画面中机器人正在四处搜寻并杀害手无寸铁的孩子们。这可能听起来像是科幻小说，可能是《终结者》的一个场景。但是，如果我们不马上采取行动，杀伤性自主武器系统就可能成为现实，系统里包括机器人武器，它们可以自动定位、选择并且攻击目标人群。

我并是不唯一担心未来“杀人机器人”的人。在七月份，我的3000多名在人工智能和机器人研究领域的同事，其中包含论坛全球议程理事会在人工智能和机器人话题中的许多成员，共同签署了公开信，呼吁尽快达成一个禁止杀伤性自主武器的条约。我们还获得了17万个签名支持，签署人来自物理、哲学、法律等不同的领域，包括Stephen Hawking, Elon Musk, Steve Wozniak and Noam Chomsky等人。

这封公开信引起了全球的瞩目，获得了全球五十多个国家超过2000家媒体的报道。所以内容是什么呢？

新种类的机器人

我们大家或多或少都知道以下三种现代科技：

1、无人驾驶汽车：你告诉汽车想去哪里，它会自动选择合适的路线开始自主驾驶，汽车是通过车上的摄像头看路的。

2、CHESS 软件。你发出“赢”的指令，它自动选择向哪里移动，并且锁定需要捕获的敌人。

3、无人机。通过视频连接，你就可以远程控制它起飞，你选择目标，然后发射导弹。

杀伤性自主武器可能结合了以下三个因素：想象一下，不再由人类来控制无人机，而是由chess 软件来控制，让机器自己进行战略决定，与此同时运用无人驾驶汽车的可视科技来驾驶并且锁定目标。

英国是世界上研究、开发并且测试全自动武器的六个国家之一，英国国防部宣布说这样的武器在某些航空和航海行动中很可能现在是可实现的。来自美国国防部高级研究计划局（DARPA）的两个项目已经为自主武器如何在城市环境中使用提供了线索。名为“快速轻量自主”飞行器的计划将开发一种能在城市地区和建筑物内部高速飞行的小型无人旋翼机。名为“孤立环境协同操作”项目计划建立一个自主航天器队伍，在敌人干扰以致于人工指挥不能实现的情况下，它们可以自自主执行每一步攻击任务。一个媒体报道描述称，美国国防部高级研究计划局具有重大意义地把它比作“狼群形式的狩猎”。

图片来源：停止机器人杀手的战役

毋庸置疑的是，随着科技的进步，自主武器会变得十分有效，但是这就意味着他们是好的想法么？

机器亡命之徒

我们可能认为，战争是对法律准则的完全破坏，但是实际上，战争有自己合法认可的行为规范。在这个领域的许多专家，包括人权观察、国际红十字会和联合国特别报告员Christof Heyns，都在质疑到底自主武器是否遵循这些法则。如果遵循的话，我们就需要主观的、依情况而定的判断，这些比简单的定位和杀人的任务要更加复杂，并且，由于现在人工智能的发展状态，他们可能就不仅仅是个机器人了。

开发自主武器的国家也认识到了这些限制。例如，在2012年，美国国防部发表了一个导向性声明，声称这些武器必须可以让操作员“在力量的使用方面做出合适程度上的行为判断”。这个导向特别禁止了自主选择目标，即使是在防守的背景下。

机器人战士可以保护人的生命么？

像是Ron Arkin等一些机器人专家认为，杀伤性自主武器系统实际上可以减少战争时期的死亡人数。这个论点是基于在其他条件不变的前提下，如果我们有了自主武器，特定的死亡情况，不管是数量、时间、位置、地点、状况和受害者，都会和人类士兵时的一样。

这就像是以前，我们会假设巡航导弹和用矛的情况是一样的。很显然，自主武器和人类士兵是完全不一样的，而且会被用在完全不同的地方，例如，作为大规模杀伤性武器。

看起来，军用机器人将不可能总是100%的“人道主义设定”。因为这个战争的规则是按照机器人设定的，我们不能总是说文明国家经过很好训练的士兵做的不如机器人好，然而，同时又说流氓国家、独裁者和恐怖组织十分遵守这个战争的规则，他们不会用违反这个规则的方式使用机器人。

要遵守一定规则，除了的技术性问题，也存在最基本的道德问题。日内瓦公约是为武装冲突提供法律框架的一套条约，其中的Martens条款宣称，“每一个人都受到人道主义原则和公共良知的保护。”这种情感被德国等国家呼应，德国就宣称它“不会同意生与死仅仅是通过自主系统决定”。

现在，公众几乎不知道现在科技的发展状态以及它短时间内的可能性，但是，一旦机器人杀死手无装备的平民的新闻视频出现，这种情况就会改变。在那时，公众良知的导向将会十分清楚，但那时候想要再挽回局面，恐怕为时已晚。

大规模杀伤性机器人

和有人控制的系统以及人类士兵相比，自主武器最重要的战略影响不是在于打仗的优越性，而在于它们的可扩展性。如果仅仅通过增多数量就可以增强影响，那么这个系统就是可以扩展的；例如，我们有吨、千吨，万吨等不同规格的核弹，随着数量的增加，影响就会变大。我们叫他们大规模杀伤性武器是有原因的。卡拉什尼科夫冲锋枪不可扩展也是同样的道理。一百万把卡拉什尼科夫冲锋枪可以杀害很多的人，但是需要一百万名士兵来操作，这就需要一个巨大系列军用工业来支撑，需要整个国家的努力。

另一方面，一百万个自主武器，仅仅需要几个人持有并且操作，不用人类飞行员，不需要支持的人员，不需要医疗队。这些设备会形成一个新的、可以扩展的大规模杀伤性武器类别，他们和那些生物武器相似，都具有不稳定的特征，他们颠覆合法国家的力量平衡，对其他的恐怖分子、犯罪组织和其他非国家团体有利。最终，他们成为压制别人的好武器，不会受贿赂或是怜悯请求的影响。

自主武器，不像是传统的武器，也可能导致战略性不稳定。和其他自主武器发生冲突时，自主武器必须快速采取行动，要不然他们很可能就失败了。这种行动是必须的，但是也使得自主武器自身不可预测并且很难控制。并且，由于软件的更新或是网络安全的突破，机器人来武装国家的战略性平衡很有可能改变。最终，许多军事专家都担心发生一场意外的战争，一场“闪电般”的战争。

当前形势

联合国已经在日内瓦举办了几场会议来讨论建立管理自主武器条约的可能性。解决条约的细节问题将会是一个相当大的挑战，虽然这是可能实现的。或许，更加复杂的问题是条约的确认和双重用途科技的多样性。生化武器条约的经验显示，透明度和行业合作将是十分重要的。

似乎看来，自主领域科技发展的速度要比一般来讲建立管控武装条约过程快，协定条约需要几十年来完成。现在条约的协定过程处于危难时刻，一方面，许多国家对自主武器已经表达了强烈的保留意见，另一方面，其他国家正在加大力度进行相关的研究和发展。未来12个月到18个月的国际讨论将会十分关键。时间是最重要的。

作者：Stuart Russell是加州伯克利大学计算机科学的教授。

本文由达沃斯博客原创，转载请注明来源并附上原文链接。

翻译：达沃斯博客翻译小组——孙小惠

以上内容仅代表作者个人观点。世界经济论坛博客是一个独立且中立的平台,旨在集合各方观点讨论全球、区域及行业性重要话题。