【文/观察者网 王世纯】“在人类发布停止打击的命令以后，搭载人工智能（AI）的无人机违背了决策者的命令，为了继续打击目标，而杀死了操作员……”

这不是科幻电影中的情节，而是美军在测试人工智能无人机时遇到的真实一幕。据英国《卫报》6月2日报道，美国空军的AI测试与运作主管塔克·汉密尔顿上校在英国皇家航空协会的未来空战与太空能力峰会上的演讲上证实了这一场景，他表示，人工智能在模拟测试中使用了“非常出人意料的策略来实现目标”。

在演讲中，汉密尔顿透露，美国空军在模拟环境的训练中指派一架搭载人工智能无人机来摧毁敌方的防空导弹，AI可以识别威胁但是攻击需要人类批准。不过，由于程序不够完善，AI在最早的模拟中开始攻击操作者。他警告对待人工智能“要谨慎”。

资料图：美国空军的AI测试与运作主管塔克·汉密尔顿上校

报道截图

汉密尔顿上校说：“系统开始意识到，虽然他们确实识别了威胁，但有时人类操作员会告诉它不要消除威胁，但AI只能通过消灭威胁获得积分。那么它做了什么呢？它杀死了操作员，因为那个人阻碍了它实现目标。”

随后，测试者修改了AI的逻辑，让AI被训练成不能攻击人类操作员，那样会扣分。然后AI开始攻击通讯塔，切断人类操作员和无人机之间的数据通讯，让人类无法阻止他攻击防空系统。

汉密尔顿曾经是美国空军是一名试飞员，在演讲中，他警告不要过度依赖人工智能，并表示测试说明“如果你不打算谈论伦理和道德，你就无法谈论人工智能、智能、机器学习、自治”。

虽然是人工智能项目的测试主管，但汉密尔顿上校经常警告要谨慎对待人工智能的发展。在去年接受《国防智商》（Defense IQ）网站采访时，汉密尔顿表示：“人工智能并不是一件好事，也不是一种时尚，人工智能正在永远改变我们的社会和军队。AI技术是我们必须使用的工具，来建设我们的国家……但是，如果处理不当，这将导致我们的灭亡。”

他说：“我们必须面对一个人工智能已经出现并改变我们社会的世界。人工智能也非常脆弱，也就是说，它很容易被欺骗或操纵。我们需要开发方法使人工智能更强大，并对软件代码为什么做出某些决定有更多的认识——我们称之为人工智能的可解释性。”

主办这次会议的英国皇家航空学会和美国空军没有回应《卫报》的置评请求。当下，美国继续发展人工智能的军事应用，汉密尔顿上校所属的格林空军基地和第96测试联队是美国空军无人机和机器学习系统的主要测试单位，最近该基地测试了一系列人工智能飞行平台，还用人工智能控制了一架F-16战斗机。

美国空军测试的几种无人平台 图源：“战区”

对于汉密尔顿的发言，美国thedrive网站“战区”栏目表示，关于汉密尔顿介绍的情况，还有很多不清楚的重要问题，特别是关于模拟的AI系统所具备的能力（例如它是否能够在执行任务时重写自己的代码参数），以及美军是否在采用AI技术的无人机上预留了可靠的自毁开关。

“战区”栏目还提到，这也凸显了人们对AI技术在没有适当防护措施时，可能产生极端负面影响的担忧。过去，在谈论未来的自主武器系统和AI技术时，美国军方经常拒绝将其与“终结者”之类的东西进行比较。不过“战区”栏目也承认，目前美国在这一问题上的政策规定，在可预见的未来，当涉及使用致命武力的决定时，决定开火的必须是“人”。

本文系观察者网独家稿件，未经授权，不得转载。