迈克尔·克莱尔:将人类命运交到机器人手上会怎样?

来源:观察者网

2020-10-06 08:53

迈克尔·T·克莱尔

迈克尔·T·克莱尔作者

美国罕布什尔学院和平与世界安全研究项目教授,《石油政治学》

【文/迈克尔·克莱尔 译/观察者网 由冠群】

鉴于新冠肺炎瘫痪了惊人数量的美国现役军人和当代武器装备的杀伤力越来越大,美国军方现已越来越频繁地派遣智能机器人去执行危险的作战任务。这些机器人在军中被称为“自主武器系统”,其中包括机器人哨兵、战场监视无人机和自主潜艇。换句话说,到目前为止,机器人设备只是取代了常规战场上的常用武器。

但现在,因为对机器人设备信心大增,所以五角大楼正试图将机器人武器化这一进程推向全新高度——不仅要用机器人系统取代普通士兵及其武器,而且还有可能要用机器人取代陆海军的高级将领。

诚然,这些系统目前仍处于研发阶段,但五角大楼现正将其列为国家紧急事项来加快推进其部署进度。根据五角大楼的最新规划,现代军队总参谋部的每一个组成部分——包括作战计划、情报收集、后勤、通信和决策——都将移交给由传感器、计算机和软件组成的复杂集合体负责。所有这些组成部分随后都会被整合进一个“综合各个系统的系统”,即所谓的“联合全域指挥控制系统”(Joint All-Domain Command-and-Control,简称 JADC2)。最终,这种多系统集合体可能真的会承担起目前由美军高级将领及其资深参谋所承担的大部分职能。

联合全域指挥控制概念示意图 图片来源:美国陆军训练与条令司令部

当然,使用机器做出命令级决策并不是一个全新的概念。实际上,这一概念由来已久。在冷战时期,随着超高速洲际弹道导弹的问世,军方战略家和科幻小说作家都开始设想在人类无能为力的情况下由机器系统控制核武器发射。

例如,在斯坦利•库布里克1964年执导的讽刺电影《奇爱博士》中,虚构的俄罗斯领导人季米特里•基索夫(Dimitri Kissov)透露,苏联已经安装了一个“末日机器”,一旦苏联遭受美国的核打击,这个机器就会自动启动,清除掉地球上的所有人类。疯狂反苏的美国空军军官试图挑起美苏两国间的战争,然而这一举动却成功触发了这台机器,最终导致人类灭绝。

事实上,由于担心真的可能会遭受这种突然袭击,苏联后来确实安装了一个他们称之为“周长”的半自动报复系统,该系统的设计假定是,一旦传感器探测到有核爆发生且与莫斯科的所有通信联络都无法接通,该系统就会发射苏联的洲际弹道导弹。某些分析人士认为,升级版的周长系统仍处于运行状态,我们现在依然生活在一个真真切切的奇爱博士世界中。

在另一部涉及此类自动化指挥系统的科幻电影中,即在1983年上映的《战争游戏》(WarGames)中,马修•布罗德里克(Matthew Broderick)饰演一名少年黑客,这部电影描述了一台安装在科罗拉多州北美防空司令部,名为“战争行动计划响应系统”(简称WOPR,发音与“whopper”相同,译注:whopper意为“弥天大谎”)的超级计算机。布罗德里克所饰角色侵入了这台计算机并开始玩一款他自认为名叫“第三次世界大战” 的游戏,而计算机却断定苏联发动了实际攻击,于是启动了核报复程序。尽管这部电影是虚构的,但电影却准确描述了美国核指挥控制与通信系统(NC3)的多个侧面,该系统那时以及现在都是高度自动化的。

这样的装置,无论是真实的还是虚构的,以今日标准衡量都是相对原始的,它只能判定美国是否在遭受核攻击,并下令展开引发灾难的核报复。而现在,得益于人工智能和机器学习技术的巨大进步,机器已可以收集和评估海量的传感器数据,快速发现关键趋势和模式,并有可能向作战单位发出在何时向何地发起攻击的命令。

作战节奏加快与人类能力的有限性

美国战略家认为,在高层决策圈,用智能机器代替人类指挥已是大势所趋,因为传感信息的指数级增长,再加上战争节奏的不断加快,使得人类几乎不可能实时跟踪战场态势的发展。如果对未来战争场景的设想是准确的,那些曾经需要持续数天或数周的战斗可能在未来只会持续几小时,甚至几分钟。在此过程中,战场信息将通过海量的数据节点蜂拥而入,使参谋人员应接不暇。据说,只有先进的计算机系统才能处理如此多的信息,并及时发出明智的作战指令。

反应时间的缩短和传感数据的膨胀可能是所有战斗形式共同具有的特点,但这两个特点尤其适用于最可怕的战斗形式——核战争。在这种战斗形式中,主战兵器是洲际弹道导弹,在一枚导弹发射升空与落地爆炸之间,政治决策者有30分钟的时间判断这次可能的攻击到底是真实发生的还是仅仅为一次错误的卫星判读(在冷战中偶尔会发生这种情况)。

而现在,似乎时间并没有这么多了。在高超音速导弹最近被发明出来后,留给决策者的时间被缩短至5分钟。在这种情况下,即使是最警醒的决策者也很难明智判断出潜在攻击的性质。因此,使用(某些)自动决策系统就变得更有吸引力。

军事观察家亚当•洛瑟(Adam Lowther)和柯蒂斯•麦吉芬(Curtis McGiffin)在一家专注于国家安全的网站War on the Rocks上分析到,“攻击时间缩短使得美国高层决策圈处于危险境地, 美国核指挥控制与通信系统可能无法快速做出反应。因此,可能有必要开发一种基于人工智能技术的系统,该系统具有预设定回应决策机制,能够快速探测、决策和指挥战略力量做出反击,从而使攻击时间缩短这个问题不会将美国置于不测之地。”

用一台人工智能技术驱动的设备(本质上就是一台更加智能的末日机器或“战争行动计划响应系统”)去评估敌方行为,然后以“预设定回应机制”为基础去决定人类命运,这一想法自然在军事分析圈中引发了不安(也应该引发我们的不安)。然而,美国战略家仍主张,战场评估和决策(无论是在常规战争还是在核战争中)任务应该越来越多地被委托给机器负责。

美国国会研究服务局(Congressional Research Service)在2019年11月《五角大楼思考总结报告》中指出:“人工智能驱动的系统可能整合并分类来自不同渠道和位置的海量信息,以识别模式并突出显示有用信息。随着人工智能系统日趋复杂日益成熟,人工智能算法可能还会实时分析战场态势,并向指挥官提供一系列可行的行动方案,从而使指挥官更迅速的应对复杂的战场情况。”

重要的话是这句“实时分析战场态势,并向指挥官提供一系列可行的行动方案。” 这可能会给人留下这样的印象:陆海军的人类将领(更别提他们的总司令了)仍将掌握着决定本国军队和整个世界生死的决定权。假设在未来美国与中国和/或俄罗斯爆发这种攻击时间可能极短的高烈度冲突,人类自己可能已不再有时间或能力分析战场态势,因此将依赖人工智能算法来进行此类评估。结果,人类指挥官可能会发现自己只是在赞同机器所做的决定,因而最终,他们也就变得可有可无。

创建机器人将军

尽管美国高级将领们可能要担心自己未来饭碗不保,但他们仍迅速行动去开发和部署自动化指挥机制——联合全域指挥控制系统。在空军监管下,这一计算机驱动的装置集合体能从大量传感器(卫星、地面雷达、电子监听站等)实时收集敌方情报数据,处理这些数据行成可操作的作战信息,并向冲突中的每一战斗单元和武器系统下达精确的攻击指令——无论这些战斗单元和武器系统是属于陆军、海军、空军、海军陆战队,还是新组建的太空战和网络战部队。

联合全域指挥控制系统的具体组成部分目前并不为外界所知,部分原因是它的许多组件系统仍处于保密状态,还有部分原因是许多关键技术仍处于研发阶段。美国空军受命监管该项目,正与洛克希德•马丁公司和其他大型国防承包商合作,一起设计和研发该系统的关键部件。

先进作战管理系统(ABMS)就是该系统的一个组成部分,这是一个数据收集和分发系统,旨在向战斗机飞行员提供敌方位置的最新数据,并协助指导他们的战术动作。另一个关键组成部分是陆军的综合防空和导弹防御作战指挥系统(IBCS),旨在将雷达系统连接到防空和导弹防御发射器上,由该系统向发射器下达精确的射击指令。久而久之,美国空军及其多个承包商会尝试将先进作战管理系统、综合防空和导弹防御作战指挥系统集成到一个庞大的系统网络中,这个系统网络将连接该国武装部队中的每一个传感器、射手和指挥官——正如一些人所说,这是一个军事“物联网”。

为了测试这一概念并提供一个未来如何运作的实例,美国陆军今年8月在德国使用未来联合全域指挥控制系统的组件(或模拟组件)进行了实弹炮兵演习。在第一阶段的测试中,(假想的)俄军位置卫星图像被发送到陆军地面终端,一个名为普罗米修斯(Prometheus)的人工智能程序会对数据进行梳理,以选择将遭受打击的敌方目标。接下来,另一个名为SHOT的人工智能程序会计算出最适合打击这些目标的现有武器,并将此信息和精确的射击诸元发送到陆军的高级野战炮兵战术数据系统(AFATDS),此时将由人类指挥官决定是否要立即实施打击。

在此次演习中,这些人类指挥官有足够时间去思考是否进行打击;而在实战中,他们可能会把决定权交给机器,而这也正是系统设计者最初明确的设想。

在未来,陆军计划在一个名为“项目融合”的倡议下,对这一不断发展的技术进行更大胆的测试。参考公开的说法,项目融合将进行更多复杂的演习,涉及卫星、装备先进作战管理系统的空军战斗机、陆军直升机、无人机、火炮和战术车辆。最终,所有这些都将形成联合全域指挥控制系统的底层“架构”,将每个军用传感器系统与每个作战单元和武器系统连接起来,而将军们的作用就只剩下闲坐一旁冷眼旁观。

为什么机器人将军可能会出错

鉴于现代战争的复杂性和未来战争节奏大大加快,美国战略家急于用机器人指挥官取代人类指挥官当然可以理解。在理论上,陆海军的机器人将军能在短时间内处理数量惊人的信息,在未来战场上,它们能同时追踪友军和敌军的动向,并设计出最合理的方式来应对敌人行动。但我们仍有理由怀疑机器决策者是否可靠,以及用它们来代替人类军官是否明智。

首先,该领域的许多技术仍不成熟,几乎所有技术都容易出现故障,这些故障既不易预测也难以理解。别忘了,即使是高级算法也能被技术高超的专业人士愚弄或“欺骗”。

此外,与人类不同,人工智能支持的决策系统将缺乏评估意图或背景的能力。例如,敌军的突然部署是否意味着迫在眉睫的攻击?虚张声势?或者只是正常的部队轮换?人类分析员可以利用他们对当前政治形势和相关参与者的理解来帮助指导他们对局势的评估。而机器缺乏这种能力,它们可能会假定最坏情况,先发制人的发动本应避免的军事打击。

为了让决策算法适合军用而对其进行的“训练”只会使这个问题复杂化。正如在训练面部识别软件时,如果过度使用白人男性图像会使其不善于识别非洲裔美国女性,军方专业人员也会选择过多的战争场景来训练军用决策算法,从而造成算法错误判断真实情况。军人天然就倾向于“做最坏的打算”,毕竟没人愿意被敌人偷袭而茫然无备。而这种偏见无疑将成为决策机器人提供的“备选行动方案”之一。

一旦这种偏见被纳入决策算法,未来驻扎在欧洲的美俄两国军队或驻亚洲的美中两国军队在发生冲突时,局势发展将会变得无比凶险。毕竟,某些误判或迅速发酵的地区性事件随时都会导致这种冲突发生。比如,美国军舰和中国军舰在台湾附近忽然发生冲突,或在波罗的海某国巡逻的美军与俄军巡逻队发生摩擦。

双方可能都无意引发全面冲突,双方领导人通常都会通过谈判来息事宁人。但切记,这些未来的冲突将不再是单纯的人类之间的冲突。一旦未来出现此类意外,联合全域指挥控制系统可能会探测到某些敌军动向,进而认定盟军面临近在眼前的威胁,于是立即命令美军飞机、导弹和大炮发起全面攻击,升级冲突,使任何通过谈判迅速达成和解的努力灰飞烟灭。

库布里克电影《奇爱博士》中设想的未来作战室

在核战时代,这种前景变得尤其可怕。强国间一爆发冲突就动用核武器不大可能,但不难联想到这样一个时刻,即强国间的常规战争打到一定阶段,一方发现不动用核武器就无法避免失败的命运。实际上,美国军事理论一直坚持,当苏军(现在是俄军)在欧洲发动大规模军事进攻时,美军应保留使用所谓战术核武器阻止其进攻的权力。俄罗斯的军事理论通常也被认为是含有类似选项。

在这种情况下,未来的联合全域指挥控制系统可能会误判敌军动向,认定敌人正准备发动核攻击,从而命令美军核力量发动先发制人的打击,引发第三次世界大战。

战争是一项血腥而又令人厌恶的活动。近二十年来,那些打着“反恐战争”幌子的失败战争已造成数千美国人伤亡(包括肉体上和精神上受到伤害),因此也就不难理解为什么那些机器人拥趸这么急切地想要给美国人换上另一套战争思路。

一开始,他们强调,尤其是在一个疫情肆虐的世界上,将战场上的人类士兵换成机器人是最人道的,因为这样可以减少人员伤亡(至少会减少战斗人员伤亡)。然而,这一观点无法解释下面这个问题——机器人士兵和无人飞行器无法在战场上区分战斗人员与非战斗人员,因此也就难以相信它们会遵守战争法或国际人道主义法(这些法律至少在理论上会保护平民免遭无谓的伤害),因此也就该禁止在战场上使用机器人。

尽管未来战场可能会发生上述令人忧虑的变化,但用机器人替换掉人类陆海军将领则完全是另一码事。因为机器人做出的战斗决策将会危及大量平民的生命,因而涉及法律和道德的议题会大量出现,此外,使用机器人并不能保证一定会减少美国大兵在战场上的伤亡。国家向某一企业投入数十亿纳税人的钱,而实际用途却有可能是毁灭我们的世界,那在投资前国会是否应该提出一些尖锐的问题,质疑一下研发自动化作战决策系统是否明智?也许是时候该让美中俄三国领导人限制或禁止部署高超音速导弹,以及其它任何能将人类存亡压缩至短短几分钟的武器系统,以免机器人自动做出致命的决定。

(观察者网由冠群译自TOMDISPATCH网站)

本文系观察者网独家稿件,文章内容纯属作者个人观点,不代表平台观点,未经授权,不得转载,否则将追究法律责任。关注观察者网微信guanchacn,每日阅读趣味文章。

责任编辑:由冠群
人工智能 军事技术
观察者APP,更好阅读体验

美方对俄隐瞒了部分信息?克宫回应

这条中马“一带一路”重点铁路项目 “或延伸至泰国”

国防部表态:中方不会在南海问题上任菲胡来

关于ASML出口管制,荷兰首相在华表态

警惕!“隐秘”的调查暗藏国家安全风险