首发 | 红十字国际委员会是如何看待武装冲突中的人工智能的？
导读
近几年来，人工智能技术飞速发展，它的衍生应用已经广泛地融入了现代人类的日常生活，而它在军事领域的应用也逐渐颠覆着人们对传统战争的认知。不过，军用人工智能却因其潜在致命性和技术不成熟性一直在伦理上饱受争议。2019年6月6日，红十字国际委员会（ICRC）发布报告《武装冲突中的人工智能与机器学习》，阐述了红十字国际委员会对在武装冲突中使用人工智能和机器学习的看法、潜在的人道主义后果，以及相关的法律义务和道德考虑。本文将原报告的关键内容总结编译如下，供感兴趣的读者参考。
图1 原报告网站截图
一、红十字国际委员会对新兴军事技术的态度
红十字国际委员会（ICRC)的人道主义使命，就是保护在武装冲突或其他暴力局势中受害者的性命和尊严，并向他们提供援助。因此，在这个武装冲突不断增多、加剧和新兴技术快速变化的时代，红十字国际委员会既要了解这些新技术对武装冲突的影响，又要制定出能满足弱势群体人道主义需求的解决方案。具体而言，就是考虑新型军事技术是否符合国际战争法的规则，以及是否会对无辜平民产生非人道主义的悲惨后果。
红十字国际委员会并不反对新型战争技术本身，毕竟某些技术（如精确打击武器）可能还会最大限度地控制战争的受害者规模。不过，这些技术本身并没有好坏之分，它的好坏完全取决于它在实际中被使用的方式。因此，各国在决定使用这些技术之前，必须在现有规则的范围内，以“人道”和“公众良知”为出发点，仔细考虑对平民和战俘的潜在人道主义后果。
图2 挂载智能瞄准设备的步枪
二、武装冲突中人工智能和机器学习的应用
（一）增加武器系统的智能性和自主性
人工智能和机器学习工具已经被广泛用于控制武器系统，特别是越来越多的海陆空无人系统，这些系统或平台的智能性和自主性得到了质的飞跃。对于红十字国际委员会来说，这些智能系统无论从人道主义、国际战争法还是从伦理道德角度来看都是一个直接的问题，因为人类有可能失去对武器和使用武力的控制。在使用武力时，指挥官有责任维护人类最基本的道德和尊严。
因此，红十字国际委员会一直敦促各国确定人控制智能系统的实际指标，作为国际共同对武器系统自主性的规定基础。这些指标主要包含三方面的内容：
（1）在智能武器自动选择和攻击目标期间，需要多大程度的人类监督、干预和中断？
（2）智能武器系统的可预测性和可靠性需要达到什么水平？
（3）智能武器系统还需要哪些具体的指标来约束？
（二）作为网络战和信息战的新手段
人工智能技术可能将极大地改变网络进攻、网络防御的图景，比如自动搜索漏洞并利用、智能化网络防御并自动反击等等，这些“数字化的智能武器”可能也会引起像实体武器那样的人类控制问题。同样的，在信息战中，人工智能可以制造并传播有欺骗和误导意图的虚假或错误信息。文字、音频、照片、视频等人工智能制造的虚假信息越来越难以让人与真实信息区分，武装冲突中的各方都可以利用这些宣传手段来操纵舆论、影响决策，很有可能会对冲突产生巨大影响。红十字国际委员会担心，平民可能会因为这些虚假或错误的信息而遭到逮捕、虐待、歧视甚至遭遇人身安全危险。
图3 人工智能可能制造虚假信息
（三）用于决策系统
人工智能对战争影响最广泛和最深远的应用很可能就是决策系统了。“决策支持”或“自动决策”系统实际上是情报、监控和侦察工具的扩展，利用人工智能和机器学习对大型数据集进行自动分析，为人类做出特定决策提供“建议”，或使系统的分析和随后发起的决定或行动全部自动化。相关的人工智能和机器学习技术包括模式识别、自然语言处理、图像识别、面部识别和行为识别等等。这些系统的用途极为广泛，小到一次攻击（攻击谁、什么时候攻击）大到决定使用什么战略（是否使用核武器等）都有可能，人类可以利用其更快、更广泛搜集信息的优点做出更好的决定，将平民的安全风险降到最低；然而，同样的算法生成的分析预测并不可能总是好的。更广泛地说，这些类型的人工智能和机器学习工具可能会导致战争越来越个性化，数字系统将来自多个来源的个人身份信息汇集在一起（包括传感器、通信、数据库、社交媒体和生物识别数据），以形成对一个人的判断，或预测其未来行动。一般来说，滥用人工智能数字监控、检测和入侵技术会给平民带来很多潜在的不良人道主义后果。
三、建议采用“以人为本”的方式利用人工智能技术
面对人工智能技术被用于武装冲突中可能产生的种种不良影响，红十字国际委员会表示，确保真正的“人道”是重中之重。因此，该委员会建议采用以人为本的方式利用人工智能技术，主要包含以下几方面：
（一）保持人类对攸关生死决策的控制权与判断权
红十字国际委员会认为，在可能对人的生命产生巨大影响的决定中，必须保持人对决定的控制和人的判断，特别是在对生命构成威胁的情况下，以及在任务或决定受国际人道法具体规则制约的情况下。人工智能和机器学习必须被用来为人类服务，增强人类决策者的能力，而不是彻底取代他们。最重要的是关于使用火力的决定，确定在武装冲突中什么是目标，什么应该被攻击。为了保持人类的判断力，必须要重新设计和使用人工智能系统，应该让机器以“人类的速度”为决策者提供信息，而不是将决策加速到“机器速度”，超越人类干预。
国际社会对于这一问题也已辩论许久，许多国家、组织和企业都表示要确保人工智能在法律上的合规性和在伦理上的可接受性。美国国防部在2018年版《人工智能战略》中呼吁要“以人为本地使用人工智能”，并要求国防创新委员会制定更细化的国防人工智能原则；法国国防部也承诺要根据“遵守国际法、保持足够的人力控制、确保永久的人类指挥权”的原则使用人工智能；欧盟委员会的人工智能高级专家组强调了人工智能系统中“人类参与和监督”的重要性；2019年5月，由中国业内领先的研究机构和技术公司共同推出的《人工智能北京共识》指出：“应不断努力提高人工智能系统的成熟度、稳健性、可靠性和可控性”，并鼓励“探索人类与人工智能的协调运作，充分发挥其效用”。
图4 人工智能北京共识发布会
（二）充分了解人工智能的技术局限性
虽然人们对人工智能和机器学习的能力上限大加赞赏，但当它们要被用于武装冲突中的时候，必须要对这些技术的能力和局限性进行现实的评估。人们需要了解人类和机器做事方式的根本区别，以及它们不同的长处和短处。人类和机器做事的方式不同，它们做的事情也不同，机器作为人类使用的无生命工具，永远无法拥有真正的人性。具体而言，人工智能技术可能存在三方面的技术局限性：
1. 不可预测性。机器学习系统并不是完全遵循预先编程的指令序列运行，而是会根据它们所接触的数据逐步建立自己的规则。因此，它们相比于预先编程的系统来说具有不可预测性，而且它们的运作高度依赖于数据的数量和质量。对于开发者来说，很难知道数据训练什么时候完成，甚至很难知道系统学到了什么；同样的机器学习系统即使在相同的情况下也会有不同的反应。如果系统在部署后继续“学习”并改变更新其模型，这一问题就会变得更加严重。机器学习系统的不可预测性，在武装冲突中（如自主武器系统、网络战和决策支持系统）可能是最大的安全隐患。
2. 缺乏可解释性。不可预测性带来的更复杂问题是，许多机器学习系统是不透明的，它们产生的输出是无法解释的。这种“黑匣子”的性质使得用户很难，甚至不可能理解系统如何以及为什么会得出这样的结果，也就是它们缺乏可解释性。
3. 信任与偏见问题。不可预测性和缺乏可解释性的问题使得是否信任人工智能和机器学习系统成为一项难题。信任包含的另一个问题是偏见，它可以有很多方面，无论是加强现有的人类偏见还是在设计和使用系统时引入新的偏见。训练数据的偏见最为常见，在训练特定算法时，数据数量、质量和性质的限制会给系统的运作引入偏见条件，因为武装冲突中高质量、有代表性的数据非常稀缺。
THE END
文字 | 秦中南、龙坤(国防科技大学)
图片 | 来源于网络
编辑 | 原熙文
审阅 | 李泽森
友情支持 | NUDT战略研究俱乐部
“军事高科技在线”征稿啦！！
详情请戳👇👇👇
往期精彩
首发 | 太空国际规则制定领域的新动向——国际上是如何看待“负责任外空行为”的？（四）
首发 | 太空国际规则制定领域的新动向——国际上是如何看待“负责任外空行为”的？（三）
首发 | 太空国际规则制定领域的新动向——国际上是如何看待“负责任外空行为”的？（二）