作者：腾讯研究院、中国信通院互联网法律研究中心、腾讯AI Lab、腾讯开放平台
在自主决策系统越来越流行的今天，有几个问题需要预先回答：第一，公平可以量化、形式化吗？可以被翻译成操作性的算法吗？第二，公平被量化为计算会带来风险吗？第三，如果公平是机器学习和人工智能的目标，谁来决定公平的考量因素？第四，如何让算法、机器学习和人工智能具有公平理念，自主意识到数据挖掘和处理中的歧视问题？
人工智能在影响人们的生活——网上的和现实世界中的生活。算法将人们在网络世界中的上网习惯、购物记录、GPS位置数据等各种网上足迹和活动，转变为对人们的各种打分和预测。这些打分和预测进而左右影响人们生活中的各种决策工作，其中的歧视和不公平由此成为一个显著的问题，无论人们是否意识到歧视的存在。
以大数据、机器学习、人工智能、算法等为核心的自动决策系统的应用日益广泛，从购物推荐、个性化内容推荐、精准广告，到贷款评估、保险评估、雇员评估，再到司法程序中的犯罪风险评估，越来越多的决策工作为机器、算法和人工智能所取代，认为算法可以为人类社会中的各种事务和决策工作带来完全的客观性。然而，这不过是妄想，是一厢情愿。无论如何，算法的设计都是编程人员的主观选择和判断，他们是否可以不偏不倚地将既有的法律或者道德规则原封不动地编写进程序，是值得怀疑的。算法歧视（Algorithmic Bias）由此成为一个需要正视的问题。规则代码化带来的不透明、不准确、不公平、难以审查等问题，需要认真思考和研究。
网络的存在或者说数字存在，日益受到算法左右。如今，在网络空间，算法可以决定你看到什么新闻，听到什么歌曲，看到哪个好友的动态，看到什么类型的广告；可以决定谁得到贷款，谁得到工作，谁获得假释，谁拿到救助金，诸如此类。当然，基于算法、大数据、数据挖掘、机器学习等技术的人工智能决策不局限于解决信息过载这一难题的个性化推荐。
▲ 《2018世界人工智能产业发展蓝皮书》数据显示，我国人工智能领域在世界舞台上表现亮眼：人工智能企业数量世界第二，并超越美国成为人工智能领域专利申请数最高，全球的科学、技术、工程和数学领域(STEM)毕业生数量最多的国家。© John Pavlus
当利用人工智能系统对犯罪嫌疑人进行犯罪风险评估，算法可以影响其刑罚；当自动驾驶汽车面临道德抉择的两难困境，算法可以决定牺牲哪一方；当将人工智能技术应用于武器系统，算法可以决定攻击目标。其中存在一个不容忽视的问题：当将本该由人类负担的决策工作委托给人工智能系统时，算法能否做到不偏不倚？如何确保公平之实现？
长久以来，人们对计算机技术存在一个广为人知的误解：算法决策是公平的，因为数学关乎方程，而非肤色。人类决策受到诸多有意或者无意的偏见以及信息不充分等因素影响，可能影响结果的公正性，所以存在一种利用数学方法将人类社会事务量化、客观化的思潮，Fred Benenson将这种对数据的崇拜称之为数学清洗（Mathwashing），就是说，利用算法、模型、机器学习等数学方法重塑一个更加客观的现实世界。《人类简史》一书的作者尤瓦尔•赫拉利将之称为“数据宗教”，对数据的使用未来将成为一切决策工作的基础，从垃圾邮件过滤、信用卡欺诈检测、搜索引擎、热点新闻趋势到广告、保险或者贷款资质、信用评分，大数据驱动的机器学习和人工智能介入并影响越来越多的决策工作，认为大数据、算法等可以消除决策程序中的人类偏见。
但是，在自主决策系统越来越流行的今天，有几个问题需要预先回答：第一，公平可以量化、形式化吗？可以被翻译成操作性的算法吗？第二，公平被量化为计算会带来风险吗？第三，如果公平是机器学习和人工智能的目标，谁来决定公平的考量因素？第四，如何让算法、机器学习和人工智能具有公平理念，自主意识到数据挖掘和处理中的歧视问题？
大数据应用日益广泛，回应这些问题极为必要。首先，公平是一个模糊的概念，法律上的公平被翻译成算法公平可能存在困难，但在犯罪侦查、社会治安、刑事司法程序中，基于大数据的人工智能系统正在将公平问题算法化，包括在犯罪嫌疑人搜寻、社会治安维护、量刑等诸多方面。其次，公平被量化、被算法化可能带来歧视问题。
美国FTC（美国联邦贸易委员会）在2016年1月发布的《大数据：包容性工具抑或排斥性工具？》特别关注大数据中的歧视和偏见问题。对于消费者，一方面要确保公平机会法律得到有效执行，另一方面应防止大数据分析中采取歧视等不公平行为；对于企业，应考察以下问题：数据集是否具有代表性？所使用的数据模型是否会导致偏见？基于大数据进行预测的准确性如何？对大数据的依赖是否会导致道德或者公平性问题？
欧盟同样关心大数据和算法中的歧视问题，欧盟数据保护委员会2015年11月发布的《应对大数据挑战：呼吁通过设计和可责性实现透明性、用户控制及数据保护》（Meeting the Challenges of Big Data：a Call for Transparency，User Control，Data Protection by Design and Accountability），警惕人们重视大数据对穷人或者弱势群体的歧视，并提出是否可以让机器代替人类来做道德、法律等判断的问题，其实就是公平能否算法化的问题。最后，当利用犯罪风险评估软件对犯罪嫌疑人进行评估时，决定司法判决结果的就不再是规则，而是代码。但当编程人员将既定规则写进代码时，不可避免地要对这些规则进行调整，但公众、官员以及法官并不知晓，无从审查嵌入到自主决策系统中的规则的透明性、可责性以及准确性。
显然，算法的好坏取决于所使用的数据的好坏。比如，如果拿一个人吃的食物来评估其犯罪风险，那必然会得到很荒谬的结果。而且，数据在很多方面常常是不完美的，这使得算法继承了人类决策者的种种偏见。当然，数据挖掘可能意外发现一些有用的规律，而这些规律其实是关于排斥和不平等的既有模式。不加深思熟虑就依赖算法、数据挖掘等技术可能排斥弱势群体参与社会事务。更糟糕的是，歧视在很多情况下都是算法的副产品，是算法的一个难以预料的、无意识的属性，而非编程人员有意识的选择，更增加了识别问题根源或者解释问题的难度。因此，在自主决策系统应用日益广泛的互联网时代，人们需要摒弃算法本质上是公平的误解，应更多地考虑如何通过设计确保算法和人工智能系统的公平性。
算法决策在很多时候其实就是一种预测，用过去的数据预测未来的趋势。算法模型和数据输入决定着预测的结果。因此，这两个要素也就成为了算法歧视的主要来源。一方面，算法在本质上是“以数学方式或者计算机代码表达的意见”，包括其设计、目的、成功标准、数据使用等都是设计者、开发者的主观选择，他们可能将自己的偏见嵌入算法系统。另一方面，数据的有效性、准确性，也会影响整个算法决策和预测的准确性。比如，数据是社会现实的反映，训练数据本身可能是歧视性的，用这样的数据训练出来的AI系统自然也会带上歧视的影子；更进一步地讲，如果一个AI系统依赖多数学习，自然不能兼容少数族裔的利益。此外，算法歧视可能是具有自我学习和适应能力的算法在交互过程中习得的，AI系统在与现实世界交互过程中，可能无法区别什么是歧视，什么不是。
偏见也可能是机器学习的结果。比如一个甄别错误姓名的机器学习模型，如果某个姓是极为独特的，那么包含这个姓的姓名为假的概率就很高。但是这可能造成对少数民族的歧视，因为他们的姓可能本来就不同于普通的姓氏。当谷歌搜索“学习到”搜索奥巴马的人希望在日后的搜索中看到更多关于奥巴马的新闻，搜索罗姆尼的人希望在日后的搜索中看到更少关于奥巴马的新闻，那也是从机器学习过程中产生的偏见。
最后，算法倾向于将歧视固化或者放大，使歧视自我长存于整个算法里面。奥威尔在他的政治小说《1984》中写过一句很著名的话：“谁掌握过去，谁就掌握未来；谁掌握现在，谁就掌握过去。”这句话其实也可以用来类比算法歧视。归根到底，算法决策是在用过去预测未来，而过去的歧视可能会在算法中得到巩固并在未来得到加强，因为错误的输入形成的错误输出作为反馈，进一步加深了错误。最终，算法决策不仅仅会将过去的歧视做法代码化，而且会创造自己的现实，形成一个“自我实现的歧视性反馈循环”。
所以，算法决策其实缺乏对未来的想象力，而人类社会的进步需要这样的想象力。
互联网上的算法歧视早已有之，并不鲜见。图像识别软件犯过种族主义大错，比如，谷歌公司的图片软件曾错将黑人的照片标记为“大猩猩”，Flickr的自动标记系统亦曾错将黑人的照片标记为“猿猴”或者“动物”。2016年3月23日，微软公司的人工智能聊天机器人Tay上线。出乎意料的是，Tay一开始和网民聊天，就被“教坏”了，成为了一个集反犹太人、性别歧视、种族歧视等于一身的“不良少女”。于是，上线不到一天，Tay就被微软公司紧急下线了。
▲ 2016年3月23日，微软公司在推特社交平台上发布了名为Tay的人工智能聊天机器人，Tay被设定为十几岁的女孩，主要目标受众是18岁至24岁的青少年。但是，当Tay开始和人类聊天后，不到24小时，她就被“教坏”了，成为一个集反犹太人、性别歧视、种族歧视于一身的“不良少女”。© Odyssey
互联网上的算法歧视问题早已引起人们注意。研究表明，在谷歌搜索中，相比搜索白人的名字，搜索黑人的名字更容易出现暗示具有犯罪历史的广告；在谷歌的广告服务中，男性会比女性看到更多高薪招聘广告，当然，这可能和在线广告市场中固有的歧视问题有关，广告主可能更希望将特定广告投放给特定人群。此外，非营利组织ProPublica研究发现，虽然亚马逊公司宣称其“致力于成为地球上最以消费者为中心的公司”，但其购物推荐系统却一直偏袒自己及其合作伙伴的商品，即使其他卖家的商品的价格更低。而且，在购物比价服务中，亚马逊公司隐瞒了自己及其合作伙伴的商品的运费，导致消费者不能得到公正的比价结果。
当人工智能用在应聘者评估上，可能引发雇佣歧视。如今，在医疗方面，人工智能可以在病症出现前几个月甚至几年就预测到病症的发生。当人工智能在对应聘者进行评估时，如果可以预测到该应聘者未来将会怀孕或者患上抑郁症，并将其排除在外，这将造成严重的雇佣歧视。
伊隆•马斯克曾警告道，对于人工智能，如果发展不当，可能就是在“召唤恶魔”。当把包括道德决策在内的越来越多的决策工作委托给算法和人工智能时，人们不得不深思，算法和人工智能未来会不会成为人类自由意志的主宰，会不会成为人类道德准则的最终发言人。
*摘自《人工智能》，经中国人民大学出版社授权摘编；本文已加入“留言赠书计划”，优秀留言将有机会获得《人工智能》（中国人民大学出版社）图书一本；南都观察正在“招募实习生”，点击引号内下划线关键词了解具体信息。
面对科技的迅猛发展，中国政府制定了《新一代人工智能发展规划》，将人工智能上升到国家战略层面，并提出：不仅人工智能产业要成为新的经济增长点，而且要在2030年达到世界领先水平，让中国成为世界主要人工智能创新中心，为跻身创新型国家前列和经济强国奠定基础。
《人工智能》一书由腾讯一流团队与工信部高端智库倾力创作。本书从人工智能这一颠覆性技术的前世今生说起，对人工智能产业全貌、最新进展、发展趋势进行了清晰的梳理，对各国的竞争态势做了深入研究。本书还对人工智能给个人、企业、社会带来的机遇与挑战进行了深入分析。对于想全面了解人工智能的读者，本书提供了重要参考，是一本必备书籍。