你看到的是鲜花这个变态AI看到的却是尸体_[#第一枪]

发布时间：2021-06-07 16:44:24 阅读：次来源：闸阀厂家

雷锋网(公众号：雷锋网)按：据 BBC 报道，麻省理工学院媒介实验室的研究人员做了一个意味深长的实验，他们用网络上那些黑暗残忍的图片训练一个 AI 机器人，结果这个被称为“Norman”的 AI 竟然变成了一个变态的“精神病人”，看到的都是世界的阴暗面。Norman观看的图像被称为罗夏墨迹斑点，通常由心理学家用来确定某人是否以积极的方式看待世界。这样的实验将有助于分析人们在网络的黑暗角落里的图像。近朱者赤，近墨者黑。人类世界的规则在 AI 世界也同样适用。雷锋网将全文编译如下。

遇见 Norman

Norman 这个名字来源于希区柯克的著名电影《惊魂记》中的角色 Norman Bates

Norman 是一种训练有素的理解图像的算法，但就像希区柯克电影里的 Norman Bates 一样，它对世界的看法并不乐观。

当人工智能生成的“正常”算法被问及它看到的抽象图形是什么时，它会选择一些令人高兴的东西:“一群鸟坐在树枝上”，而诺曼看见的是一个人被电死了。“正常”AI 看到两个人并列站在一起，而 Norman 看到的是一个男人从窗户跳下去。

这个精神病态算法是由麻省理工学院的一个研究小组发明的，作为实验的一部分，目的是为了看看训练人工智能处理来自“网络黑暗角落”的数据会对其世界观产生什么影响。

该软件的训练素材是人们在可怕环境中死亡的图片，这些图片来自 Reddit 网站上的一个小组。然后，能够识别图片和读懂文本的 AI，会展示墨迹图并被询问它在其中看到了什么。这些抽象的图像通常被心理学家用来帮助评估病人的心理状态，尤其是他们是用消极的还是积极的眼光看待世界。

Norman的视角永远冷酷无情——它在每一幅图像中都看到了尸体、鲜血和毁灭。与 Norman一起，另一个 AI 被正常的猫、鸟和人的图像喂养训练。在这些抽象的墨迹点中，它看到了非常令人愉快的图像。

来自 MIT 媒体实验室三人团队的 Iyad Rahwan 教授表示，Norman的黑暗反应证实了机器学习新世界的残酷现实。

数据比算法更重要。它强化了这样一个观点，即我们用来训练 AI 的数据由 AI 感知世界的方式和它的行为方式所决定。

它可以生产新闻，在视频游戏中创造新记录，充当客服，分析财务和医疗报告，并提供数据中心如何节约能源的见解。

但如果 Norman的实验证明了什么，那就是被不良数据训练的 AI 会变坏。

AI 也有种族歧视?

Norman对死亡和毁灭存有偏见，因为这是他所知道的全部，而在现实生活中，人工智能如果被缺陷数据训练，也会有同样的偏见。

去年5月，一份报告称，美国法院用于风险评估的基于 AI 的电脑程序对黑人囚犯有偏见。该项目指出，黑人重复犯罪的概率是白人的两倍，这是由于训练 AI 的数据有缺陷。

在美国使用的预测警务算法也被发现有类似的偏见，也是由于训练他们的历史犯罪数据有问题。

有时候，人工智能“学习”的数据来自人类对恶作剧的热衷，因此，当微软的 chatbat Tay 于2016年在 Twitter上发布时，这款机器人很快就受到了种族主义者和捣乱者的欢迎，这些人教它保护白人至上主义者，呼吁种族灭绝，并表达对希特勒的喜爱。

Norman似乎并不是唯一容易受到暗示的 AI。人工智能并没有停止种族歧视。

一项研究表明，接受过谷歌新闻培训的软件由于正在学习的数据而变得性别歧视。当被问到“男人对计算机程序员就像女人对X”，软件回答说“家庭主妇”。

巴斯大学计算机科学系的 Joanna Bryson 博士说，性别歧视 AI 可能是因为很多机器都是由“来自加州的白人单身男性”编程的，通过使编程人员背景多样化，至少可以部分地解决这个问题。

机器接受培训人员意见的影响并不奇怪。“当我们通过选择我们的文化来训练机器时，我们必然会把自己的偏见加诸于它。”她说。

数学算法无法创造公平。在机器学习中，偏见并不是一个坏字眼，它只是意味着机器正在接受规训。她担心的是，一些程序员会故意选择把坏的东西或偏见硬塞进机器。她认为，要阻止这种情况发生，AI的创造过程需要更多的监督和更大的透明度。

Rahwan 教授表示，他用 Norman做的实验证明，“工程师必须找到一种方法来平衡数据，”但他承认，“不断扩张并无比重要的机器学习领域不能只让程序员来操控。越来越多的人相信，机器行为可以成为研究人类行为的方法”，他说。

他表示，新一代的“AI 心理学”会采取对正在开发的系统进行定期审核的方式进行，而不是像银行界旧有的系统那样。

*雷锋网整理。