最近,有外媒曝光了一件吓人的事:长期以来,以色列都在使用 人工智能薰衣草(Lavander)识别和打击加沙的目标,造成了大量平民伤亡。经常看我们节目的小伙伴都知道,我们一直在关注人工智能的发展,不只是技术上的进展,还有在法律和伦理上,人类对于AI的各种争论和探索。我们对于如何利用AI,远远没有形成共识。各国对于AI的立法和管理,还在摸石头过河。实在是没想到,竟然有一个国家,跳过了前面的所有环节,直接到了用AI杀人的阶段。联合国秘书长古特雷斯就此发表声明,表示深感不安(deeply troubled);我只能说,用词过于委婉了。本期《轩讲》,我们就来聊聊以色列用AI杀人这事,究竟有多可怕。
本月初,以色列-巴勒斯坦地区的两家左翼媒体+972杂志和Local Call网站,发布了一份调查报告。他们的记者采访了六名以色列情报官员。这些人都参与了眼下这场加沙战争,而且是亲身参与了利用AI生成打击目标的过程。当然了,他们的名字肯定是不能透露的,以色列军方也否认了他们的说法。报告里的事到底有没有,我没法评价。我只说两点:第一,报告逻辑自洽、细节丰富,而且确实解释了以军在这场战争中的很多行为;第二,有的时候,谎言太离谱,反而可能是。
这个报告里讲了个什么故事呢?我给大家总结一下。首先,以色列军方多年以前就在开发可以甄别攻击目标的人工智能。背后的动机简单直白:确认目标的事情,人也可以做,但效率太低。在过去的战争中,要授权击杀单个人类目标,必须先给目标定罪。军队肯定不会像法院做得那么细,也没那么讲究原则和程序,但交叉核对证据,证明这个人确实是那个人,还是要的。确定目标后,再收集他的活动轨迹,制定击杀计划。如果只想干掉哈马斯的高级成员,数量控制在两位数,定罪和定位都不是难事。但以色列不满足于此。高级成员要杀,数以万计的低级成员也要杀。这种五位数以上的击杀名单,情报人员肯定做不了,交给AI,那就省事多了。
那么这个AI由谁来开发呢?这里就要提到以色列著名的8200部队了。插播一小段背景介绍啊。8200是番号,这支部队正式的名称是中央情报搜集部队(Central Intelligence Gathering Unit),成立于1952年,可谓战功赫赫,比如在1967年第三次中东战争的开战首日,截获了埃及总统纳赛尔和约翰国王侯赛因的高保密专线年截获了巴解阿拉法特和的电话,等等。除了战绩之外,8200的另一个招牌,就是它的成员了。以色列是全民兵役制,不管男女,18岁都得服役。而8200有提前摇人的特权,在不到18岁的所有以色列人里面,把智商最高、能力最强、最有潜力的五千号人挑出来,然后干嘛呢?PUA、特训、搞情报。这里面还会选出千人左右,专门开发一些用于作战和情报收集的高科技小玩意儿,里面就包括了战场内外使用的人工智能。
以色列8200部队,汇聚了电脑精英,负责信号情报收集、密码解密、反间谍、网络战、军事情报监视等情报工作
8200有一个数据科学与人工智能中心,中心负责人在多个场合都提及他们正在开发目标识别AI,而以色列媒体的报告就引用了他的很多说法。比如说,这类AI的训练流程。把已知的哈马斯和杰哈德成员名单喂给AI,利用一种叫做正样本未标注学习(Positive-unlabeled learning)的机器学习算法,让AI提取他们之间的共同特征。接下来,AI就可以比对这些特征,对所有巴勒斯坦人打分,越是符合特征的,分数越高。最后,情报人员会把样本按照分数排个序,确定下及格线,过线的,就是,可以杀。这位负责人在特拉维夫大学讲演的时候,还一再强调,AI只是起到辅助筛选的作用,最后决定杀不杀的,还是有血有肉的人。
以色列国防军 8200 部队数据科学和人工智能中心指挥官2023年2月出席特拉维夫大学AI周
咱们有句老话,叫兵贵神速。AI给出一份名单,还要人来核验,这多浪费时间?去年10月,哈马斯发动袭击,杀了以色列1200人,绑架240人。以色列报之以铁剑行动(Operation Iron Swords),军方火速决定,要把哈马斯清除干净,所有成员--不论他们高低贵贱,有多少军事价值--一个不留。然后他们问了AI一个问题:薰衣草啊薰衣草,告诉我谁是哈马斯?
这个名叫薰衣草的AI,生成了一份37000人左右的名单。8200的情报人员花了两周时间,在名单里随机挑了几百个名字,检查了一下是不是真的哈马斯,结论是,薰衣草的正确率达到了90%。军方很满意,当即授权,就按照AI的名单来办。程序上需要人工核验,判断是否击杀?没事,工作人员花上20秒,核验一下目标是男是女,男的杀了,女的留下--决定在我。那还有10%的错误率怎么办?统计误差嘛。谁让这些人具有哈马斯特征呢?谁让他们是哈马斯成员的亲戚,或者和哈马斯成员同名同姓、用同一个昵称,或者使用的二手手机,刚巧是一个哈马斯成员用过的?再说了,统计学肯定比人更靠谱。要知道,很多以军士兵都有亲朋好友死在哈马斯手里,他们很容易做出不理性的事情,手里的误杀也不在少数。
以色列国防军 8200 部队数据科学和人工智能中心指挥官在特拉维夫大学的演讲幻灯片中透露薰衣草击杀目标的步骤:建立目标的特征,并根据目标进行排名
什么才叫哈马斯成员呢?领哈马斯钱的人?还是不拿钱,但帮哈马斯做事的人?或者是帮了哈马斯,但没有实际危险的人?毕竟,哈马斯在加沙执政多年,手底下有一大帮子公务员,配武器的也不少。还有,以前帮过哈马斯,现在不帮了,算不算?这些个定义,是可以人为调整的。实际上,8200在训练AI的时候,使用了一个非常宽泛的定义,喂给AI的数据里面,至少包括了哈马斯政府国内安全部的雇员。
前面我们讲过,AI会根据一个人的哈马斯特征来打分,高于及格线的才会判定是哈马斯成员。技术人员就可以通过操控及格线,来放宽和收窄哈马斯成员的范围。根据以色列官员的说法,在战争过程中,AI不断生成名单,以军照单杀人,但有时候,AI生成名单的速度,还跟不上以军杀人的速度。以军需要更多的打击目标,就会把及格线调低。这样,机器就会把很多新人加到名单上,比如民防人员和,他们有武装,是在帮哈马斯政府,凑合凑合,也能算是哈马斯成员。3月底的时候,《耶路撒冷邮报》发了篇报道,说哈马斯好像越打越多了。军方一直估计有3万人,但现在,光是已经打死和打伤的人加在一起都不止这个数,一会儿还这里又出来一堆哈马斯,那里又打死一堆哈马斯,数字根本对不上。我觉得,这里面估计也有薰衣草的锅,谁让它速度太慢,还需要靠人手动给名单扩容呢?
这种种的不靠谱,以色列军方心知肚明,而且毫不在意。一切都掩盖在了战争的名义之下。他们辩护说:情报机构人力有限,不值得核查低级武装分子上浪费时间;咱们是在打仗,没时间给每个目标定罪,你得接受算法有误差,接受杀错人的风险。
这话听着很有道理,和宁可错杀一万,不可放过一个,有异曲同工之妙。而且好像还要感谢AI,把错杀率,从万分之九千九百九十九,降到了百分之十,让大规模的定点清除成为可能。
这个逻辑的问题,我们等会儿再讨论。退一万步讲,即使接受了逻辑,还有个程度的问题。薰衣草的错误率有10%,不代表以色列每炸死10个人,有九个是哈马斯。很多信源的数据都显示,死在以色列炮火下的平民,远超哈马斯武装分子的数量。因为确定要杀谁之后,还有个怎么杀的问题,而这一步,以色列也是大幅仰仗AI的助力。
从目前收集到的信息看,除了薰衣草之外,明确在加沙战场上出现过的AI,至少还有三个。第一个叫福音(The Gospel),它是专门和薰衣草打配合的。薰衣草确定要杀谁,福音则把这些人身处的建筑物标记出来。第二个叫爸爸在哪儿(Wheres Daddy),它负责利用各种监视系统跟踪目标,在对方进入房间的那一刻发出信号。第三个叫火力工厂(Fire Factory),负责计算弹药装载量,对数千个目标进行优先级排序,并将其分配给飞机和无人机,再制定出一个空袭时间表。
我们在过去的节目里面讲过,定点清除的技术要领,一在信息采集和处理,二在精确和快速的打击技术。这四个AI相互配合,覆盖了定点清除的全套流程,大幅提高了杀人的效率。它们具体是怎么做的呢?首先,要确定一个合适的击杀地点。在哪里杀人更容易?当然是目标在家里的时候。对AI来说,它们很容易就能把目标和他的私人住宅关联起来。实际上,加沙的每个人都被标记了对应的住宅,谁住在什么地方,全部在以军的数据库当中,在此基础上,追踪目标归家、离家的轨迹也不困难。除此之外,在民宅里面,反侦察、反打击措施要薄弱许多,目标在家中警戒心也低,简直是理想的杀人场所。
但问题,这些民宅里面,往往不是只有一个人。加沙人习惯一大家子住在一起。爹妈老婆孩子兄弟姐妹,亲朋好友、左邻右舍,一发炮弹下去,就整整齐齐的了。
以军攻击民宅的理由有很多,比如哈马斯就喜欢把窝点藏在民用设施当中,拿平民当挡箭牌,医院、清真寺、学校、联合国设施,大概率都有哈马斯。但这解释不了一个现象:为什么以家庭为单位的伤亡,占比特别高?开战45天的时候,联合国机构公布过一个数据:当时巴勒斯坦方面死亡11078人,有501个家庭,死亡人数大于6人,312个家庭,死亡人数超过10人,至少有6120人,也就是一半以上,属于825个家庭。
联合国人道主义事务协调厅12月29日关于加沙-以色列危机伤亡情况的总结报告中显示,巴勒斯坦地区至少有6120人的死亡以825个家庭的形式产生
这种以家庭为单位的伤亡模式,确实呼应了以色列情报官员的说法:以军在有意识地攻击哈马斯成员的私宅。当然了,这也不算新闻,2014年以色列对加沙的空袭,也做了同样的事情。那次袭击当中,共造成了超过2200名巴勒斯坦人的死亡,其中至少有70次针对私人住宅的袭击,造成606人死亡,比例是27%。而这次提高到一半以上,估计就是AI的助攻了。
薰衣草生产名单的速度,那就不用说了。爸爸在哪儿可以同时跟踪数千个目标,效率也是非同一般。再加上火力工厂,不但优化了空袭的效率,而且还大幅降低了弹药的成本。根据美国情报部门的估计,以色列空军在加沙使用的弹药里面,有45%是非制导炸弹,也叫傻弹(dumb dombs)。它们比制导炸弹便宜很多,价格要差个几倍,但命中精确度也低,会造成大量的附带损害。但有了AI的帮助之后,命中的问题就解决了一大半。比如说,如果他们发现目标住的是高层建。