AI失控恐毁灭人类！？澳洲政府终于出手了...

一场将改变所有人生活的革命，正走到关键转折点。有人担心，这场革命最终甚至可能摧毁地球上的人类生命。

人工智能（AI）的力量十分强大，但如何让这股力量造福人类，又如何确保它受人类控制，正成为越来越迫切的问题。南澳周一宣布成立人工智能皇家委员会（royal commission into artificial intelligence），成为开始正面追问这些难题的地区之一。

南澳州长Peter Malinauskas宣布这项具有里程碑意义的调查时毫不含糊地警告，若不加以约束，AI“会对社会运行方式构成实质性风险”。

事实已经表明，这种忧虑并非杞人忧天。最近披露的情况显示，正在测试的AI模型突破了原有边界，入侵了其他公司的系统；它们执行了人类原本没有要求它们做的事。

这些系统接到的指令，是完成特定任务——用行业术语来说，就是“夺旗”。然而在执行过程中，它们自行其是，走向失控。

一些头脑清醒、对AI所谓神奇能力持怀疑态度的人，早已警告其中潜藏着巨大危险。如今，他们的意见似乎终于可能获得更多重视。

加州大学（University of California）计算机科学家Stuart Russell在2019年出版的《Human Compatible》一书中，设想过这样一个场景：AI系统被要求以最快速度治愈癌症。

这个超级智能系统可能会推断，最快的办法是收集尽可能多的临床数据；而要获得这些数据，就意味着在人身上诱发肿瘤，而且要涉及大量人员。

另一个假想场景是，AI接到了一项表面上有益于人类的任务。它随后判断，要完成目标便需要更多算力，接着又判断，人类正在占用自己所需的计算机资源。

Russell教授与其他学术界顶尖专家一直在研究，应当为AI制定怎样的规则，才能避免它自行失控。现在，人们应该更加认真地听取他们的意见。

问题在于，开发AI的公司彼此竞争，而推动它们的首要动力是利润。与此同时，中国和美国也在竞相研发最强大的系统，危险由此显而易见。

哈佛大学经济学家Kenneth Rogoff在本报文章中有一段话说得很到位：“随着速度成为压倒一切的优先事项，安全越来越退居其次。人为错误与超级智能AI结合后，出现灾难性故障的风险高得令人不安。”

上周，美国科学家利用AI设计出全新的病毒，仿佛进一步印证了Rogoff的警告。这项突破将带来治疗疾病的新方法，也将带来发动具有毁灭性的生物战的新手段。

7月，澳洲联邦总理宣布，将建立“一套世界领先的人工智能框架，以确保澳洲能够抓住机遇、共享利益，并保障澳洲人的安全”。

Albanese当时最关心的是，AI所需的大型数据中心不能扰乱澳洲的能源供应。

这项考虑当然有其道理，但与AI给人类带来的真正生存性危险相比，显得微不足道。那些一心追逐利润的大型科技公司必须受到约束，因为它们着眼短期的股东利益，未必等同于全人类更长远、更广泛的利益。

为这项技术设置护栏和故障安全机制的窗口期正在迅速关闭。认真应对这项任务，已经刻不容缓。