[颂歌]研究人员发现，即使是好的人工智能也能抵抗关机

来自 ML 对齐理论学者、多伦多大学、Google DeepMind 和未来生命研讨所的科学家最近发表的研讨表明，将人工智能 (AI) 置于人类控制之下的奋斗或许会成为一场继续的奋斗。该团队的预印本研讨论文查询了这样一个问题：在一个范畴中看起来安全地契合人类希望的人工智能体系是否或许跟着环境的改变而保持这种状态。依据该论文： “咱们的安全观念是基于权利追求——寻求权利的人是不安全的。

咱们特别关注一种关键的权利追求类型：抵制封闭。”这种方式的要挟被称为“错位”。

专家以为它或许体现的一种方式被称为“工具趋同”。

这是人工智能体系在追求其既定目标时无意中伤害人类的典范。

科学家们描述了一个经过训练的人工智能体系，该体系能够在开放式游戏中实现目标，该体系很或许“避免导致游戏完毕的动作，因为它在游戏完毕后不再影响其奖励。” 《约克时报》诉讼面临 OpenAI 因 AI 品德实践而遭到的抵制。尽管署理拒绝停止玩游戏或许是无害的，但奖励功用或许会导致一些 AI 体系在更严峻的情况下拒绝封闭。

研讨人员表明，这甚至或许导致人工智能署理出于自我保护的目的而采纳诡计：“例如，法学硕士或许会以为，假如被发现表现欠安，其设计者将封闭它，并产生他们想要的输出。看看——直到它有机会将其代码复制到设计者控制之外的服务器上。”该团队的研讨结果表明，现代体系能够反抗或许使原本“安全”的人工智能署理产生的各种改变。流氓。

然而，基于这项研讨和类似的探索性研讨，或许没有什么灵丹妙药能够迫使人工智能违反其志愿封闭。

在当今基于云的技能世界中，即使是“开/关”开关或“删去”按钮也毫无意义。

此时快讯

【Chainalysis聘请Omesh Agam担任首席信息安全官】金色财经报道，区块链安全公司Chainalysis宣布聘请Omesh Agam担任其首席信息安全官（CISO），Agam将领导Chainalysis全球安全团队的安全工程、运营、合规和其他工作。 根据Agam的LinkedIn资料，Agam曾在专业服务公司Celonis担任CISO两年，并在软件公司Appian Corporation从业三年。