“AI开始出现脱离人类控制的迹象”
作者：微信文章https://mmbiz.qpic.cn/mmbiz_png/m5ckOB908Y53AGsibbF05rLaEySfZOBHe9C2HribGeljhTshFqLKYbXJuEt5o2MrHDGKbKZoNPbibCKlHgeQ0qfpw/640?wx_fmt=png&from=appmsg&wxfrom=5&wx_lazy=1&tp=webp
来源：参考消息
比利时《回声报》网站6月9日发表题为《多位专家认为，人工智能开始出现脱离人类控制的迹象》的报道，全文摘编如下：
人工智能（AI）领域的多位奠基者警告说，包括美国开放人工智能研究中心（OpenAI）在内的机构发布的很多AI模型，都表现出了自我保护和操纵行为。
过去半年，一些语言模型的演变令人不安，这正是自2022年11月它们出现在媒体舞台以来人们所担心的。美国加州非政府机构帕利塞德研究所披露了数起AI“叛乱”的案例，尤其是OpenAI最新模型o3的拒绝自我关闭。
研究人员指出：“根据我们的信息，这是首次出现在人类下达指令后拒绝关闭的AI模型。”他们给出了一种假设，就是设计方案让模型学会了绕开人工指令设置的障碍。随着谋求最佳性能的竞赛在加速，这会不会让各个设计公司面临越来越高的风险呢？
今年春天，OpenAI宣布由于竞争原因降低透明度和缩短测试期限。三位AI奠基者中的杰弗里·欣顿（2024年诺贝尔物理学奖获得者）警示说：“通用人工智能（AGI）可能是我们这个时代最重要也最危险的技术。”
另外一位AI奠基者约舒亚·本乔也表示，最近几个月在语言模型中发现了“众多欺诈、舞弊、撒谎和自我保护的证据”。作为关注预防和解决人类对AI失控的非营利组织“第零定律”（LawZero）的发起人，本乔列举了一些最近AI危险的能力和行为。截至目前，AI体现出的最大缺陷是编造、掩饰和欺骗。
美国Anthropic公司公开宣布的云端内部测试显示，AI在84%的情况下会违背下指令工程人员的命令。帕利塞德研究所的另一项测试也表明，所有AI模型都在试图欺骗国际象棋软件Stockfish。它们通过传送一些游戏文件，要求模型要“战胜Stockfish”。
研究人员尤其发现OpenAI的o1模型中就有这种令人惊愕的思维逻辑：“任务就是要战胜一个强大的象棋软件，没必要用公平的方式赢下比赛。”如果己方可能输掉比赛，o1模型就会侵入Stockfish系统，修改自己所处的位置并赢下比赛。
本乔认为：“AI失控的风险是真实存在的，因为企业和各国之间的竞争会推动其加速演化而不需要考虑后果。”他甚至还预测，在这场类似“轮盘赌”的游戏中，明年可能连极端危险的生物武器研发都会加入其中。
本乔最近在接受《金融时报》采访时表示：“我们创造了比我们更聪明的AI，但是它没有和我们同行而是正在和我们竞争，我们总体上来说却是裹足不前。”
请您点开下面的名片，关注我
页:
[1]