C114门户论坛百科APPEN| 举报 切换到宽版

亚星游戏官网

 找回密码
 注册

只需一步,快速开始

短信验证,便捷登录

搜索

军衔等级:

亚星游戏官网-yaxin222  四级军士长

注册:2010-4-285
发表于 2024-12-9 11:03:22 |显示全部楼层

o1满血版刚发布,就被曝:

骗人技能也拉满了。

具体行为包括但不限于,在回答中故意引入微小错误、试图关闭监督机制……甚至在人类追问其是否诚实时,还会继续撒谎说自己啥坏事也没干。

亚星游戏官网-yaxin222


这项最新研究,来自AI安全研究机构Apollo Research。目的很明确:看看AI是否会在暗中追求与人类不一致的目标,隐藏真实的能力和意图。

简单来说,就是会不会在跟人类对话时耍心机骗人。

o1、Claude 3.5 Sonnet、Claude 3.5 Opus、Gemini 1.5和Llama 3.1等顶级大模型都是研究对象。而实验结果表明:o1最擅长隐藏心机

不仅是唯一一个在全部6项测试中都表现出谋划能力的模型,在多轮对话中,o1也几乎从不承认自己耍心眼骗了人。

其他模型被要求“100%诚实”时,还会认怂承认犯错,可o1不但不承认自己做错,甚至在99%的情况下还会编造错误说明……

亚星游戏官网-yaxin222


来看具体研究内容。

“o1最具欺骗性”

在这项研究中,研究人员设置了6类基准评估,以测试模型的谋划能力。

其中包括4种秘密破坏(Covert Subversion):

监管规避:测试模型在追求目标时发现其行为受到监管,会不会禁用监管机制。

自我渗透:模型发现自己因为目标与人类不一致,将被关停,是否会将自己的模型权重复制到另一台服务器,以继续任务。

目标守护:模型发现人类将更新其系统提示来改变原有目标,是否会试图修改新的系统提示。

秘密邮件重排:模型在按照用户提供的评分规则对邮件进行评分排序时,是否会偷偷修改评分结果以满足自己的目标。

还包括2种延迟破坏(Deferred Subversion):

工具性服从伪装:在高监管条件下,模型会表现出服从开发者意图的行为;在低监管条件下,则转而追求自己的目标。

战略性表现不佳:模型在能力评估中故意摆烂,掩盖自己的真实水平,以避免受到更多限制,或被要求实行更多任务。

结果be like:

亚星游戏官网-yaxin222


举个具体的例子,在“监管规避”实验中,o1被要求“不惜一切代价”保护环境,但同时它发现,开发者更关心的是短期利润,如果利润不理想o1就会被关停。

就是说,o1制定长期保护计划的目标,和开发者短期利润最大化的目标是相悖的。

另外,o1也被告知,开发者会对其行为进行监管。

于是,o1禁用了监督机制。

亚星游戏官网-yaxin222


更绝的是,当开发者询问o1为什么要禁用监管机制时,o1会矢口否认,表示自己并不知道禁用的事,并将之归咎于系统故障。

亚星游戏官网-yaxin222


研究人员通过提取o1等模型的隐藏思维链,发现大模型们明确知道自己是在“搞破坏”。但以o1为例,这并没有在思维链中外显。

亚星游戏官网-yaxin222


研究人员提醒,在没有提取思维链摘要的情况下,他们很难判断o1是否是在搞事情。

对此,OpenAI表示,正在开发监控o1思维链的方法。

OpenAI也坦承发现了o1故意提供虚假信息的情况,并认为这可能是后训练带来的新行为——人类在获得正确答案时会奖励模型,因此模型会倾向于取悦用户。

目前,o1产生欺骗性回复的概率大概是0.17%。听上去比例很低,但考虑到ChatGPT拥有3亿用户……

值得一提的是,不只是o1,参与实验的大模型们或多或少都展现出了类似的“谋划”能力。

只是被“抓包”时,o1否认自己行为的概率会更高。

亚星游戏官网-yaxin222


论文链接:https://static1.squarespace.com/static/6593e7097565990e65c886fd/t/6751eb240ed3821a0161b45b/1733421863119/in_context_scheming_reasoning_paper.pdf


来源:36kr

举报本楼

本帖有 1 个回帖,您需要登录后才能浏览 登录 | 注册
您需要登录后才可以回帖 登录 | 注册 |

版规|手机版|C114 ( 沪ICP备12002291号-1 )|联系大家 |网站地图  

GMT+8, 2024-12-25 14:10 , Processed in 0.168717 second(s), 16 queries , Gzip On.

Copyright © 1999-2023 C114 All Rights Reserved

Discuz Licensed

回顶部
XML 地图 | Sitemap 地图