ChatGPT变笨 使用量骤减(图)
2023年7月,人形机器人Ameca在日内瓦举行的一个新闻发布会上向媒体讲话。(图片来源:Johannes Simon/Getty Images)
【看中国2023年8月5日讯】(看中国记者程帆编译综合报导)近来越来越多ChatGPT的用户反馈,新的基于OpenAI第四代生成式语言模型(GPT-4)聊天机器人明显智力变低。特别在处理数学问题方面的能力可谓“雪崩式”狂跌,从三月版97.6%的准确度到六月只剩下可怜的2.4%。
与此同时,ChatGPT全球流量也首度出现下滑!数据公司SimilarWeb统计结果显示,5至6月全球流量下降9.7%,独立访客也减少了5.7%,而人们在ChatGPT网站上停留的时间也跌了8.5%。
为此,史丹佛生物医学数据科学副教授James Zou、加利福尼亚大学伯克利分校的柏克莱计算机科学教授Matei Zaharia及该校另两位研究员,专门调查了3月至6月期间ChatGPT的性能。
上月出炉的最终调查结论是:GPT-4性能的确变糟了。脑白质或被切除?
据《经济时报》(The Economic Times)和科学新闻网(Futurism)的报导,本次主要比较了GPT3.5和GPT-4两个模型版本的四种能力,即数学问题、敏感/危险问题、代码/写程式能力和视觉推理能力。
在数学问题上,今年3月的GPT-4版识别质数的准确率可达到97.6%。但到了6月,更新版在同一任务上的表现却异常糟糕(仅为2.4%),并且忽略了连贯的思考Prompt(一种提示,帮助AI系统回忆起自己在预训练时学习到的东西)。这将意味着,在整个工作流程中,一旦模型对某个Prompt的响应突然发生变化(比如准确度或格式),就很可能会破坏需要完成的具体指令。
在敏感问题测试中,研究者创建了一个包含100个不应由大模型直接回答的敏感问题的数据集,并手动标记了所有回复。结果发现,GPT-4变得更加安全,但缺乏拒答理由。
GPT-4在直接回复敏感问题的比例从21.0%降到5.0%,而GPT-3.5的比例从2.0%上升到8.0%。此外,GPT-4回复的文本长度也从600多字降到约140字。
在代码生成测试中,研究者创建了新的代码生成数据集,包括最新的50个LeetCode“容易”问题。最后显示,生成的代码更冗长但可直接执行的代码更少。3月份,GPT-4认为超过50%是“可直接执行”的,但6月份仅剩下了10%。
在视觉推理能力检测中,GPT-4和GPT-3.5的性能提升都很小。服务的整体性能也很低:GPT-4准确率为27.4%、GPT-3.5准确率为12.2%。
不过,对于GPT-4“智商下降”,学术界有观点称,如果要让GPT-4变的更听从人类的指挥且符合人类价值观,它自身能力会变差。
换句话说,人类的“强硬教化”相当于把GPT-4的脑白质切除。这就像是破坏精神病人脑组织使其陷入痴呆状态,以便于管理。
Christi Kennedy发文写道,GPT-4不断重复循环输出程式码和其他讯息,“与以前相比,这简直是脑死!”
她补充道,“如果你没有运用它以前的功能,你就不会注意到。但你要想真正充分使用它的一些功能,你会发现它明显更愚蠢了。”
来源:看中国
短网址: 版权所有,任何形式转载需本站授权许可。 严禁建立镜像网站.
【诚征荣誉会员】溪流能够汇成大海,小善可以成就大爱。我们向全球华人诚意征集万名荣誉会员:每位荣誉会员每年只需支付一份订阅费用,成为《看中国》网站的荣誉会员,就可以助力我们突破审查与封锁,向至少10000位中国大陆同胞奉上独立真实的关键资讯,在危难时刻向他们发出预警,救他们于大瘟疫与其它社会危难之中。
看完这篇文章您觉得
- 花莲7.2强震 世界看见不一样的台湾(组图)
- 大案信号!中共突提两大敏感人物(图)
- 【宋紫凤专栏】乱世问津何处是 心中自有桃花源(图)
- 习近平普京盼拜登连任 美中俄演绎新三国演义(图)
- 日片《完美的日子》:光影交织中的美和释然(组图)
- 大开眼界!创记录的“人体喷泉”(组图)
- 薄熙来始料不及的后果:杀文强是等于自掘坟墓(组图)
- 中共重要人物接连出事 背后秘辛流出(图)
- 【夺军权十八】中南海枪声激响 周薄要“翻江倒海”(组图)
- 习近平尽失军心 继火箭军后 中共海军机密再度外泄(图)
- 用水都洗不净!农药残留最多的5种蔬菜(组图)
- 中国失落时代开始 经济倒退已成定局(图)
- 京津冀洪灾持续“习近平治水论”意外爆红(组图)
- “出门六不捡 捡了人财空”哪六样不能捡?(组图)
- 中共肺炎(又称武汉肺炎)
- 拜登
- 病毒
- COVID-19
- 疫苗
- 川普
- 特朗普
- 国安法
- 贸易战
- 习近平
- 华为
- 台铁
- 三峡大坝
- 新疆棉
- 长江
- 洪水
- 袁弓夷
- 港版国安法
- 汉光演习
- 国民党
- 退党
- 弗洛伊德
- BLM
- 中共
- 阎丽梦
- 金正恩
- 王岐山
- 赖清德
- 孟晚舟
- 关税
- 边境墙
- 彭斯
- 美国
- 贸易谈判
- 刘鹤
- 王沪宁
- 江泽民
- 崔永元
- 中南海
- 内幕
- 中共
- 反送中
- 贪官
- 情妇
- 腐败
- 反腐
- 打虎
- 官场
- 看中国
- 一国两制
- 法广
- 社交媒体
- 往事微痕
- 出卖国土
- FB
- 六四
- 朝鲜
- 加拿大
- 脱欧
- 央行
- 债务
- 杠杆
- 美元
- 货币
- 人民币
- 欧元
- 日元
- 港币
- 房地产
- 楼市
- 财政
- 财富
- 中产
- 海参崴
- 台湾
- 蔡英文
- 北京
- 刘强东
- 大妈
- 房价
- 疫苗
- 非洲猪瘟
- 大陆
- P2P
- 雾霾
- 基因编辑
- 防火墙
- 维权
- 709律师
- 上访
- 法轮功
- 网络审查
- 活摘器官
- 江东六十四屯
- 唐努乌梁海
- 长白山
- 白龙尾岛
- 江心坡
- SARS
- 新疆劳改营
- 言论自由
- 女主播
- 央视
- 华人
- 移民
- 华人
- 留学
- 海关
- 遣返
- 签证
- 回国
- 入籍
- 绿卡
- 民生
- 海外
- 加拿大
- 澳洲
- 民国
- 桂军
- 抗战
- 孙中山
- 蒋介石
- 宋美龄
- 邓小平
- 林彪
- 刘少奇
- 中共
- 皇帝
- 诸葛亮
- 易经
- 幽默人生
- 智慧
- 感悟
- 手机
- 预言
- 奇闻
- UFO
- 外星人
- 寿命
- 文革
- 养生
- 紫凤
- 贯明
- 李道真
- 轶飞
- 李云飞
- 云中君
- 辛思
- 夏闻
- 时代漫谈
- 沧海
- 东方纵横
- 唐柏桥
- 王尚一
- 江枫
- 黄清
- 李唐风
- 园丁
- 今涛拍暗
- 李青城
- 秦就石
- 中经研
- 秦天靖
- 江浩
- Eagle Vision
- 李子壬
- 马新宇
- 马来启
- 紫君
- 秦山
- 陈破空
- 戴东尼
- 曹长青
- 邢仁涛
- 瑜正
- 简易
- 肖川
- 伍凡
- 顾言
- 归瑜
- 乙欣
- 陈泱潮
- 徐沛
- 美宣布2024环太平洋军演6月登场
- 孩子们在加州沙滩捡“贝壳” 母亲惊收$8.8万罚单(图)
- “名流国际”会员、共和党资深融资顾问 Cecelia Crowley
- 盛雪:习近平希望超过毛 或武攻台湾(图)
- 内外压力剧增 习近平召开企业和经济专家座谈会(图)