GPT:半年多过去了 ChatGPT的排名快“垫底”了_gpt币怎么样

作者：三言科技

今天，笔者无意中刷到一张图片。

据该图片显示，OpenAI的GPT-4在11个大模型中（第一名序号为0），已经排到了最后。还有网友配上了“GPT4：我的冤屈怎么诉？”的字样。

这不禁让人好奇，今年年初，ChatGPT爆火以后，其他公司才开始提大模型的概念。

这才半年多，GPT就已经“垫底”了？

于是，笔者想看看GPT排名到底咋样了。

从前文中图片上显示的信息来看，这个排名是出自C-Eval榜单。

C-Eval榜单，全称C-Eval全球大模型综合性考试测试榜，是由清华大学、上海交通大学和爱丁堡大学合作构建的中文语言模型综合性考试评估套件。

据悉，该套件覆盖人文、社科、理工、其他专业四个大方向，包括52个学科，涵盖微积分、线性代数等多个知识领域。共有13948道中文知识和推理型题目，难度分为中学、本科、研究生、职业等四个考试级别。

于是笔者查看了最新的C-Eval榜单。

C-Eval榜单的最新排名与前文中图片所显示的排名相符，排名前十一的大模型中，GPT-4排最后。

Circle将于2023年上半年将Euro Coin引入Solana:金色财经报道，支付公司Circle正在将Euro Coin引入Solana链，并在2023年上半年将其跨链协议扩展到Solana。Circle在6月推出Euro Coin，作为其稳定币USDC的欧洲版本，它目前在以太坊区块链上运行。

Circle在一份声明中说，当欧元币在Solana上线时，FTX将增加对它的支持。Circle表示，其他去中心化金融协议也表示有兴趣在稳定币推出时支持。（the block）[2022/11/6 12:23:14]

据C-Eval榜单介绍，这些结果代表zero-shot（零样本学习）或者few-shot（少样本学习）测试，但few-shot不一定比zero-shot效果好。

C-Eval表示，在其测试中发现许多经过指令微调之后的模型在zero-shot下更好。其测试的很多模型同时有zero-shot和few-shot的结果，排行榜中显示了总平均分更好的那个设置。

C-Eval榜单还注明了，大模型名字中带“*”的，表示该模型结果由C-Eval团队测试得到，而其他结果是通过用户提交获得。

以太坊基金会2021年下半年累计向生态组织资助1382万美元:2月20日消息，以太坊基金会在官方博客公布了2021年下半年的资助项目详情，其中第三季度向DAO Drops、Zero MEV等项目累计资助299万美元，第四季度向L2BEAT、EthStaker等项目累计资助1083万美元，两个季度合计资助1382万美元。[2022/2/21 10:04:36]

此外，笔者还注意到，这些大模型提交测试结果的时间有很大差别。

GPT-4的测试结果提交时间是5月15日，而位居榜首的云天书，提交时间为8月31日；排第二的Galaxy提交时间为8月23日；排第三的YaYi提交时间为9月4日。

并且，排名前16的这些大模型，只有GPT-4的名字加了“*”，是由C-Eval团队测试的。

于是笔者又查看了完整的C-Eval榜单。

最新的C-Eval榜单一共收录了66个大模型的排名。

其中，名字带“*”，也就是由C-Eval团队测试的，只有11个，且提交测试的时间均为5月15日。

这些由C-Eval团队测试的大模型，OpenAI的GPT-4排第十一，ChatGPT排第三十六，而清华智谱AI的ChatGLM-6B排在第六十，复旦的MOSS排在了第六十四。

Bibox Marco：BTC下半年可能处于横盘慢牛 多次洗盘后才会起飞:5月20日，Bibox兔子小姐直播间&大咖来了第八期 量化专场AMA中，Bibox二级业务负责人Marco表示：

BTC减半后，矿工电费套现和传统机构出入场两个因素产生重大变化：

由于出产减半、淘汰低算力矿机，矿工需要出售更多BTC才能维持矿场，这导致抛压一直居高不下，价格自然难以翻倍。

传统机构类似白衣骑士。5月以来几波砸盘，触底后横盘时间极短。这是散户资金无法做到的，事实上，5月以来的真实成交额确实大比例来源于美国Coinbase的大额美元买单。

二者的博弈导致2020年下半年都可能处于横盘慢牛，等市场认可9000-10000为价格常态，BTC才会起飞。

此外，各大矿机厂商也在参与BTC定价，减半前矿机关机价是3000+，减半后矿机关机价是7800-8400，请大家留意这两个价格。[2020/5/21]

虽然这些排名可以看出国内的大模型发展势头的迅猛，但笔者认为，毕竟不是同一团队在同一时间进行的测试，不足以完全证明这些大模型谁强谁弱。

这就好比，一个班的学生，每个人的考试时间不同，答的试卷也都不一样，怎么能靠每个学生的分数比高低呢？

最近，大模型的圈子相当热闹。

又是百度、字节等8家公司大模型产品通过了《生成式人工智能服务管理暂行办法》备案，可正式上线面向公众提供服务。又是其他公司相继发布自家大模型产品。

声音 | 分析师：以太坊在过去7天的平均交易量是2019年下半年的四倍:自2月1日起，以太坊价格从185美元升至280美元，涨超50%。加密货币分析师兼经济学家Alex Krüger表示，以太坊在过去7天的平均交易量是2019年下半年平均交易量的四倍。2020年，如果比特币价格维持其势头并在中短期测试更高的阻力位，则交易员预计以太坊将成为市场上表现最好的资产之一。此外，技术分析师普遍认为，只要BTC不破10,000美元等关键支撑位，预计山寨币市场将表现强劲。（cryptoslate）[2020/2/19]

那这些大模型的开发者又都是怎么介绍自家产品的呢？

7月7日，在2023世界人工智能大会“大模型时代的通用人工智能产业发展机遇以及风险”论坛上，复旦大学计算机科学技术学院教授、MOSS系统负责人邱锡鹏表示，复旦对话式大型语言模型MOSS在今年2月发布后，还在连续不停地迭代，“最新的MOSS已经能够在中文能力上超过ChatGPT。”

7月底，网易有道上线翻译大模型，网易有道CEO周枫公开表示，在内部的测试中，在中英互译的方向上，已经超越ChatGPT的翻译能力，也超过了谷歌翻译的水准。

8月下旬，在2023年亚布力论坛夏季高峰会上，科大讯飞创始人、董事长刘庆峰发表演讲时称，“讯飞星火大模型的代码生成和补齐能力已经超过了ChatGPT，其他各项能力正在快速追赶。当前代码能力的逻辑、算法、方法体系、数据准备已就绪，所需要的就是时间和算力。”

声音 | Fundstrat分析师：应在下半年下一次牛市来临之前继续积累比特币:据Cointelegraph消息，Fundstrat分析师Robert Sluymer在5月2日给客户的报告中表示，虽然比特币目前的强势标志着长期牛市趋势的开始，但其积累阶段尚未结束，比特币价格可能很快回落。Sluymer预计下半年比特币将突破6000美元的阻力位，投资者应利用即将出现的回调，在第二季度继续积累比特币。[2019/5/3]

商汤近期的新闻稿中称，今年8月，新模型internlm-123b完成训练，参数量提升至1230亿。在全球51个知名评测集共计30万道问题集合上，测试成绩整体排名全球第二，超过gpt-3.5-turbo以及meta公司新发布的llama2-70b等模型。

据商汤介绍，internlm-123在主要评测中，有12项成绩排名第一。其中，在评测集综合考试中的agieval分数为57.8，超越gpt-4位列第一；知识问答commonsenseqa的评测分数为88.5，排名第一；internlm-123b在阅读理解的五项评测中成绩全部居榜首。

此外，在推理的五项评测中成绩排名第一。

本月初，作业帮正式发布自研银河大模型。

作业帮表示，银河大模型在C－Eval、CMMLU两大权威大语言模型评测基准的成绩。数据显示，作业帮银河大模型以平均分73．7分位居C－Eval榜首；同时在CMMLU榜单Five－shot和Zero－shot测评中分别以平均分74．03分及73．85分位列第一，成为首个同时在上述两大权威榜单平均分排名第一的教育大模型。

昨天，百川智能宣布正式开源微调后的Baichuan 2-7B、Baichuan 2-13B、Baichuan 2-13B-Chat与其4bit量化版本。

百川智能创始人、CEO王小川称，经过微调之后的Chat模型，在中文领域，在Q&A问答环境，或者摘要环境里面，评价它的实际性能已经超过ChatGPT-3.5这样的闭源模型。

今天，在2023腾讯全球数字生态大会上，腾讯正式发布混元大模型。腾讯集团副总裁蒋杰称，腾讯混元大模型中文能力已经超过GPT-3.5。

除了这些开发者的自我介绍，也有一些媒体和团队对一种大模型进行评比。

8月上旬，清华大学新闻与传播学院教授、博士生导师沈阳所在团队发布了《大语言模型综合性能评估报告》。报告显示，百度文心一言在三大维度20项指标中综合评分国内领先，较优于ChatGPT，其中中文语义理解排名靠前，部分中文能力较优于GPT-4。

8月中旬，有媒体报道称，8月11日，小米大模型MiLM-6B现身C-Eval、CMMLU大模型评测榜单。截至当前，MiLM-6B在C-Eval总榜单排名第10、同参数量级排名第1，在CMMLU中文向大模型排名第1。

8月12日，天津大学发布《大模型评测报告》。报告显示，GPT-4和百度文心一言相较于其他模型综合性能显著领先，两者得分相差不大，处于同一水平。文心一言已经在大部分中文任务中实现了对ChatGPT的超越，并逐步缩小与GPT-4的差距。

8月下旬，有媒体报道称，快手自研的大语言模型“快意”（KwaiYii）已开启内测。在最新的CMMLU中文向排名中，快意的13B版本KwaiYii-13B同时位列five-shot和zero-shot下的第一名，在人文学科、中国特定主题等方面较强，平均分超61分。

通过上述内容可以看出，这些大模型虽然纷纷号称自己在某排名中居首，或者是在某某方面超越ChatGPT，但大多是在一些具体的领域表现优异。

另外，有一些综合评分超过了GPT-3.5或GPT-4，但GPT的测试是停留在5月的，谁能保证这近3个月的时间里，GPT没有进步呢？

根据瑞银集团2月的一份报告显示，在ChatGPT推出仅两个月后，它在2023年1月末的月活用户已经突破了1亿，成为史上用户增长速度最快的消费级应用程序。

但ChatGPT的发展也不是那么顺利。

今年7月，有不少GPT-4用户吐槽，与之前的推理能力相比，GPT-4的性能有所下降。

有些用户在推特以及OpenAI在线开发者论坛上指出了问题，集中于逻辑变弱、更多错误回答、无法跟踪提供的信息、难以遵循指令、忘记在基本软件代码中添加括号，只能记得最近的提示等等。

8月，又有一份报告称，OpenAi可能处于潜在的财务危机中，可能于2024年底破产。

报告中表示，OpenAI仅运行其人工智能服务ChatGPT每天就要花费约70万美元。目前，该公司正试图通过GPT-3.5和GPT-4实现盈利，但是还尚未产生足够的收入实现收支平衡。

不过，OpenAI或许也有新的转机。

日前，OpenAI宣布，将于11月举办首届开发者大会。

虽然OpenAI表示不会发布GPT-5，但OpenAI称将有来自世界各地的数百名开发人员与OpenAI团队一起，提前一览“新的工具”，并且交流想法。

这可能意味着，ChatGPT已经取得了新的进步。

另据澎湃新闻报道，8月30日，一位知情人士透露，通过销售AI软件和驱动其运行的计算能力，OpenAI预计将在未来12个月内实现超过10亿美元的收入。

今天，又有媒体报道称，本月晚些时候摩根士丹利将推出一款和OpenAI共同研发的生成式人工智能聊天机器人。

和摩根士丹利的银行家打交道的人，非富即贵。如果这款即将推出的生成式人工智能聊天机器人能给摩根士丹的客户带来不同的体验，对OpenAI来说，也许会是一个巨大的收获。

人工智能时代的到来，已经势不可挡。至于到底谁更胜一筹，不能光靠自己说，还得让用户来打分。我们也相信国内大模型一定会、一定能在各具体能力、综合能力上赶超ChatGPT。

元宇宙之心

企业专栏

阅读更多

白话区块链

神译局

Gryphsis Academy

CertiK中文社区

新浪科技

金色早8点

Web3小律

MarsBit

ForesightNews

吴说区块链

标签：GPTVALLYNOPENgpt币怎么样VALKElyNetOpenStream World

火必热门资讯