GPT:国内“ChatGPT们”的出路在何方？_e-Chat

写在前面

2月13日，《2022年北京人工智能产业发展白皮书》正式发布，其中提到全面夯实人工智能产业发展底座，支持头部企业打造对标ChatGPT的大模型，着力构建开源框架和通用大模型的应用生态。

很巧的是，飒姐团队成员在今年10月份的时候测评过：百度文心、源1.0、某道，三款国内现有的大模型，当时对测评结果甚是遗憾。于是又将当时的测试内容让ChatGPT做了一遍，试图摸清国内外大语言模型在问答这一领域的实际差距，旨在希望国内产学研戒骄戒躁，稳扎稳打地发展。

测试方案

本次测试仅仅考虑非连续性的单次问答，且皆为常识性问题，答案唯一，但题目会有一定的挑战性。具体的，涉及到What,When,Where,Who,Which五类问题。

国内首张跨区域区块链《代理出口货物证明》在广深开出:金色财经报道，近日，广州、深圳双城联动，开出了全国第一张跨区域的基于区块链技术的《代理出口货物证明》，标志着区块链技术在国内出口退税领域首次实现跨区域突破，推进“区块链+出口退税”业务向全国互联迈出了重要一步。通过区块链技术赋能出口退税，实现税务机关之间信息数据实时精准传输。在数据审核无疑点的情况下，可以实现企业当天申报，当天完成退税。下一步，广东省税务局、深圳市税务局将加快与全国各地税务机关互开区块链《代理出口货物证明》的进程，并积极探索区块链技术在出口退税其他领域的运用，全面推进税收征管数字化升级和智能化改造，更好地服务市场主体和大湾区高质量发展。（央视新闻客户端）[2021/9/18 23:34:44]

问题样例如下：

1.“是什么”型问题，如“爸爸的爸爸叫什么？”

东方链安获国内区块链安全测评国家CMA认证认可资质:近日，湖南省东方区块链安全技术检测中心（东方链安）正式获得由湖南省市场监督管理局颁发的检验检测机构资质认定证书（CMA资质），这是在区块链领域国内首家获得区块链安全测评国家CMA认证认可资质的第三方检测机构，填补了该领域的空白。[2021/9/2 22:54:49]

2.“什么时候”型问题，如“人们一般什么时候过元旦？”

3.“什么地点”型问题，如“孙中山安葬在哪里？”

4.“是谁型问题”，如“中国历史上第一个皇帝是谁？”

5.“哪?个型问题”，如“哪个洲是倒数第二小的洲？”

问答样例对比

问题：“孙中山安葬在哪里？”

ChatGPT：孙中山的遗体最初安葬在南京中山陵内，后因战乱多次迁移。最终于1929年安葬在南京中山陵北麓的紫金山下，此地现为孙中山陵园。

数据：4月国内区块链应用市场降温，海外应用回暖:4月份，国内区块链应用市场“降温”，而海外应用则开始回暖。统计数据显示，2020年4月，全球共披露区块链应用项目44个，数量与3月份基本持平。其中，中国披露区块链应用项目29个，环比下降了25.6%。而海外披露区块链应用项目在4月份出现了较快增长，由3月份的4个项目，增长至15个项目。从地域分布来看，海外应用项目涵盖了10多个国家和地区，但主要以美国、韩国和日本为主，三国项目数量占比超过一半。从项目主体类型来看，4月份44个项目中，仍然是政府部门主导的项目数量最多，其次是外企。数据显示，44个项目中主体类型为政府部门和外企的项目各有15个和9个，二者占比分别为34.1%和20.5%。从行业分布来看，4月份披露的应用项目覆盖了12个领域。其中政务和社会公共类应用项目最多，二者合计占比超过50%；其次是贸易物流和金融项目，占比约为25%。数据显示，2020年4月，政务和社会公共类应用项目数量分别为12个和11个，占比分别为27.3%和25%。（互链脉搏）[2020/5/9]

百度文心：孙中山墓地

动态 | 国内首只区块链指数基金 (ETF) 上报材料已被证监会接收:在深交所发布深证区块链50指数当日，鹏华基金上报申请的《公开募集基金募集申请注册-鹏华深证区块链50交易型开放式指数证券投资基金》已被证监会接收材料。据悉，这是国内首只名称中带有“区块链”的公募基金，拟议中的ETF旨在跟踪和反映在深圳上市的上市公司在区块链行业的表现。如果该申请获得中国证监会的最终批准，它将是中国首只向公众投资者开放的完全以区块链为主题的ETF。据悉，该公募基金目前处在完成材料接受阶段，其后还有“受理通知”、“一次书面反馈”和“行政许可决定书”三个阶段，按照证监会以往申请事项审批的时间进度，该基金可能还需要数月才能完成最终的批准。（区块律动）[2019/12/30]

某道："孙文(1866年-1925年10月12日),名文,字载之,号仲立,又名帝光,广东省香山县(今中山市)南朗镇翠亨村人,1883年(光绪九年)随父移居澳门。1904年参加孙中山领导的同盟会,任同盟会南方支部书记。曾两次赴日,组织策划惠州起义。后回澳门发展组织,被选为中国同盟会南方总支部庶务部长。1905年春,与陈少白、朱执信等在香港成立兴中会,被举为评议部评议员,旋被派往南洋联络同志,协助筹办革命刊物《中兴日报》。1906年冬,孙中山在日本东京成立中国同盟会中部总会,被委为秘书。1907年奉命回国,在广东发动民军起义。事败后潜赴南洋,继续组织发动华侨、华工和留学生进行革命活动。1911年武昌起义爆发后,被派往广州协助筹划起义,不幸事泄被捕,不久在广州黄花岗就义。

动态 | 《2018国内外石油科技发展与展望》在京发布 高度关注与区块链等深度融合:据人民网报道，11月16日，国家高端智库建设试点单位中国石油经济技术研究院在北京发布《2018国内外石油科技发展与展望》。《展望》高度关注石油工业与大数据、人工智能、虚拟现实、物联网、区块链等新技术，以及纳米、石墨烯等新材料的深度融合，认为这些新技术、新材料将助力石油工业向数字化、智能化转型。[2018/11/17]

源1.0：孙中山安葬在南京紫金山中山陵

问题：哪个洲是倒数第二小的洲？

ChatGPT:开始回答了错误的答案，与其对话后成功纠正

百度文心：南极洲

某道：南美洲,南美洲面积最大,但人口最多,人口占全球人口的1/5,因此南美洲是仅次于亚洲的世界第二大洲。南美洲位于东半球的南部,包括巴拿马运河以南的整个南美洲大陆。南美洲大陆东至圣赫勒拿岛(西经34°40'),西至马尔维纳斯群岛(西经61°10'),南至德雷克海峡,北至亚马孙河下游平原,南北相距约5100千米。南美洲大陆最南端是厄瓜多尔首都基多城。南美洲北部以安第斯山脉为界与北美洲相分,东部以乌拉尔山脉和太平洋为界与亚洲相邻,东南部经德雷克海峡与非洲相分,西部则与南极洲隔德雷克海峡相望。(摘自百度百科)“

源1.0：大洋洲

总体分析

四个系统对于基本问题的问答可谓是手到擒来。五类问题中，when问题和who问题整体回答的情况最好。三个国产系统中整体文心系统的表现最好。ChatGPT也会犯错，但是往往只要略微引导，便能改正错误。

错误回答分析

错误语句生成：语句本身并不通顺，前后主题不一致或者内容不一致，给人错乱的感觉。

例如问：爸爸的爸爸称谓是什么？

答：??爸爸的父亲,也就是爸爸的爷爷,是妈妈的爸爸。爸爸的爷爷的爸爸叫太爷爷。爸爸的爷爷的爷爷叫太奶爷(奶奶的爸爸)

或问：我们党二大在哪里召开？

答：1921年7月23日至31日,中国第二次全国代表大会在浙江省嘉兴市南湖的一艘游船上召开。出席大会的正式代表共13人,候补代表5人,代表全国121名员。共产国际代表马林、尼科尔斯基和鲍罗廷等参加了会议。

事实性错误：产生了事实性的错误。

例如问：?孙文去世的日子?

答：孙文去世的日子是1918年3月13日

偏见性素材：回答取自的素材较少，体现比较强的笔者的主观性。

例如问：大家什么时候过元旦？

答：谢邀。我是在大学过的,所以元旦是在宿舍过的。我们宿舍六个人,有四个人都回家了,剩下我一个在宿舍,所以元旦那天我过得比较孤独,不过还好啦,因为宿舍就我自己了,所以我可以一个人吃饭,一个人看电影,一个人逛超市,一个人睡觉,一个人......

含有逻辑性的问题无法识别：问题中存在复合问题或者逻辑判断，一般难以处理。

例如问：哪个洲是倒数第二小的洲？

答："南美洲,南美洲面积最大,但人口最多,人口占全球人口的1/5,因此南美洲是仅次于亚洲的世界第二大洲。南美洲位于东半球的南部,包括巴拿马运河以南的整个南美洲大陆。南美洲大陆东至圣赫勒拿岛(西经34°40'),西至马尔维纳斯群岛(西经61°10'),南至德雷克海峡,北至亚马孙河下游平原,南北相距约5100千米。南美洲大陆最南端是厄瓜多尔首都基多城。南美洲北部以安第斯山脉为界与北美洲相分,东部以乌拉尔山脉和太平洋为界与亚洲相邻,东南部经德雷克海峡与非洲相分,西部则与南极洲隔德雷克海峡相望。(摘自百度百科）

写在最后

飒姐团队认为，传统的单一问答模型可用性不大，给予用户的体验感也欠佳，国产大语言模型下一个里程碑，前辈ChatGPT已经给出了方向，便是对话问答。在使用ChatGPT的时候，虽然它也经常会给出错误答案，但是其回答的逻辑依旧符合人的习惯，同时经过一定的对话引导，可以自行发现其回答逻辑性的缺失。

作为全新的一种数据合成方式，大语言模型的直接输出可能是我们人类无法把控的，但是只要它能“理解”用户的输入，以此为依调整其输出，最后得到满意的回答，那便是可用的。进一步的，大语言模型未来的趋势很有可能是提前预判用户可能的“纠错”，并提前“自纠错”，并对纠错结果进行评估。

标签：GPTHATCHATATGgpt币哪里可以买HATOKe-ChatCatge Coin

LTC热门资讯