ECO:两大可商用开源大模型同时发布！性能不输 LLaMA，羊驼家族名字都不够用了_LOCK

来源：量子位

从Meta的LLaMA发展出的羊驼家族一系列大模型，已成为开源AI重要力量。

但LLamA开源了又没全开，只能用于研究用途，还得填申请表格等，也一直被业界诟病。

好消息是，两大对标LLaMA的完全开源项目同时有了新进展。

可商用开源大模型来了，还一下来了俩：

MosaicML推出MPT系列模型，其中70亿参数版在性能测试中与LLaMA打个平手。

Together的RedPajama系列模型，30亿参数版在RTX2070游戏显卡上就能跑。

Mable Jiang：闪电贷和多货币稳定币是DeFi两大被低估的领域:Multicoin Capital执行董事Mable Jiang发推表示，通过一些观察，其认为，闪电贷和基于多货币的稳定币是DeFi两大被低估的领域，有可能会迎来发展，比如2021年可能会在这个领域爆发出很多创业想法。[2021/1/26 13:33:20]

对于这些进展，特斯拉前AI主管AndrejKarpathy认为，开源大模型生态有了寒武纪大爆发的早期迹象。

MPT，与LLaMA五五开

MPT系列模型，全称MosaicMLPretrainedTransformer，基础版本为70亿参数。

MPT在大量数据上训练，与LLaMA相当，高于StableLM，Pythia等其他开源模型。

动态 | 两大航运集团加入马士基区块链平台以提高效率:据路透社消息，全球最大的两家航运集团地中海航运公司(MSC)和CMA CGM公司将加入马士基(Maersk)领导的区块链平台，旨在提高效率，限制全球集装箱航运的庞大纸面记录。随着这两家航运集团加入该平台，近一半的海运货物(占全球贸易货物的90%)将使用该平台进行跟踪。[2019/5/28]

支持84ktokens超长输入，并用FlashAttention和FasterTransformer方法针对训练和推理速度做过优化。

在各类性能评估中，与原版LLaMA不相上下。

除了MPT-7BBase基础模型外还有三个变体。

MPT-7B-Instruct，用于遵循简短指令。

动态 | TRON与韩国两大协会签署谅解备忘录:据Asiacryptotoday报道，TRON基金会与韩国两大区块链和游戏协会签署了谅解备忘录（MoU），分别为韩国移动游戏协会（KMGA）和韩国区块链内容协会（KBCCA）。[2019/2/14]

MPT-7B-Chat，用于多轮聊天对话。

MPT-7B-StoryWriter-65k+，用于阅读和编写故事，支持65ktokens的超长上下文，用小说数据集微调。

MosaicML由前英特尔AI芯片项目Nervana负责人NaveenRao创办。

该公司致力于降低训练神经网络的成本，推出的文本和图像生成推理服务成本只有OpenAI的1/15。

两大平台比特币跌下6700美元:目前火币pro平台比特币价格为6695.91美元，跌幅为0.24%。币安平台目前比特币价格为6698.83元，跌幅为1.03%。[2018/6/22]

RedPajama，2070就能跑

RedPajama系列模型，在5TB的同名开源数据上训练而来。

除70亿参数基础模型外，还有一个30亿参数版本，可以在5年前发售的RTX2070游戏显卡上运行。

目前70亿版本完成了80%的训练，效果已经超过了同规模的Pythia等开源模型，略逊于LLamA。

预计在完成1Ttokens的训练后还能继续改进。

背后公司Together，由苹果前高管VipulVedPrakash，斯坦福大模型研究中心主任PercyLiang，苏黎世联邦理工大学助理教授张策等人联合创办。

开源模型发布后，他们的近期目标是继续扩展开源RedPajama数据集到两倍规模。

OneMoreThing

来自南美洲的无峰驼类动物一共4种，已被各家大模型用完了。

Meta发布LLaMA之后，斯坦福用了Alpaca，伯克利等单位用了Alpaca，JosephCheung等开发者团队用了Guanaco。

以至于后来者已经卷到了其他相近动物，比如IBM的单峰骆驼Dromedary，Databricks的Dolly来自克隆羊多莉。

国人研究团队也热衷于用古代传说中的神兽，如UCSD联合中山大学等推出的白泽。

港中文等推出的凤凰……

最绝的是哈工大基于中文医学知识的LLaMA微调模型，命名为华驼。

参考链接：

https://www.mosaicml.com/blog/mpt-7b

https://www.together.xyz/blog/redpajama-models-v1

https://twitter.com/karpathy/status/1654892810590650376?s=20

标签：ECOTORLOCKTORAPolygon Ecosystem IndexHistoriaEcology BlockchainTorah Network

以太坊热门资讯