业内消息,近日由李开复博士(创新工场董事长兼CEO)亲自下场创办的零一万物(01.ai)官宣正式发布了首款研发的最强开源人工智能中英文大模型系列 Yi-6B 和 Yi-34B,数据参数量分别为 60 亿和 340 亿。
“零一万物坚定进军全球第一梯队目标,从招的第一个人,写的第一行代码,设计的第一个模型开始,就一直抱着成为世界第一的初衷和决心。” 李开复表示:“我们组成了一支有潜力对标 OpenAI/Google等一线大厂的团队,经历了近半年的厚积薄发,交出了第一张极具全球竞争力的耀眼成绩单。Yi-34B可以说不负众望,一鸣惊人。”
李开复强调,本次发布选择 6B/34B是因为这是当前对学术、开发者社区最友好的版本,34B 模型版本具备更优越的知识容量、下游任务的容纳能力和多模态能力,也达到了大模型 「涌现」的门槛。
而比起更大的 50B-70B,34B 是单卡推理可接受的模型尺寸的上限,训练成本对开发者更友好,经过量化的模型可以在一张消费级显卡(如4090)上进行高效率的推理,对开发者操作服务部署有很大的优势。
李开复称,在完成Yi-34B预训练的同时已经启动下一个千亿参数模型的训练,零一万物在持续进行千亿参数规模的模型训练并准备好了未来 18 个月所需的算力,在多模态方面已经形成了十多人的技术团队,在未来一两个月内就会有相关工作能够对外公开。
在线上发布环节,李开复博士重点介绍了 Yi 系列大模型的三处性能亮点:
- 全球最长 200K 上下文窗口,免费开源
- 超强 Al Infra 实测训练,成本下降40%
- 科学训模自研「规模化训练实验平台」
Yi-34B 目前在各个基准测试中,都获得了很好的表现,据零一万物提供的评测结果看来,Yi-34B 和 Yi-6B 均在 MMLU、BBH、C-Eval 取得了不错的成绩。