复旦MOSS距离ChatGPT还有多远?

发布时间:2023-02-23  

最近上热搜的MOSS,不是《流浪地球2》中量子计算机550W给自己起的新名字,而是复旦大学计算机科学技术学院教授邱锡鹏团队最新发布的国内第一个对话式大型语言模型,也被称作中国版ChatGPT。


2月20日,MOSS悄然上线,邱锡鹏团队发布至公开平台(https://moss.fastnlp.top/),邀公众参与内测。但是由于瞬时访问火爆,计算资源无法支撑,内测窗口已暂时关闭。

悄然上线,又匆匆关闭,MOSS这一“快闪”的举动,让它的亮相饱受争议。


科技日报记者在浏览器上输入公开平台的网址,其中对MOSS这样介绍:一种像ChatGPT的对话语言模型。MOSS能够按照用户的指示执行各种自然语言任务,包括问答、生成文本、总结文本、生成代码等。MOSS还能够挑战不正确的前提,并且拒绝不适当的请求。


那么相对于美国OpenAI的ChatGPT,中国的MOSS有何特别之处呢?记者在主页看到了这样的介绍:MOSS和ChatGPT的区别——如MOSS的参数量比ChatGPT少得多;MOSS通过与人类和其他AI模型交谈来学习,而ChatGPT是使用来自人类反馈的强化学习(RLHF)进行培训;MOSS将是开源的,以促进未来的研究,但ChatGPT可能不是这样。


据介绍,MOSS开发的基本步骤与ChatGPT一样,包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。作为MOSS主要作者之一,邱锡鹏表示:“MOSS与ChatGPT的差距主要在自然语言模型基座预训练这个阶段。MOSS的参数量比ChatGPT小一个数量级,在任务完成度和知识储备量上,还有很大提升空间。”


ChatGPT语言模型的参数量高达1750亿,而在它问世前,世界上最大的语言模型是微软开发的Turing-NLG,其参数量为170亿。自去年11月30日正式发布以来,ChatGPT上线5天,注册用户就突破百万。目前,其用户规模已达到1亿,成为互联网发展史上用户增长最快的消费级应用。


在关闭内测之后,MOSS官网发布公告称,MOSS还是一个非常不成熟的模型,距离ChatGPT还有很长的路要走。“我们是一个进行学术研究的实验室,无法做出和ChatGPT能力相近的模型。”科研团队相关负责人指出,当前版本的MOSS表现不够稳定,部分回答或存在事实差错、逻辑不顺等问题。不仅如此,MOSS的英文回答水平较中文回答水平更高,这主要受到其模型基座的单词收录量影响,MOSS学习了3000多亿个英文单词,但中文词语只学了约300亿个。


复旦大学计算机科学技术学院教授张奇是推出MOSS的复旦大学NLP实验室核心成员之一。对于ChatGPT背后模型所拥有的1750亿的参数规模,他在一次公开讨论中表示,学校这类机构很难去完成,目前百亿级的规模都已经非常困难。


按照ChatGPT目前开源的最简单复现版本、最便宜模式去计算,要做到1750亿的参数规模,需要大概6000万元的硬件成本,同时运算3.5个月。这还是所有事情都做对的情况,如中间有参数调整,或者想加速训练过程,就需要更高规模的投资。


归根到底还是研发投入的问题。而除了学术界,国内科技企业也纷纷摩拳擦掌开发自己的ChatGPT:原美团联合创始人王慧文近日明确表示,要“组队拥抱新时代,打造中国OpenAI”;百度此前宣布将在3月上线百度版ChatGPT——文心一言(英文名为ERNIE Bot);阿里达摩院正在研发类ChatGPT的对话机器人,目前已开放给公司内员工测试;科大讯飞也表示,Al学习机将成为公司类ChatGPT技术率先落地的产品……


文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>