IT之家 11 月 3 日消息,据官方公众号消息,由与清华大学 NLP 实验室共同研发的语鲸 LingoWhale-8B 模型目前已面向社会开源,对学术研究完全开放,允许免费商用。
本文引用地址:IT之家经过查询得知,LingoWhale-8B 模型是拥有约 80 亿参数的中英双语大语言模型,在 C-Eval、MMLU、CMMLU 等多个权威的公开评测基准上,在 10B 以下开源模型据称“达到领先效果”。
不过官方同时声称,受模型参数量影响,固有的幻觉问题、数学计算能力相对较弱、生成内容有无法预见性等问题在 LingoWhale-8B 模型中仍然存在。
在性能方面,截至 10 月 24 日,在中文领域权威评测 C-Eval 中,LingoWhale-8B 模型的性能仅次于 GPT-4。在 C-Eval、CMMLU、GAOKAO 测评中,性能超过 GPT-3.5Turbo,在 10B 以下尺寸模型中性能处于领先位置。
官方给予了一些典型示例,以介绍 LingoWhale-8B 模型的特点。
官方据此表示,LingoWhale-8B 模型具有一定数学运算能力。
在以上示例中,LingoWhale-8B 模型能够根据上文正确地列式并进行运算,包括函数求导、函数值计算、切线方程计算等操作,并最终得到结果。
而在代码声称方面,官方也同时提供了一些演示:
LingoWhale-8B 具有强大的代码理解与生成能力,能够更好地生成代码并解决具体的问题。在本示例中,LingoWhale-8B 模型生成了详细的 python 代码以及注释信息,帮助用户更好地理解并使用生成的代码。
在逻辑方面,官方也同样进行了举例:
LingoWhale-8B 模型具有解决复杂逻辑推理任务的能力。在以上的例子中,LingoWhale-8B 将复杂的逻辑问题进行拆解,按步骤进行分析并解决问题。
上下文对话
样例:
在以上示例中,LingoWhale-8B 模型表现出了较强的角色扮演、方案设计、长文本理解以及多轮对话能力,能够根据用户需求制定方案并组织结构化的输出,应对更加复杂的任务场景。
知识百科
样例 1:
官方表示,在上面两个例子中,相较于 GPT-3.5,LingoWhale-8B 模型生成的结果更加准确详实。
经过在大规模高质量语料上的预训练,LingoWhale-8B 模型掌握了多个领域的知识,包括科学、历史、文学、艺术等,能够理解并回答各种知识相关问题,提供准确详细的答案。
IT之家的小伙伴们可以在官方 GitHub 页面中获取更多详细信息: