OpenAI 于 2023 年 3 月 14 日发布最新版本多模态大模型 GPT-4 及其 API;在中国市场,模型的通用性和泛化能力吸引了各大厂商布局,市场上的大模型/生成式AI产品纷至沓来。2024年5月,全球代表性AI技术供应商如OpenAI发布了更新的大模型GPT-4o,在文本、图像、音频和视频等多模态融合尝试方面展现出强大的能力,能够以这三者的任意组合进行输入和输出,Google也发布了大模型Gemini的最新功能、文生图模型Imagen3、对标Sora的文生视频模型Veo等。IDC观察到,在中国市场,从2024年第二季度开始,越来越多的AI技术供应商开始更新升级基础大模型及相关产品,新一轮的“百模大战”一触即发。
本文引用地址:实测方法
本次实测面向市场上主流的大模型技术供应商,产品必须是已经开放使用,并按照国家互联网信息办公室要求已经完成备案。测试的媒介主要是基于基础大模型的网页版的产品,IDC对参与厂商的产品表现分别进行测评。基础能力问题涉及问答理解类、推理类、创作表达类、数学类、代码类等;应用问题主要包含toC通用场景类和toB特定行业类,每一类单独计分。
基础大模型产品实测结果评述
为对比国内外大模型的产品差异以及推动大模型/生成式AI相关产品的发展和应用,IDC成立产品测试团队,通过多个维度(如生成质量、使用与性能、安全与合规等)对基础大模型及相关产品进行评测,并邀请外部专家团队深入分析各个产品答案准确性、合理性等,并在审核委员会的监督下,最终得出各厂商的评估结果,供用户选型参考。
综合最终的得分情况,基础大模型产品能力处于第一梯队的有(梯队产品表现在同一均线,以下按照技术供应商首字母顺序排列):阿里通义千问/通义万相等通义系列生成式AI产品、百度文心一言/文心一格、科大讯飞讯飞星火 3.5 Max、OpenAI GPT4、商汤日日新SenseNova 5.0。
在所有的题目类型中,目前如问答理解、toC通用场景类得分率较高,数学类、推理类、代码类问题、行业应用类的准确率较低,需进一步优化。详细的测评结果展示如下:
IDC中国大模型产品测试团队表示,2024年产业界更加关注大模型和生成式AI的落地,生成式AI的进一步发展需要多种模态的大模型作为引擎。更为接近人类的思维方式,是未来大语言模型竞争的关键,技术供应商还需持续优化大模型在数学、推理、代码等问题以及在行业应用中的生成质量,提高生成的速度并降低大模型使用的成本,加快大模型技术的应用与普及。
免责声明
本文中的内容和数据均来源于IDC所发布的报告,所有内容及数据均为我公司所有。未经IDC书面许可,任何机构和个人不得以任何形式翻版、复制、刊登、发表或引用。