北京灵奥科技基于亚马逊云科技打造大模型中间件 助力企业加速应用生成式AI

发布时间:2024-06-27  

北京——2024年6月27日 北京灵奥科技基于亚马逊云科技的、和容器等云服务,打造大模型中间件,将基础模型优势和企业业务数据无缝结合,打通企业AI应用落地的最后一公里。灵奥科技现已服务全球超过30,000家用户,广泛覆盖电商、金融、法律、房地产、教育和能源等行业。

大模型中间件是基于基础模型与AI应用之间的中间层基础软件,主要解决基础模型应用过程中数据集成、应用集成、知识库(向量数据库)与基础模型融合等问题。作为一家快速成长的初创企业,灵奥科技自成立之初就加入了亚马逊云科技合作伙伴网络,推出了大模型中间件平台Vanus,提供语料的实时采集、数据清洗、过滤和嵌入。同时,作为上层应用访问基础模型与知识库的入口,提供基础模型与知识库的融合、应用部署和执行。

Vanus大模型中间件平台基于亚马逊云科技而构建,应用亚马逊云科技在计算、网络、存储、数据库和生成式AI等方面服务,实现了多个方面的好处。利用托管容器服务Amazon Elastic Kubernetes Service(Amazon EKS)的弹性扩展能力,Vanus可根据业务流量平滑伸缩,助力企业轻松应对流量洪峰,平均成本降低30%,性价比提高20%;在提高可用性和可靠性方面,利用亚马逊云科技全托管文档数据库服务Amazon DocumentDB多可用区、多副本的特性,Vanus可轻松实现数据跨区存储,实现无感灾难恢复,可用性达到99.99%;在降低延时方面,Vanus借助对象存储服务Amazon Simple Storage Service(Amazon S3)及数据库的高并发数据查询能力,结合亚马逊云科技全球网络节点加速能力,缩短基础模型上下文加载时间,将AI Agent回复系统延时降低40%;此外,Vanus借助全托管的生成式AI服务Amazon Bedrock提供的Claude系列模型,提升AI Agent的语言理解和逻辑推理能力,打造更加智能的服务体验。

目前,Vanus大模型中间件已在电商、金融、法律、房地产、教育等多个行业的业务场景中得到广泛应用。

某软件服务企业各部门沉淀了大量内部数据,但面临跨部门知识共享效率低和客服培训非常耗时的挑战。同时,客服人员基于传统搜索方式获取信息,导致响应时间较长,用户投诉率上升。Vanus基于亚马逊云科技的存储和数据库等云服务,帮助企业从文档、数据库、SaaS软件等多个数据源中实时抽取数据,构建统一的企业知识库;同时,借助Amazon Bedrock等服务,为企业客服人员构建AI 机器人,基于全域业务数据实时推理,快速提供回复建议,极大地降低了客服响应时间。现在,问题回复时间已从分钟级降至秒级,客服团队的人效提高70%,大幅降低了客服投入的成本。

南美洲某服饰类电商网站的产品高达7,000多种,每天面临大量关于产品、退换货和物流的客户咨询,不仅需要很多客服人员,也带来了较高的管理成本。尤其在客服团队非工作时间,客户问询未能得到及时回应,不仅导致客户满意度下降,更错失了许多商机。Vanus基于Amazon Bedrock等云服务为该企业构建了适合电商应用场景的客服机器人VanChat,能够提供7*24小时的即时问题回复服务,帮助该企业节省大量人力资源,提高客户满意度。此外,VanChat还提供用户意图识别和产品推荐等功能,加快用户的购买决策,推动网站销售业绩的增长。VanChat为该企业带来显著的经济效益,仅上线首月投资回报率就高达611%,同时还提供客户洞察,帮助企业更好地理解用户需求并优化营销策略。

北京灵奥科技CEO厉启鹏表示:“在生成式AI赋能方面,亚马逊云科技不仅为我们构建了底层基础设施,还提供了众多简单易用且功能强大的云服务和专家资源,加速了灵奥科技生成式AI产品的快速落地。展望未来,我们将继续深化与亚马逊云科技在和基础模型领域的合作,进一步增强处理数据的能力,帮助客户充分释放的商业潜力。”

文章来源于:21IC    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>