英特尔BigDL,助力大数据AI从笔记本到云实现无缝扩展

发布时间:2022-09-27  

作为快速增长的计算工作负载,人工智能(AI)也是英特尔认为将对世界产生变革性影响的超级技术力量之一。然而,数据显示,有超过一半的AI和数据科学项目无法真正部署到现实应用中,均以失败告终。海量数据、无法完全兼容的设备加之各异的数据环境,无疑为AI的应用和落地设置了重重关卡。

基于此,秉承推动AI无处不在的美好愿景,英特尔全面打造基于大数据AI开源项目BigDL,旨在助力从笔记本到云,无缝扩展大数据 AI。日前,英特尔院士、英特尔大数据技术全球首席技术官戴金权应邀出席 China Apache Hadoop Meetup 2022,并在会上深入解析英特尔如何从如下三个领域着手,创新BigDL,助力开源发展。

打造高可扩展性

对数据科学家和开发者而言,高可扩展性不仅意味着如何能高效、快速地构建出端到端的分布式数据和AI的流水线,也同样需要注重基础架构部署。与理论不同,实践中的科学家们更关注如何将AI技术应用部署到实际场景,其中包括建模、训练、推理和对模型的优化等全流程,这意味着需要考虑端到端的流水线。基于此,英特尔在底层就开始进行数据切分、模型复制、参数同步等工作,让数据科学家们能够有统一的体验,同时,英特尔亦将大规模分布式的工作透明化、抽象化,让数据科学家们能够高效开发AI流水线。而对于基础架构,英特尔亦通过类似BigDL的项目,为用户提供统一的大数据AI集群/基础架构。在同一个集群、流水线、工作程序当中,对这些大数据系统进行数据访问、分布式处理,在同一个流水线里以内存计算的形式进行大规模分布式数据分割,再由这些深度学习、机器学习的系统对其进一步分析。

提升每个节点的性能效率

每当提及AI性能时,大多数人的第一反应是GPU或AI芯片,然而软件优化能够带来的AI性能提升却极易被忽视。英特尔通过软件层面优化,如TensorFlow、PyTorch、MXNet等,可以带来几十倍、上百倍的性能提升,能够更加高效地集成这些软件。因此,可以认为构建一个免费的AI软件加速器,在笔记本、CPU集群上都能够带来性能上的极大提升。而且,现如今有大量的现代化CPU加速技术,如内存分配、指令集等,将这些技术整合在AI流水线中,也能够大大提升AI性能。值得注意的是,英特尔不仅通过软件大幅提升每个节点性能,亦能实现集成过程的透明性,使数据科学家的实操更加便捷。

构建安全可靠的数据处理环境

将AI应用从笔记本扩展到诸如云环境中时,安全也是数据科学家非常关注的另一大问题。对当下大部分应用场景而言,隐私保护机器学习与大数据分析是运行在云中非常重要的需求。这个安全保障不仅囊括了如同态加密、远程验证等软件方面的安全保障,也需要类似可信执行环境等硬件安全保障,如英特尔® SGX技术具备持续增强的安全能力,可在内存等硬件中构建一个安全“飞地”,帮助保护代码和数据,防止数据在处理期间遭受恶意软件攻击和权限提升型攻击。因此,基于英特尔® SGX技术打造的BigDL PPML,能够让用户即使没有处于极度信任的公有或私有云中也仍然可以进行非常安全的数据分析和AI应用。

得益于高扩展性、性能提升和安全可靠的特性,BigDL能够通过端到端大数据人工智能管道,降低AI的准入门槛,不仅能够让数据科学家、工程师等更便捷、简易地构建大规模分布式人工智能解决方案,从而加速AI应用和部署,亦有助于挖掘更多AI潜力,为各行业发展注入新动能。

文章来源于:ECCN    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

相关文章

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>