既然边缘计算服务器在中国具备发展机遇,那么与之相关的Edge AI、边缘计算SSD又如何?在日前举办的2023 CFMS上,宜鼎国际嵌入式闪存事业部副总裁兼总经理吴锡熙针对“SSD在Edge AI趋势下的应用”做了主题演讲。他通过介绍了宜鼎国际(Innodisk)及旗下的子公司的分工,全面介绍了SSD如何在Edge AI市场落地。
宜鼎国际嵌入式闪存事业部副总裁兼总经理吴锡熙
Edge AI应用如何快速落地?
据介绍,宜鼎集团旗下子公司安提国际(Aetina)负责AI计算,维新应用(Sysinno)负责数据收集,巽晨国际(Millitronic)负责通讯,安捷科(ANTZER TECH)负责车联网,宜鼎负责存储产品、摄像头等设备。不同的分工让宜鼎国际可为客户提供,从资料采集、传输、储存到计算的全套解决方案。
下一个成长引擎是由AI驱动的。宜鼎在AI产业中偏向Edge AI市场,而非云端AI市场。最基本的AI智能计算元素是Training(训练)和Inference(推论),只有经过推论后才能在Edge上使用AI模型。限制当前AI发展的主要是算力不足,现在有很多平台可提供算力服务,包括NVIDIA GPU平台、英特尔 CPU/GPU平台、赛灵思FPGA平台、其他ASIC加速器等,但产业即将面临的挑战在于——AI是跨平台的,它的运算平台种类多样,针对深度学习模型设计的运算平台种类越来越多,但每款平台所需要的模型格式和执行环境都完全不同,所以解决方案提供商要考虑跨平台做整合。
吴锡熙展示了宜鼎的边缘AI解决方案架构图,底部的算力平台包括CPU、GPU、ASIC、FPGA,利用Edge AI软件把算力平台串联到整个架构中。AI具体该怎么样落地?其实,现在这一环节的AI落地非常简单,只需在前端部署软件和训练好的程序,就可以实现一个AI应用的落地。宜鼎在这一过程中,可为客户提供软件、硬件、模组,加快其AI落地的速度。
在这一架构中,云端的管理软体非常重要。AI、Edge AI会部署到很多地方,在部署这一动作结束之后,这些AI和Edge AI还要做管理。无论是私有云还是公有云,通过加载iCAP这类软件,可以很好的管理所部署的AI。
宜鼎芯存科技(深圳)有限公司总经理游礼印
宜鼎国际大陆分公司宜鼎芯存科技(深圳)有限公司总经理游礼印补充表示,iCAP是宜鼎针对远程管理的一套从云到端的一个整体解决方案,该软件每年都会有一次比较重大的更新,目前已经更新数个版本。通过iCAP可远程管理上千甚至上万个设备,可以看到设备的CPU、存储的状况,也能做自动化管理、远程开关、软件更新等操作,又搭配到一些在云方面的安全机制。
对AI级的数据处理而言,无论是学习还是推论,数据会在不同平台之间,或者不同系统之间做交换,iVIT可以协助这一过程中的数据交换。iVIT是与Training和Inference相关的软件,只需写一个程序就可落地AI模型,通过iVIT很容易就把AI加入资料库,然后就可以在此基础上来做训练。比如,iVIT-T(训练)可以快速识别动物、植物、汽车等物品,iVIT-I(推论)可把推论完的数据归类到前端Edge AI平台,经过了以上的环节就可看到最终的结果。
推论/训练平台有几种服务方式:AI训练平台采用付费订阅模式,很多厂商都可以使用。AI推论平台需要服务器,这个服务器需要购买,根据内置的不同SSD,适应不同的应用需求。比如,Edge AI服务器内置的SSD容量越大,其能运行的算力就越大,不同SSD方案在接上镜头后,就能适用于不同的AI应用。
宜鼎为了正在发展的平台,打造出一个市场应用。针对AI训练平台,宜鼎做了一个特别的联网的产品,这是为了给用户提供屏外管理功能——用户可利用软件连接操作系统去做远程控制。比如,当用户的前端操作系统死机时,其AI又部署在很远的地方,通过远程的SSD屏外管理,就可以远程控制Edge AI,快速还原操作外管理功能。这样应用就可落地到Edge AI,还可以降低维护费用。
除了联网的版本之外,同时也有单机版。有一些AI应用在工厂端,单机版本也有一个一键还原功能。这个产品也可用InnoAgent(智能化模组)远程管理模组与SSD结合,这个模组是在系统没有屏外管理功能时使用,通过InnoAgent再配合单机版一键还原的SSD,就可以实现类似远程控制的功能。
在应用方面,智慧城市、智能工厂等场景,均可以使用以上的解决方案。总的来说,AI从云端-地端-Edge,AI在Cloud或AI Server上做训练,到Edge AI或Edge Server做推论,它们都需要不同的算力和不同规格的SSD。宜鼎正好可以让AI不用写任何程序,就可以到达终端,帮助大家做系统整合,快速快完成对AI的部署。
哪些市场有更好的发展?
实际上,宜鼎国际并不是简单的提供存储硬件或者软件平台的公司,它在Edge AI方面可提供软件+硬件的完整解决方案。去年8月,宜鼎国际发布了“物联创新,进化AI”的战略,该战略的发布足以彰显该集团对物联网和AI的重视。在IoT和AI技术加持下,未来哪一个细分行业将迎来更好的发展机遇?
游礼印首先强调,宜鼎国际的工业级存储产品广泛用于工业、医疗、云端等行业市场,整个公司的主轴和整个产品线重心是工业存储。他紧接着透露说,其实集团在2018年就对进军AIoT市场公开了观点。整个AIoT市场尤其是AI的发展速度很快,最近落地的应用比较多,虽然前几年有受到疫情的影响,但是公司内部的方向始终未变。
由于比较擅长做存储,在AI这部分相当于,提供了一个整合性的方案。其实是从应用的角度去看整个产品的开发,宜鼎国际自成立以来,其产品线就聚焦工业存储,这是从硬件的角度出发。进入到应用的角色,就需要软件的配合。在应用端,宜鼎了解客户的使用场景,针对医疗、工厂自动化、轨道交通、安防、网安市场,早期就有开发软件协助用户去了解自己的系统状态。
“在2020年发布了iCAP软件,到今年又有了软件更新,比如iVIT就是协助整合,我们不仅在硬件上做创新,我们也开发了一套软件来帮助用户整合不同的应用,这个软件也会配合我们硬件的特色,比如带外管理方案,让用户可以远程管理的软件,这都是串联在一起的。存储和各个系统、数据紧密相连,在应用上也会考虑数据安全问题。”
如今,国内新能源汽车的发展非常蓬勃,宜鼎国际发现汽车用户有扩充卡的需求。大约在5年前,该公司开始研发一些与车规相关的应用,比如AGV小车用的CAN-Bus模块,在该产品线这几年增长得不错;另外,宜鼎国际在车规存储部分也有配合,并推出了一个比工业等级更高规的超高温解决方案,其工作范围大于-40℃到85℃。
最后,游礼印还针对一些细分领域做了简要展望。他指出,在医疗领域也会有非常多的相关应用,如何利用AI技术把场景定义出来;针对智慧城市,如何协助预防犯罪,或者做交通流量调控,交通状况预判等;服务器领域和通信领域未来的发展也应该非常好,这部分会有很大的机会;新能源汽车充电桩的需求将急剧增加,充电桩、停车场管理系统、智能设备侦测等都会面临较好的机遇。