脑科学融合端到端,自动驾驶迎来Next Level?

发布时间:2024-07-23  

2024年了,放到当下的自动驾驶市场环境,Nullmax纽劢科技这家公司仍显得有些另类。


其一,当前市场上自动驾驶的解决方案众多,但Nullmax纽劢科技是少数从最上游的感知、规划、控制做全栈自研的技术公司,并不依靠第三方解决方案和中间件。


其二:Nullmax纽劢科技在2019年发布L3级自动驾驶方案 Max1.0后,才在四年后的今天罕见对外发声,并在一众友商相继喊出要从规则驱动转向数据驱动时,Nullmax纽劢科技在7月16日召开的技术发布会上,提出了新的范式:智能驱动。


二者有何区别呢?


纽劢科技CEO徐雷表示,智能驱动指的是将脑科学与自动驾驶相结合,摸索端到端演进的下一个Next Level。


在上海,Nullmax纽劢科技推出了最新技术方案:Nullmax Intelligence (以下简称NI),基于端到端的架构,采用了多模态大模型和安全类脑。

图片

将脑科学与自动驾驶结合,并将之融入到端到端的智驾方案中,Nullmax纽劢科技绝对是第一家。


对于脑科学,普通大众当下最熟知的莫过于马斯克创立的脑机接口公司Neuralink,而同时马斯克打造的FSD正在冲刺完全自动驾驶和在中国落地,虽然马斯克并未表示过,两项业务未来有交叉的可能,但同样曾在特斯拉工作过的徐雷是与马斯克踏入了同一条河流吗?


01.

不只是端到端,要有多模态大模型


徐雷曾多次向智驾网表示,纯视觉是自动驾驶的未来,他与马斯克一样是视觉感知路线的拥趸。


不过在这一次发布的NI模型展现的多模态能力中,输入的信息不仅仅包括视觉信息,还有声音、文本、手势等。

图片

在输出端,通过多模态的端到端模型进行任务的推理,并构建了基于类脑神经网络的安全类脑,由系统整体输出可视化结果、场景描述和驾驶行为。

图片

为何会输出这么多可视化结果,徐雷向智驾网解释原因:要让端到端模型具备可解释性,让其不再是一个“黑箱”。


目前,基于深度学习的端到端架构“黑盒”问题一直未被揭开,但像英国自动驾驶企业Wayve,国内自动驾驶企业毫末智行等,试图引入LLM大语言模型和VLM视觉语言模型来解决这一问题。

图片

那什么是安全类脑?


所谓“安全类脑”,其实是一个参数十万量级的神经网络,规模对应斑马鱼的神经元数。


图片
▲数量众多的斑马鱼可以狭小的空间内互相穿行而不发生碰撞


在徐雷看来,安全大脑是一个很轻量级的东西,安全大脑不是人为设计的:


“是我们从斑马鱼的脑结构里面去破解的。就像斑马鱼它具备避障的能力,轻量级的结构,它是保证我不跟别人去撞,它并不能保证我把车开好,我们绝大多数的工作都是基于我们上面这套多模态的端到端的大模型去解决。”


针对多模态+安全类脑的应用逻辑,徐雷解释称,通过多模态大模型,端到端系统可以根据理解来输出轨迹,并对其合理性进行一级仲裁。


不过一级仲裁是行业常见手段,在此基础上,Nullmax的NI模型在输出结果后,可对多模态模型的控制输出进行二级仲裁,相当于监督功能。

图片

“例如,有的轨迹可能加速度特别快,会让人感到不适,又或者开到了自行车道上,这些规划的合理性判断,将由一级仲裁把关;而安全类脑则属于二级仲裁,它天然的避障能力可以保证车辆不发生碰撞。”徐雷说。


由于Nullmax的“类脑”模型,是直接参考斑马鱼脑结构设计,不同于其他几家端到端方案思路,因此Nullmax在数据驱动的端到端基础上,提出了“智能驱动”。


斑马鱼的大脑结构和人类高度相似,而且可透视,如果用荧光分子处理后,就能观测到神经元活动和鱼运动之间的关系。

图片

利用生物大脑运行方式引入自动驾驶方案,对于一家自动驾驶公司来说,难度不小。


实际上,安全类脑的成果也并非Nullmax原创,而是来自岩思类脑研究院的李孟团队。


其相关成果《Internal state dynamics shape brainwide activity and foraging behaviour》已在《Nature》上发表,李孟团队作为共同第一作者。

图片

横跨多个学科的驾驶方案,多模态+类脑神经会是比其他家端到端大模型都要更好的自动驾驶解决方案吗?


徐雷则向智驾网感慨道:“只有不断地探索,不可能一下子找到最优解。”


NI系统目前虽然可以做到纯视觉和真无图,不过徐雷也坦承:“NI还需要大量的测验,虽然有这么多人在谈论端到端,但其实还没有看到有实际的展示。目前业内展示的很多结果,其实并不需要依靠端到端就能够去实现。”


日前,香港大学的马毅教授提及“Scaling Law无法实现AGI”的观点,智驾网也就“Scaling Law”的争议问询了徐雷的看法。


徐雷对马毅观点表示同意,也强调最优解必须通过不断探索才能找到。


在徐雷看来,当下要找到精妙的方式,肯定很难,还是要有一个逐步积累和理解的过程。通过发现一些不可行的路,也会让可行道路的范围变小。所以不管Scaling Law也好,其他尝试也好,肯定都是值得去探索的。


根据徐雷透露的信息:这套方案将会在明年初落地。


02.

从硅谷归来后的拷问:商业化落地


成立八年,生于硅谷,兴于上海,这家此前声量并不大的渐进式自动驾驶公司已悄然跑通商业模式,在沉寂中长大——见过自动驾驶行业的繁华、低谷,踏过了行业变化剧烈的闭环。


在创立Nullmax前,徐雷横跨过很多领域,从医疗器械到手机、再到自动驾驶等,并且在高通还有过3年的工作经历,后来加入特斯拉,担任特斯拉自动驾驶高级计算机视觉工程师,向马斯克直接汇报工作,


这些经历的沉淀,让徐雷意识到最重要的一点是——做的领域能不能够创造价值,推动社会进步。


这是创业者的另一番社会议题使命,但当下行业对一家尤其是软件算法的自动驾驶公司商业化和盈利的问题才最为好奇。


目前,支持Nullmax商业化落地的关键技术,是其自研中间件平台,这套平台将适配能力做到了丝滑——据徐雷介绍,这套平台即不挑芯片、不挑车型、也不挑摄像头等传感器


这套中间件平台为MaxOS,其将多模态输入token化,解耦软件算法、域控和芯片,尽可能地抽象软件层,支持不同算力平台,适配任意传感器,比如车企定制的摄像头,甚至能适应不同位置。

图片

在这主要1个平台依托下,Nullmax的产品序列又分为3个产品方案,这3个产品方案按照低、中、高划分,包括:


1、1V2T,一个摄像头,加上一颗德州仪器的2TOPS算力芯片,实现基础的L2级辅助驾驶;


2、5V/6V8T,5/6个摄像头,利用8TOPS算力,实现高速NOA和记忆泊车,且泊车过程可检测障碍物;


3、11V,实现L2+,包括高速NOA和自主代客泊车。


徐雷想的很清楚,作为第三方供应商,如何低成本地开发适配不同需求、车型的产品方案,得用高灵活度和高性价比取胜。


这套方案在支持全场景应用同时,算力需求做到更低。Nullmax介绍称,小于100T的稀疏算力即可实现全场景的领航辅助驾驶,更低的传感器成本和芯片成本。


Nullmax之所以选择这种产品落地的线路形式,全部围绕“精简”二字出发。


“一方面,并不需要每一个方案或者一个芯片平台的方案都去投入一个团队,而是通过比较精简的团队去打造这些方案,每一个方案都可能会上很多车。”徐雷向智驾网介绍道。


简单来说,就是不同算力,低中高阶方案会上到不同的车上。在徐雷看来,目前行业利用不同算力规模的芯片,形成了各种各样的方案,但还没有一家做出能够适配不同芯片,覆盖2TOPS-2000TOPS算力区间的方案。


出于对市场份额的考量,Nullmax也希望通过该平台方案,来提升单车价值和市场占比。


如今,Nullmax的合作伙伴包括头部主机厂比亚迪、奇瑞、上汽和福特等,以及知名Tier 1大陆集团和德赛西威等。


在攻克高阶智驾新战场的同时,徐雷也透露在传统的ADAS上,Nullmax争取在未来两年左右实现正向现金流。


“距离我们上次2019年开发布会,到现在已有差不多5年时间,我觉得我们今天发布的这套方案有可能是一个新的起点,会持续不断的去投入。”


03.

是技术最优解吗?让子弹再飞一会儿


行业还在探索,最大的赢家还没有出现,如果用发展的眼光去看,AI唯快不破的发展速度甚至让徐雷也很难判断5-10年后,端到端架构是否会成为智能驾驶行业的基础工具。


在与徐雷交流完后,我们向Nullmax的工作人员抛出一个问题——

你怎么评价你们老板?”


“他很像马斯克。”

图片

马斯克,这位曾是徐雷在硅谷打工时的老板,如今依然是行业内公认给到竞争压力最大的男人。


当徐雷听到特斯拉FSD即将入华的消息时,他感到高兴,原因是当市场各种方案层出不穷时,恰好是消费者去大量体验方案上车在道路上的实际表现最佳时期,得出自己的判断。


但徐雷也从未停下直观指出大模型的诸多问题,比如幻觉。


“从我的角度来说,我是个比较乐观的人,我相信技术是不断的往前迭代和进步的。说端到端是不是一个终局,我觉得至少在未来的一段时间内,多模态的端到端是我们要去做的一件事情。”


即便未来不是这个方案,即便这个问题很难,天花板很高,即便过段时间又有新的方案了,但徐雷需要一个能说服自己的路线。尝试,至少能让方案变得更好,能加深公司对问题的理解。


新技术落地生根的过程,本身就是粗劣、锋利和有缺陷的,而价值正在此中诞生。


当然,Nullmax的探索也并未止步于技术。


在去年10月,岩山科技斥资7.8亿元投资了Nullmax,也就是上文提到的论文参与者岩思类脑研究院的母公司,现在也是Nullmax的控股母公司。


一家公司的发展,往往会有很多变量,至少在寻找到最好的归宿之前,Nullmax定位是多数中的少数派,不甘做沉默的大多数。


文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>