清华大学科学家研制出世界首款类脑互补视觉芯片“天眸芯”

发布时间:2024-05-30  

5 月 30 日消息,清华大学依托精密仪器系的类脑计算研究中心施路平教授团队提出了一种基于视觉原语的互补双通路类脑视觉感知新范式,并据此研制出了世界首款类脑互补视觉芯片“天眸芯”,实现了高速、高精度、高动态范围的视觉信息采集,突破了传统视觉感知芯在稳定性和安全性等方面的性能瓶颈。

今日,这项成果以《面向开放世界感知的类脑互补视觉芯片》 为题作为封面文章发表于顶级学术期刊《自然》上(IT之家附 DOI:10.1038/s41586-024-07358-4)。

官方表示,传统视觉感知芯片受“功耗墙”和“带宽墙”的限制,在应对突发意外场景时往往面临失真、失效或高延迟等问题,严重影响了系统的稳定性和安全性。

为了克服这些挑战,清华大学精密仪器系类脑计算研究团队提出了一种基于视觉原语的互补双通路类脑视觉感知新范式。该范式借鉴了人类视觉系统的基本原理,将开放世界的视觉信息拆解为基于视觉原语的信息表示,并通过有机组合这些原语,模仿人视觉系统的特征,形成两条优势互补、信息完备的视觉感知通路。

基于这一新范式,团队进一步研制出了世界首款类脑互补视觉芯片“天眸芯”,在极低的带宽(降低 90%)和功耗代价下,实现了每秒 10000 帧的高速、10bit 的高精度、130dB 的高动态范围的视觉信息采集。

基于“天眸芯”,团队还自主研发了高性能软件和算法,并在开放环境车载平台上进行了性能验证。在多种极端场景下,该系统实现了低延迟、高性能的实时感知推理,展现了其在智能无人系统领域的应用潜力。

值得一提的是,这是该团队继异构融合类脑计算“天机芯”后,第二次登上《自然》封面,标志着我国在类脑计算和类脑感知两个重要方向上均取得了基础性突破。


文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>