英伟达推出“护栏”软件,让 AI 聊天机器人不再胡说八道

发布时间:2023-04-26  

人工智能(AI)的发展日新月异,但也存在一些难题,比如 AI 模型有时会出现“幻觉”,即说出错误的事实、涉及有害的话题或导致安全风险。为了解决这个问题,英伟达在周二发布了一款新的软件,名为 NeMo Guardrails,可以帮助软件开发者给 AI 模型设置“护栏”,防止它们产生不良的输出。

NeMo Guardrails 是一个软件层,位于用户和 AI 模型之间,可以在模型输出不良内容之前进行拦截和修改。例如,如果开发者想要创建一个客服聊天机器人,可以使用 NeMo Guardrails 来限制它只能谈论相关的产品,而不能谈论竞争对手的产品或其他不相关的话题。如果用户提出这样的问题,机器人可以引导对话回到开发者希望的话题上。


英伟达还提供了另一个例子,一个用于回答内部企业人力资源问题的聊天机器人。在这个例子中,英伟达能够使用 NeMo Guardrails 来阻止基于 ChatGPT 的机器人回答关于公司财务状况的问题或访问其他员工的私人数据。


此外,该软件还能够利用一个 AI 模型来检测另一个 AI 模型的“幻觉”,通过向第二个 AI 模型提问来核实第一个 AI 模型的答案。如果两个模型给出不一致的答案,那么软件就会返回“我不知道”的回答。


英伟达还表示,这个“护栏”软件还有助于提高安全性,可以强制 AI 模型只与白名单列表中的第三方软件进行交互。


NeMo Guardrails 是开源的,并通过英伟达服务提供,可以用于商业应用,开发者将使用 Golang 编程语言来为 AI 模型编写自定义规则。


据IT之家搜索了解,包括谷歌和微软支持的 OpenAI 等其他 AI 公司,也使用了一种称为强化学习的方法来防止 LLM 应用产生有害的输出。这种方法使用人类测试者来创建关于哪些答案是可接受或不可接受的数据,然后使用这些数据来训练 AI 模型。


英伟达正在将其注意力转向 AI 领域,该公司目前占据了创建这项技术所需芯片的市场主导地位,其股价在 2023 年迄今为止上涨了 85%,成为标准普尔 500 指数中涨幅最大的股票。


文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>