利用模型护栏规范GenAI的行为和输出

发布时间:2024-08-27  

当前,许多企业机构都在全力推进生成式人工智能(GenAI)解决方案的设计和实施,希望提升解决方案的通用性和创造性,进而推动业务价值。2023年Gartner企业人工智能(AI)调研揭示了GenAI用例的三种最主要的实现方法,74%的受访者通过对现有GenAI模型进行定制化调整来满足自身用例的需求,65%的受访者尝试自行训练定制GenAI模型。


然而,实施GenAI绝非易事。对于创造性和通用性的追求,往往会增加GenAI解决方案的复杂性、不确定性和生成非预期结果的可能性,而这也成为了GenAI企业采用面临的主要问题。GenAI解决方案的创造性和通用性越强,出现非预期行为和输出(如幻觉、有害内容超出应用范围的内容等)的可能性越高(见图1)。


图1:在创造性与通用性之间取得平衡

image.png


选择基于GenAI模型自行构建GenAI解决方案的企业机构,其负责AI工作的数据和分析(D&A)领导者应利用开源护栏、商业护栏和自建护栏这三种护栏工具来控制GenAI模型的输入和输出,验证并矫正GenAI模型的输入和输出,提高模型的可靠性。


评估并优化GenAI解决方案的创造性和通用性


GenAI模型可兼具创造性和通用性。企业机构通常需要在广泛的场景中使用GenAI解决方案,而这些场景对于解决方案创造性和通用性的需求各不相同。因此,必须根据部署目的和具体场景下的功能需求,确定GenAI解决方案的定位,并根据在创造性和通用性两个方面的具体需求,利用护栏工具建立控制策略和机制。


负责AI工作的D&A领导者应基于GenAI解决方案的使用场景和方式,确定相应的业务风险容忍度,具体取决于:


  • 业务用例的重要性

  • 用于内部用途还是面向客户

  • 是否引入了人工监督


而后,应根据业务风险容忍度,利用护栏工具管理模型输入和输出,建立严格或宽松的控制机制,并最终在创造性和通用性之间取得最佳平衡。


利用模型护栏验证和矫正模型的输入和输出


使用护栏工具,是管理GenAI模型创造性和通用性的一个切实可行的方法。护栏(在GenAI模型和应用与最终用户之间建立防护层)可以监控和管理模型的全部流量,包括用户输入和模型/应用输出(见图2)。


图2:护栏部署在用户与GenAI模型之间

image.png


以下是两种典型护栏:


  • 用于控制最终用户输入的模型护栏:所有用户请求都必须经护栏过滤,以清除非预期的请求,包括超出GenAI解决方案应用范围的请求和违反可接受使用政策的请求。通过这种方式,护栏可以将解决方案的通用性控制在可管理的范围内,就像建立了一个安全围栏。


  • 用于控制GenAI输出的模型护栏:所有模型输出都必须经过护栏的验证,但不同的用例对于模型创造性的需求存在差异,因而需要对模型施加不同程度的控制。但是,对于开发GenAl驱动的企业级搜索引擎或面向客户的聊天机器人的情况,必须对模型输出进行更为严格的验证和控制,以调节模型的创造性,并确保最终用户可以得到可靠且符合预期的结果。


需要注意的是,护栏并非“灵丹妙药”,不能完全解决GenAI解决方案的行为和准确性问题。GenAI解决方案必须在准确性与企业机构的风险承受能力之间取得平衡。


此外,伴随GenAI的快速发展,护栏技术也在不断变化和改进。鉴于神经网络的不可预测性,护栏技术目前是验证和矫正GenAI模型输出的一种切实可行的方法。长期来看,在基础GenAI模型变得足够可靠和可信之前,护栏提供了一种过渡解决方案,可以帮助企业机构推动GenAI采用。

文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>