Amazon Web Services（AWS）宣布推出 Amazon OpenSearch Serverless 向量引擎预览版。该向量引擎在 Amazon OpenSearch Serverless 中提供了一种简单、可拓展、高效能的相似性搜寻功能，让用户能够轻松开发由现代化机器学习（ML）的增强搜寻体验和生成式 AI 应用程序，毋须管理底层向量数据库基础设施。

向量嵌入帮助机器学习的增强搜寻和生成式 AI 的应用

各行各业的企业都在迅速采用生成式 AI，因为它能够处理庞大的数据集、生成自动化内容，并提供媲美人类的交互式响应。透过整合聊天机器人、问答系统和个人化推荐等先进的对话生成式 AI 应用程序，客户正在致力彻底改革终端用户体验以及与数码平台的交流。这些对话应用程序让用户能以自然语言进行搜寻和查询，并透过理解语义、用户意图和查询上下文，生成仿似人类的回应。

机器学习的增强搜寻应用和生成式 AI 的应用程序都需要使用向量嵌入（Vector embeddings），即以数码方式表示文本、图像、音频和影片的数据，可以用来生成动态的相关内容。向量嵌入基于用户私有数据进行训练，代表信息的语义和上下文属性。理想情况下，这些嵌入可以就近储存和管理，如接近现有的搜索引擎或数据库等特定领域数据集。由此，企业能够透过处理用户查询找到最近的向量，并将它们与其他诠释数据结合，进而整合搜寻结果。这一过程完全毋须依赖外部数据来源或其它应用程序。客户希望向量数据库是易于打造的，且便于从原型设计快速进入到生产环境，这样他们就可以将精力集中在创建差异化应用程序上。Amazon OpenSearch Serverless 向量引擎扩展了 Amazon OpenSearch 的搜寻能力，让用户能实时储存、搜寻和追溯数十亿向量嵌入，并精确进行相似性匹配和语义搜寻，毋须考虑底层基础设施。

探索向量引擎功能

打造于 Amazon OpenSearch Serverless 的向量引擎得益于其稳健的架构。向量引擎的用户不必担心后端基础设施的大小选择、调整和缩放问题。向量引擎可自动调整资源，来适应不断变化的工作负载模式和需求，进而提供始终如一的快速效能和适当规模。即便向量数量从原型设计期间的数千个激增至生产环境中的数亿个，向量引擎也可以无缝扩展，毋须重新索引或重载数据来扩大基础设施。此外，向量引擎为索引和工作负载搜寻提供了单独的运算资源，让用户可以实时无缝地获得、更新和删除向量，同时确保用户查询效能丝毫不受影响。所有数据都长久地储存在 Amazon Simple Storage Service（Amazon S3）中，因此用户可以获得与 Amazon S3 相同的数据持久性保证（11 个 9，即99.999999999%）。尽管目前还处于预览阶段，但向量引擎是为生产环境工作负载设计的，具有因应可用区域（Availability Zone）服务中断和基础设施故障的冗余系统。

Amazon OpenSearch Serverless 向量引擎由开源 OpenSearch 项目中的 k 近邻（kNN）搜寻功能提供支持，该功能能够提供可靠而精确的结果。如今，许多客户在托管集群中使用 OpenSearch kNN 搜寻，以便在应用程序中提供语义搜寻和个人化推荐。向量引擎的用户体验与 Serverless 环境一样简单易用，不但支持欧几里得距离、余弦相似度和内积等常用的距离指标，而且可容纳 16,000 个维度，因此非常适合支持各种基础模型及其他 AI/ML 模型。用户还可以储存各种数据的不同字段，例如诠释数据中的数码、布尔值、日期、关键词和地理位置，以及包含描述性信息的文本等，来为储存的向量添加更多上下文信息。多种类型数据的合并能降低复杂性，提升可维护性，并且避免数据重复、版本兼容性挑战和授权问题，有效地简化应用程序堆栈。向量引擎支持相同的 OpenSearch 开源套件 API，让用户可以充分利用其丰富的查询功能，例如全文搜索、进阶筛选、聚合、地理空间查询、巢状查询，以加快数据检索和增强搜寻结果。以要求寻找距离用户 15 英里以内的结果的应用为例，向量引擎可以在单个查询中完成这项任务，而毋须维护两个不同系统，并利用应用逻辑将结果合并。透过整合 LangChain、Amazon Bedrock 和 Amazon SageMaker，用户可以轻松地将偏好的机器学习和 AI 系统与向量引擎整合。

向量引擎支持不同领域的广泛应用，包括图像搜寻、文件搜寻、音乐检索、产品推荐、影片搜寻、基于位置的搜寻、诈骗侦测以及异常侦测。AWS 预测，将词汇搜寻方法与先进的机器学习和生成式 AI 功能结合的混合搜寻将会日益流行。例如，当用户在电子商务网站上搜寻「红色衬衫」时，语义搜寻透过检索所有红色来扩大搜寻范围，同时在词法（BM25 算法）搜寻上调整和强化逻辑。利用 Amazon OpenSearch 筛选功能，企业可以为用户提供基于尺寸、品牌、价格范围和附近商店存货状况等信息来优化搜寻选项，进一步强化搜寻结果的关联性，以便打造更个人化、更精准的体验。向量引擎支持的混合搜寻使得用户能够在单个查询调用中查询向量嵌入、诠释数据和描述性信息，进而在不建立复杂应用程序代码的情况下，轻松地提供更准确的、与上下文相关的搜寻结果。

从预览到正式可用

AWS 近日宣布推出向量引擎的预览版，用户可以立即开始试用。

在向量引擎正式可用之前，AWS 计划推出两项功能来降低客户首个集合的成本。第一项功能是新的开发-测试（dev-test）选项，它能让用户在没有备份或副本的情况下开始集成，进而将入门成本降低 50%。向量引擎仍然提供持久性保证，因为它将所有数据保存在 Amazon S3 中。第二项功能是在初始阶段配置 0.5 OCU（OpenSearch 计算单位）资源，资源将根据用户的实际工作负载来扩展；如果初始工作负载的规模是数万到数十万个向量（取决于维度数量），用户则可以进一步降低成本。除了这两项功能外，AWS 将把支持用户首个集合所需的最低 OCU 从每小时 4 个降至每小时 1 个。

AWS 正在开发一些新功能，并在未来几个月，将会实现工作负载暂停与恢复能力，这项新功能对向量引擎十分有用，因为许多应用不需要持续索引数据。

最后，AWS 持续致力于优化向量图的效能和内存使用，包括改进快取和合并等功能。

在 AWS 致力于降低用户成本的同时，AWS 将提供 1400 OCU 小时／每月的免费向量集合，直到开发-测试选项宣布可用为止。

Amazon OpenSearch Serverless 向量引擎预览版现已在全球八个地理区域可用：美国东部（俄亥俄州）、美国东部（弗吉尼亚州北部）、美国西部（俄勒冈州）、亚太地区（新加坡）、亚太地区（悉尼）、亚太地区（东京）、欧洲（法兰克福）和欧洲（爱尔兰）。

关于Amazon Web Services

自2006年来，Amazon Web Services一直在提供世界上服务最丰富、应用广泛的云端服务。AWS为客户提供超过200种功能全面的云端服务，包括运算、储存、数据库、网络、分析、机器学习与人工智能、物联网、流动、安全、混合云、虚拟和扩增实境(VR 和AR)、媒体，以及应用开发、部署和管理等方面，遍及31个地理区域内的99个可用区域(Availability Zones)，并已公布计划在加拿大、以色列、马来西亚、纽西兰和泰国建立5个AWS地理区域、15个可用区域。AWS的服务获得全球超过百万客户的信任，包括发展迅速的初创公司、大型企业和政府机构。通过AWS的服务，客户能够有效强化自身基础设施，提高营运上的弹性与应变能力，同时降低成本。