谷歌的Vertex AI Vision为计算机视觉带来了无代码

开发和部署视觉人工智能应用程序既复杂又昂贵。组织需要数据科学家而且机器学习工程师基于图像和视频等非结构化数据构建训练和推理管道。随着熟练的机器学习工程师的严重短缺，构建和集成智能视觉AI应用程序对企业来说已经变得昂贵。

另一方面，谷歌、英特尔、Meta、微软、NVIDIA和OpenAI等公司正在向客户提供预先训练的模型。预先训练好的模型，如人脸检测、情绪检测、姿态检测和车辆检测，都可以公开提供给开发人员来构建基于视觉的智能应用程序。为了安全起见，许多组织都投资了闭路电视、监控和IP摄像机。虽然这些相机可以连接到现有的预先训练好的模型，但连接这些点所需的管道太复杂了。

构建视觉AI推理管道

构建视觉AI推理管道以从现有摄像机和预先训练的模型或自定义模型中获得见解，包括处理、编码和规范化与目标模型一致的视频流。一旦就位，推理结果必须与元数据一起捕获，以便通过可视化仪表板和分析提供见解。

对于平台供应商来说，视觉AI推理管道提供了一个构建工具和开发环境的机会，以连接视频源、模型和分析引擎中的点。如果开发环境提供没有代码/ low-code方法，它进一步加速和简化了过程。

IDG

关于Vertex AI Vision

谷歌的顶点AI视觉可以让组织无缝地将计算机视觉AI集成到应用程序中，而无需进行管道和繁重的操作。这是一个集成的环境，结合了视频源、机器学习模型和数据仓库，以提供见解和丰富的分析。客户可以在环境中使用预先训练过的模型，也可以带来在软件中训练过的定制模型顶点的人工智能平台。

IDG

Vertex AI Vision应用程序从一个空白画布开始，用于通过从视觉调色板中拖放组件来构建AI视觉推断管道。

IDG

该面板包含各种连接器，包括摄像头/视频流、预先训练的模型集合、针对特定行业垂直领域的专用模型、使用AutoML或Vertex AI构建的自定义模型，以及BigQuery和AI Vision Warehouse形式的数据存储。

据谷歌Cloud了解，Vertex AI Vision提供以下服务:

• Vertex AI视觉流:一种端点服务，用于通过地理分布的网络接收视频流和图像。连接任何相机或设备从任何地方，让谷歌处理缩放和摄取。
• Vertex AI视觉应用:开发人员可以使用这个无服务器编排平台构建广泛的、自动伸缩的媒体处理和分析管道。
• 顶点AI视觉模型:用于常见分析任务的预构建视觉模型，包括占用计数、PPE检测、人脸模糊和零售产品识别。此外，用户可以在Vertex AI平台上构建和部署自己的训练模型。
• 顶点AI视觉仓库:集谷歌搜索和托管视频存储于一体的无服务器集成富媒体存储系统。千兆字节的视频数据可以在仓库中摄取、存储和搜索。

例如，下面的管道从单一来源摄取视频，将其转发到人/车辆计数器，并将输入和输出(推断)元数据存储在AI视觉仓库中，以运行简单的查询。可以用BigQuery替换它，以便与现有应用程序集成或执行复杂的基于sql的查询。

IDG

部署Vertex AI Vision管道

一旦可视化地构建了管道，就可以部署它来开始执行推理。下面截图中的绿色标记表示部署成功。

IDG

下一步是开始摄取视频提要以触发推断。谷歌提供了名为vaictl从源获取视频流，并将其传递给Vertex AI Vision端点。它支持静态视频文件和基于H.264编码的RTSP流。

一旦管道被触发，就可以从控制台监视输入和输出流，如所示。

IDG

由于推理输出存储在AI视觉仓库中，因此可以根据搜索条件进行查询。例如，下面的截图显示了包含至少五个人或车辆的帧。

IDG

谷歌提供了一个SDK以编程方式与仓库对话。BigQuery开发人员可以使用现有库运行基于ANSI SQL的高级查询。

集成和支持顶点AI视觉在边缘

Vertex AI Vision与顶点AI紧密集成，顶点AI是谷歌的托管机器学习PaaS。客户可以通过AutoML或定制训练来训练模型。为了添加输出的自定义处理，谷歌集成了Cloud Functions，它可以操作输出以添加注释或其他元数据。

Vertex AI Vision平台的真正潜力在于它的无代码方法以及与其他谷歌云服务(如BigQuery、Cloud Functions和Vertex AI)集成的能力。

虽然Vertex AI Vision是简化视觉AI的一个很好的步骤，但在边缘部署应用程序需要更多的支持。医疗保健、保险和汽车等垂直行业更喜欢在边缘运行视觉AI管道，以避免延迟并满足合规性。增加对边缘的支持将成为Vertex AI Vision的关键驱动因素。