Google VertexAI 多模态嵌入

注意：实验性功能。仅用于实验目的。目前与`VectorStores`不兼容。

Vertex AI支持两种类型的嵌入模型：文本和多模态。 本文档描述了如何使用Vertex AI 多模态嵌入API创建多模态嵌入。

多模态嵌入模型根据您提供的输入生成1408维向量，输入可以包括图像、文本和视频数据的组合。 然后，嵌入向量可用于后续任务，如图像分类或视频内容审核。

图像嵌入向量和文本嵌入向量在相同的语义空间中具有相同的维度。 因此，这些向量可以互换使用，用于诸如通过文本搜索图像或通过图像搜索视频等用例。

注意：VertexAI多模态API施加了以下限制。

提示：对于仅文本嵌入用例，我们建议使用Vertex AI文本嵌入模型。

前提条件

  • 安装适合您操作系统的gcloud CLI。

  • 通过运行以下命令进行身份验证。 将`PROJECT_ID`替换为您的Google Cloud项目ID，将`ACCOUNT`替换为您的Google Cloud用户名。

gcloud config set project <PROJECT_ID> &&
gcloud auth application-default login <ACCOUNT>

添加仓库和BOM

Spring AI构件发布在Maven Central和Spring Snapshot仓库中。 请参考构件仓库部分，将这些仓库添加到您的构建系统中。

为了帮助依赖管理，Spring AI提供了BOM（物料清单）以确保在整个项目中使用一致版本的Spring AI。请参考依赖管理部分，将Spring AI BOM添加到您的构建系统中。

自动配置

Spring AI自动配置、starter模块的构件名称发生了重大变化。 请参考https://docs.spring.io/spring-ai/reference/upgrade-notes.html[升级说明]获取更多信息。

Spring AI为VertexAI嵌入模型提供了Spring Boot自动配置。 要启用它，请在项目的Maven `pom.xml`文件中添加以下依赖：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-vertex-ai-embedding</artifactId>
</dependency>

或添加到您的Gradle `build.gradle`构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-model-vertex-ai-embedding'
}

提示：请参考依赖管理部分，将Spring AI BOM添加到您的构建文件中。

嵌入属性

前缀`spring.ai.vertex.ai.embedding`用作属性前缀，允许您连接到VertexAI嵌入API。

属性 描述 默认值

spring.ai.vertex.ai.embedding.project-id

Google Cloud Platform项目ID

-

spring.ai.vertex.ai.embedding.location

区域

-

spring.ai.vertex.ai.embedding.apiEndpoint

Vertex AI嵌入API端点。

-

嵌入自动配置的启用和禁用现在通过前缀为`spring.ai.model.embedding`的顶级属性进行配置。

要启用，spring.ai.model.embedding.multimodal=vertexai（默认启用）

要禁用，spring.ai.model.embedding.multimodal=none（或任何不匹配vertexai的值）

此更改是为了允许多个模型的配置。

前缀`spring.ai.vertex.ai.embedding.multimodal`是配置VertexAI多模态嵌入的嵌入模型实现的属性前缀。

属性 描述 默认值

spring.ai.vertex.ai.embedding.multimodal.enabled（已移除且不再有效）

启用Vertex AI嵌入API模型。

true

spring.ai.model.embedding.multimodal=vertexai

启用Vertex AI嵌入API模型。

vertexai

spring.ai.vertex.ai.embedding.multimodal.options.model

您可以使用以下模型获取多模态嵌入：

multimodalembedding@001

spring.ai.vertex.ai.embedding.multimodal.options.dimensions

指定低维嵌入。默认情况下，嵌入请求为数据类型返回1408个浮点向量。您还可以为文本和图像数据指定低维嵌入（128、256或512个浮点向量）。

1408

spring.ai.vertex.ai.embedding.multimodal.options.video-start-offset-sec

视频片段的开始偏移量（秒）。如果未指定，则使用max(0, endOffsetSec - 120)计算。

-

spring.ai.vertex.ai.embedding.multimodal.options.video-end-offset-sec

视频片段的结束偏移量（秒）。如果未指定，则使用min(video length, startOffSec + 120)计算。如果同时指定了startOffSec和endOffSec，则endOffsetSec调整为min(startOffsetSec+120, endOffsetSec)。

-

spring.ai.vertex.ai.embedding.multimodal.options.video-interval-sec

将生成嵌入的视频间隔。interval_sec的最小值为4。 如果间隔小于4，则返回InvalidArgumentError。间隔的最大值没有限制。 但是，如果间隔大于min(video length, 120s)，则会影响生成的嵌入的质量。默认值：16。

-

手动配置

VertexAiMultimodalEmbeddingModel实现了`DocumentEmbeddingModel`。

在项目的Maven `pom.xml`文件中添加`spring-ai-vertex-ai-embedding`依赖：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-vertex-ai-embedding</artifactId>
</dependency>

或添加到您的Gradle `build.gradle`构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-vertex-ai-embedding'
}

提示：请参考依赖管理部分，将Spring AI BOM添加到您的构建文件中。

接下来，创建一个`VertexAiMultimodalEmbeddingModel`并使用它生成嵌入：

VertexAiEmbeddingConnectionDetails connectionDetails =
    VertexAiEmbeddingConnectionDetails.builder()
        .projectId(System.getenv(<VERTEX_AI_GEMINI_PROJECT_ID>))
        .location(System.getenv(<VERTEX_AI_GEMINI_LOCATION>))
        .build();

VertexAiMultimodalEmbeddingOptions options = VertexAiMultimodalEmbeddingOptions.builder()
    .model(VertexAiMultimodalEmbeddingOptions.DEFAULT_MODEL_NAME)
    .build();

var embeddingModel = new VertexAiMultimodalEmbeddingModel(this.connectionDetails, this.options);

Media imageMedial = new Media(MimeTypeUtils.IMAGE_PNG, new ClassPathResource("/test.image.png"));
Media videoMedial = new Media(new MimeType("video", "mp4"), new ClassPathResource("/test.video.mp4"));

var document = new Document("Explain what do you see on this video?", List.of(this.imageMedial, this.videoMedial), Map.of());

EmbeddingResponse embeddingResponse = this.embeddingModel
	.embedForResponse(List.of("Hello World", "World is big and salvation is near"));

DocumentEmbeddingRequest embeddingRequest = new DocumentEmbeddingRequest(List.of(this.document),
        EmbeddingOptions.EMPTY);

EmbeddingResponse embeddingResponse = multiModelEmbeddingModel.call(this.embeddingRequest);

assertThat(embeddingResponse.getResults()).hasSize(3);