Elasticsearch
本节将指导您设置 Elasticsearch VectorStore 来存储文档嵌入和执行相似性搜索。
Elasticsearch 是一个基于 Apache Lucene 库的开源搜索和分析引擎。
自动配置
|
Spring AI 自动配置、starter 模块的构件名称发生了重大变化。 请参阅 升级说明 了解更多信息。 |
Spring AI 为 Elasticsearch 向量存储提供了 Spring Boot 自动配置。
要启用它，请在项目的 Maven pom.xml 或 Gradle build.gradle 构建文件中添加以下依赖：
-
Maven
-
Gradle
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter-vector-store-elasticsearch</artifactId>
</dependency>dependencies {
implementation 'org.springframework.ai:spring-ai-starter-vector-store-elasticsearch'
}|
对于 spring-boot 3.3.0 之前的版本，需要显式添加版本 > 8.13.3 的 elasticsearch-java 依赖，否则使用的旧版本将与执行的查询不兼容：
|
提示：请参阅 依赖管理 部分，将 Spring AI BOM 添加到您的构建文件中。
提示：请参阅 构件仓库 部分，将 Maven Central 和/或 Snapshot 仓库添加到您的构建文件中。
向量存储实现可以为您初始化所需的模式，但您必须通过在适当的构造函数中指定 initializeSchema 布尔值或在 application.properties 文件中设置 …initialize-schema=true 来选择加入。
或者，您可以选择退出初始化并使用 Elasticsearch 客户端手动创建索引，这在索引需要高级映射或额外配置时很有用。
注意：这是一个破坏性更改！在 Spring AI 的早期版本中，这种模式初始化是默认发生的。
请查看向量存储的 配置参数 列表，了解默认值和配置选项。
这些属性也可以通过配置 ElasticsearchVectorStoreOptions bean 来设置。
此外，您还需要一个配置好的 EmbeddingModel bean。请参阅 EmbeddingModel 部分了解更多信息。
现在您可以在应用程序中将 ElasticsearchVectorStore 作为向量存储自动装配。
@Autowired VectorStore vectorStore;
// ...
List <Document> documents = List.of(
new Document("Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!!", Map.of("meta1", "meta1")),
new Document("The World is Big and Salvation Lurks Around the Corner"),
new Document("You walk forward facing the past and you turn back toward the future.", Map.of("meta2", "meta2")));
// 将文档添加到 Elasticsearch
vectorStore.add(documents);
// 检索与查询相似的文档
List<Document> results = this.vectorStore.similaritySearch(SearchRequest.builder().query("Spring").topK(5).build());配置属性
要连接到 Elasticsearch 并使用 ElasticsearchVectorStore，您需要提供实例的访问详细信息。
可以通过 Spring Boot 的 application.yml 提供简单配置：
spring:
elasticsearch:
uris: <elasticsearch 实例 URI>
username: <elasticsearch 用户名>
password: <elasticsearch 密码>
ai:
vectorstore:
elasticsearch:
initialize-schema: true
index-name: custom-index
dimensions: 1536
similarity: cosine以 spring.elasticsearch.* 开头的 Spring Boot 属性用于配置 Elasticsearch 客户端：
| 属性 | 描述 | 默认值 |
|---|---|---|
|
与 Elasticsearch 通信时使用的连接超时。 |
|
|
用于 Elasticsearch 身份验证的密码。 |
- |
|
用于 Elasticsearch 身份验证的用户名。 |
- |
|
要使用的 Elasticsearch 实例的逗号分隔列表。 |
|
|
添加到发送到 Elasticsearch 的每个请求路径的前缀。 |
- |
|
失败后计划的嗅探执行的延迟。 |
|
|
连续普通嗅探执行之间的间隔。 |
|
|
SSL bundle 名称。 |
- |
|
是否在客户端和 Elasticsearch 之间启用套接字保持活动。 |
|
|
与 Elasticsearch 通信时使用的套接字超时。 |
|
以 spring.ai.vectorstore.elasticsearch.* 开头的属性用于配置 ElasticsearchVectorStore：
| 属性 | 描述 | 默认值 |
|---|---|---|
|
是否初始化所需的模式 |
|
|
存储向量的索引名称 |
|
|
向量中的维度数 |
|
|
要使用的相似性函数 |
|
以下相似性函数可用：
-
cosine- 默认值，适用于大多数用例。测量向量之间的余弦相似度。 -
l2_norm- 向量之间的欧几里得距离。较低的值表示较高的相似度。 -
dot_product- 对于归一化向量（例如，OpenAI 嵌入）性能最佳。
有关每个函数的更多详细信息，请参阅 Elasticsearch 文档 中的密集向量部分。
元数据过滤
您也可以利用通用的、可移植的 元数据过滤器 与 Elasticsearch。
例如，您可以使用文本表达式语言：
vectorStore.similaritySearch(SearchRequest.builder()
.query("The World")
.topK(TOP_K)
.similarityThreshold(SIMILARITY_THRESHOLD)
.filterExpression("author in ['john', 'jill'] && 'article_type' == 'blog'").build());或使用 Filter.Expression DSL 以编程方式：
FilterExpressionBuilder b = new FilterExpressionBuilder();
vectorStore.similaritySearch(SearchRequest.builder()
.query("The World")
.topK(TOP_K)
.similarityThreshold(SIMILARITY_THRESHOLD)
.filterExpression(b.and(
b.in("author", "john", "jill"),
b.eq("article_type", "blog")).build()).build());注意：这些（可移植的）过滤表达式会自动转换为专有的 Elasticsearch 查询字符串查询。
例如，这个可移植的过滤表达式：
author in ['john', 'jill'] && 'article_type' == 'blog'被转换为专有的 Elasticsearch 过滤器格式：
(metadata.author:john OR jill) AND metadata.article_type:blog手动配置
不使用 Spring Boot 自动配置，您可以手动配置 Elasticsearch 向量存储。为此，您需要在项目中添加 spring-ai-elasticsearch-store：
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-elasticsearch-store</artifactId>
</dependency>或添加到您的 Gradle build.gradle 构建文件中。
dependencies {
implementation 'org.springframework.ai:spring-ai-elasticsearch-store'
}创建 Elasticsearch RestClient bean。
阅读 Elasticsearch 文档 了解更多关于自定义 RestClient 配置的信息。
@Bean
public RestClient restClient() {
return RestClient.builder(new HttpHost("<host>", 9200, "http"))
.setDefaultHeaders(new Header[]{
new BasicHeader("Authorization", "Basic <encoded username and password>")
})
.build();
}然后使用构建器模式创建 ElasticsearchVectorStore bean：
@Bean
public VectorStore vectorStore(RestClient restClient, EmbeddingModel embeddingModel) {
ElasticsearchVectorStoreOptions options = new ElasticsearchVectorStoreOptions();
options.setIndexName("custom-index"); // 可选：默认为 "spring-ai-document-index"
options.setSimilarity(COSINE); // 可选：默认为 COSINE
options.setDimensions(1536); // 可选：默认为模型维度或 1536
return ElasticsearchVectorStore.builder(restClient, embeddingModel)
.options(options) // 可选：使用自定义选项
.initializeSchema(true) // 可选：默认为 false
.batchingStrategy(new TokenCountBatchingStrategy()) // 可选：默认为 TokenCountBatchingStrategy
.build();
}
// 这可以是任何 EmbeddingModel 实现
@Bean
public EmbeddingModel embeddingModel() {
return new OpenAiEmbeddingModel(new OpenAiApi(System.getenv("OPENAI_API_KEY")));
}访问原生客户端
Elasticsearch 向量存储实现通过 getNativeClient() 方法提供对底层原生 Elasticsearch 客户端（ElasticsearchClient）的访问：
ElasticsearchVectorStore vectorStore = context.getBean(ElasticsearchVectorStore.class);
Optional<ElasticsearchClient> nativeClient = vectorStore.getNativeClient();
if (nativeClient.isPresent()) {
ElasticsearchClient client = nativeClient.get();
// 使用原生客户端进行 Elasticsearch 特定的操作
}原生客户端让您可以访问可能未通过 VectorStore 接口暴露的 Elasticsearch 特定功能和操作。
