可观测性
Spring AI 基于 Spring 生态系统中的可观测性功能,为 AI 相关操作提供洞察。
Spring AI 为其核心组件提供指标和追踪功能:ChatClient
(包括 Advisor
)、
ChatModel
、EmbeddingModel
、ImageModel
和 VectorStore
。
注意:低基数键将被添加到指标和追踪中,而高基数键仅添加到追踪中。
1.0.0-RC1 重大变更 以下配置属性已重命名以更好地反映其用途:
|
聊天客户端
当调用 ChatClient 的 call()
或 stream()
操作时,会记录 spring.ai.chat.client
观测数据。
它们测量执行调用所花费的时间并传播相关的追踪信息。
名称 | 描述 |
---|---|
|
始终为 |
|
始终为 |
|
聊天模型响应是否为流 - |
|
Spring AI 中框架 API 的类型: |
名称 | 描述 |
---|---|
|
通过聊天客户端发送的提示内容。可选。 |
|
顾问参数映射。会话 ID 现在包含在 |
|
已配置的聊天客户端顾问列表。 |
|
使用聊天内存时的会话标识符。 |
|
聊天客户端系统参数。可选。已被 |
|
聊天客户端系统文本。可选。已被 |
|
启用的工具函数名称。已被 |
|
已配置的聊天客户端函数回调列表。已被 |
|
传递给聊天客户端的工具名称。 |
|
聊天客户端用户参数。可选。已被 |
|
聊天客户端用户文本。可选。已被 |
提示内容
ChatClient
提示内容通常很大,可能包含敏感信息。
因此,默认情况下不会导出。
Spring AI 支持记录提示内容以帮助调试和故障排除。
属性 | 描述 | 默认值 |
---|---|---|
|
是否记录聊天客户端提示内容。 |
|
警告:如果启用聊天客户端提示内容的记录,可能会暴露敏感或私人信息。请谨慎使用!
输入数据(已弃用)
警告:spring.ai.chat.client.observations.include-input
属性已弃用,替换为 spring.ai.chat.client.observations.log-prompt
。参见 提示内容。
ChatClient
输入数据通常很大,可能包含敏感信息。
因此,默认情况下不会导出。
Spring AI 支持记录输入数据以帮助调试和故障排除。
属性 | 描述 | 默认值 |
---|---|---|
|
是否在观测中包含输入内容。 |
|
警告:如果在观测中包含输入内容,可能会暴露敏感或私人信息。请谨慎使用!
聊天客户端顾问
当执行顾问时,会记录 spring.ai.advisor
观测数据。
它们测量在顾问中花费的时间(包括内部顾问的时间)并传播相关的追踪信息。
名称 | 描述 |
---|---|
|
始终为 |
|
始终为 |
|
顾问在请求处理中应用其逻辑的位置,为 |
|
Spring AI 中框架 API 的类型: |
名称 | 描述 |
---|---|
|
顾问的名称。 |
|
顾问在顾问链中的顺序。 |
聊天模型
注意:目前仅支持以下 AI 模型提供商的 ChatModel
实现的可观测性功能:
Anthropic、Azure OpenAI、Mistral AI、Ollama、OpenAI、Vertex AI、MiniMax、Moonshot、QianFan、Zhiu AI。
其他 AI 模型提供商将在未来版本中支持。
当调用 ChatModel 的 call
或 stream
方法时,会记录 gen_ai.client.operation
观测数据。
它们测量方法完成所花费的时间并传播相关的追踪信息。
重要:gen_ai.client.token.usage
指标测量单个模型调用使用的输入和输出令牌数量。
名称 | 描述 |
---|---|
|
正在执行的操作名称。 |
|
由客户端检测识别的模型提供商。 |
|
请求所针对的模型名称。 |
|
生成响应的模型名称。 |
名称 | 描述 |
---|---|
|
模型请求的频率惩罚设置。 |
|
模型为请求生成的最大令牌数。 |
|
模型请求的存在惩罚设置。 |
|
模型将用于停止生成更多令牌的序列列表。 |
|
模型请求的温度设置。 |
|
模型请求的 top_k 采样设置。 |
|
模型请求的 top_p 采样设置。 |
|
模型停止生成令牌的原因,对应于每个接收到的生成。 |
|
AI 响应的唯一标识符。 |
|
模型输入(提示)中使用的令牌数。 |
|
模型输出(完成)中使用的令牌数。 |
|
模型交换中使用的总令牌数。 |
|
发送给模型的完整提示。可选。 |
|
从模型接收的完整响应。可选。 |
|
在请求中提供给模型的工具定义列表。 |
注意:对于测量用户令牌,上表列出了观测追踪中存在的值。
使用由 ChatModel
提供的指标名称 gen_ai.client.token.usage
。
聊天提示和完成数据
聊天提示和完成数据通常很大,可能包含敏感信息。 因此,默认情况下不会导出。
Spring AI 支持记录聊天提示和完成数据,对故障排除场景很有用。当追踪可用时,日志将包含追踪信息以更好地关联。
属性 | 描述 | 默认值 |
---|---|---|
|
记录提示内容。 |
|
|
记录完成内容。 |
|
|
在观测中包含错误日志记录。 |
|
警告:如果启用聊天提示和完成数据的记录,可能会暴露敏感或私人信息。请谨慎使用!
工具调用
在聊天模型交互的上下文中执行工具调用时,会记录 spring.ai.tool
观测数据。
它们测量工具调用完成所花费的时间并传播相关的追踪信息。
名称 | 描述 |
---|---|
|
正在执行的操作名称。始终为 |
|
负责操作的提供商。始终为 |
|
Spring AI 执行的操作类型。始终为 |
|
工具的名称。 |
名称 |
描述 |
|
工具的描述。 |
|
用于调用工具的参数模式。 |
|
工具调用的输入参数。(仅在启用时) |
|
用于调用工具的参数模式。(仅在启用时) |
嵌入模型
注意:目前仅支持以下 AI 模型提供商的 EmbeddingModel
实现的可观测性功能:
Azure OpenAI、Mistral AI、Ollama 和 OpenAI。
其他 AI 模型提供商将在未来版本中支持。
在嵌入模型方法调用时记录 gen_ai.client.operation
观测数据。
它们测量方法完成所花费的时间并传播相关的追踪信息。
重要:gen_ai.client.token.usage
指标测量单个模型调用使用的输入和输出令牌数量。
名称 | 描述 |
---|---|
|
正在执行的操作名称。 |
|
由客户端检测识别的模型提供商。 |
|
请求所针对的模型名称。 |
|
生成响应的模型名称。 |
名称 | 描述 |
---|---|
|
结果输出嵌入的维度数。 |
|
模型输入中使用的令牌数。 |
|
模型交换中使用的总令牌数。 |
注意:对于测量用户令牌,上表列出了观测追踪中存在的值。
使用由 EmbeddingModel
提供的指标名称 gen_ai.client.token.usage
。
图像模型
注意:目前仅支持以下 AI 模型提供商的 ImageModel
实现的可观测性功能:
OpenAI。
其他 AI 模型提供商将在未来版本中支持。
在图像模型方法调用时记录 gen_ai.client.operation
观测数据。
它们测量方法完成所花费的时间并传播相关的追踪信息。
重要:gen_ai.client.token.usage
指标测量单个模型调用使用的输入和输出令牌数量。
名称 | 描述 |
---|---|
|
正在执行的操作名称。 |
|
由客户端检测识别的模型提供商。 |
|
请求所针对的模型名称。 |
名称 | 描述 |
---|---|
|
返回生成的图像的格式。 |
|
要生成的图像大小。 |
|
要生成的图像样式。 |
|
AI 响应的唯一标识符。 |
|
生成响应的模型名称。 |
|
模型输入(提示)中使用的令牌数。 |
|
模型输出(生成)中使用的令牌数。 |
|
模型交换中使用的总令牌数。 |
|
发送给模型的完整提示。可选。 |
注意:对于测量用户令牌,上表列出了观测追踪中存在的值。
使用由 ImageModel
提供的指标名称 gen_ai.client.token.usage
。
向量存储
Spring AI 中的所有向量存储实现都通过 Micrometer 提供指标和分布式追踪数据。
在与向量存储交互时记录 db.vector.client.operation
观测数据。
它们测量 query
、add
和 remove
操作所花费的时间并传播相关的追踪信息。
名称 | 描述 |
---|---|
|
正在执行的操作或命令名称。为 |
|
由客户端检测识别的数据库管理系统(DBMS)产品。为 |
|
Spring AI 中框架 API 的类型: |
名称 | 描述 |
---|---|
|
数据库中的集合(表、容器)名称。 |
|
数据库的名称,在服务器地址和端口内完全限定。 |
|
记录标识符(如果存在)。 |
|
相似性搜索中使用的度量标准。 |
|
向量的维度。 |
|
向量的名称字段(例如字段名)。 |
|
正在执行的搜索查询内容。 |
|
搜索查询中使用的元数据过滤器。 |
|
从相似性搜索查询返回的文档。可选。 |
|
接受所有搜索分数的相似性阈值。阈值 0.0 表示接受任何相似性或禁用相似性阈值过滤。阈值 1.0 表示需要完全匹配。 |
|
查询返回的最相似向量的 top-k。 |