OCI GenAI Cohere 聊天

OCI GenAI 服务提供按需模型或专用 AI 集群的生成式 AI 聊天功能。

OCI 聊天模型页面和 OCI 生成式 AI 游乐场提供了有关在 OCI 上使用和托管聊天模型的详细信息。

前提条件

您需要一个活跃的 Oracle Cloud Infrastructure (OCI)账户才能使用 OCI GenAI Cohere 聊天客户端。该客户端提供四种不同的连接方式，包括使用用户和私钥的简单认证、工作负载身份、实例主体或 OCI 配置文件认证。

添加仓库和 BOM

Spring AI 构件发布在 Maven Central 和 Spring Snapshot 仓库中。 请参考 构件仓库部分，将这些仓库添加到您的构建系统中。

为了帮助管理依赖，Spring AI 提供了 BOM（物料清单）以确保在整个项目中使用一致版本的 Spring AI。请参考 依赖管理部分，将 Spring AI BOM 添加到您的构建系统中。

自动配置

Spring AI 自动配置和启动器模块的构件名称发生了重大变化。 请参考 升级说明了解更多信息。

Spring AI 为 OCI GenAI Cohere 聊天客户端提供了 Spring Boot 自动配置。 要启用它，请在项目的 Maven pom.xml 文件中添加以下依赖：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-oci-genai</artifactId>
</dependency>

或添加到您的 Gradle build.gradle 构建文件中：

dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-model-oci-genai'
}

提示：请参考 依赖管理部分，将 Spring AI BOM 添加到您的构建文件中。

聊天属性

连接属性

前缀 spring.ai.oci.genai 是配置 OCI GenAI 连接的属性前缀。

属性 描述 默认值

spring.ai.oci.genai.authenticationType

连接到 OCI 时使用的认证类型。可以是 file、instance-principal、workload-identity 或 simple。

file

spring.ai.oci.genai.region

OCI 服务区域。

us-chicago-1

spring.ai.oci.genai.tenantId

OCI 租户 OCID，在使用 simple 认证时使用。

-

spring.ai.oci.genai.userId

OCI 用户 OCID，在使用 simple 认证时使用。

-

spring.ai.oci.genai.fingerprint

私钥指纹，在使用 simple 认证时使用。

-

spring.ai.oci.genai.privateKey

私钥内容，在使用 simple 认证时使用。

-

spring.ai.oci.genai.passPhrase

可选的私钥密码，在使用 simple 认证和受密码保护的私钥时使用。

-

spring.ai.oci.genai.file

OCI 配置文件路径。在使用 file 认证时使用。

<用户主目录>/.oci/config

spring.ai.oci.genai.profile

OCI 配置文件名称。在使用 file 认证时使用。

DEFAULT

spring.ai.oci.genai.endpoint

可选的 OCI GenAI 端点。

-

配置属性

聊天自动配置的启用和禁用现在通过前缀为 spring.ai.model.chat 的顶级属性进行配置。 要启用，spring.ai.model.chat=oci-genai（默认启用） 要禁用，spring.ai.model.chat=none（或任何不匹配 oci-genai 的值） 此更改是为了允许多个模型的配置。

前缀 spring.ai.oci.genai.chat.cohere 是配置 OCI GenAI Cohere 聊天的 ChatModel 实现的属性前缀。

属性 描述 默认值

spring.ai.model.chat

启用 OCI GenAI Cohere 聊天模型。

oci-genai

spring.ai.oci.genai.chat.cohere.enabled (不再有效)

启用 OCI GenAI Cohere 聊天模型。

true

spring.ai.oci.genai.chat.cohere.options.model

模型 OCID 或端点

-

spring.ai.oci.genai.chat.cohere.options.compartment

模型分区 OCID。

-

spring.ai.oci.genai.chat.cohere.options.servingMode

要使用的模型服务模式。可以是 on-demand 或 dedicated。

on-demand

spring.ai.oci.genai.chat.cohere.options.preambleOverride

覆盖聊天模型的提示前导部分

-

spring.ai.oci.genai.chat.cohere.options.temperature

推理温度

-

spring.ai.oci.genai.chat.cohere.options.topP

Top P 参数

-

spring.ai.oci.genai.chat.cohere.options.topK

Top K 参数

-

spring.ai.oci.genai.chat.cohere.options.frequencyPenalty

较高的值将减少重复的标记，输出将更加随机。

-

spring.ai.oci.genai.chat.cohere.options.presencePenalty

较高的值鼓励生成使用未使用过的标记的输出。

-

spring.ai.oci.genai.chat.cohere.options.stop

将结束生成完成的文本序列列表。

-

spring.ai.oci.genai.chat.cohere.options.documents

在聊天上下文中使用的文档列表。

-

提示：所有以 spring.ai.oci.genai.chat.cohere.options 为前缀的属性都可以通过在 Prompt 调用中添加请求特定的 运行时选项 在运行时被覆盖。

运行时选项

OCICohereChatOptions.java 提供了模型配置，如要使用的模型、温度、频率惩罚等。

在启动时，默认选项可以通过 OCICohereChatModel(api, options) 构造函数或 spring.ai.oci.genai.chat.cohere.options.* 属性进行配置。

在运行时，您可以通过在 Prompt 调用中添加新的、特定于请求的选项来覆盖默认选项。 例如，要覆盖特定请求的默认模型和温度：

ChatResponse response = chatModel.call(
    new Prompt(
        "生成5个著名海盗的名字。",
        OCICohereChatOptions.builder()
            .model("my-model-ocid")
            .compartment("my-compartment-ocid")
            .temperature(0.5)
        .build()
    ));

示例控制器

创建一个新的 Spring Boot 项目，并将 spring-ai-starter-model-oci-genai 添加到您的 pom（或 gradle）依赖中。

在 src/main/resources 目录下添加一个 application.properties 文件，以启用和配置 OCI GenAI Cohere 聊天模型：

spring.ai.oci.genai.authenticationType=file
spring.ai.oci.genai.file=/path/to/oci/config/file
spring.ai.oci.genai.cohere.chat.options.compartment=my-compartment-ocid
spring.ai.oci.genai.cohere.chat.options.servingMode=on-demand
spring.ai.oci.genai.cohere.chat.options.model=my-chat-model-ocid

提示：将 file、compartment 和 model 替换为您的 OCI 账户中的值。

这将创建一个 OCICohereChatModel 实现，您可以将其注入到您的类中。 以下是一个简单的 @Controller 类示例，它使用聊天模型进行文本生成：

@RestController
public class ChatController {

    private final OCICohereChatModel chatModel;

    @Autowired
    public ChatController(OCICohereChatModel chatModel) {
        this.chatModel = chatModel;
    }

    @GetMapping("/ai/generate")
    public Map generate(@RequestParam(value = "message", defaultValue = "给我讲个笑话") String message) {
        return Map.of("generation", chatModel.call(message));
    }

    @GetMapping("/ai/generateStream")
    public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "给我讲个笑话") String message) {
        var prompt = new Prompt(new UserMessage(message));
        return chatModel.stream(prompt);
    }
}

手动配置

OCICohereChatModel 实现了 ChatModel 并使用 OCI Java SDK 连接到 OCI GenAI 服务。

在项目的 Maven pom.xml 文件中添加 spring-ai-oci-genai 依赖：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-oci-genai</artifactId>
</dependency>

或添加到您的 Gradle build.gradle 构建文件中：

dependencies {
    implementation 'org.springframework.ai:spring-ai-oci-genai'
}

提示：请参考 依赖管理部分，将 Spring AI BOM 添加到您的构建文件中。

接下来，创建一个 OCICohereChatModel 并使用它进行文本生成：

var CONFIG_FILE = Paths.get(System.getProperty("user.home"), ".oci", "config").toString();
var COMPARTMENT_ID = System.getenv("OCI_COMPARTMENT_ID");
var MODEL_ID = System.getenv("OCI_CHAT_MODEL_ID");

ConfigFileAuthenticationDetailsProvider authProvider = new ConfigFileAuthenticationDetailsProvider(
        CONFIG_FILE,
        "DEFAULT"
);
var genAi = GenerativeAiInferenceClient.builder()
        .region(Region.valueOf("us-chicago-1"))
        .build(authProvider);

var chatModel = new OCICohereChatModel(genAi, OCICohereChatOptions.builder()
        .model(MODEL_ID)
        .compartment(COMPARTMENT_ID)
        .servingMode("on-demand")
        .build());

ChatResponse response = chatModel.call(
        new Prompt("生成5个著名海盗的名字。"));

OCICohereChatOptions 提供聊天请求的配置信息。 OCICohereChatOptions.Builder 是一个流畅的选项构建器。