OpenAI 文本转语音（TTS）

简介

Audio API 提供了基于 OpenAI TTS（文本转语音）模型的语音端点，使用户能够：

  • 朗读书面博客文章。

  • 以多种语言生成语音音频。

  • 通过流式传输实现实时音频输出。

前置条件

  1. 创建 OpenAI 账号并获取 API 密钥。你可以在 OpenAI 注册页面 注册账号，并在 API 密钥页面 生成 API 密钥。

  2. 在项目构建文件中添加 spring-ai-openai 依赖。更多信息请参考 依赖管理 部分。

自动配置

Spring AI 自动配置和 starter 模块的 artifact 名称发生了重大变化。 详情请参考 升级说明。

Spring AI 为 OpenAI 文本转语音客户端提供了 Spring Boot 自动配置。 要启用它，请在项目的 Maven pom.xml 文件中添加如下依赖：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>

或在 Gradle build.gradle 文件中：

dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-model-openai'
}
依赖管理请参考 Dependency Management 部分。

语音属性

连接属性

前缀 spring.ai.openai 用于连接 OpenAI。

属性

描述

默认值

spring.ai.openai.base-url

连接的 URL

api.openai.com

spring.ai.openai.api-key

API 密钥

-

spring.ai.openai.organization-id

可选，指定 API 请求使用的组织

-

spring.ai.openai.project-id

可选，指定 API 请求使用的项目

-
对于属于多个组织的用户（或通过旧版用户 API 密钥访问项目），可选地指定 API 请求使用的组织和项目。 这些 API 请求的用量将计入指定的组织和项目。

配置属性

音频语音自动配置的启用和禁用现在通过顶级属性 spring.ai.model.audio.speech 配置。

启用：spring.ai.model.audio.speech=openai（默认已启用）

禁用：spring.ai.model.audio.speech=none（或任何不匹配 openai 的值）

此更改允许配置多个模型。

前缀 spring.ai.openai.audio.speech 用于配置 OpenAI 文本转语音客户端。

属性 描述 默认值

spring.ai.model.audio.speech

启用音频语音模型

openai

spring.ai.openai.audio.speech.base-url

连接的 URL

api.openai.com

spring.ai.openai.audio.speech.api-key

API 密钥

-

spring.ai.openai.audio.speech.organization-id

可选，指定 API 请求使用的组织

-

spring.ai.openai.audio.speech.project-id

可选，指定 API 请求使用的项目

-

spring.ai.openai.audio.speech.options.model

用于生成音频的模型 ID。对于 OpenAI TTS API，请使用 tts-1 或 tts-1-hd。

tts-1

spring.ai.openai.audio.speech.options.voice

合成所用的声音。可选 alloy、echo、fable、onyx、nova、shimmer。

alloy

spring.ai.openai.audio.speech.options.response-format

音频输出格式。支持 mp3、opus、aac、flac、wav、pcm。

mp3

spring.ai.openai.audio.speech.options.speed

语音合成速度，范围 0.25（最慢）到 4.0（最快）。

1.0
你可以覆盖通用的 spring.ai.openai.base-url、spring.ai.openai.api-key、spring.ai.openai.organization-id 和 spring.ai.openai.project-id 属性。 如果设置了 spring.ai.openai.audio.speech.base-url、spring.ai.openai.audio.speech.api-key、spring.ai.openai.audio.speech.organization-id 和 spring.ai.openai.audio.speech.project-id，则优先生效。 这对于为不同模型和端点使用不同 OpenAI 账号很有用。
所有以 spring.ai.openai.image.options 为前缀的属性都可以在运行时覆盖。

运行时选项

OpenAiAudioSpeechOptions 类提供了进行文本转语音请求时可用的选项。 启动时使用 spring.ai.openai.audio.speech 指定的选项，但你可以在运行时覆盖。

例如：

OpenAiAudioSpeechOptions speechOptions = OpenAiAudioSpeechOptions.builder()
    .model("tts-1")
    .voice(OpenAiAudioApi.SpeechRequest.Voice.ALLOY)
    .responseFormat(OpenAiAudioApi.SpeechRequest.AudioResponseFormat.MP3)
    .speed(1.0f)
    .build();

SpeechPrompt speechPrompt = new SpeechPrompt("Hello, this is a text-to-speech example.", speechOptions);
SpeechResponse response = openAiAudioSpeechModel.call(speechPrompt);

手动配置

在项目的 Maven pom.xml 文件中添加 spring-ai-openai 依赖：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-openai</artifactId>
</dependency>

或在 Gradle build.gradle 文件中：

dependencies {
    implementation 'org.springframework.ai:spring-ai-openai'
}
依赖管理请参考 Dependency Management 部分。

接下来，创建 OpenAiAudioSpeechModel：

var openAiAudioApi = new OpenAiAudioApi()
    .apiKey(System.getenv("OPENAI_API_KEY"))
    .build();

var openAiAudioSpeechModel = new OpenAiAudioSpeechModel(openAiAudioApi);

var speechOptions = OpenAiAudioSpeechOptions.builder()
    .responseFormat(OpenAiAudioApi.SpeechRequest.AudioResponseFormat.MP3)
    .speed(1.0f)
    .model(OpenAiAudioApi.TtsModel.TTS_1.value)
    .build();

var speechPrompt = new SpeechPrompt("Hello, this is a text-to-speech example.", speechOptions);
SpeechResponse response = openAiAudioSpeechModel.call(speechPrompt);

// 获取元数据（速率限制信息）
OpenAiAudioSpeechResponseMetadata metadata = response.getMetadata();

byte[] responseAsBytes = response.getResult().getOutput();

实时音频流

Speech API 支持通过分块传输编码实现实时音频流。这意味着音频可以在完整文件生成并可访问之前播放。

var openAiAudioApi = new OpenAiAudioApi()
    .apiKey(System.getenv("OPENAI_API_KEY"))
    .build();

var openAiAudioSpeechModel = new OpenAiAudioSpeechModel(openAiAudioApi);

OpenAiAudioSpeechOptions speechOptions = OpenAiAudioSpeechOptions.builder()
    .voice(OpenAiAudioApi.SpeechRequest.Voice.ALLOY)
    .speed(1.0f)
    .responseFormat(OpenAiAudioApi.SpeechRequest.AudioResponseFormat.MP3)
    .model(OpenAiAudioApi.TtsModel.TTS_1.value)
    .build();

SpeechPrompt speechPrompt = new SpeechPrompt("Today is a wonderful day to build something people love!", speechOptions);

Flux<SpeechResponse> responseStream = openAiAudioSpeechModel.stream(speechPrompt);

示例代码