同步音频文档至 v5 克隆现行状态
更新林夏设计纲要、执行文档与技术报告，对齐 VoxCPM2 8002 端口、v4/v5 流水线、游戏 184 个 MP3 引用及 13 角色参考音色。 Co-authored-by: Cursor <cursoragent@cursor.com>
This commit is contained in:
Cursor
+57
-22
@@ -1,8 +1,9 @@
|
||||
# 音频资源制作技术落地报告
|
||||
|
||||
> 调研日期：2026-05-20
|
||||
> 最后更新：2026-05-20（新增 Stable Audio 部署完成状态）
|
||||
> 硬件环境：NVIDIA RTX 5090 (32GB VRAM) / CUDA Driver 12.9 / WSL2 Linux
|
||||
> 最后更新：**2026-05-23**（VoxCPM2 v5 克隆落地、游戏音频清理对齐）
|
||||
> 硬件环境：NVIDIA RTX 5090 (32GB VRAM) / CUDA Driver 12.9 / WSL2 Linux
|
||||
> **项目现行状态**：见 `audio_2/项目状态说明.md`
|
||||
|
||||
---
|
||||
|
||||
@@ -10,7 +11,7 @@
|
||||
|
||||
| 能力域 | 工具 | 状态 | 环境 |
|
||||
|--------|------|------|------|
|
||||
| TTS 语音合成 | VoxCPM2 | **运行中** (port 8000) | Python 3.13 venv |
|
||||
| TTS 语音合成 | VoxCPM2 | **运行中** (port **8002**) | `/home/xsl/tts-server/` Python venv |
|
||||
| TTS 语音合成 | CosyVoice2-0.5B | 已部署，需手动启动 | conda cosyvoice |
|
||||
| 音乐/铃声生成 | ACE-Step 1.5 | 已部署，需手动启动 | conda acestep |
|
||||
| 音效/氛围生成 | ACE-Step 1.5 | 同上 | conda acestep |
|
||||
@@ -22,16 +23,21 @@
|
||||
| 音频分析 | librosa / soundfile / pydub | 可用 | pip |
|
||||
| 音视频同步 | MuseTalk / LatentSync | 已部署 | conda 环境 |
|
||||
|
||||
### 当前产出数据 (《林夏》项目)
|
||||
### 当前产出数据 (《林夏》项目，2026-05-23)
|
||||
|
||||
| 类型 | 数量 | 生成工具 |
|
||||
|------|------|----------|
|
||||
| TTS 对话语音 | 216 条 (mp3/tts/) | VoxCPM2 |
|
||||
| BGM 背景音乐 | 4 轨 (90s/30s/120s/120s) | ACE-Step 1.5 |
|
||||
| 角色铃声 | 9 条 | ACE-Step 1.5 |
|
||||
| 音效 | 18 条 | ACE-Step 1.5 |
|
||||
| 环境氛围 | 6 条 | ACE-Step 1.5 |
|
||||
| 总计 MP3 | 372 个文件 | — |
|
||||
| 类型 | 数量 | 路径 | 生成工具 |
|
||||
|------|------|------|----------|
|
||||
| TTS 游戏对白 | **169** 条 | `audio/mp3/tts/*_wav_v1.mp3` | VoxCPM2 v5 克隆 |
|
||||
| TTS 归档产物 | **177** 条 | `audio_2/tts/v5_cloned/*_wav_v5.mp3` | 同上（含台词表全量 + extra） |
|
||||
| 参考音色 | **13** 角色 | `audio_2/tts/v4_voice_samples/` + `voice/*_ref.wav` | Voice Design 试听选定 |
|
||||
| BGM | 4 轨 | `audio/mp3/music/` | ACE-Step 1.5 |
|
||||
| 角色铃声 | 5 条（游戏引用 4 场景） | `audio/mp3/music/` | ACE-Step 1.5 |
|
||||
| 叙事音效 | 4 条 | `audio/mp3/sfx/` | ACE-Step 1.5 |
|
||||
| 环境氛围 | 3 条 | `audio/mp3/ambience/` | ACE-Step 1.5 |
|
||||
| UI 短音效 | 13 种 | 浏览器内 | Web Audio API |
|
||||
| **游戏 MP3 合计** | **184** | `audio/mp3/` | 已与 story.js 对齐 |
|
||||
|
||||
> 注：8000 端口被 head3d 占用，VoxCPM2 固定 **8002**。旧 `*_mp3_v1.mp3` 与 legacy 目录（`audio/mp3/linxia/`、`react/`）已清理。
|
||||
|
||||
---
|
||||
|
||||
@@ -43,12 +49,22 @@
|
||||
|
||||
| 工具 | 模型大小 | VRAM | 中文质量 | 声音克隆 | 延迟 | 特点 |
|
||||
|------|---------|------|---------|---------|------|------|
|
||||
| **VoxCPM2** | 4.7GB | ~6GB | A | 零样本 (5-30s参考音频) | ~1s/句 | FastAPI 服务，REST API，48kHz WAV 输出，带降噪器 |
|
||||
| **VoxCPM2** | 4.7GB | ~6GB | A | 零样本 (5-30s参考音频) | ~1s/句 | FastAPI，`/home/xsl/tts-server/`，port **8002**；支持 Style Control + Voice Design |
|
||||
| **CosyVoice2-0.5B** | 5.3GB | ~8GB | A+ | 零样本 | ~2s/句 | WebUI，多语言，语速可控，阿里开源 |
|
||||
| **Kokoro-82M** | <200MB | <2GB (可CPU) | B (中文社区扩展) | 不支持 | <0.3s | 超轻量，英文为主，适合实时场景 |
|
||||
| **Edge-TTS** | 0 (云端) | 0 | B+ | 不支持 | 网络延迟 | 微软在线服务，免费，多音色 |
|
||||
|
||||
**当前主链路**：VoxCPM2 为主 → CosyVoice2 为备 → Edge-TTS 为最终兜底
|
||||
**当前主链路**：《林夏》已落地 **Voice Design 试听 → 克隆锚定 → Style Control 表演**：
|
||||
|
||||
```
|
||||
03_gen_voice_samples.py (v4 试听，每角色 5 变体)
|
||||
→ 人工选定参考 wav
|
||||
→ 04_gen_tts_clone.py (v5 全量克隆)
|
||||
→ audio/mp3/tts/*_wav_v1.mp3 (游戏加载)
|
||||
```
|
||||
|
||||
API：`POST /v1/speech/styled`（有 voice_id = 克隆+表演；无 voice_id = 纯 Voice Design）。
|
||||
备用：CosyVoice2 → Edge-TTS 兜底。
|
||||
|
||||
#### 推荐部署到本地
|
||||
|
||||
@@ -142,18 +158,24 @@
|
||||
|
||||
#### 本机已有
|
||||
|
||||
VoxCPM2 和 CosyVoice2 均内置零样本声音克隆。当前《林夏》项目已为 12 个角色建立参考音频库：
|
||||
VoxCPM2 和 CosyVoice2 均内置零样本声音克隆。《林夏》**13 角色**参考库（2026-05-23 选定）：
|
||||
|
||||
```
|
||||
audio_2/tts/v4_voice_samples/ # 每角色 1 条选定 wav/mp3
|
||||
voice/
|
||||
linxia/ linxia_ref.wav
|
||||
mom/ mom_extra_04.wav
|
||||
azhe/ azhe_extra_05.wav
|
||||
xiaomei/ ...
|
||||
zhounan/ delivery/ hr/ anan/
|
||||
dorm_a/ dorm_b/ dorm_c/
|
||||
linxia/linxia_ref.wav linxia_v05
|
||||
mom/mom_ref.wav mom_v01
|
||||
azhe/azhe_ref.wav azhe_v03（男声）
|
||||
xiaomei/xiaomei_ref.wav xiaomei_v05
|
||||
xiaomei/xiaomei_drunk_ref.wav xiaomei_drunk_v05
|
||||
zhounan/zhounan_ref.wav zhounan_v05（男声）
|
||||
hr/ anan/ dorm_a/ dorm_b/ dorm_c/
|
||||
delivery/delivery_ref.wav delivery_v04（男声）
|
||||
linxia/self_3y_ref.wav self_3y_v03
|
||||
```
|
||||
|
||||
批量脚本：`audio_2/scripts/04_gen_tts_clone.py` · 清单：`audio_2/tts/v5_cloned/clone_manifest.tsv`
|
||||
|
||||
#### 推荐部署到本地
|
||||
|
||||
| 工具 | Stars | 为什么值得 | 适用场景 |
|
||||
@@ -265,5 +287,18 @@ RTX 5090 (32GB) 可同时运行的组合：
|
||||
|
||||
| 现状 | 升级方案 | 收益 |
|
||||
|------|---------|------|
|
||||
| ACE-Step 生成全部音效 | → Stable Audio Open 1.5 补充精细音效 | 44.1kHz 立体声，电话底噪/UI 音效品质更高 |
|
||||
| v5 克隆已部署，待 playtest | 实机听感迭代 → 微调 `voice_style_prompts.py` 或重选 v4 参考 | 各角色区分度与情感准确度 |
|
||||
| ACE-Step 生成叙事音效 | → Stable Audio Open 1.5 补充精细音效 | 44.1kHz 立体声，电话底噪/UI 音效品质更高 |
|
||||
| 结局仅语音 + 字幕 | → ACE-Step/DiffRhythm 生成结局专属 BGM | 5 个结局各有独立氛围音乐，沉浸感提升 |
|
||||
|
||||
---
|
||||
|
||||
## 七、文档索引（保持一致性）
|
||||
|
||||
| 文档 | 用途 |
|
||||
|------|------|
|
||||
| `林夏.md` §7 | 设计纲要：资产分类、角色配置、文件结构 |
|
||||
| `执行文档_音频素材制作.md` | 操作步骤：环境、流程、后期、QA |
|
||||
| `audio_2/项目状态说明.md` | **现行状态**：端口、目录、命令、选定音色表 |
|
||||
| `audio_2/角色语音风格提示词.md` | Voice Design / 表演修饰参考 |
|
||||
| `audio/batch_tts_voxcpm.py` | 台词表 `LINES` + `ROLES` 语速 |
|
||||
|
||||
Reference in New Issue
Block a user