xsl/SoundGame
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

feat(assets): SA3 音效补齐 radio 11+1 与 dungeon 13源+15pan（token 走 hf-mirror 实测可用）

Browse Source 
- 模型 17/17 文件经镜像全量缓存（gated+token，直连本机不通；sfx.md/setup.md/asset-pipeline.md 镜像结论同步更新）
- 修复迁移遗留：stable_audio_3/models/ 源码子包被 .gitignore models/ 规则误伤丢失，从上游恢复并加白名单
- radio：arg_muffled/brake_screech 等叙事件落地（接线原有 L111/L154 零改动）+ phone_ring SYN→SA3 升级；dungeon 13 源 A/B 对齐（RMS 偏差 ≤0.3dB）全量同名替换，SYN 原版备份 tools/asset_fix_backup/sa3_ab_20260902/
- 关键玩法语义达标：echo 距离档 0.83<1.43<2.18<2.98s 严格递增；one-shot 真峰值全 ≤-3dBFS（解码回读法）
- check_all_assets 8 游戏全绿（radio 254/254、dungeon 303/303）；playtest radio 221/dungeon 1610 全绿
This commit is contained in:
xsl
2026-09-02 19:35:38 +08:00
parent d870a75a26
commit 24c526af68
181 changed files with 5324 additions and 12 deletions
Download Patch File Download Diff File Expand all files Collapse all files
research/new8/batch1-assets-report.md
+82 -1
View File
@@ -46,6 +46,9 @@
## 4. 缺失资产清单（SA3 待 HF token，本轮全部跳过、未尝试生成）
> **已于 2026-09-02 晚全部补产闭环，见本文档 §8**（amb_studio 产出备用未接线；dungeon 28 文件
> 为 A/B 替换而非纯缺失——批次 2 曾以 SYN 兜底，见 `web/dungeon/gen/gen_sfx2.py`）。
**radio（13 件）**：`onair_sting phone_ring line_connect line_drop amb_studio amb_rain_city amb_station amb_kid_room arg_muffled amb_street_rain amb_cab brake_screech tape_static`（15-radio.md §5.2；prompt 草稿在表内，token 就绪后按 gen_rpg_sfx.sh 工艺补产）。
**dungeon（24 文件 = 13 个 SA3 源 + 11 个 pan 派生）**：`echo_1 echo_2 echo_3 echo_4 stairs_down atk_hit enemy_die mob_step_small mob_step_bug mob_step_heavy`（+各 l/c/r 三份派生）`tel_small tel_bug tel_heavy`（+各 l/r 派生）（16-dungeon.md §9.2；mono 源 → `stereotools`/`pan` 派生工艺同表注）。
@@ -65,7 +68,7 @@ radio ogg 构成 = 103+103 双性别 + 29 平铺 NPC + 2 sfx + 4 bgm；dungeon =
## 6. 遗留问题 / 待办
1. **SA3 token**：环境未配置（env.d/sfx.sh 无有效 HF token），radio 13 + dungeon 24 件 sfx 待补产（清单见 §4，prompt 均已在设计文档定稿）。
1. ~~**SA3 token**：环境未配置（env.d/sfx.sh 无有效 HF token），radio 13 + dungeon 24 件 sfx 待补产（清单见 §4，prompt 均已在设计文档定稿）。~~ **已闭环（2026-09-02 §8）**。
2. **人工试听两处**：① radio NPC 带通句可读性抽检（不可读回退未滤波原声，staging 重转即可，管线已支持）；② 多音字风险句（15-radio-voice-ids.md 文末注记：h1_dango「嘶」、k1_lullo、d9_face 等；16b：btl_bat「蝠」、unlock_potion「行囊」）。
3. **文档笔误待策划改**：15-radio-voice-ids.md 头注「HOST 21 + PROD 82」应为「HOST 29 + PROD 74」（总数 103 不变，不影响任何资产）。
4. radio 无「大姐/姑娘」自称合规、gd_* 两级不同句等台词侧设计约束均已在表内落实，开发接线时按 §7.2 看门狗表取用即可。
@@ -82,3 +85,81 @@ radio ogg 构成 = 103+103 双性别 + 29 平铺 NPC + 2 sfx + 4 bgm；dungeon =
| 期望文本映射 | `web/harness/voice_text.json`（games=8） |
| 台账/总账 | `tools/mureka_log.md`（2026-09-01 节）；`docs/audio/asset-manifest.md`（radio/dungeon 章节） |
| staging（不入库） | `tools/gen_voice_dual_wav/{radio,dungeon}/`、`web/<game>/gen/staging/`、`tools/bgm_post_wav/`、`tools/mureka_out/` |
## 8. SA3 补产（2026-09-02 晚，HF token 就绪后；§4 缺失清单闭环）
> 总耗时 ≈ **40 分钟**（18:57–19:38，3 轮 GPU flock 串行生成 + 全部 QC/A-B/文档）。
> 模型 `stabilityai/stable-audio-3-small-sfx` 17 文件经 hf-mirror（gated+token）全量下载成功，
> 落 `models/hf/hub/models--stabilityai--stable-audio-3-small-sfx/`。生成参数：`--steps 8 --seed 20260902`，
> 3 轮 CLI 批量（radio 12 + dungeon 13 + amb_studio 1），原始 wav 在 `web/<game>/gen/staging/sfx_sa3/`（不入库）。
**环境修复（重要，机器迁移遗留）**：`tools/stable-audio-3/.gitignore` 的 `models/` 规则误伤了
源码子包 `stable_audio_3/models/`（factory.py 的依赖，初迁时未入库而丢失，import 直接报
ModuleNotFoundError）。已从上游 GitHub（经 ghfast.top 代理，本机直连 GitHub 不通）恢复该子包，
并在 .gitignore 追加 `!stable_audio_3/models/` 防复发。CLI 需 `source env.d/sfx.sh`
（HF_TOKEN/HF_ENDPOINT），模型已在缓存时加 `HF_HUB_OFFLINE=1` 免网络。
**工艺（入库脚本 `web/{radio,dungeon}/gen/gen_sfx_sa3.py`，含 `--emit` 打印生成命令）**：
SA3 输出为定长 latent 床（radio raw 16.16s / dungeon raw 10.59s，与请求时长无关），按实测事件
窗截取（arg_muffled 摔门峰 @5.00s、brake_screech 最强吱咬 @3.91s、tape_static 停带 @3.72s，
窗切点 50ms 缓出）；one-shot 去直流 + 8ms cos² 淡化 + 峰值定档；amb 床只去直流不淡化
（游戏层 0.4s 重触发重叠掩接缝），RMS −26dBFS 定档 + 峰值帽 −8（escape amb 床先例）；
dungeon 候选按在役 SYN 版解码 RMS 同口径对齐（保混音参数，峰值帽 −4 不变；垫后计算避免稀释偏差；
派生 l/r/c 从对齐后基准复制，与 SYN 派生逐声道振幅一致）。编码 ogg q4 + m4a 128k
（hp30 + 垫 60/120ms），解码回读 QC 全过：逐声道真峰值 ≤ −3dBFS、|直流| ≤ 0.001、
超限降增益 + 首轮重编 18kHz 低通（本轮无一触发补偿）；phone_ring 另验循环边界 ≤ −60dBFS。
### 8a. radio（13 件 = 缺失 11 + phone_ring 替换 + amb_studio 备用；11+替换件已接线）
| id | 时长s | ogg峰dBFS | m4a峰dBFS | RMS | 结论 |
|---|---|---|---|---|---|
| onair_sting | 2.14 | −4.10 | −4.14 | −19.0 | 补产落地（台标 sting，k1 前 INTRO 已接线） |
| phone_ring | 5.20 | −4.00 | −3.76 | −30.5 | **替换 SYN**（A/B：真电话铃双击响明显更优；循环周期 5.2s 烘进文件、边界静音 ≤−60dBFS，游戏侧 `_ringSrc` loop 接口零改动，原 SYN 备份在 `tools/asset_fix_backup/sa3_ab_20260902/radio/`） |
| line_connect | 0.78 | −7.30 | −7.11 | −33.6 | 补产落地（接听咔哒，subtle 档 −7） |
| line_drop | 2.23 | −7.27 | −7.51 | −31.1 | 补产落地（挂断+忙音） |
| amb_rain_city | 16.16 | −8.77 | −8.58 | −26.2 | 补产落地（C1 老周侧 amb 床） |
| amb_station | 16.16 | −7.66 | −7.73 | −34.3 | 补产落地（C2 小鹿侧；峰值帽导致偏静，深夜车站符合设计） |
| amb_kid_room | 16.16 | −10.52 | −10.70 | −37.2 | 补产落地（C3 糖糖侧；刻意安静，反衬 arg_muffled 线索） |
| arg_muffled | 4.58 | −8.44 | −8.74 | −33.9 | 补产落地（**C3 埋线索**：k1_b 已接线 ×2 播，事件窗含摔门 @raw 5.0s） |
| amb_street_rain | 16.16 | −8.14 | −7.76 | −27.2 | 补产落地（C4 陈姐侧） |
| amb_cab | 16.16 | −11.31 | −11.20 | −26.4 | 补产落地（C5 老韩侧，引擎+雨刷） |
| brake_screech | 2.38 | −4.75 | −5.01 | −22.9 | 补产落地（**C5 危机拍**：h1_danger 已接线 preMs=2000 前置，最强吱咬事件窗 2.2s） |
| tape_static | 3.53 | −5.70 | −5.40 | −33.4 | 补产落地（p9 直面留言机电流） |
| amb_studio | 10.00 | −14.56 | −14.59 | −27.1 | 备用（文档 §5.2 有、game.js 未接线——直播间底噪由 bgm/onair 承担；不改代码） |
### 8b. dungeon（28 文件 = 13 SA3 源 + 15 pan 派生，全部同名替换在役 SYN 兜底）
| 源 id | SA3 时长s (SYN) | ogg峰 (SYN峰) | SA3 RMS (SYN RMS) | 结论 |
|---|---|---|---|---|
| echo_1 | 0.83 (0.58) | −11.1 (−5.5) | −28.4 (−28.3) | 替换；**距离档递增校验通过** 0.83<1.43<2.18<2.98 |
| echo_2 | 1.43 (1.08) | −4.3 (−4.4) | −29.7 (−27.3) | 替换（峰值型瞬态，RMS 对齐受峰值帽 −1~2dB 内） |
| echo_3 | 2.18 (1.68) | −14.0 (−4.2) | −28.5 (−28.4) | 替换 |
| echo_4 | 2.98 (2.38) | −14.1 (−4.2) | −26.9 (−26.2) | 替换 |
| stairs_down | 3.72 (1.88) | −4.0 (−4.6) | −25.1 (−24.1) | 替换（真实下行金属梯+窟内混响） |
| atk_hit | 0.87 (0.48) | −4.5 (−4.6) | −25.8 (−21.4) | 替换（甲壳钝响峰值对齐，RMS −4.4dB 为峰值帽所致） |
| enemy_die | 1.88 (1.08) | −3.6 (−4.0) | −21.5 (−19.8) | 替换 |
| mob_step_small | 0.63 (0.42) | −7.2 (−4.4) | −27.1 (−27.0) | 替换（+_l/_c/_r 派生 3 文件） |
| mob_step_bug | 0.73 (0.48) | −4.3 (−3.7) | −22.6 (−20.7) | 替换（+派生 3；虫肢咔嗒质感） |
| mob_step_heavy | 0.83 (0.58) | −4.4 (−4.3) | −22.6 (−20.8) | 替换（+派生 3） |
| tel_small | 1.18 (0.78) | −3.5 (−3.6) | −19.5 (−17.6) | 替换（+_l/_r 派生 2） |
| tel_bug | 1.28 (0.78) | −5.3 (−4.7) | −23.1 (−23.0) | 替换（+派生 2） |
| tel_heavy | 1.48 (1.08) | −3.5 (−4.3) | −17.4 (−12.9) | 替换（+派生 2；SYN 低吼 RMS −12.9 受峰值帽只对齐到 −17.4，峰值 −3.5 保留冲击力） |
**A/B 结论（默认「质量明显更好才替换」）**：13 源全部替换。依据：① 真实声源质感（石壁反射/
虫甲/金属梯）对合成正弦+噪声团，听感代差明确，且 16-dungeon.md §9.2 本就以 SA3 为正选、SYN 仅为
无 token 兜底（gen_sfx2.py 头注「日后补产 SA3 版，直接覆盖同名文件」）；② 语义可测项全部达标——
echo 距离档时长/暗度严格递增（回声尾长=墙距是核心玩法信息）、脚步/前摇/命中时长落在玩法窗口
（mob_step ≤0.83s、tel 1.18-1.48s、atk_hit 0.87s）、响度按在役 SYN 解码 RMS 对齐（混音零改动）。
SYN 版全部备份于 `tools/asset_fix_backup/sa3_ab_20260902/dungeon/`，可一键回退。
### 8c. 终检与回归
- `tools/check_all_assets.py`：8 游戏全绿——radio **254/254**（235 voice + 15 sfx + 4 bgm）、
dungeon **303/303**（250 voice + 49 sfx + 4 bgm），0 字节/解码失败/配对缺失均为 0。
- `web/radio/test/playtest.mjs`：**221 断言全绿**（未改任何代码；静态审计「sfx 缺失」变 0——
STABLE_AUDIO_PENDING 清单闭环；arg_muffled ×2 / brake_screech 前置 2s 触发断言原本就有）。
- `web/dungeon/test/playtest.mjs`：**1610 断言全绿**（同名替换游戏层零改动）。
- 接线复核：arg_muffled=game.js L111（k1_b `sfx` + `sfxEcho` atMs 6500）、brake_screech=L154
（h1_danger `danger:true, preMs:2000, sfx`），R1 报告属实，本轮零代码改动。
- key/token 未入任何入库文件；GPU 全程 flock 串行（3 轮）；未动 web/engine/、web/harness/live/**、
8123/8124/8001 服务。