research: 方法论v1 + 交互方案v1 + 玩家人设卡 + 第5份调研(sonification)
- 02-methodology/methodology.md 四通道模型/七公理/五层交互栈/决策推导机/度量闭环/反模式 - 03-schemes/schemes.md guide.js规格/8句新语音/逐游戏接线表/测试策略/人设×场景矩阵(分期) - 04-playtests/personas.md 4人设卡(视障/大学生/白领/工人)+结构化评分规程 - 01-literature/02-sonification-design.md earcon学习成本8.5轮vs语音1.14轮等硬参数
This commit is contained in:
@@ -0,0 +1,234 @@
|
|||||||
|
# 02 - 声音如何承载结构化信息:sonification / earcon 设计科学调研(RQ2)
|
||||||
|
|
||||||
|
> 项目:纯音频游戏交互设计研究(Audio-HCI)
|
||||||
|
> 检索日期:2026-08
|
||||||
|
> 检索语言:英文为主(ICAD / CHI / Human Factors / Sonification Handbook / 平台官方指南)
|
||||||
|
> 说明:文中每条发现附来源 URL;凡未找到一手来源的数据均明确标注「未找到一手来源,以下为推断」。
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## ① 研究问题
|
||||||
|
|
||||||
|
**RQ2:声音如何承载结构化信息(状态 / 选项 / 空间 / 进度)?语音、音效、音乐、震动的分工与参数边界是什么?**
|
||||||
|
|
||||||
|
本游戏无画面,信息通道只有:TTS 语音、一次性音效、按状态切换的 BGM、10 种语义震型;输入只有 6 种手势。核心痛点是「玩家不知道自己处于什么状态、不知道当前手势各自是什么含义」。本报告回答:
|
||||||
|
|
||||||
|
1. 一组可区分、可记忆的状态音(earcon)应该怎么造?参数边界在哪里?能承载多少个状态?
|
||||||
|
2. 语音 / 拟真音(auditory icon)/ 抽象音(earcon)/ BGM / 震动各自适合承载哪类信息?认知成本差异有多大?
|
||||||
|
3. 语音播报的节奏、打断、混音规则;并发声音的上限。
|
||||||
|
4. 空间信息用什么技术承载、能区分几个方位。
|
||||||
|
5. 震动什么时候该与声音做冗余。
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## ② 分主题发现
|
||||||
|
|
||||||
|
### 2.1 Earcon 设计指南:可区分、可记忆的状态音怎么造
|
||||||
|
|
||||||
|
**一手来源:Brewster《Guidelines for the Creation of Earcons》(Glasgow 大学,实验推导指南,基于 Brewster, Wright & Edwards 1995 年前后共 6 个对照实验)**
|
||||||
|
URL: https://www.dcs.gla.ac.uk/~stephen/earcon_guidelines.shtml
|
||||||
|
论文: https://www.semanticscholar.org/paper/c4fa0a5a72210a25de2918c63d22d31a83945405
|
||||||
|
|
||||||
|
具体参数边界(原文数字):
|
||||||
|
|
||||||
|
| 参数 | 建议边界 |
|
||||||
|
|---|---|
|
||||||
|
| 音高上限 | 不高于 **5 kHz**(约 C3 上方四个八度) |
|
||||||
|
| 音高下限 | 不低于 **125–150 Hz** |
|
||||||
|
| 最短音符时长 | **≥ 0.0825 s**;仅 1–2 个音符的简单 earcon 可短至 **0.03 s** |
|
||||||
|
| 音符密度 | **1 秒内 ≤ 6 个音符**仍可用 |
|
||||||
|
| 响度 | 高于背景声阈值 **+10 dB ~ +20 dB**;不要只用响度做区分参数 |
|
||||||
|
| 串行复合 earcon 间隔 | **0.1 s** 静音间隙 |
|
||||||
|
| 音域(register)单独区分 | 绝对判断需 **2–3 个八度**差异;较小差异只适合相对判断 |
|
||||||
|
| 音色 | 选多谐波、主观上差异大的乐器音色(如 brass vs organ,而非 brass1 vs brass2) |
|
||||||
|
|
||||||
|
关键结论:
|
||||||
|
|
||||||
|
- **音高不能单独作区分参数**。Brewster 的评估工作明确建议:需要绝对判断时,音高必须与节奏/音色/音域等参数组合使用(转引自 Polotti & Rocchesso 2013, Int. J. of Design, http://www.ijdesign.org/index.php/IJDesign/article/view/1201/577 )。
|
||||||
|
- **节奏是最强的区分维度**(引 Deutsch 的节奏分组研究,见 Brewster 1993 原文,https://eprints.gla.ac.uk/3257/1/CHI4493.pdf );不同节奏型(每小节音符数不同)区分效果最好。
|
||||||
|
- **吸引注意的手段排序**:优先用节奏或音高变化,而非加大音量——「新出现的声音即使响度很低也会抓住注意」。其他抓注意手段:高音区、宽音域、快起音/快收音、不规则谐波、无调性/无节奏。反之,想要「可忽略的声音」就用低响度 + 规律节奏。
|
||||||
|
- 每小节**重音放在第一个音符**(略响),最后一个音符略延长,便于分组感知。
|
||||||
|
|
||||||
|
**层级 earcon(family earcon)结构**(同上 Brewster 指南页 + Dingler & Lindsay 2008):
|
||||||
|
|
||||||
|
- 第 1 级(家族):为每个家族指定一个**音色 + 默认音域 + 声像位置**;
|
||||||
|
- 第 2 级(子类):用**节奏型**区分子类;
|
||||||
|
- 第 3 级及更深:用**音高轮廓、强度、和弦、效果器(chorus/delay)、tempo** 细分;
|
||||||
|
- 子 earcon **继承**父级全部属性(所以听感上「同类」,又有差异);
|
||||||
|
- 层级深度:Brewster 示例为 3 层;Dingler & Lindsay (2008) 总结为「理论上最多 5 层,对应 5 个可操纵参数(rhythm, pitch, timbre, register, dynamics)」,且实测 earcon 音效时长跨度 **0.25–4 s**。来源:https://www.icad.org/Proceedings/2008/DinglerLindsay2008.pdf
|
||||||
|
|
||||||
|
**可区分数量上限:**
|
||||||
|
|
||||||
|
- Brewster, Wright & Edwards (1993, INTERCHI) 的验证实验使用 **27 个 earcon**(tools / graphs / menus 三个家族):实验 1(未优化设计)识别率差,改进设计并训练后识别显著提升(二手转述数值约 62%→97%;**该百分比未从原文核对,以下为待核对的二手数据**)。原文: https://eprints.gla.ac.uk/3257/1/CHI4493.pdf
|
||||||
|
- Dingler & Lindsay (2008) 实测集合为 **20 个**声音目标。结论:**经过教学,一组 20–30 个 earcon 是可学习的**;但见 2.7 节——学习代价高。
|
||||||
|
- 未经训练的即时绝对判断上限:未找到直接的一手研究给出「N 个」;按 Cowan 短时记忆 4 chunk(见 2.8)与 Brewster 各实验设计推断:**无训练时同时引入的新 earcon 不宜超过 4–6 个**。**未找到一手来源,以下为推断。**
|
||||||
|
|
||||||
|
### 2.2 Auditory icon vs earcon vs 语音 vs spearcon vs BGM 的分工
|
||||||
|
|
||||||
|
**核心一手对比数据——Dingler & Lindsay (2008, ICAD)《Learnability of Sound Cues for Environmental Features: Auditory Icons, Earcons, Spearcons, and Speech》**(20 个环境特征、39 名被试、5 种声音类型)
|
||||||
|
URL: https://www.icad.org/Proceedings/2008/DinglerLindsay2008.pdf
|
||||||
|
|
||||||
|
- 达到 100% 正确所需训练轮次:**spearcon 1.14 轮、speech 1.14 轮、earcon 8.50 轮(SD 4.087)**——earcon 的学习成本约是语音/spearcon 的 **7.5 倍**;
|
||||||
|
- 聚合正确率:spearcon 与 speech 约 **99.64%**,显著高于 earcon;
|
||||||
|
- earcon-icon 混合体表现也不佳。
|
||||||
|
|
||||||
|
**元分析证据——Nees & Liebman (2023)《Auditory Icons, Earcons, Spearcons, and Speech: A Systematic Review and Meta-Analysis of Brief Audio Alerts in Human-Machine Interfaces》, Auditory Perception & Cognition, 6(3-4), 300–329**
|
||||||
|
URL: https://www.tandfonline.com/doi/pdf/10.1080/25742442.2023.2219201
|
||||||
|
结论:就**正确率与反应时**而言,**speech ≈ spearcon > 混合告警 > auditory icon > earcon**(earcon 最差)。
|
||||||
|
|
||||||
|
**菜单导航证据——Walker et al. (2013)《Spearcons (Speech-Based Earcons) Improve Navigation Performance in Advanced Auditory Menus》, Human Factors**
|
||||||
|
URL: https://journals.sagepub.com/doi/10.1177/0018720812450587
|
||||||
|
在层级听觉菜单中加入 spearcon(时间压缩的语音片段)后导航更快更准——即使 spearcon 让菜单项变得更长。
|
||||||
|
|
||||||
|
**分工结论(综合上述一手文献)**:
|
||||||
|
|
||||||
|
| 载体 | 认知加工 | 学习成本 | 适合承载 | 不适合 |
|
||||||
|
|---|---|---|---|---|
|
||||||
|
| 语音 (TTS) | 串行、带宽最高、即时可懂 | ≈0(1.14 轮) | 新手教学、一次性复杂信息、数字/名称 | 高频重复信息(慢、占注意);Dingler 指出语音难以空间定位、占用心理资源大(边听语音边对话困难) |
|
||||||
|
| Spearcon | 快、短 | ≈0(1.14 轮) | 菜单/选项标签(6 个手势各自的含义) | 需要情绪/氛围的信息 |
|
||||||
|
| Auditory icon(拟真音) | 直觉映射(Gaver「自然声音的漫画化」,https://sonification.de/handbook/chapters/chapter13/ ) | 低 | 物理事件(开门、拾取、碰撞——因果直观) | 抽象状态(无自然映射) |
|
||||||
|
| Earcon(抽象动机) | 需记忆 | 高(8.5 轮) | **固定集合的状态/类别标签**、层级结构(继承属性可推理) | 频繁变化的临时信息 |
|
||||||
|
| BGM | 氛围化、并行、低侵入 | 低(用情绪/配器编码宏观状态) | 常驻状态流、进度/紧张度 | 需要精确辨认的具体信息(一组 BGM 只可靠表达 1 个宏观状态) |
|
||||||
|
|
||||||
|
**混用规则——「earcon 前缀 + 语音正文」**:
|
||||||
|
「先用短 earcon 标记信息类别,再播报语音内容」是听觉界面/VUI 的通行实践(如语音信箱中用 earcon 提示「新留言到达」再进入语音内容;Material Design 的声音层级指导亦按 voice / UX sound / music 分层)。来源:
|
||||||
|
- Material Design, About Sound / Applying Sound to UI: https://m2.material.io/design/sound/applying-sound-to-ui.html
|
||||||
|
- VUI 设计指南中的 earcon 前缀实例(语音信箱示例):https://www.scribd.com/document/899795906/VUI
|
||||||
|
- ETSI EG 202 116(电话语音服务的听觉显示/earcon 人因标准):https://www.etsi.org/
|
||||||
|
- **注意**:「前缀能降低语音加工成本」的对照实验证据未找到一手来源,此条按实践惯例采用(推断,但风险低)。
|
||||||
|
|
||||||
|
### 2.3 结构化状态播报:节奏、打断、ducking、信息分级
|
||||||
|
|
||||||
|
**混音/ducking 参数(行业实践来源,非学术)**:
|
||||||
|
|
||||||
|
- 侧链 ducking 起始参数:**ratio 4:1–8:1,attack 1–10 ms**(语音出现前音乐必须先让位);来源:https://infinitecreation.io/tutorial-ducking-music 、https://borisfx.com/blog/what-is-sidechain-compression-and-how-to-use-it/
|
||||||
|
- **release 300–600 ms,或加 hold ~500–1500 ms** 防止句间「抽吸」;来源:https://vi-control.net/community/threads/ducking-music-volume-to-make-way-for-voice-narration-is-there-a-better-way-than-side-chaining.83139/ 、https://www.reddit.com/r/obs/comments/ered4h/looking_for_duckingsidechain_guidance/
|
||||||
|
- duck 深度常规 **−6 ~ −12 dB**;响度分离经验值:对白应比音乐床高 **~6 LU**。来源:https://www.reddit.com/r/AudioPost/comments/1js4xav/what_lufs_should_dialogue_sit_around/
|
||||||
|
- 游戏整体响度参考:主机 **−23 LUFS (±2)**、便携设备 **~−18 LUFS**、true peak ≤ **−1 dBTP**;游戏音频长期没有强制响度标准。来源:https://ansoaudio.com/2016/07/27/loudness-and-metering-in-game-audio/ 、https://www.stephenschappler.com/2013/07/26/listening-for-loudness-in-video-games/
|
||||||
|
- 中间件最佳实践:建立**以对白为最大值的音量参考类别**,其余类别相对其缩放。来源:Audiokinetic 官方博客《Scalable Loudness Processing for Games》 https://www.audiokinetic.com/en/community/blog/loudness-processing-best-practice-chapter-3-scalable-loudness-processing-for-games
|
||||||
|
|
||||||
|
**语音打断规则**:
|
||||||
|
- Wwise/FMOD 均提供 sidechain ducking 与总线音量自动化两种 ducking 实现,各有取舍。来源:https://www.reddit.com/r/GameAudio/comments/ltpsm1/performance_of_methods_of_ducking/ 、https://qa.fmod.com/t/best-way-to-duck-all-other-audio-for-the-audio-for-one-event-without-sidechaining/19559
|
||||||
|
- 「在语句边界打断、新语音顶替旧语音、允许重听」:**未找到直接一手研究来源,以下为推断**——依据是 (a) 语音串行加工特性(Dingler 2008),(b) 语音检索中断造成的记忆损失(Cowan 工作记忆模型,见 2.8)。
|
||||||
|
|
||||||
|
**信息三级分级在听觉通道的实现(依据 Brewster 注意机制研究,https://www.dcs.gla.ac.uk/~stephen/earcon_guidelines.shtml )**:
|
||||||
|
- 常驻信息 → BGM/环境声(规律、低响度、可忽略的设计);
|
||||||
|
- 事件信息 → 一次性音效(短促、新声音);
|
||||||
|
- 告警 → 「新声音 + 高显著声学特征(快起音、宽音域、无规律节奏)+ 多模态冗余」。**注意分级的三层结构本身即来自 Brewster「吸引注意 vs 可忽略」的声学参数清单**。
|
||||||
|
|
||||||
|
### 2.4 并发声音限制:人耳同时能解析几路?
|
||||||
|
|
||||||
|
- **听觉场景分析(ASA, Bregman)**:听者一般只能把注意维持在 **1–2 条声流**上;「鸡尾酒会效应」即是从多路声音中选择性跟踪 1 路的体现。来源:https://tlr-hub.asha.org/cred/auditory-scene-analysis-an-attention-perspective/ 、https://en.wikipedia.org/wiki/Auditory_scene_analysis 、Bregman 原著框架 https://www.ee.columbia.edu/~dpwe/copies/www.cis.ohio-state.edu/pnl/WCA/files/Bregman.PDF
|
||||||
|
- **并发 earcon 实证——McGookin & Brewster (2004, ACM TAP)《Understanding Concurrent Earcons》**:实验设置 1/2/3/4 个 earcon 同时播放(https://dl.acm.org/doi/doi/pdf/10.1145/1024083.1024087 );McGookin 博士论文报告并发呈现时**整体识别率仅 ~30%**(https://theses.gla.ac.uk/14/ );后续研究表明**音色分离 + 声像分离**可改善并发识别(ICAD 2003: https://www.icad.org/websiteV2.0/Conferences/ICAD2003/paper/10%20McGookin.pdf )。
|
||||||
|
- 引用该工作的后续研究明确指出:**2 路并发 earcon 的准确率高于 3 路**。来源:https://www.sciencedirect.com/science/article/pii/S1071581923001325
|
||||||
|
|
||||||
|
**结论**:安全上限为 **1 路语音 + 1 路非语音事件音**;任何需要辨认的选项/状态音**必须串行**播放;确需并发(如多生命值监控)不超过 2 路,且必须用音色+声像分离。
|
||||||
|
|
||||||
|
### 2.5 听觉空间化:HRTF vs 立体声 pan
|
||||||
|
|
||||||
|
- **最小可听角(MAA)**:正前方 ~**1°**;45° 处 ~1.3°;75° 处 ~2.4°;正侧方 90° 恶化到 ~7.5°(Mills 1958/1960,综述见 Blauert《Spatial Hearing》与 Acoustics Today 教程 https://acousticstoday.org/ );**仰角**分辨差得多:噪声脉冲 ~3.6°–7°(Zwiers 2001; Grantham 1997)。
|
||||||
|
- **前后混淆(front-back confusion)**:正常条件下约 **5–10%** 的响应为前后反转(Wightman & Kistler);高频谱线索(耳廓)被破坏时升到 **~35%**(Middlebrooks 1992);**头部运动可显著降低混淆**(Wallach 1940; Brimijoin & O'Neill 2010)。
|
||||||
|
- **HRTF vs 简单 pan**:Ferrand et al. (2019)《HRTF and panning evaluations for binaural audio guidance》:**动态测试中 HRTF 的定位 RMSE 显著优于 panning**,静态/动态均更精确。URL: https://hal.science/hal-02948557/document
|
||||||
|
- 简单立体声 pan 只能产生**左右弧线**上的方位感,无法提供前后/上下线索(社区与文献一致)。来源:https://forum.dcs.world/topic/102070-no-true-headphone-3d-audio-in-games/ 及 Ferrand 2019。
|
||||||
|
- **可辨方位档数**:**未找到直接给出「可区分方位档位数」的一手研究**;按 MAA 数据与 pan/HRTF 工作方式推断:立体声 pan 可靠档位 ≈ 左/中/右(3 档,可扩展到 5 档);HRTF 在耳机上可支撑 8 方位以上的粗定位,但前后混淆需靠头部运动或额外提示解决。**以下为推断。**
|
||||||
|
- 移动端可行方案:无 HRTF 时用「pan + 音量/低通随距离衰减」承载左右与远近;关键前后判定不要只用音频(混淆率 5–35%)。
|
||||||
|
|
||||||
|
### 2.6 震动 + 声音的多模态冗余:什么时候有效?
|
||||||
|
|
||||||
|
- **节律知觉在听觉与触觉间共享神经机制**(Bernard et al. 2022, PMC):音频与触觉信号很可能由共同的神经机制加工节奏——这为「震动节奏型与音效节奏型同构」提供依据。URL: https://pmc.ncbi.nlm.nih.gov/articles/PMC8907191/
|
||||||
|
- **冗余不总是有效**:Applied Ergonomics 元分析(2022)《When to use vibrotactile displays?》指出,跨视觉/听觉/触觉的**组合式冗余警告可能反而更慢**(引 Lee et al. 2006)。URL: https://www.sciencedirect.com/science/article/abs/pii/S0003687022001259
|
||||||
|
- 平台指南:Apple HIG 主张触觉作为多通道反馈的一环(设备静音/不看屏幕时仍可达),语义化预置模式(notification/impact/success/warning/error):https://developer.apple.com/design/human-interface-guidelines/playing-haptics 、https://developer.apple.com/design/human-interface-guidelines/feedback ;Android 触觉设计原则要求简单、短促、避免刺耳的长震动,提供语义原语(EFFECT_CLICK / EFFECT_HEAVY_CLICK / PRIMITIVE_*)与振幅-时长波形数组:https://developer.android.com/develop/ui/views/haptics/haptics-principles 、https://m2.material.io/design/platform-guidance/android-haptics.html
|
||||||
|
- 手机 LRA 马达有效感知带宽约 **80–300 Hz**(Pacinian 感受器主导),设计震型应在此范围内做「尖锐度/强度/节奏」变化。来源:https://swmansion.com/blog/haptics-is-music-how-to-design-haptic-patterns-that-feel-right/
|
||||||
|
- **结论**:冗余有效条件 = (a) 两种模态**信息同构**(同一节奏/时长结构);(b) 用于**少量关键事件**(告警、手势确认)而非所有反馈;(c) 通道本身可靠(震动在嘈杂环境、静音场景补足听觉)。
|
||||||
|
|
||||||
|
### 2.7 一致性与学习成本:玩家要听几次才能记住一个 earcon?
|
||||||
|
|
||||||
|
- **8.5 轮**:Dingler & Lindsay (2008) 实测 earcon 平均需 **8.50 轮(SD 4.087)** 训练才达到 100% 正确,而语音/spearcon 只要 1.14 轮。URL: https://www.icad.org/Proceedings/2008/DinglerLindsay2008.pdf
|
||||||
|
- Brewster (1993) 评估中识别率随训练显著上升(27 个 earcon,改进设计 + 训练后大幅提高;具体百分比见 2.1 待核对标注)。URL: https://eprints.gla.ac.uk/3257/1/CHI4493.pdf
|
||||||
|
- Georgia Tech 评估研究:earcon 和 auditory icon 相比语音**从训练中获益更多**(即学习曲线更陡但有回报)。URL: https://repository.gatech.edu/bitstreams/f1ebdf0a-6a34-4417-88e1-465abf896c83/download
|
||||||
|
- **设计含义**:(a) 状态音集合必须**全游戏一致**(同一状态永远同一音,同一手势永远同一音+震);(b) 用**家族层级**让新 earcon 可从已知家族推理(降低表观学习量);(c) 新音前 3–5 次出现必须伴随语音标签或即时后果,把「8.5 轮训练」内嵌进玩法。
|
||||||
|
|
||||||
|
### 2.8 记忆与注意力限制:听觉工作记忆 & TTS 语速
|
||||||
|
|
||||||
|
- **听觉短时记忆纯容量 ≈ 4 chunks**(Cowan 2001, Behavioral and Brain Sciences「The Magical Number 4」;7±2 已被修正为含复述/组块的估计)。URL: https://pubmed.ncbi.nlm.nih.gov/11515286/ 、https://pmc.ncbi.nlm.nih.gov/articles/PMC2864034/
|
||||||
|
- **回声记忆(echoic memory)持续 ~2–4 s**;Baddeley 语音回路以 ~2 s 排练时间为容量单位——**一条连续语音播报超过 ~2–4 秒且包含 >4 个信息点就会被丢失**。URL: https://thedecisionlab.com/reference-guide/psychology/working-memory 、https://www.sciencedirect.com/topics/social-sciences/sensory-memory
|
||||||
|
- **TTS 语速**:正常说话 ~150–160 wpm;**>225 wpm 时理解率加速下降**(Jones 2007,基于 Foulke & Sticht 1969,转引);Syrdal et al. (2012, Interspeech) 系统测了 **200–450 wpm** 的合成语音可懂度(快速档主要服务熟练屏幕阅读器用户)。URL: https://www.isca-archive.org/interspeech_2012/syrdal12_interspeech.pdf ;另见 Hux et al. 2019(TTS 语速 × 理解,临床人群)https://pmc.ncbi.nlm.nih.gov/articles/PMC7231913/
|
||||||
|
- **中文 TTS 语速的可懂度曲线:未找到一手研究**(上述均为英文 wpm 数据)。按中文播音/语音交互惯例推断:正文 **~240–300 字/分钟**,教学/数字信息放慢到 ~200 字/分钟,且关键数字允许重听。**以下为推断。**
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## ③ 对本项目的可操作设计规则(可直接写进设计规范)
|
||||||
|
|
||||||
|
**状态音(earcon)**
|
||||||
|
|
||||||
|
1. 【应该】状态音按「家族层级」组织:用**音色**区分信息大类(如:战斗类/资源类/系统类各定一种乐器),**节奏型**区分子类,**结束音高**区分同类内的具体状态;子状态音继承父类音色与节奏,保证「听得出是一家人」。
|
||||||
|
2. 【应该】每个 earcon 的参数边界:时长 **0.25–1.5 s**(层级复合音最多 4 s);音符最短 **0.08 s**;每秒 **≤6** 个音符;频带 **125 Hz–5 kHz**;响度高于当前环境声 **+10~+20 dB**;复合音串行时留 **0.1 s** 间隙。
|
||||||
|
3. 【不应该】**不要只用音高**区分两个状态(尤其相邻音高);必须同时改变节奏/音色/音域中至少一个参数(组合区分,绝对判断下音域差需 ≥2 个八度)。
|
||||||
|
4. 【应该】全游戏 earcon 总集控制在 **20–30 个以内**并做教学关;单个场景内**同时引入的新状态音 ≤4 个**(推断:未找到无训练上限的一手数据)。
|
||||||
|
5. 【应该】新状态音第一次出现及之后的前 3–5 次,**必须伴随语音标签**(「这是补给点音」)或直接因果后果——earcon 实测需要 ~8.5 轮接触才能稳定识别,语音只需 ~1.1 轮。
|
||||||
|
|
||||||
|
**手势选项播报**
|
||||||
|
|
||||||
|
6. 【不应该】**不要并发播放** 6 个手势的选项音/语音;任何需要玩家辨认的声音一律**串行**播放,间隔 ≥0.1 s。确需并发的场合(如双状态监控)最多 2 路,且两路必须音色不同 + 左右声像分离。
|
||||||
|
7. 【应该】选项列表每屏**最多 3 项**(听觉工作记忆 ≈4 chunk,留 1 chunk 余量给操作);超过 3 项必须分页,每页播报开头用 earcon 前缀标记页类别。
|
||||||
|
8. 【应该】手势含义标签优先用 **spearcon/短语音**(学习成本 ≈0、反应最快,元分析显示优于 earcon),状态音才用 earcon。
|
||||||
|
|
||||||
|
**语音播报**
|
||||||
|
|
||||||
|
9. 【应该】TTS 语速正文 **150–180 wpm(中文约 240–300 字/分钟)**,上限 **225 wpm**;教学、数字、坐标类信息降速 ~15% 并支持一键重播。
|
||||||
|
10. 【应该】同一时刻**只允许 1 路 TTS**;新播报打断旧播报时在**语句边界**切断,且被打断的信息可通过手势重听(防止信息丢失)。
|
||||||
|
11. 【应该】语音播报前加 **0.3–0.6 s 的类别 earcon 前缀**(危险/拾取/系统/剧情各一个),让玩家在语音开始前预判信息类别(实践惯例,风险低)。
|
||||||
|
|
||||||
|
**混音与信息分级**
|
||||||
|
|
||||||
|
12. 【应该】BGM 常驻并编码宏观状态(探索/战斗/结算),用**配器、调式、速度**渐变切换而非硬切;语音出现时对 BGM 做 ducking:**−6~−12 dB,ratio 4:1–8:1,attack ≤10 ms,release 300–600 ms + hold ~500 ms**;全混音以对白为响度基准(目标整体 ~−18 到 −23 LUFS,true peak ≤−1 dBTP)。
|
||||||
|
13. 【不应该】**不要让 BGM/环境声承载需要精确辨认的信息**(如具体剩余血量);它只表达宏观状态与紧张度。信息分级:常驻→BGM/环境声;事件→一次性音效;告警→earcon 前缀+语音+震动三重呈现,并用快起音/宽音域/不规则节奏制造显著度。
|
||||||
|
|
||||||
|
**空间与震动**
|
||||||
|
|
||||||
|
14. 【应该】空间信息默认用 **stereo pan(左/中/右 3 档)+ 音量/低通衰减表达远近**;若启用方位训练玩法,用 HRTF(检测到耳机才开启)并在教学关配合确认反馈训练;**不要**用纯音频做「前 vs 后」的生死判定(正常也有 5–10% 前后混淆,谱线索差时可达 35%)。
|
||||||
|
15. 【应该】10 种震型只绑**关键事件与告警**(不做装饰性反馈);震型的**节奏/时长结构与对应音效同构**(同拍点、同长度),利用听触共享的节律加工;所有震型能量集中在引擎有效带内、短促(<1 s)不连续长振,遵循 Android/Apple 语义触觉原则。
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## ④ 参考来源列表
|
||||||
|
|
||||||
|
**经典文献 / 一手实验**
|
||||||
|
1. Brewster, S.A. — *Guidelines for the Creation of Earcons*(Glasgow): https://www.dcs.gla.ac.uk/~stephen/earcon_guidelines.shtml
|
||||||
|
2. Brewster, Wright & Edwards (1995) — *Experimentally Derived Guidelines for the Creation of Earcons*: https://www.semanticscholar.org/paper/c4fa0a5a72210a25de2918c63d22d31a83945405
|
||||||
|
3. Brewster, Wright & Edwards (1993, INTERCHI) — *An Evaluation of Earcons for Use in Auditory Human-Computer Interfaces*: https://eprints.gla.ac.uk/3257/1/CHI4493.pdf
|
||||||
|
4. McGookin & Brewster (2004, ACM TAP) — *Understanding Concurrent Earcons*: https://dl.acm.org/doi/pdf/10.1145/1024083.1024087
|
||||||
|
5. McGookin (2003, ICAD) — *An Investigation into the Identification of Concurrently Presented Earcons*: https://www.icad.org/websiteV2.0/Conferences/ICAD2003/paper/10%20McGookin.pdf
|
||||||
|
6. McGookin 博士论文(Glasgow)— *Understanding and Improving the Identification of Concurrently Presented Earcons*: https://theses.gla.ac.uk/14/
|
||||||
|
7. Dingler & Lindsay (2008, ICAD) — *Auditory Icons, Earcons, Spearcons, and Speech (Learnability)*: https://www.icad.org/Proceedings/2008/DinglerLindsay2008.pdf
|
||||||
|
8. Nees & Liebman (2023) — *Auditory Icons, Earcons, Spearcons, and Speech: A Systematic Review and Meta-Analysis*, Auditory Perception & Cognition 6(3-4): https://www.tandfonline.com/doi/pdf/10.1080/25742442.2023.2219201
|
||||||
|
9. Walker et al. (2013, Human Factors) — *Spearcons Improve Navigation Performance in Advanced Auditory Menus*: https://journals.sagepub.com/doi/10.1177/0018720812450587
|
||||||
|
10. Gaver — *Auditory Icons*(Sonification Handbook Ch.13): https://sonification.de/handbook/chapters/chapter13/
|
||||||
|
11. McGookin & Brewster — *Earcons*(Sonification Handbook Ch.14): https://sonification.de/handbook/chapters/chapter14/
|
||||||
|
12. Arons (1992) — *A Review of the Cocktail Party Effect*(MIT OCW): https://ocw.mit.edu/courses/mas-632-conversational-computer-systems-fall-2008/resources/arons_cocktail/
|
||||||
|
13. Ferrand et al. (2019) — *HRTF and Panning Evaluations for Binaural Audio Guidance*: https://hal.science/hal-02948557/document
|
||||||
|
|
||||||
|
**记忆 / 语速 / 感知基础**
|
||||||
|
14. Cowan (2001) — *The Magical Number 4 in Short-Term Memory*: https://pubmed.ncbi.nlm.nih.gov/11515286/
|
||||||
|
15. Syrdal et al. (2012, Interspeech) — *TTS Intelligibility Across Speech Rates (200–450 wpm)*: https://www.isca-archive.org/interspeech_2012/syrdal12_interspeech.pdf
|
||||||
|
16. Hux et al. (2019) — *Effect of TTS Rate on Comprehension*: https://pmc.ncbi.nlm.nih.gov/articles/PMC7231913/
|
||||||
|
17. Bernard et al. (2022) — *Rhythm Perception Is Shared Between Audio and Haptics*: https://pmc.ncbi.nlm.nih.gov/articles/PMC8907191/
|
||||||
|
18. *When to Use Vibrotactile Displays? A Meta-Analysis*(Applied Ergonomics 2022): https://www.sciencedirect.com/science/article/abs/pii/S0003687022001259
|
||||||
|
19. 听觉场景分析综述/综述页: https://en.wikipedia.org/wiki/Auditory_scene_analysis 、https://tlr-hub.asha.org/cred/auditory-scene-analysis-an-attention-perspective/
|
||||||
|
|
||||||
|
**工程与平台指南**
|
||||||
|
20. Material Design — *Applying Sound to UI*: https://m2.material.io/design/sound/applying-sound-to-ui.html
|
||||||
|
21. Android — *Haptics Design Principles*: https://developer.android.com/develop/ui/views/haptics/haptics-principles
|
||||||
|
22. Apple HIG — *Playing Haptics*: https://developer.apple.com/design/human-interface-guidelines/playing-haptics
|
||||||
|
23. Audiokinetic — *Scalable Loudness Processing for Games*: https://www.audiokinetic.com/en/community/blog/loudness-processing-best-practice-chapter-3-scalable-loudness-processing-for-games
|
||||||
|
24. Ducking 实践: https://infinitecreation.io/tutorial-ducking-music 、https://vi-control.net/community/threads/ducking-music-volume-to-make-way-for-voice-narration-is-there-a-better-way-than-side-chaining.83139/
|
||||||
|
25. 游戏响度: https://ansoaudio.com/2016/07/27/loudness-and-metering-in-game-audio/ 、https://www.stephenschappler.com/2013/07/26/listening-for-loudness-in-video-games/
|
||||||
|
26. Haptic 引擎带宽(80–300 Hz): https://swmansion.com/blog/haptics-is-music-how-to-design-haptic-patterns-that-feel-right/
|
||||||
|
|
||||||
|
**标注为推断、未找到一手来源的条目汇总**
|
||||||
|
- 无训练条件下同时可学的新 earcon 数量上限(推断 4–6 个);
|
||||||
|
- 「可区分方位档位数」的直接研究(推断 pan 3 档 / HRTF ≥8 档);
|
||||||
|
- 「earcon 前缀降低语音加工成本」的对照实验(实践惯例);
|
||||||
|
- 语音打断的语句边界策略(推断自语音串行加工与工作记忆证据);
|
||||||
|
- 中文 TTS 语速可懂度曲线(推断 240–300 字/分钟正文);
|
||||||
|
- Brewster 1993 识别率 62%→97% 的具体百分比(二手转述,待从原文核对)。
|
||||||
@@ -0,0 +1,149 @@
|
|||||||
|
# 纯音频游戏交互设计方法论(v1.0)
|
||||||
|
|
||||||
|
> 本研究项目的核心交付物。综合 5 路文献调研(research/01-literature/)+ 本项目 6 款游戏的交互清点(research/03-schemes/game-inventory.md)+ 两轮玩家代理试玩验证(research/04-playtests/)得出。
|
||||||
|
> 用法:**设计/评审任何纯音频游戏交互时,按 §3 交互栈逐层过一遍,用 §4 决策规则按(游戏类型 × 用户 × 场景)推导参数,用 §5 度量验收,§6 反模式一票否决。**
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 0. 一句话总纲
|
||||||
|
|
||||||
|
**视觉游戏的画面是一层「空间上常驻、可随时回读」的信息;听觉是一层「时间上串行、过耳即逝」的信息。纯音频游戏交互设计的中心问题,就是用时间上可预测的声音结构,重建空间上常驻的信息层——让玩家在任意时刻都能在 2 秒内答出:我在哪、在发生什么、轮到我了吗、我该做什么。**
|
||||||
|
|
||||||
|
玩家「不知道自己处于什么状态」的根因不是声音太少,而是**状态信号不可预测**:事件层的音效很多,但缺少「可预期的、成结构的状态表达」。由此得出下面的公理与栈。
|
||||||
|
|
||||||
|
## 1. 四通道模型(原语)
|
||||||
|
|
||||||
|
| 通道 | 带宽 | 时间特性 | 承载 | 约束 |
|
||||||
|
|---|---|---|---|---|
|
||||||
|
| **语音 TTS** | 高(≈4.5字/秒) | 串行、独占、慢 | 指令、归因、状态查询、叙事 | 并发 ≤2 条(CHI'25);必须可打断、逐句跳过、可重听;语速可调(视障档至 ≥2.2×) |
|
||||||
|
| **音效/earcon** | 低(每音 1~3 bit) | 即时、可叠 | 事件刻画、信息类别前缀、回合标记 | 同类事件跨游戏同音色(Friberg 分类学);写实声学须夸张化才可读(BlindSide 教训) |
|
||||||
|
| **音乐/BGM** | 中(情绪+结构) | 连续、常驻 | **宏观状态签名**、进度段落、紧张度 | 状态→曲目一一对应(「状态即音乐」已有规范);语音播放时 duck 至 20% |
|
||||||
|
| **震动** | 极低(10~25 个可学模式) | 即时、独占 | 操作反馈(对/错)、离散事件、静默场景兜底 | iOS 无震动→静默降级绝不回退提示音(既有裁定);静音玩法(摸鱼档)震动语言 ≤6 语义 |
|
||||||
|
|
||||||
|
**分工铁律**:语音说「你要做什么」,音效说「正在发生什么类别的事」,音乐说「你在哪个状态」,震动说「你刚才那下对不对」。四者语义不得混用——用户反馈⑦的根因(提示音混淆)就是音效抢了震动的语义。
|
||||||
|
|
||||||
|
## 2. 七条设计公理(不可妥协)
|
||||||
|
|
||||||
|
- **A1 状态常显**:任何时刻玩家都能用两个途径获知状态——被动:BGM 状态签名 2 秒可辨;主动:status key 手势随时查询「我在哪/有什么/能做什么」。二者都必须存在。
|
||||||
|
- **A2 回合明确**:等待输入的开始与结束都有标记(turn cue 音+可选语音);任何等待 >3 秒必须有声(进度音/环境声/心跳),**绝无静默死局**。
|
||||||
|
- **A3 信息分层**:关键事件 > 指令播报 > 环境氛围,用音量域+音色域区分优先级;并发语音 ≤2,其余排队或降级为音效。
|
||||||
|
- **A4 归因闭环**:失败后 ≤2 秒内语音回答三问:为什么输(具体行为)、差多少(量化差距)、下次一条建议;随后重试入口 ≤2 秒。失败不可归因是弃游强预测因子(CHI'25)。
|
||||||
|
- **A5 零惩罚教学**:学习期(首局/前 2 次失败)不扣任何资源、自动降难;首胜 ≤3 分钟保送;**需要超过一句话解释的机制直接砍掉**(Blind Drive 铁律)。
|
||||||
|
- **A6 全局一致**:同一语义永远同一声音/震动(跨 6 款游戏);**探索-激活分离**——单击预览/播报,双击执行(读屏惯例,资深视障玩家零学习成本)。
|
||||||
|
- **A7 场景显式**:手机网页拿不到可靠上下文传感器——场景适配做成**入口显式选择 + 记忆上次选择**(通勤/摸鱼/睡前/下班四档参数包),不搞自动切换(A 与 B 的响度需求互斥)。
|
||||||
|
|
||||||
|
## 3. 交互栈(五层,逐层实现状态感知)
|
||||||
|
|
||||||
|
### L1 反馈层 ——「你刚才那下,机器收到了」
|
||||||
|
- 每次触摸(含无效手势)**≤100ms** 给确认:震动(引擎已内置 swipe/confirm/error)+ 结果性音效 ≤1s。
|
||||||
|
- 无效手势给 `error` 震动 + 纠错语音(见 L4),**绝不静默**(storyline 现状:无效手势零反馈,必须修)。
|
||||||
|
- 反模式:只在「做对」时有反馈;错误时静默或只震不说。
|
||||||
|
|
||||||
|
### L2 事件层 ——「发生了什么类别的事」
|
||||||
|
- 每个可交互对象/事件一个独特音色,按 Friberg 五分类(avatar/object/character/ornamental/instruction)管理词汇表。
|
||||||
|
- **earcon 只做「粗类别」标记,语义靠语音承载**:实验结论——earcon 达到 100% 识别平均要 8.5 轮训练,语音只需 1.14 轮(Dingler & Lindsay, ICAD 2008);元分析排序为 语音 ≈ spearcon > 混合告警 > 拟真音 > earcon。因此:类别 earcon 全游戏 ≤5~7 个、开场显式教一次、只回答「这条信息要不要行动」,具体内容永远用语音说。
|
||||||
|
- **earcon 合成硬参数**(Brewster 指南):总长 0.25~0.4s、单音符 ≥0.08s、每秒 ≤6 音符、频带 125Hz~5kHz、响度高于 BGM 背景约 +10dB;类别区分用「音色定家族 → 节奏定子类 → 音高细分」的层级结构(音高单独区分需要 2~3 个八度,不可依赖)。
|
||||||
|
- 威胁类事件必须有**前置预警窗**:预警音 → 判定的时间窗 1.5~2s 起调(Blind Drive P3),预警强度随距离/紧迫度连续上升;告警三重呈现=快起音宽音域 earcon + 语音 + 震动。
|
||||||
|
- 反模式:所有音效同等响度同等音色域;用写实但不可读的声学;用 earcon 承载需要「听懂」的精细语义;pitch 单音高区分状态。
|
||||||
|
|
||||||
|
### L3 状态层 ——「我在哪」(本方法论的核心层)
|
||||||
|
- **状态 earcon 签名**:每个宏观状态(菜单/探索/战斗/抉择/结算/危险,**全项目共 6 个,不多做**)绑定一个 2~3 音签名 earcon(家族=音色、子类=节奏,见 L2 参数),**进入状态时播**(不是退出时);签名跨游戏同族(菜单永远是那两个下行音);开场教学里把 6 个签名各教一次(「听到这个音=进入战斗」)。
|
||||||
|
- **状态即音乐**:状态 BGM 一一对应(既有 10 号规范),音乐段落编码进度;并发声流 ≤2(ASA:人同时只能注意 1~2 条声流;并发 earcon 识别率仅 ~30%,McGookin & Brewster)。
|
||||||
|
- **被动阈值播报**:生命/时间/资源在 75/50/25/15% 节点自动短促播报(配独立音色+震动),<15% 转持续脉动;杜绝「毫无预兆死亡」。
|
||||||
|
- **status key**:全局手势(长按/上滑)随时播报:游戏名/阶段/生命与关键资源/当前目标/**当前可用手势清单**(三十年音频游戏惯例);单次播报 ≤3 个选项(听觉工作记忆 ≈4 chunks,Cowan 2001)。
|
||||||
|
- **全局混音签名**(P7):状态不只靠提示音——低血量=全声场闷化/心跳叠加,让「耳朵里整体感觉不对」。
|
||||||
|
- 反模式:只在大厅有状态表达,局内没有;状态查询要进二级菜单;签名 earcon 超过 6 个或不在教学里出现。
|
||||||
|
|
||||||
|
### L4 引导层 ——「向导」
|
||||||
|
- **向导人设**:一个角色化系统声持续播报方位/下一步(A Blind Legend 的 Louise 模式,P1);系统音与叙事音色分离(P2)。
|
||||||
|
- **静默看门狗**:等待输入无操作 3~5s → 轻 turn cue 复述;二次 escalate 播上下文提示;之后停止(不轰炸)。卡关 60/120/180s 三级提示(escape 已有,推广到全游戏)。
|
||||||
|
- **开场三要素模板**(P9):每局开场 ≤60s 讲完 地形/场景 → 目标 → 威胁音色预览(先在教学里听一次威胁声,实战才认得);首次进入某游戏时把该游戏用到的**状态签名 earcon 各教一次**(「这个音是战斗」),因为 earcon 不教不认识(8.5 轮训练结论)。
|
||||||
|
- **Prime→Teach→Observe**:预听示范 → 首局中做一次 → 后续局自然复现;教学寄生局内、≤90s、永远可跳过;同一手势 10 分钟内 2~3 情境复现。
|
||||||
|
- **向导等级设置**:`full`(全语音向导)/`standard`(仅 earcon+关键语音)/`off`(老手),全局设置 + 每游戏入口显式问一次。
|
||||||
|
- 反模式:弹窗式教学;开场不能跳的长教程;提示打断操作节奏。
|
||||||
|
|
||||||
|
### L5 会话层 ——「随时来,随时走,随时接着玩」
|
||||||
|
- 单局 3~5 分钟结构:≤10s 可操作开局 → 单峰爬升 → 高潮 → 15~30s 结算;每 30~60s 一个奖励点。
|
||||||
|
- **断点续玩**:任意时刻可退出;重进 ≤5s 回到可玩状态,开局 5 秒语音**局面复述**(上次到哪/现在该做什么——被打断后恢复平均要 23 分钟,恢复成本游戏承担)。
|
||||||
|
- **开环钩子**:结算必含一个未完成项(Zeigarnik);奖励放下一局开头。
|
||||||
|
- **失败结算 ≤15 秒**必答 A4 三问。
|
||||||
|
- 反模式:结算只有分数没有归因;退出丢进度;重进从头再来。
|
||||||
|
|
||||||
|
## 4. 决策规则:从(游戏类型 × 用户 × 场景)推导方案
|
||||||
|
|
||||||
|
方法论给出的不是单一方案,而是一台「推导机」:
|
||||||
|
|
||||||
|
### 4.1 游戏类型 → 状态层重点
|
||||||
|
|
||||||
|
| 游戏类型 | 信息结构 | 状态层重点(在本项目中的游戏) |
|
||||||
|
|---|---|---|
|
||||||
|
| 叙事抉择型 | 线性节点+分支 | 抉择窗口标记(「请选择」earcon 前缀+选项预听)、进度段落化(幕/章)(storyline) |
|
||||||
|
| 空间探索型 | 图状空间 | 方位连续参数映射(夹角→音高/距离→ping 节奏,Shades of Doom 参数表)、撞墙归因、目标方向信标 (escape) |
|
||||||
|
| 记忆复现型 | 序列 | 听/答阶段切换标记(最强 turn cue 需求)、序列长度进度 (simon) |
|
||||||
|
| 节奏跟随型 | 时间网格 | 领奏/应答角色切换标记、拍面锚点(beat 震+音已有)、判定反馈分级 (rhythm) |
|
||||||
|
| 反应闪避型 | 连续流 | 威胁方位离散化(≤4 象限)、预警窗、受击归因、难度自适应三档 (space) |
|
||||||
|
| 回合策略型 | 轮转 | 回合权轮转标记(谁回合)、指令菜单列表导航、格挡窗口纠错、血量阈值播报 (rpg) |
|
||||||
|
|
||||||
|
### 4.2 用户 → 旋钮(叠加在基线上)
|
||||||
|
|
||||||
|
| 用户 | 默认向导等级 | 关键旋钮 |
|
||||||
|
|---|---|---|
|
||||||
|
| 视障玩家 | standard(尊重专家,别当白痴) | 语速上限 ≥2.2×、完整空间信息、读屏共存、绝不简化深度(反「把盲人当白痴」) |
|
||||||
|
| 时间充裕大学生 | standard | 保留成长深度、引导全可跳过、开环钩子拉留存 |
|
||||||
|
| 时间紧张白领 | full(上手快) | 3 分钟一局、断点秒续、摸鱼档(静音震动玩法,≤6 震动语义) |
|
||||||
|
| 疲惫工人 | full | 零新信息教学(只复用已学手势)、容错拉满、二值化反馈、低认知负荷 |
|
||||||
|
|
||||||
|
### 4.3 场景 → 参数包(入口显式选择,A7)
|
||||||
|
|
||||||
|
| 参数包 | 语速 | 响度/混音 | 单局 | 特有机制 |
|
||||||
|
|---|---|---|---|---|
|
||||||
|
| A 通勤·噪声鲁棒 | 0.9×+句间停顿 | 关键信息两遍式、响度提亮 | 3 分钟、到站可弃 | 关键值重听零成本 |
|
||||||
|
| B 摸鱼·静默震动 | —(全静音) | 仅震动语言 | ≤3 分钟、随时弃 | 自动暂停+一句话续玩 |
|
||||||
|
| C 睡前·助眠低负 | 默认 | 低音量暖音色 | 不限 | 睡眠定时器软着陆、失败即鼓励 |
|
||||||
|
| D 下班·轻回血 | 默认 | 扬声器免耳机 | 短局 | 即时正反馈前置、容错拉满 |
|
||||||
|
|
||||||
|
**推导算法**:方案 = 全局基线(§3 全栈) → 按 4.1 加该游戏类型的重点项 → 按 4.2 设用户旋钮 → 按 4.3 叠场景参数包。任何一步冲突时优先级:安全(听力/场合)> 状态感知 > 沉浸感。
|
||||||
|
|
||||||
|
## 5. 度量与验证(方法论的自证闭环)
|
||||||
|
|
||||||
|
三层验证,逐层便宜:
|
||||||
|
|
||||||
|
1. **转写审计(自动化,每轮必跑)**:用玩家感知转写器(web/harness/)对每游戏生成整局信息流日志,自动统计四个指标:
|
||||||
|
- **turn cue 覆盖率**:每个「等待输入」前是否有标记(目标 100%);
|
||||||
|
- **静默死局数**:等待输入且无声 >5s 的段数(目标 0);
|
||||||
|
- **归因完整率**:失败事件后 2s 内有三问语音的比例(目标 100%);
|
||||||
|
- **状态可辨识性**:任意转写点,仅凭最近 2s 的声音事件能否判断宏观状态(抽查,目标 ≥95%)。
|
||||||
|
2. **玩家代理评审(每轮必跑)**:4 人设(视障/大学生/白领/工人)读转写写心得,按「状态感知自评 1-5 / 我知道下一步该做什么吗 / 是否愿意继续玩 / P0 问题清单」结构化输出。**结题门槛见章程 §4**。
|
||||||
|
3. **真机人类听测(发布前)**:音色美感、响度舒适、双耳定位精度、蓝牙延迟——代理无法替代(roadmap §4 既有流程)。
|
||||||
|
|
||||||
|
## 6. 反模式清单(一票否决)
|
||||||
|
|
||||||
|
1. 静默死局:等待输入时无声无提示。
|
||||||
|
2. 不可打断语音 / 不可重听的关键指令。
|
||||||
|
3. 失败只给「错了」,不给归因与下一步。
|
||||||
|
4. 数字/碎片拼接语音;一句话讲不完的机制。
|
||||||
|
5. 提示音与游戏内容音混用同一语义域(反馈⑦根因)。
|
||||||
|
6. 弹窗式/不可跳过教学;新手期惩罚性失败。
|
||||||
|
7. 跨游戏语义不一致(同语义不同声、同声不同义)。
|
||||||
|
8. 黑屏寂静的结算/等待(黑屏=崩溃误解,P13:屏幕要有呼吸感,音频同理要有生命迹象音)。
|
||||||
|
9. 为「纯音频」而砍深度(视障社区最反感);反之,为深度而堆并发语音(>2 条)。
|
||||||
|
10. 自动感知场景并切换参数(不可靠;要显式选择)。
|
||||||
|
|
||||||
|
## 7. 与本项目既有实现的差距表(落地索引)
|
||||||
|
|
||||||
|
| 方法论条目 | 本项目现状 | 差距动作 |
|
||||||
|
|---|---|---|
|
||||||
|
| A1 状态 BGM | ✅ 10 号规范已实现 | 无 |
|
||||||
|
| A1 status key | 部分(上滑=帮助/状态,各游戏实现不一) | 统一内容模板:状态+目标+可用手势 |
|
||||||
|
| A2 turn cue | ❌(仅 rpg 有 turn_player) | 引擎 guide 层统一实现 |
|
||||||
|
| A2 静默看门狗 | 部分(escape 三级提示;storyline/simon 无) | 引擎 guide 层统一实现 |
|
||||||
|
| A4 归因闭环 | 部分(space 有归因语音;rhythm Miss 无语音) | 逐游戏补纠错语音 |
|
||||||
|
| A6 earcon 词表 | ❌(无 earcon 体系) | 引擎 guide 层运行时合成词表 |
|
||||||
|
| A6 探索-激活分离 | 部分(菜单单击循环+双击确认已有) | 保持,不全盘改单击语义(改动成本>收益,见方案文档裁定) |
|
||||||
|
| A7 场景参数包 | ❌ | 大厅入口场景选择(本轮先落参数包 A/C 的最小集,见方案文档分期) |
|
||||||
|
| L5 断点续玩 | 部分(rpg/escape 有存档;局面复述无) | 重进时播局面复述一句 |
|
||||||
|
| 语音可打断/语速 | ✅ 打断/长按快进/1.7× 已有 | 语速档补 2.2×(视障档) |
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
*参考来源:research/01-literature/01~05 各报告末尾来源列表(合计 100+ 条);本项目用户反馈裁定档案 docs/design/00~13。*
|
||||||
@@ -0,0 +1,101 @@
|
|||||||
|
# 交互方案 v1(由方法论推导的实施蓝图)
|
||||||
|
|
||||||
|
> 推导路径:方法论 §3 交互栈 → 本项目差距表(methodology §7)→ 结合 6 游戏交互清点(game-inventory.md)落成本方案。
|
||||||
|
> 分期裁定:**本轮(v1)只实现「全局基线」= 引擎向导层 + 逐游戏接线**;场景参数包(通勤/摸鱼/睡前/下班)与人设旋钮在 v1 试玩验证后按反馈分期(见 §4)。
|
||||||
|
|
||||||
|
## 1. 全局向导层 `web/engine/guide.js`(新引擎模块)
|
||||||
|
|
||||||
|
### 1.1 设计立场
|
||||||
|
|
||||||
|
- **语音承载语义,earcon 只做粗标记**(L2 铁律):签名 earcon 全项目仅 6 个状态 + 2 个功能音,全部**运行时合成**(代码即生成脚本,零资产、可复现、天然双平台),参数守方法论 L2 硬边界(0.25~0.4s、单音 ≥0.08s、125Hz~5kHz、家族=音色/子类=节奏)。
|
||||||
|
- 向导默认开启(`guide: 'full'`),**老手可关**;`standard` 只留 earcon+震动,`off` 全静——尊重专家、服务新手(反「把玩家当白痴」)。
|
||||||
|
- 向导绝不打断内容:插播语音一律 `queue:true` 或等 voice 链尾;earcon 音量低于 BGM 背景约 +10dB。
|
||||||
|
|
||||||
|
### 1.2 API(游戏侧用法)
|
||||||
|
|
||||||
|
```js
|
||||||
|
import { Guide } from '../engine/guide.js';
|
||||||
|
const guide = new Guide(audio); // 游戏构造时创建一次
|
||||||
|
|
||||||
|
guide.level(); // 'full' | 'standard' | 'off'(读 settings.guide)
|
||||||
|
guide.state('battle'); // L3:播状态签名 earcon('menu'|'explore'|'battle'|'choice'|'settle'|'danger')
|
||||||
|
guide.turn({ voice: 'gd_your_turn', haptic: true }); // L3/A2:回合标记——earcon(turn)+ 可选轻震 + 可选语音(full 档才播 voice)
|
||||||
|
guide.watchdog({ arm: true, at: [8000, 20000], // L4:静默看门狗:8s 轻 earcon 提醒,
|
||||||
|
onEscalate: (n) => ... }); // 20s 升级回调(游戏播上下文提示);手势或 watch disarm 复位
|
||||||
|
guide.error({ voice: 'gd_parry_miss', onceKey: 'parry' }); // A4:纠错——error 震(游戏层已有则传 skipHaptic)+ full 档语音(onceKey 同局只播一次)
|
||||||
|
guide.setEventHook(fn); // 转写 harness 用:guide 事件流(earcon 名/语音 id/等级)→ fn(evt)
|
||||||
|
```
|
||||||
|
|
||||||
|
### 1.3 引擎配套改动
|
||||||
|
|
||||||
|
- `audio.js`:新增公开 `isVoicePlaying()`(收编各游戏对私有 `audio._voice` 的读取,HANDOVER 已知问题清一项);新增 `setRateBoostEnabled(bool)`(长按快进 per-game 开关,rhythm/space 演奏期豁免,清另一项)。
|
||||||
|
- `settings.js`:`VALID` 增加 `guide: 'full'|'standard'|'off'`(默认 `'full'`);`speed` 增加 `2.2` 档(视障档,03 报告:资深用户 250+ WPM)。
|
||||||
|
- 大厅 `index.html` 设置面板:加「向导帮助:详细/只听提示音/关闭」下拉;语速下拉加「特快++」。
|
||||||
|
- 同步义务:`docs/web-engine-api.md`、`docs/design/00-global-ux.md` §1 设置表 + 新增 §6 向导层节;`docs/design/14-guide-layer.md` 设计裁定存档。
|
||||||
|
|
||||||
|
### 1.4 状态签名 earcon 词表(6 状态 + 2 功能,全项目统一)
|
||||||
|
|
||||||
|
| 名 | 音色家族 | 节奏轮廓 | 语义 |
|
||||||
|
|---|---|---|---|
|
||||||
|
| `menu` | 柔和正弦双音 | 下行二度 | 系统界面 |
|
||||||
|
| `explore` | 温暖三角波单音 | 单音长尾 | 探索/安全 |
|
||||||
|
| `battle` | 略紧方波双音 | 上行纯五度短促 | 战斗/对抗 |
|
||||||
|
| `choice` | 清亮正弦三音 | 上行琶音 | 抉择/等待输入 |
|
||||||
|
| `settle` | 柔和三音 | 下行三连(松弛) | 结算/告一段落 |
|
||||||
|
| `danger` | 低频双音 | 急促重复 | 危险(配合既有 danger 震) |
|
||||||
|
| `turn` | 风铃质感单音 | 单音短 | 轮到你了 |
|
||||||
|
| `nudge` | 极轻木鱼单音 | 单音极短 | 看门狗轻提醒 |
|
||||||
|
|
||||||
|
教学义务:full 档下,各游戏开场教学把「本局用到的签名」各带教一次(语音句内口播「听到这个音,就是…」)。
|
||||||
|
|
||||||
|
### 1.5 新增语音资产(全部走 gen_voice_dual.py 台词表,旁白 speaker+同游戏同 instruct)
|
||||||
|
|
||||||
|
| 游戏 | id | 文本 | 触发 |
|
||||||
|
|---|---|---|---|
|
||||||
|
| storyline | `gd_continue` | 轻触屏幕,继续。 | W1 叙事节点播完静默 8s(看门狗第 1 级) |
|
||||||
|
| storyline | `gd_invalid` | 这个操作在这里用不上。 | 无效手势(静默 return 处,同局限 2 次) |
|
||||||
|
| simon | `gd_relisten` | 需要的话,双击可以重新听一遍序列。 | input 阶段 10s 无输入(不改变重听扣机会规则) |
|
||||||
|
| rhythm | `gd_answer` | 现在跟着我打。 | 每曲首次领奏→应答切换 |
|
||||||
|
| rhythm | `gd_miss` | 慢了半拍,下一小节跟上我就行。 | 连续 2 次 Miss(同曲限 1 次) |
|
||||||
|
| space | `gd_hit_hint` | 被撞了。听方位,同向滑动就能拨开。 | 对局第 1 次受击(保护期外,同局 1 次) |
|
||||||
|
| rpg | `gd_parry_miss` | 前摇声起的时候双击,才能格挡。 | 格挡窗口内做错(每场战斗 1 次) |
|
||||||
|
| rpg | `gd_stall` | 想好了吗?左右滑动选择,单击出手。 | PLAYER_SELECT 60s 无输入 |
|
||||||
|
|
||||||
|
(共 8 句 ×2 性别 = 16 个文件;storyline `gd_*` 用 _SL_NARR、其余用各游戏旁白 instruct。)
|
||||||
|
|
||||||
|
## 2. 逐游戏接线方案(依据 game-inventory.md 薄弱点)
|
||||||
|
|
||||||
|
| 游戏 | 薄弱点(清点结论) | 接线(钩子位置见清点行号) |
|
||||||
|
|---|---|---|
|
||||||
|
| storyline | W1 完全静默等待;无效手势零反馈 | `onNodeSeqDone`(:214→226) 挂 watchdog[8s]=nudge+`gd_continue`,[20s]=复用 `playHelpAndResume`;静默 return 处加 error 震 + `gd_invalid`;结算态挂 watchdog |
|
||||||
|
| simon | input 阶段无 BGM 无超时,挂机永久静默 | `_toInput`(:321) 挂 watchdog[10s]=nudge+`gd_relisten`,[25s]=自动重听序列一次(免扣机会,每局 2 次);`your_turn` 泛化为 turn earcon(每轮) |
|
||||||
|
| escape | PLAY 无主动帮助;错误反馈已最全 | 撞墙 2 次后 `_checkStuck`(:479) 提前一级(向导 full 档);REOPEN/`_advance` done 后 turn cue;其余保持(勿重复造轮子) |
|
||||||
|
| rhythm | 领奏→应答零显式标记;Miss 无语音;结算链无看门狗 | 谱面排程处推 `gd_answer`(每曲首次);`_applyMiss`(:548) 连 2 Miss 播 `gd_miss`(queue:true);`_finish`(:679) 换 `_speakGuarded`;main 阶段 `setRateBoostEnabled(false)` |
|
||||||
|
| space | 受击归因式缺指令式;结算链无看门狗 | 第 1 次受击追加 `gd_hit_hint`;`_gameOver`(:573) 换 guarded;feature 等待已有 8s 上限保持 |
|
||||||
|
| rpg | 格挡窗口内做错仅震动;PLAYER_SELECT 挂机无提示 | 窗口内错手势 → `guide.error({voice:'gd_parry_miss', onceKey})`(:675);PLAYER_SELECT 挂 watchdog[60s]=`gd_stall`;状态 BGM 进入点补 `guide.state()` 签名 |
|
||||||
|
|
||||||
|
各游戏 `start()` 时按宏观状态调 `guide.state(...)`(探索进 explore、进战斗 battle、菜单 menu、结算 settle),与既有状态 BGM 同点触发(同一行附近,不另造状态机)。
|
||||||
|
|
||||||
|
### 测试策略(回归保护)
|
||||||
|
|
||||||
|
- 6 个既有 playtest:setup 统一 `settings.set({ guide: 'off' })`(验证纯游戏逻辑不变),断言零改动为第一目标;个别必须感知向导的断言按 13 号文档流程补记后修改。
|
||||||
|
- 新增 `web/harness/guide.test.mjs`:storyline+simon 两代表游戏,`guide: 'full'` 下断言 turn cue/watchdog/error 三 API 的行为与等级衰减。
|
||||||
|
|
||||||
|
## 3. 人设 × 场景适配矩阵(v1 边界与分期)
|
||||||
|
|
||||||
|
| | 通勤·噪声 | 摸鱼·静默 | 睡前·低负 | 下班·回血 |
|
||||||
|
|---|---|---|---|---|
|
||||||
|
| 大学生(深玩) | 基线即可 | — | C 档 | D 档 |
|
||||||
|
| 视障(专家) | 基线+2.2×语速 | 不适用 | 基线 | 基线 |
|
||||||
|
| 白领(碎片) | A 档 | **B 档(震动语言)** | — | D 档 |
|
||||||
|
| 工人(疲惫) | 基线 | — | **C 档** | D 档 |
|
||||||
|
|
||||||
|
- **v1 已含**:基线(向导层)+ 视障旋钮(语速 2.2 档)+ guide 等级设置。
|
||||||
|
- **v2 候选(按本轮玩家代理反馈定优先级)**:A 档两遍式关键播报、C 档睡眠定时器+暖音量曲线、D 档容错参数、B 档纯震动玩法(带宽仅 ≤6 语义,只适合 storyline/rpg 轮转类,工程量最大)。
|
||||||
|
- 裁定理由:B 档需为震动重设计输入语义,独立立项;先把「状态感知」基线做扎实(章程核心痛点),避免首轮摊子过大无法验证。
|
||||||
|
|
||||||
|
## 4. 玩家代理评审规程(RQ8 闭环)
|
||||||
|
|
||||||
|
- 输入:6 游戏转写(guide:'full' 新手会话)+ 本方案 §1/§2 摘要 + 人设卡(research/04-playtests/personas.md)。
|
||||||
|
- 输出:每人设对每游戏一段心得 + 结构化评分:状态感知(1-5)/下一步明确性(1-5)/愿意继续玩(y/n)/P0 问题清单/改进建议。
|
||||||
|
- 门槛(章程 §4):≥3/4 人设愿意继续玩且无人设 P0 状态混淆 → 结题;否则修订方案/实现后重跑。
|
||||||
@@ -0,0 +1,39 @@
|
|||||||
|
# 玩家人设卡(玩家代理评审用)
|
||||||
|
|
||||||
|
> 用途:每位玩家代理读「人设卡 + 6 游戏试玩转写」后,以该人设的口吻与判断力写试玩心得并结构化评分(规程见 schemes.md §4)。
|
||||||
|
> 评审**只基于转写所呈现的信息流**(玩家每秒知道什么/被要求做什么),不评审音色美感与响度(转写无法呈现,属真机人类听测范畴)。评分时须把「我读的是转写」纳入考虑:请按「如果我是这个人在真机听到这些」来代入。
|
||||||
|
|
||||||
|
## P1 视障资深玩家(专业评委)
|
||||||
|
- 背景:先天失明,15 年读屏用户(iOS VoiceOver 语速常年 75 档),audiogames.net 老用户,玩过 Shades of Doom、A Blind Legend、Blind Drive。
|
||||||
|
- 在乎:听觉惯例(双击确认、逐句跳过、status key)、语速上限、信息密度与效率、**绝不接受被当成白痴**;反感过度简化,也反感信息过载。
|
||||||
|
- 场景:居家安静环境,愿意深玩。
|
||||||
|
- 特别检查项:语音可否打断/重听;等待有无声;失败可否归因;菜单列表导航是否规整。
|
||||||
|
|
||||||
|
## P2 时间充裕的大学生
|
||||||
|
- 背景:20 岁,宿舍躺床戴耳机玩手游,原神/明日方舟深度玩家,对「设计感」敏感,愿意给第二次机会但讨厌说教和拖沓。
|
||||||
|
- 在乎:上手节奏(头 3 分钟)、沉浸感、成长与钩子、单局结束想不想开下一局。
|
||||||
|
- 场景:睡前 23:30 躺床,音量正常。
|
||||||
|
- 特别检查项:开头多少秒能动手;有没有保送首胜;结算是否想让人再来一局。
|
||||||
|
|
||||||
|
## P3 时间紧张的白领
|
||||||
|
- 背景:32 岁,地铁单程 25 分钟(嘈杂),上班偶尔摸鱼(怕出声、随时被打断),只玩过消消乐类。
|
||||||
|
- 在乎:3 分钟内有没有一次完整乐趣;被打断后能不能一句话接上;会不会太吵;操作能不能单手盲操。
|
||||||
|
- 场景:地铁车厢,站立单手持机。
|
||||||
|
- 特别检查项:关键信息听不清怎么办;中断恢复;单局长度;有无沉默尴尬期。
|
||||||
|
|
||||||
|
## P4 疲惫的工人
|
||||||
|
- 背景:45 岁,建筑工地收工,睡前在集体宿舍玩手机,不太会复杂操作,反应不快,游戏经验少。
|
||||||
|
- 在乎:规则能不能一遍听懂;做错了会不会骂我;能不能轻松赢一次;会不会越玩越累。
|
||||||
|
- 场景:下班后 21:00,宿舍,外放小音量。
|
||||||
|
- 特别检查项:教学语速与句长;容错(错了几次会怎样);反馈是否即时温暖;有无pressure(倒计时/惩罚)。
|
||||||
|
|
||||||
|
## 结构化输出格式(每游戏一段)
|
||||||
|
|
||||||
|
```
|
||||||
|
### <游戏名>
|
||||||
|
- 状态感知:x/5 ——(何时清楚/何时迷失,引用转写时间点)
|
||||||
|
- 下一步明确性:x/5 ——(哪些时刻不知道该做什么)
|
||||||
|
- 愿意继续玩:是/否 ——(一句话理由)
|
||||||
|
- P0 问题:(不知道自己在哪/该做什么/为何失败 的具体时刻;无则写「无」)
|
||||||
|
- 建议:≤3 条,按对「我愿意玩下去」的影响排序
|
||||||
|
```
|
||||||
Reference in New Issue
Block a user