xsl/SoundGame
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
main
SoundGame/research/01-literature/02-sonification-design.md
T
SoundGame Dev 7eb9e7f025 research: 方法论v1 + 交互方案v1 + 玩家人设卡 + 第5份调研(sonification) 
- 02-methodology/methodology.md 四通道模型/七公理/五层交互栈/决策推导机/度量闭环/反模式
- 03-schemes/schemes.md guide.js规格/8句新语音/逐游戏接线表/测试策略/人设×场景矩阵(分期)
- 04-playtests/personas.md 4人设卡(视障/大学生/白领/工人)+结构化评分规程
- 01-literature/02-sonification-design.md earcon学习成本8.5轮vs语音1.14轮等硬参数
2026-08-30 21:20:35 +08:00

27 KiB
Raw Permalink Blame History

02 - 声音如何承载结构化信息：sonification / earcon 设计科学调研（RQ2）

项目：纯音频游戏交互设计研究（Audio-HCI） 检索日期：2026-08 检索语言：英文为主（ICAD / CHI / Human Factors / Sonification Handbook / 平台官方指南） 说明：文中每条发现附来源 URL；凡未找到一手来源的数据均明确标注「未找到一手来源，以下为推断」。

① 研究问题

RQ2：声音如何承载结构化信息（状态 / 选项 / 空间 / 进度）？语音、音效、音乐、震动的分工与参数边界是什么？

本游戏无画面，信息通道只有：TTS 语音、一次性音效、按状态切换的 BGM、10 种语义震型；输入只有 6 种手势。核心痛点是「玩家不知道自己处于什么状态、不知道当前手势各自是什么含义」。本报告回答：

  1. 一组可区分、可记忆的状态音（earcon）应该怎么造？参数边界在哪里？能承载多少个状态？
  2. 语音 / 拟真音（auditory icon）/ 抽象音（earcon）/ BGM / 震动各自适合承载哪类信息？认知成本差异有多大？
  3. 语音播报的节奏、打断、混音规则；并发声音的上限。
  4. 空间信息用什么技术承载、能区分几个方位。
  5. 震动什么时候该与声音做冗余。

② 分主题发现

2.1 Earcon 设计指南：可区分、可记忆的状态音怎么造

一手来源：Brewster《Guidelines for the Creation of Earcons》（Glasgow 大学，实验推导指南，基于 Brewster, Wright & Edwards 1995 年前后共 6 个对照实验） URL: https://www.dcs.gla.ac.uk/~stephen/earcon_guidelines.shtml 论文: https://www.semanticscholar.org/paper/c4fa0a5a72210a25de2918c63d22d31a83945405

具体参数边界（原文数字）：

参数 建议边界
音高上限 不高于 5 kHz（约 C3 上方四个八度）
音高下限 不低于 125–150 Hz
最短音符时长 ≥ 0.0825 s；仅 1–2 个音符的简单 earcon 可短至 0.03 s
音符密度 1 秒内 ≤ 6 个音符仍可用
响度 高于背景声阈值 +10 dB ～ +20 dB；不要只用响度做区分参数
串行复合 earcon 间隔 0.1 s 静音间隙
音域（register）单独区分 绝对判断需 2–3 个八度差异；较小差异只适合相对判断
音色 选多谐波、主观上差异大的乐器音色（如 brass vs organ，而非 brass1 vs brass2）

关键结论：

  • 音高不能单独作区分参数。Brewster 的评估工作明确建议：需要绝对判断时，音高必须与节奏/音色/音域等参数组合使用（转引自 Polotti & Rocchesso 2013, Int. J. of Design, http://www.ijdesign.org/index.php/IJDesign/article/view/1201/577 ）。
  • 节奏是最强的区分维度（引 Deutsch 的节奏分组研究，见 Brewster 1993 原文，https://eprints.gla.ac.uk/3257/1/CHI4493.pdf ）；不同节奏型（每小节音符数不同）区分效果最好。
  • 吸引注意的手段排序：优先用节奏或音高变化，而非加大音量——「新出现的声音即使响度很低也会抓住注意」。其他抓注意手段：高音区、宽音域、快起音/快收音、不规则谐波、无调性/无节奏。反之，想要「可忽略的声音」就用低响度 + 规律节奏。
  • 每小节重音放在第一个音符（略响），最后一个音符略延长，便于分组感知。

层级 earcon（family earcon）结构（同上 Brewster 指南页 + Dingler & Lindsay 2008）：

  • 第 1 级（家族）：为每个家族指定一个音色 + 默认音域 + 声像位置；
  • 第 2 级（子类）：用节奏型区分子类；
  • 第 3 级及更深：用音高轮廓、强度、和弦、效果器（chorus/delay）、tempo 细分；
  • 子 earcon 继承父级全部属性（所以听感上「同类」，又有差异）；
  • 层级深度：Brewster 示例为 3 层；Dingler & Lindsay (2008) 总结为「理论上最多 5 层，对应 5 个可操纵参数（rhythm, pitch, timbre, register, dynamics）」，且实测 earcon 音效时长跨度 0.25–4 s。来源：https://www.icad.org/Proceedings/2008/DinglerLindsay2008.pdf

可区分数量上限：

  • Brewster, Wright & Edwards (1993, INTERCHI) 的验证实验使用 27 个 earcon（tools / graphs / menus 三个家族）：实验 1（未优化设计）识别率差，改进设计并训练后识别显著提升（二手转述数值约 62%→97%；该百分比未从原文核对，以下为待核对的二手数据）。原文: https://eprints.gla.ac.uk/3257/1/CHI4493.pdf
  • Dingler & Lindsay (2008) 实测集合为 20 个声音目标。结论：经过教学，一组 20–30 个 earcon 是可学习的；但见 2.7 节——学习代价高。
  • 未经训练的即时绝对判断上限：未找到直接的一手研究给出「N 个」；按 Cowan 短时记忆 4 chunk（见 2.8）与 Brewster 各实验设计推断：无训练时同时引入的新 earcon 不宜超过 4–6 个。未找到一手来源，以下为推断。

2.2 Auditory icon vs earcon vs 语音 vs spearcon vs BGM 的分工

核心一手对比数据——Dingler & Lindsay (2008, ICAD)《Learnability of Sound Cues for Environmental Features: Auditory Icons, Earcons, Spearcons, and Speech》（20 个环境特征、39 名被试、5 种声音类型） URL: https://www.icad.org/Proceedings/2008/DinglerLindsay2008.pdf

  • 达到 100% 正确所需训练轮次：spearcon 1.14 轮、speech 1.14 轮、earcon 8.50 轮（SD 4.087）——earcon 的学习成本约是语音/spearcon 的 7.5 倍；
  • 聚合正确率：spearcon 与 speech 约 99.64%，显著高于 earcon；
  • earcon-icon 混合体表现也不佳。

元分析证据——Nees & Liebman (2023)《Auditory Icons, Earcons, Spearcons, and Speech: A Systematic Review and Meta-Analysis of Brief Audio Alerts in Human-Machine Interfaces》, Auditory Perception & Cognition, 6(3-4), 300–329 URL: https://www.tandfonline.com/doi/pdf/10.1080/25742442.2023.2219201 结论：就正确率与反应时而言，speech ≈ spearcon > 混合告警 > auditory icon > earcon（earcon 最差）。

菜单导航证据——Walker et al. (2013)《Spearcons (Speech-Based Earcons) Improve Navigation Performance in Advanced Auditory Menus》, Human Factors URL: https://journals.sagepub.com/doi/10.1177/0018720812450587 在层级听觉菜单中加入 spearcon（时间压缩的语音片段）后导航更快更准——即使 spearcon 让菜单项变得更长。

分工结论（综合上述一手文献）：

载体 认知加工 学习成本 适合承载 不适合
语音 (TTS) 串行、带宽最高、即时可懂 ≈0（1.14 轮） 新手教学、一次性复杂信息、数字/名称 高频重复信息（慢、占注意）；Dingler 指出语音难以空间定位、占用心理资源大（边听语音边对话困难）
Spearcon 快、短 ≈0（1.14 轮） 菜单/选项标签（6 个手势各自的含义） 需要情绪/氛围的信息
Auditory icon（拟真音） 直觉映射（Gaver「自然声音的漫画化」，https://sonification.de/handbook/chapters/chapter13/ ） 低 物理事件（开门、拾取、碰撞——因果直观） 抽象状态（无自然映射）
Earcon（抽象动机） 需记忆 高（8.5 轮） 固定集合的状态/类别标签、层级结构（继承属性可推理） 频繁变化的临时信息
BGM 氛围化、并行、低侵入 低（用情绪/配器编码宏观状态） 常驻状态流、进度/紧张度 需要精确辨认的具体信息（一组 BGM 只可靠表达 1 个宏观状态）

混用规则——「earcon 前缀 + 语音正文」： 「先用短 earcon 标记信息类别，再播报语音内容」是听觉界面/VUI 的通行实践（如语音信箱中用 earcon 提示「新留言到达」再进入语音内容；Material Design 的声音层级指导亦按 voice / UX sound / music 分层）。来源：

2.3 结构化状态播报：节奏、打断、ducking、信息分级

混音/ducking 参数（行业实践来源，非学术）：

语音打断规则：

信息三级分级在听觉通道的实现（依据 Brewster 注意机制研究，https://www.dcs.gla.ac.uk/~stephen/earcon_guidelines.shtml ）：

  • 常驻信息 → BGM/环境声（规律、低响度、可忽略的设计）；
  • 事件信息 → 一次性音效（短促、新声音）；
  • 告警 → 「新声音 + 高显著声学特征（快起音、宽音域、无规律节奏）+ 多模态冗余」。注意分级的三层结构本身即来自 Brewster「吸引注意 vs 可忽略」的声学参数清单。

2.4 并发声音限制：人耳同时能解析几路？

结论：安全上限为 1 路语音 + 1 路非语音事件音；任何需要辨认的选项/状态音必须串行播放；确需并发（如多生命值监控）不超过 2 路，且必须用音色+声像分离。

2.5 听觉空间化：HRTF vs 立体声 pan

  • 最小可听角（MAA）：正前方 ~1°；45° 处 ~1.3°；75° 处 ~2.4°；正侧方 90° 恶化到 ~7.5°（Mills 1958/1960，综述见 Blauert《Spatial Hearing》与 Acoustics Today 教程 https://acousticstoday.org/ ）；仰角分辨差得多：噪声脉冲 ~3.6°–7°（Zwiers 2001; Grantham 1997）。
  • 前后混淆（front-back confusion）：正常条件下约 5–10% 的响应为前后反转（Wightman & Kistler）；高频谱线索（耳廓）被破坏时升到 ~35%（Middlebrooks 1992）；头部运动可显著降低混淆（Wallach 1940; Brimijoin & O'Neill 2010）。
  • HRTF vs 简单 pan：Ferrand et al. (2019)《HRTF and panning evaluations for binaural audio guidance》：动态测试中 HRTF 的定位 RMSE 显著优于 panning，静态/动态均更精确。URL: https://hal.science/hal-02948557/document
  • 简单立体声 pan 只能产生左右弧线上的方位感，无法提供前后/上下线索（社区与文献一致）。来源：https://forum.dcs.world/topic/102070-no-true-headphone-3d-audio-in-games/ 及 Ferrand 2019。
  • 可辨方位档数：未找到直接给出「可区分方位档位数」的一手研究；按 MAA 数据与 pan/HRTF 工作方式推断：立体声 pan 可靠档位 ≈ 左/中/右（3 档，可扩展到 5 档）；HRTF 在耳机上可支撑 8 方位以上的粗定位，但前后混淆需靠头部运动或额外提示解决。以下为推断。
  • 移动端可行方案：无 HRTF 时用「pan + 音量/低通随距离衰减」承载左右与远近；关键前后判定不要只用音频（混淆率 5–35%）。

2.6 震动 + 声音的多模态冗余：什么时候有效？

2.7 一致性与学习成本：玩家要听几次才能记住一个 earcon？

  • 8.5 轮：Dingler & Lindsay (2008) 实测 earcon 平均需 8.50 轮（SD 4.087） 训练才达到 100% 正确，而语音/spearcon 只要 1.14 轮。URL: https://www.icad.org/Proceedings/2008/DinglerLindsay2008.pdf
  • Brewster (1993) 评估中识别率随训练显著上升（27 个 earcon，改进设计 + 训练后大幅提高；具体百分比见 2.1 待核对标注）。URL: https://eprints.gla.ac.uk/3257/1/CHI4493.pdf
  • Georgia Tech 评估研究：earcon 和 auditory icon 相比语音从训练中获益更多（即学习曲线更陡但有回报）。URL: https://repository.gatech.edu/bitstreams/f1ebdf0a-6a34-4417-88e1-465abf896c83/download
  • 设计含义：(a) 状态音集合必须全游戏一致（同一状态永远同一音，同一手势永远同一音+震）；(b) 用家族层级让新 earcon 可从已知家族推理（降低表观学习量）；(c) 新音前 3–5 次出现必须伴随语音标签或即时后果，把「8.5 轮训练」内嵌进玩法。

2.8 记忆与注意力限制：听觉工作记忆 & TTS 语速

③ 对本项目的可操作设计规则（可直接写进设计规范）

状态音（earcon）

  1. 【应该】状态音按「家族层级」组织：用音色区分信息大类（如：战斗类/资源类/系统类各定一种乐器），节奏型区分子类，结束音高区分同类内的具体状态；子状态音继承父类音色与节奏，保证「听得出是一家人」。
  2. 【应该】每个 earcon 的参数边界：时长 0.25–1.5 s（层级复合音最多 4 s）；音符最短 0.08 s；每秒 ≤6 个音符；频带 125 Hz–5 kHz；响度高于当前环境声 +10～+20 dB；复合音串行时留 0.1 s 间隙。
  3. 【不应该】不要只用音高区分两个状态（尤其相邻音高）；必须同时改变节奏/音色/音域中至少一个参数（组合区分，绝对判断下音域差需 ≥2 个八度）。
  4. 【应该】全游戏 earcon 总集控制在 20–30 个以内并做教学关；单个场景内同时引入的新状态音 ≤4 个（推断：未找到无训练上限的一手数据）。
  5. 【应该】新状态音第一次出现及之后的前 3–5 次，必须伴随语音标签（「这是补给点音」）或直接因果后果——earcon 实测需要 ~8.5 轮接触才能稳定识别，语音只需 ~1.1 轮。

手势选项播报

  1. 【不应该】不要并发播放 6 个手势的选项音/语音；任何需要玩家辨认的声音一律串行播放，间隔 ≥0.1 s。确需并发的场合（如双状态监控）最多 2 路，且两路必须音色不同 + 左右声像分离。
  2. 【应该】选项列表每屏最多 3 项（听觉工作记忆 ≈4 chunk，留 1 chunk 余量给操作）；超过 3 项必须分页，每页播报开头用 earcon 前缀标记页类别。
  3. 【应该】手势含义标签优先用 spearcon/短语音（学习成本 ≈0、反应最快，元分析显示优于 earcon），状态音才用 earcon。

语音播报

  1. 【应该】TTS 语速正文 150–180 wpm（中文约 240–300 字/分钟），上限 225 wpm；教学、数字、坐标类信息降速 ~15% 并支持一键重播。
  2. 【应该】同一时刻只允许 1 路 TTS；新播报打断旧播报时在语句边界切断，且被打断的信息可通过手势重听（防止信息丢失）。
  3. 【应该】语音播报前加 0.3–0.6 s 的类别 earcon 前缀（危险/拾取/系统/剧情各一个），让玩家在语音开始前预判信息类别（实践惯例，风险低）。

混音与信息分级

  1. 【应该】BGM 常驻并编码宏观状态（探索/战斗/结算），用配器、调式、速度渐变切换而非硬切；语音出现时对 BGM 做 ducking：−6～−12 dB，ratio 4:1–8:1，attack ≤10 ms，release 300–600 ms + hold ~500 ms；全混音以对白为响度基准（目标整体 ~−18 到 −23 LUFS，true peak ≤−1 dBTP）。
  2. 【不应该】不要让 BGM/环境声承载需要精确辨认的信息（如具体剩余血量）；它只表达宏观状态与紧张度。信息分级：常驻→BGM/环境声；事件→一次性音效；告警→earcon 前缀+语音+震动三重呈现，并用快起音/宽音域/不规则节奏制造显著度。

空间与震动

  1. 【应该】空间信息默认用 stereo pan（左/中/右 3 档）+ 音量/低通衰减表达远近；若启用方位训练玩法，用 HRTF（检测到耳机才开启）并在教学关配合确认反馈训练；不要用纯音频做「前 vs 后」的生死判定（正常也有 5–10% 前后混淆，谱线索差时可达 35%）。
  2. 【应该】10 种震型只绑关键事件与告警（不做装饰性反馈）；震型的节奏/时长结构与对应音效同构（同拍点、同长度），利用听触共享的节律加工；所有震型能量集中在引擎有效带内、短促（<1 s）不连续长振，遵循 Android/Apple 语义触觉原则。

④ 参考来源列表

经典文献 / 一手实验

  1. Brewster, S.A. — Guidelines for the Creation of Earcons（Glasgow）: https://www.dcs.gla.ac.uk/~stephen/earcon_guidelines.shtml
  2. Brewster, Wright & Edwards (1995) — Experimentally Derived Guidelines for the Creation of Earcons: https://www.semanticscholar.org/paper/c4fa0a5a72210a25de2918c63d22d31a83945405
  3. Brewster, Wright & Edwards (1993, INTERCHI) — An Evaluation of Earcons for Use in Auditory Human-Computer Interfaces: https://eprints.gla.ac.uk/3257/1/CHI4493.pdf
  4. McGookin & Brewster (2004, ACM TAP) — Understanding Concurrent Earcons: https://dl.acm.org/doi/pdf/10.1145/1024083.1024087
  5. McGookin (2003, ICAD) — An Investigation into the Identification of Concurrently Presented Earcons: https://www.icad.org/websiteV2.0/Conferences/ICAD2003/paper/10%20McGookin.pdf
  6. McGookin 博士论文（Glasgow）— Understanding and Improving the Identification of Concurrently Presented Earcons: https://theses.gla.ac.uk/14/
  7. Dingler & Lindsay (2008, ICAD) — Auditory Icons, Earcons, Spearcons, and Speech (Learnability): https://www.icad.org/Proceedings/2008/DinglerLindsay2008.pdf
  8. Nees & Liebman (2023) — Auditory Icons, Earcons, Spearcons, and Speech: A Systematic Review and Meta-Analysis, Auditory Perception & Cognition 6(3-4): https://www.tandfonline.com/doi/pdf/10.1080/25742442.2023.2219201
  9. Walker et al. (2013, Human Factors) — Spearcons Improve Navigation Performance in Advanced Auditory Menus: https://journals.sagepub.com/doi/10.1177/0018720812450587
  10. Gaver — Auditory Icons（Sonification Handbook Ch.13）: https://sonification.de/handbook/chapters/chapter13/
  11. McGookin & Brewster — Earcons（Sonification Handbook Ch.14）: https://sonification.de/handbook/chapters/chapter14/
  12. Arons (1992) — A Review of the Cocktail Party Effect（MIT OCW）: https://ocw.mit.edu/courses/mas-632-conversational-computer-systems-fall-2008/resources/arons_cocktail/
  13. Ferrand et al. (2019) — HRTF and Panning Evaluations for Binaural Audio Guidance: https://hal.science/hal-02948557/document

记忆 / 语速 / 感知基础 14. Cowan (2001) — The Magical Number 4 in Short-Term Memory: https://pubmed.ncbi.nlm.nih.gov/11515286/ 15. Syrdal et al. (2012, Interspeech) — TTS Intelligibility Across Speech Rates (200–450 wpm): https://www.isca-archive.org/interspeech_2012/syrdal12_interspeech.pdf 16. Hux et al. (2019) — Effect of TTS Rate on Comprehension: https://pmc.ncbi.nlm.nih.gov/articles/PMC7231913/ 17. Bernard et al. (2022) — Rhythm Perception Is Shared Between Audio and Haptics: https://pmc.ncbi.nlm.nih.gov/articles/PMC8907191/ 18. When to Use Vibrotactile Displays? A Meta-Analysis（Applied Ergonomics 2022）: https://www.sciencedirect.com/science/article/abs/pii/S0003687022001259 19. 听觉场景分析综述/综述页: https://en.wikipedia.org/wiki/Auditory_scene_analysis 、https://tlr-hub.asha.org/cred/auditory-scene-analysis-an-attention-perspective/

工程与平台指南 20. Material Design — Applying Sound to UI: https://m2.material.io/design/sound/applying-sound-to-ui.html 21. Android — Haptics Design Principles: https://developer.android.com/develop/ui/views/haptics/haptics-principles 22. Apple HIG — Playing Haptics: https://developer.apple.com/design/human-interface-guidelines/playing-haptics 23. Audiokinetic — Scalable Loudness Processing for Games: https://www.audiokinetic.com/en/community/blog/loudness-processing-best-practice-chapter-3-scalable-loudness-processing-for-games 24. Ducking 实践: https://infinitecreation.io/tutorial-ducking-music 、https://vi-control.net/community/threads/ducking-music-volume-to-make-way-for-voice-narration-is-there-a-better-way-than-side-chaining.83139/ 25. 游戏响度: https://ansoaudio.com/2016/07/27/loudness-and-metering-in-game-audio/ 、https://www.stephenschappler.com/2013/07/26/listening-for-loudness-in-video-games/ 26. Haptic 引擎带宽（80–300 Hz）: https://swmansion.com/blog/haptics-is-music-how-to-design-haptic-patterns-that-feel-right/

标注为推断、未找到一手来源的条目汇总

  • 无训练条件下同时可学的新 earcon 数量上限（推断 4–6 个）；
  • 「可区分方位档位数」的直接研究（推断 pan 3 档 / HRTF ≥8 档）；
  • 「earcon 前缀降低语音加工成本」的对照实验（实践惯例）；
  • 语音打断的语句边界策略（推断自语音串行加工与工作记忆证据）；
  • 中文 TTS 语速可懂度曲线（推断 240–300 字/分钟正文）；
  • Brewster 1993 识别率 62%→97% 的具体百分比（二手转述，待从原文核对）。
Reference in New Issue View Git Blame Copy Permalink