洞察
空间声音最好通过具身交互来理解。当用户能够将身体手势直接映射到空间变化时,他们就会开始将声音位置视为空间对象,而不是抽象的参数。相比于密集的界面,更小巧但更具表现力的控制集能更有效地培养好奇心和促进学习。
解决方案
实体交互模型
Sound Bubbles 使用四个精密旋钮和一个多功能按键作为其主要界面。其中三个旋钮直接映射到声源的 X、Y 和 Z 位置,允许用户通过持续旋转在空间中“放置”声音。第四个旋钮控制音量,使空间控制与响度控制保持独立。

该按键通过时间手势管理声源:单击可在不同声源之间切换,双击可添加新声源,长按则可移除当前声源。这种分层交互模型在不增加硬件复杂性的情况下实现了复杂的控制。
空间音频与视觉反馈
用户的操作会同时在声音和视觉中得到体现。当调节旋钮时,变化会同步在 iPad 和基于 Unity 的 3D 环境中可视化,从而强化了物理输入、空间位置与感知音频运动之间的关系。
一份简短的入门指南介绍了基本的交互操作,同时也为开放式探索留出了空间。
系统实现
物理控制器通过 ESP8266 微控制器(充当 WiFi 接入点)读取电位器的模拟值。控制数据以无线方式传输到 Unity,在 Unity 中进行解析并映射到实时空间音频渲染和可视化中。



这种模块化架构允许系统从简单的原型扩展到更复杂的空间场景,并为未来在不使用 Unity 的情况下运行于嵌入式音频平台的版本留出了空间。



