挑战

大多数空间音频工具要么被简化为单参数控制,要么被埋在复杂的软件界面深处。这些系统使非专业用户难以对空间声音关系形成直观的理解。

挑战在于设计一个触觉界面,以鼓励探索,支持多维度控制,并帮助用户通过聆听和运动而非指令来建立空间直觉。

挑战

大多数空间音频工具要么被简化为单参数控制,要么被埋在复杂的软件界面深处。这些系统使非专业用户难以对空间声音关系形成直观的理解。

挑战在于设计一个触觉界面,以鼓励探索,支持多维度控制,并帮助用户通过聆听和运动而非指令来建立空间直觉。

洞察

空间声音最好通过具身交互来理解。当用户能够将身体手势直接映射到空间变化时,他们就会开始将声音位置视为空间对象,而不是抽象的参数。相比于密集的界面,更小巧但更具表现力的控制集能更有效地培养好奇心和促进学习。

解决方案

实体交互模型

Sound Bubbles 使用四个精密旋钮和一个多功能按键作为其主要界面。其中三个旋钮直接映射到声源的 X、Y 和 Z 位置,允许用户通过持续旋转在空间中“放置”声音。第四个旋钮控制音量,使空间控制与响度控制保持独立。

该按键通过时间手势管理声源:单击可在不同声源之间切换,双击可添加新声源,长按则可移除当前声源。这种分层交互模型在不增加硬件复杂性的情况下实现了复杂的控制。

空间音频与视觉反馈

用户的操作会同时在声音和视觉中得到体现。当调节旋钮时,变化会同步在 iPad 和基于 Unity 的 3D 环境中可视化,从而强化了物理输入、空间位置与感知音频运动之间的关系。

一份简短的入门指南介绍了基本的交互操作,同时也为开放式探索留出了空间。

系统实现

物理控制器通过 ESP8266 微控制器(充当 WiFi 接入点)读取电位器的模拟值。控制数据以无线方式传输到 Unity,在 Unity 中进行解析并映射到实时空间音频渲染和可视化中。

这种模块化架构允许系统从简单的原型扩展到更复杂的空间场景,并为未来在不使用 Unity 的情况下运行于嵌入式音频平台的版本留出了空间。

声音气泡

Sound Bubbles 是一种实体用户界面(TUI),该设计旨在探索人们如何通过直接的物理交互来理解和控制空间音频。用户可以使用一组旋钮和一个按钮,在三维空间中操作声源,并同时获得实时的听觉与视觉反馈。 该项目深入研究了如何使空间声学变得直观、有趣且易于探索,而无需依赖传统的数字音频工作站(DAW)界面或抽象的参数控制。

2024年

2024年

角色

音乐技术

角色

音乐技术

客户

这是一个个人项目。

客户

这是一个个人项目。

时间线

2个月

时间线

2个月

声音气泡

Sound Bubbles 是一种实体用户界面(TUI),该设计旨在探索人们如何通过直接的物理交互来理解和控制空间音频。用户可以使用一组旋钮和一个按钮,在三维空间中操作声源,并同时获得实时的听觉与视觉反馈。 该项目深入研究了如何使空间声学变得直观、有趣且易于探索,而无需依赖传统的数字音频工作站(DAW)界面或抽象的参数控制。

2024年

角色

音乐技术

客户

这是一个个人项目。

时间线

2个月