洞察
灵感源自 Logic Pro 的 XY 鼓垫
SoniBox 的交互模型灵感源自 Logic Pro 中的 XY 鼓垫(XY Drum Pad),它将二维触摸输入同时映射到多个声音参数上。用户无需了解底层的合成逻辑,只需移动双手,即可直观地探索音色和节奏。

这种交互启发我们,生成式声音系统可以受益于类似的空间隐喻。与其直接展示参数,不如将声音行为映射到一个连续的二维空间中,让用户能够从情感和感知上“导航”声音。
交互设计
SoniBox 的交互设计经历了多次迭代,以探索物理触摸如何在不变得过于具象或过于抽象的前提下,有意义地塑造生成性声音。早期的原型直接暴露了低级声音参数,但用户测试表明,参与者很难将技术控制与情感结果联系起来。输入中的细微变化往往会导致不可预测或难以察觉的声音差异,从而破坏了自主感。

通过迭代,交互方式从参数控制重构为情感导航。与显式调整合成值不同,纺织品表面上的触摸位置被映射到更高维度的情感维度:平静与活力。这种转变减轻了认知负荷,并允许用户通过连续的操作移动而非离散的动作来探索声音。




系统设计
SoniBox 被实现为一个分布式嵌入式系统,它在保持实时响应的同时,将交互感知与声音生成相分离。触摸输入是通过由导电织物制成的纺织物 x-y 网格捕获的,ESP 微控制器持续对触摸位置和与压力相关的信号进行采样。这些数据通过开放健全控制(OSC)流式传输到树莓派(Raspberry Pi),从而在硬件和软件层之间实现低延迟、持续的通信。

在音频方面,Sonic Pi 被用作生成式声音引擎,选择它是因其能够支持具有精确时间控制的现场编码、算法声音合成。传入的交互数据不会触发离散事件,而是调节正在进行的生成过程,如密度、纹理和频谱平衡。这种方法避免了重复播放,并使声景能够随着时间的推移平滑演变。






