研究背景

生成式声音系统越来越多地应用于健康、环境媒体和交互式装置中,但大多数系统仍然依赖于基于屏幕的界面和难以从情感上进行解释的技术控制。

以往在声景设计方面的研究强调感知和情感,而实体用户界面(TUI)的研究则突出了具身交互在减轻认知负荷方面的作用。本项目立足于这些领域的交汇处,探讨物理交互如何使生成式声音更具可读性、表现力和情感根基。


研究背景

生成式声音系统越来越多地应用于健康、环境媒体和交互式装置中,但大多数系统仍然依赖于基于屏幕的界面和难以从情感上进行解释的技术控制。

以往在声景设计方面的研究强调感知和情感,而实体用户界面(TUI)的研究则突出了具身交互在减轻认知负荷方面的作用。本项目立足于这些领域的交汇处,探讨物理交互如何使生成式声音更具可读性、表现力和情感根基。


洞察

灵感源自 Logic Pro 的 XY 鼓垫

SoniBox 的交互模型灵感源自 Logic Pro 中的 XY 鼓垫(XY Drum Pad),它将二维触摸输入同时映射到多个声音参数上。用户无需了解底层的合成逻辑,只需移动双手,即可直观地探索音色和节奏。

这种交互启发我们,生成式声音系统可以受益于类似的空​​间隐喻。与其直接展示参数,不如将声音行为映射到一个连续的二维空间中,让用户能够从情感和感知上“导航”声音。

交互设计

SoniBox 的交互设计经历了多次迭代,以探索物理触摸如何在不变得过于具象或过于抽象的前提下,有意义地塑造生成性声音。早期的原型直接暴露了低级声音参数,但用户测试表明,参与者很难将技术控制与情感结果联系起来。输入中的细微变化往往会导致不可预测或难以察觉的声音差异,从而破坏了自主感。

通过迭代,交互方式从参数控制重构为情感导航。与显式调整合成值不同,纺织品表面上的触摸位置被映射到更高维度的情感维度:平静与活力。这种转变减轻了认知负荷,并允许用户通过连续的操作移动而非离散的动作来探索声音。

系统设计

SoniBox 被实现为一个分布式嵌入式系统,它在保持实时响应的同时,将交互感知与声音生成相分离。触摸输入是通过由导电织物制成的纺织物 x-y 网格捕获的,ESP 微控制器持续对触摸位置和与压力相关的信号进行采样。这些数据通过开放健全控制(OSC)流式传输到树莓派(Raspberry Pi),从而在硬件和软件层之间实现低延迟、持续的通信。

在音频方面,Sonic Pi 被用作生成式声音引擎,选择它是因其能够支持具有精确时间控制的现场编码、算法声音合成。传入的交互数据不会触发离散事件,而是调节正在进行的生成过程,如密度、纹理和频谱平衡。这种方法避免了重复播放,并使声景能够随着时间的推移平滑演变。

SoniBox

SoniBox 是一款嵌入式实体用户界面,用于通过直接触摸来控制生成式音景。该系统将基于纺织品的界面上的物理交互映射到情感维度:平静与活力。它允许用户通过具体化的手势而不是抽象的参数来塑造声音。导电织物制成的 x-y 网格通过 ESP 微控制器感知触摸,而运行 Sonic Pi 的树莓派(Raspberry Pi)则实时生成声音,并通过开放声音控制(OSC)协议进行通信。

2024年

2024年

角色

创意科技

角色

创意科技

客户

这是一个个人项目。

客户

这是一个个人项目。

时间线

4 个月

时间线

4 个月

SoniBox

SoniBox 是一款嵌入式实体用户界面,用于通过直接触摸来控制生成式音景。该系统将基于纺织品的界面上的物理交互映射到情感维度:平静与活力。它允许用户通过具体化的手势而不是抽象的参数来塑造声音。导电织物制成的 x-y 网格通过 ESP 微控制器感知触摸,而运行 Sonic Pi 的树莓派(Raspberry Pi)则实时生成声音,并通过开放声音控制(OSC)协议进行通信。

2024年

角色

创意科技

客户

这是一个个人项目。

时间线

4 个月