该研究采用包含自然对话场景的自然电影片断来探索视觉和听觉自然流在大脑中的反映，结果发现视听觉的自然流跟踪和跨模态的融合是基于一种“大脑振荡的低频相位调制机制” (Low-frequency phase modulation in brain oscillation)的。听觉信号除了实时调制听觉皮层的振荡相位来达到对听觉流的实时分割处理外，也会调制视觉皮层的内生振荡相位使得和听觉流时间组织吻合的视觉流信号落在合适的优化相位(optimal phase)上得到增强处理进而达到跨模态的实时连续融合。这项工作首次在人类受试上找到和发现可能解决听觉领域中极为重要的问题‘鸡尾酒会效应’(cocktail party problem)的神经机制。

　　该课题得到科技部、中国科学院和自然科学基金委的资助。

　　

　　

　　听觉皮层（黑色）和视觉皮层（橙色）对自然视听觉流的同时低频相位跟踪以及时间结构的实时分割；同时，视觉皮层和听觉皮层也有跨模态的相位调制来达到视听觉的实时融合