研究人员 卡内基 - 梅隆大学 卡内基梅隆大学 (CMU) 开发了一种摄像头系统，可以精确地检测声音振动，无需推理或麦克风即可重新创建音频。公司？团队的工作 机器人研究所 (RI) 由 CMU 计算机科学学院负责构建该系统，该系统由两个摄像头和一个激光器组成。
该大学表示，该相机系统可以检测人眼无法看到的“高速、低幅度的表面振动” 新闻稿.
低成本相机，非常高性能
该系统配备的是普通相机，而不是之前研究中使用的高速相机，这将导致成本大幅降低。 “我们使光学麦克风更加实用和可用，”他说 斯里尼瓦萨·纳拉辛汉机器人学教授兼照明与成像实验室主任。 “我们提高了质量，同时降低了成本。”
一种算法比较快门和全局快门捕获的散斑图案。利用模型之间的差异来计算振动并重新创建音频。斑点图案（在本例中是由激光创建的）是指相干光从粗糙表面反射后在空间中的行为。当表面振动时，这种行为会发生变化。卷帘快门快速从一端扫描图像到另一端，而卷帘快门一次捕获整个图像。
“这个系统突破了计算机视觉的极限，”助理教授马修·奥图尔（Matthew O'Toole）说道。 一个文件 关于这个系统，他说。 “这是一种捕捉高速微小振动的新机制，并提出了一个新的研究领域。”
用正常的视频拍摄隔离不同的声音
研究人员表示，他们能够隔离同时演奏的吉他的音频。他们声称该系统能够专注于一袋芯片并仅利用其振动来重建其声音。音频以前所未有的保真度从扬声器中传输出来。
这项技术有许多潜在的应用。 例如，研究人员建议，该系统可以监控工厂机器的振动，以寻找问题的迹象。 音响工程师还可以将声音与乐器隔离开来，以增强混音效果。 从本质上讲，它可以帮助消除录音中的环境噪音。
