Учёные Массачусетского технологического института вместе с исследовательскими командами Microsoft и Adobe создали программный алгоритм, который легко распознаёт аудиоинформацию путём анализа вибраций объекта, снятого на видео.
Технология в состоянии распознавать звуковые сигналы, фиксируя колебания алюминиевой фольги, поверхности стакана воды и даже листьев комнатного растения.
Алгоритм базируется на том, что когда звук попадает на объект, он заставляет его вибрировать. Данная вибрация создаёт очень тонкий визуальный сигнал, который незаметен невооруженным глазом.
Во время эксперимента исследователи легко восстановили речь человека при помощи колебаний пакета картофельных чипсов, снятого на расстоянии в 4,5 м через звуконепроницаемое стекло.
Компьютерный алгоритм пропускает последовательные кадры видео через батарею графических фильтров, которые используются для измерения колебаний в нескольких различных направлениях.
При этом, восстановление аудио из видео требует, чтобы частота кадров в секунду на видео была выше, чем частота звукового сигнала. На тестах учёные использовали камеру, которая снимает от 2 до 6 тысяч кадров в секунду.
Предполагается, что созданная технология будет весьма полезна в судебной экспертизе.
Ранее в США создали мобильное приложение Audio Aware, которое анализирует звуковой фон и предупреждает владельца устройства о возможной опасности.