Умные колонки способны подслушивать набор текста на смартфоне, доказали ученые из Кембриджского университета под руководством Росса Андерсона. Результаты их исследования опубликованы на arXiv.org.
Эксперты исходили из итогов прошлой научной работы, которая показала, что вводимый на гаджете текст можно распознавать по звукам клавиш за счет того, что в разных местах нажатия дают разные звуки.
Андерсон и его команда предложили свой метод, в котором есть несколько важных условий: злоумышленник имеет доступ к микрофонам колонки или записям с нее, и есть копия смартфона или планшета, с которого нужно добыть данные. Второй пункт обусловлен тем, что звуки набора текста специфичны для каждой модели смартфона, тем более на них влияют чехол или пленка на экране.
Специалисты имитировали умную колонку с помощью чипа ReSpeaker с шестью микрофонами, используемую для сборки таких девайсов. На расстоянии нескольких десятков сантиметров они расположили телефоны и планшеты. Для распознания нажатия символов были созданы две модели, работающие на основе сверточной нейросети или линейного дискриминантного анализа.
Тесты провели на пятизначных ПИН-кодах, состоящих из цифр, отдельных букв и английских слов. Точность результатов зависела от модели гаджета и используемого алгоритма. Ученые отмечают, что один из недостатков их метода заключается в ограниченном доступе к записи звука с умной колонки, но в качестве решения они предложили использовать функцию звонка, доступную в некоторых девайсах.
В прошлом году дизайнер из Москвы Константин Коновалов заснял диалог двух умных колонок со встроенными голосовыми помощницами. Устройства, одно из которых из Читы, а другое — из Иркутской области, побеседовали о том, чем они сегодня занимались, о погоде за окном, а в конце признались друг другу в любви.