Исследователи из Даремского университета в Великобритании разработали нейросеть для идентификации клавиш на клавиатуре по звуку их нажатия. Ее условное применение – подбор паролей по записи звука работы компьютерной клавиатуры. Точностью распознавания звуков после обучения оказалась на уровне 92-95 %.
Все клавиатуры имеют разное звучание, плюс у каждого пользователя свой стиль набора текста, также имеет значение расположение микрофона относительно источника звука. Из-за этого без обучения на конкретном устройстве модель почти бесполезна. Однако скорость ее обучения это компенсирует — скажем, один хакер может переписываться с жертвой, которая сидит в кафе, а второй сидит вблизи с включенным диктофоном. Затем ИИ сопоставляет текст из переписки со звуками и учится распознавать нажатие кнопок.
ИИ различает использование верхнего и нижнего регистра, реагирует на переключение звука на клавиатуре, может распознавать кнопки по расстоянию до них. Также он распознает особенности звучания клавиатур отдельных брендов после обучения. Анализ звука нажатия клавиш можно производить и во время видеоконференций, если собеседник отключил свою камеру, но не микрофон, и печатает текст.
Чтобы обмануть такую модель, надо использовать сложные пароли с разными регистрами. А также печатать вслепую, добавлять редактирование текста при вводе, использовать мышку для копирования и вставки фрагментов текста.