Акустическая транскрипция клавиатуры это не из фильма про шпионов, а вполне реальная возможность.
Сначала это реализовали так сначала нужно было обучить алгоритм и собрать данные для конкретной клавиатуры, которую будут слушать. А дальше на основе собранных данных о звуках можно было бы определить текст, который набирали. Для каждой новой клавиатуры надо было переобучать программу.
Но теперь придумали новый метод без переобучения, который работает на обычном английском тексте. По частотности слов и n-грамм в языке и похожести звучания соседних кнопок текст и разбирается. Пока алгоритм не до конца отлажен, так что не совсем точно работает. Подробности на гитхабе.
Keytap2 - acoustic keyboard eavesdropping based on language n-gram frequencies · Discussion #31 · ggerganov/kbd-audio
Tools for capturing and analysing keyboard input paired with microphone capture 🎤⌨️ - ggerganov/kbd-audio
ggerganov
