L'IA peut savoir ce que vous tapez en écoutant vos frappes au clavier

Jun 04, 2023

Des chercheurs des universités de Londres, Durham et Surrey ont développé un nouveau système d'IA capable d'écouter votre clavier pour collecter des données potentiellement sensibles. L'algorithme, présenté dans un nouvel article, a été testé sur un clavier MacBook Pro et a atteint une précision de 93 à 95 % dans la détection des touches enfoncées uniquement sur la base d'enregistrements audio.

La recherche illustre également à quel point les microphones sont omniprésents dans les téléphones, ordinateurs portables et autres appareils, qui pourraient ainsi être utilisés pour compromettre la sécurité des données via des attaques acoustiques par canal secondaire. Alors que des articles précédents ont exploré la détection des frappes sur ordinateur portable via l'audio, cette approche basée sur l'IA atteint des niveaux de précision sans précédent.

Selon les chercheurs, leur modèle d’IA surpasse également les autres méthodes matérielles, confrontées à des contraintes de distance et de bande passante. Avec les microphones intégrés aux appareils grand public courants, l’acoustique de frappe est plus exposée et accessible que jamais.

Alors, comment fonctionne ce nouvel algorithme audio ? Les chercheurs ont d’abord enregistré des échantillons audio de frappe sur un MacBook Pro, en appuyant 25 fois sur chaque touche. Cela a permis au système d’IA d’analyser les infimes variations entre le son émanant de chaque touche.

Les enregistrements audio ont ensuite été transformés en spectrogrammes, qui sont des représentations visuelles des fréquences sonores au fil du temps. Le modèle d’IA a été formé sur ces spectrogrammes, apprenant à associer différents modèles à différentes frappes.

En appliquant ce processus de formation sur des milliers de segments audio, l'algorithme apprend les distinctions subtiles entre les empreintes acoustiques de chaque touche frappée. Une fois entraînée sur un clavier spécifique, l’IA peut alors analyser de nouveaux enregistrements audio et prédire les frappes avec une grande précision.

Les chercheurs ont découvert que lorsqu’il était entraîné sur un clavier MacBook Pro, l’algorithme atteignait une précision comprise entre 93 et ​​95 %. Les performances n’ont que légèrement diminué lors des tests sur les sons du clavier dans les enregistrements d’appels Zoom.

Le système d’IA doit être calibré pour des modèles de clavier et des environnements audio spécifiques. Cependant, cette approche pourrait être largement applicable si les attaquants parviennent à obtenir les données de formation appropriées. Avec un modèle personnalisé, les acteurs malveillants pourraient potentiellement intercepter des mots de passe, des messages, des e-mails, etc.

Bien que la menace pour la vie privée soit préoccupante, l’étude démontre également les capacités croissantes des algorithmes d’IA à trouver des informations sur de nouvelles formes de données. Les émanations acoustiques ont longtemps été explorées dans les attaques par canaux secondaires, peut-être le plus souvent via des microphones laser, mais un apprentissage automatique sophistiqué permet désormais une analyse sans précédent de ces signaux divulgués.

Il existe plusieurs moyens de protéger vos données contre ce type d'attaque, et ils n'impliquent pas de taper tranquillement.

Les dactylographes semblent confondre le modèle, ce qui fait chuter sa précision à 40 % (probablement parce que les dactylographes appuient sur des touches à différents endroits, modifiant ainsi l'acoustique). Un changement dans le style de frappe, la diffusion de sons sur un haut-parleur et l'utilisation de claviers à écran tactile sont également mentionnés comme contre-mesures. Vous aimerez peut-être vous immerger dans le terrier du modding de clavier, car changer l'acoustique de votre clavier rend l'IA inutilisable car cela nécessiterait un autre cycle de formation.

À l’avenir, les chercheurs suggèrent d’approfondir les recherches sur la détection et la protection contre ces vecteurs de menaces émergents. Alors que l’IA continue de libérer de nouveaux potentiels pour exploiter des sources de données omniprésentes, le maintien de la sécurité et de la confidentialité des données nécessitera autant d’ingéniosité pour identifier et atténuer les vulnérabilités involontaires.