La plupart des gens sont probablement conscients des risques pour la vie privée posés par la caméra frontale de leur appareil mobile ou de leur ordinateur portable, et peuvent donc prendre des mesures pour réduire ces risques. Mais une étude récente montre qu'un pirate déterminé peut également capturer des images d'un utilisateur d'une manière inattendue, via le capteur de lumière ambiante qui permet d'ajuster automatiquement la luminosité de l'écran sur de nombreux appareils.Il est devenu courant que les applications et les sites web demandent une autorisation lorsqu'ils souhaitent accéder à des données provenant de caméras, de microphones ou de systèmes de géolocalisation. Pourtant, les appareils tels que les smartphones, les tablettes, les ordinateurs portables et même les téléviseurs intelligents sont truffés d'autres capteurs dont les risques potentiels pour la sécurité sont souvent négligés, explique Yang Liu, doctorant au MIT.
Installation d'imagerie avec configurations primaire et double
La protection de la vie privée est l'une des principales questions soulevées par la prévalence des appareils intelligents, tels que les téléphones portables, les montres, les tablettes et les téléviseurs. Les capteurs intégrés offrent d'énormes possibilités, mais, malheureusement, ils augmentent aussi le risque de fuite d'informations sur les utilisateurs. Par exemple, les caméras frontales intégrées permettent de faire des selfies et des vidéoconférences, mais elles peuvent laisser échapper des informations sur le visage de l'utilisateur si elles ne sont pas gérées correctement.
Le contrôle des autorisations peut offrir une protection efficace de la vie privée en permettant aux utilisateurs de gérer l'accès aux capteurs (par exemple, les caméras) et aux données. Toutefois, certains capteurs sont considérés comme « à faible risque » et peuvent être accessibles directement sans aucune autorisation ni privilège. Par exemple, le capteur de lumière ambiante est utilisé pour mesurer l'éclairement de la lumière environnante et pour ajuster automatiquement la luminosité de l'écran. Le capteur de lumière ambiante doit être toujours allumé pour fonctionner et est traditionnellement considéré comme présentant un faible risque parce qu'il fournit une valeur unique et ne semble pas permettre l'imagerie de l'environnement.
- Configuration primaire où l'écran affiche une séquence de motifs et où le capteur de lumière ambiante reçoit la lumière d'abord partiellement bloquée par la main qui interagit, puis réfléchie par le visage humain ;
- Configuration double où le capteur de lumière ambiante fonctionne comme une source de lumière ponctuelle virtuelle et l'écran pixellisé comme un capteur virtuel. Aucune lentille n'est nécessaire entre l'écran et la scène pour former une image sur le capteur virtuel, car les mains en interaction créent des ombres en contact sur le capteur virtuel, formant une correspondance biunivoque entre le pixel cible de la scène et le pixel du capteur.
Les capteurs de lumière ambiante posent un problème particulier. Ces composants fournissent une lecture de l'éclairage dans l'environnement local, que les systèmes d'exploitation utilisent pour modifier la luminosité de l'écran ou basculer vers des modes sombres. Bien que cela ne semble pas fournir beaucoup d'informations détaillées, les chercheurs ont montré que ces capteurs peuvent détecter les changements d'intensité lumineuse, ce qui peut être utilisé pour déduire le type de programmes télévisés qu'une personne regarde, les sites web sur lesquels elle navigue, ou même les saisies au clavier sur un écran tactile.
« Avec le capteur de lumière ambiante, les utilisateurs ne savent même pas qu'une application utilise ces données. Et ce capteur est toujours allumé. Dans un article publié dans Science Advances, Liu et ses collègues ont montré qu'en croisant les données du capteur de lumière ambiante d'une tablette avec des vidéos spécialement conçues et affichées sur l'écran de la tablette, il est possible de générer des images des mains de l'utilisateur lorsqu'il interagit avec la tablette. Bien que les images soient de faible résolution et que leur capture prenne peu de temps, ce type d'approche pourrait permettre à un pirate déterminé de déduire la façon dont une personne utilise l'écran tactile de son appareil », explique Liu.
« Les gens sont conscients de l'existence des caméras selfie sur les ordinateurs portables et les tablettes et utilisent parfois des bloqueurs physiques pour les couvrir », explique Liu. « Mais pour le capteur de lumière ambiante, les gens ne savent même pas qu'une application utilise ces données. Et ce capteur est toujours allumé.
Qu'est-ce qu'un capteur de lumière ambiante ?
Le capteur de lumière ambiante est un composant important, non seulement dans les smartphones, mais aussi dans une large gamme d'appareils électroniques, et il peut affecter bien plus que la luminosité de l'écran. Les capteurs de lumière ambiante peuvent être extrêmement petits - avec un encombrement mesurant seulement L2,0 mm x W1,0 mm x H0,5 mm, dans le cas du boîtier TSL2521 d'OSRAM, qui est conçu pour s'insérer entre l'écran et le châssis d'un smartphone.
Les capteurs permettent aux caméras des smartphones de corriger l'effet de bande et les artefacts générés par le scintillement des sources de lumière artificielle telles que les LED. Il est intéressant de noter qu'Apple aurait ajouté un capteur de lumière ambiante orienté vers l'arrière à son très populaire iPhone pour la première fois en 2022.
Outre les appareils mobiles, on trouve des capteurs de lumière ambiante dans de nombreux moniteurs, téléviseurs et même dans certains projecteurs, afin de permettre un réglage automatique de la luminosité. Étant donné le grand nombre de ces appareils utilisés aujourd'hui, il n'est pas exagéré de dire que les capteurs de lumière ambiante sont partout.
Les experts en sécurité mobile ont également fait une autre observation. « Contrairement aux caméras frontales, l'accès aux capteurs de lumière ambiante ne nécessite aucune autorisation de la part de l'utilisateur, du moins sur les appareils Android », explique Yang Liu, chercheur au MIT (États-Unis), qui étudie les menaces pour la vie privée liées à l'imagerie d'un capteur de lumière ambiante. De plus, les capteurs - qui sont souvent négligés en tant que problème de sécurité - sont toujours activés lorsque les appareils sont en marche afin d'assurer une fonctionnalité continue.
Rétro-ingénierie de la scène
Dans leur étude, Liu et ses collègues montrent comment un simple capteur de lumière ambiante - qui contient généralement une poignée de photodiodes capables de détecter la lumière visible et parfois aussi la lumière infrarouge - peut indirectement permettre l'imagerie. Tout devient beaucoup plus clair si l'on considère la lumière qui rebondit sur le sujet placé devant le capteur.
What are your thoughts on privacy smartphones 🕵️📱? TechHQ's @JT_bluebird1 reviews the @MurenaCom 2, which ships with @e_mydata "deGoogled" mobile OS. 'Out of the box' report here 📰👉https://t.co/Q01BOWIEhS pic.twitter.com/uqEFXd2JOF
— TechHQ (@techhq) October 19, 2023
« Nous soutenons que le capteur de lumière ambiante peut permettre l'imagerie si l'on utilise l'écran comme une source active contrôlable d'éclairage affichant une séquence vidéo connue », écrit l'équipe dans son article - publié récemment (en libre accès) dans la revue Science Advances. Le capteur de lumière ambiante mesure la variation d'intensité correspondante de la lumière réfléchie ou bloquée par la scène.
Dans un tel scénario de menace pour la vie privée, il est possible d'utiliser un algorithme d'inversion pour reconstruire les objets susceptibles d'obstruer les chemins lumineux entre l'écran de l'appareil et le capteur de lumière ambiante. Dans son travail, l'équipe montre comment il est possible de déchiffrer une main placée devant l'écran, avec une résolution suffisante pour distinguer quatre doigts.
Écouter les gestes tactiles
Les chercheurs en sécurité ont ensuite étendu cette approche à l'écoute des gestes tactiles à l'aide du capteur de lumière ambiante d'une tablette de 17,3 pouces. Les images recueillies sur des périodes de 20 minutes montrent des gestes de glissement à un doigt, de défilement à deux doigts, de pincement à trois doigts, de balayage à quatre doigts et de rotation à cinq doigts.
Après avoir mis en évidence la manière dont un tel problème de protection de la vie privée pouvait se poser, les auteurs de l'article se sont penchés sur les moyens de l'atténuer. La première consiste à appliquer des autorisations plus strictes pour limiter l'accès. Par ailleurs, la précision et la fréquence de rafraîchissement du capteur de lumière ambiante pourraient être réduites, ce qui rendrait la reconstruction des images plus difficile, mais sans affecter l'expérience de l'utilisateur.
Les concepteurs de produits pourraient également souhaiter apporter des modifications, sur la base des conclusions du groupe. « Du point de vue matériel, l'emplacement du capteur de lumière ambiante ne doit pas être directement orienté vers l'utilisateur », recommandent les chercheurs du MIT. Il pourrait se trouver sur le côté des appareils intelligents, ce qui romprait l'interaction directe entre l'écran et le capteur de lumière, réduisant ainsi les risques d'atteinte à la vie privée.
Un capteur de lumière ambiante orienté sur le côté pourrait ne pas convenir aux consommateurs qui aiment utiliser un étui pour smartphone (bien que le problème puisse être résolu facilement à l'aide d'une perceuse). Toutefois, compte tenu des risques pour la vie privée, masquer l'entrée et régler manuellement la luminosité de l'écran pourrait être l'option la plus sûre. Du moins pour ceux qui ont de gros secrets à cacher.
Capturer des images à l'aide d'un capteur de lumière n'est cependant pas une mince affaire, car l'appareil ne comporte qu'un seul pixel qui enregistre l'intensité de la lumière à un moment donné. Selon Liu, les pirates contournent ce problème en sacrifiant la résolution temporelle au profit de la résolution spatiale. Ils affichent sur l'écran de la tablette une séquence rapide de motifs qui éclairent différentes parties de la scène, ce qui se traduit par des relevés d'intensité lumineuse différents au niveau du capteur. Un algorithme de reconstruction est capable de prendre cette séquence de lectures et de la faire correspondre aux motifs d'éclairage connus pour reconstituer une image.
L'appareil n'ayant pas d'objectif, il est impossible de faire la mise au point sur quoi que ce soit, même à une petite distance. Et comme il ne se passe pas grand-chose d'intéressant juste devant le capteur de lumière, l'un des principaux défis des chercheurs a été d'essayer d'obtenir une image de ce qui se passait directement au-dessus de l'écran afin de suivre les mouvements de la main de l'utilisateur. L'équipe a donc utilisé une approche appelée « double photographie », qui repose sur des principes physiques contre-intuitifs et des calculs astucieux pour transformer l'écran de la tablette en appareil photo.
La technique repose sur un principe physique connu sous le nom de réciprocité d'Helmholtz. Imaginez un rayon de lumière qui traverse un système optique et subit une série de réflexions, de réfractions et d'absorptions. Ce principe stipule que si vous envoyez un nouveau rayon de lumière en arrière le long du même chemin, ces transformations s'additionneront exactement de la même manière. Dans la photographie conventionnelle, la lumière voyage d'une source d'éclairage à un appareil photo. La photographie double exploite la réciprocité de Helmholtz pour inverser de manière informatique le flux de lumière, en échangeant essentiellement l'appareil photo et la source de lumière. Il est ainsi possible de prendre une photographie du point de vue de la source lumineuse plutôt que de celui de l'appareil photo.
Dans le scénario testé par Liu et ses collègues, la lumière de l'écran est partiellement bloquée par la main de l'utilisateur et se reflète sur son visage. Elle est ensuite captée par le capteur de lumière. Cependant, du point de vue de la double photographie, on peut imaginer que la lumière voyage dans la direction opposée au capteur, la main projetant une ombre sur l'écran.
L'équipe a conçu un algorithme d'inversion capable de convertir les données du capteur de lumière en une image de 32 pixels sur 32 qui capture la région située juste au-dessus de l'écran. Pour tester l'approche, ils ont pris une tablette Samsung Galaxy View2 standard avec un écran de 17,3 pouces et ont placé la tête et la main d'un mannequin devant la tablette pour simuler une personne. Ils ont démontré qu'ils étaient capables de capturer des images d'une variété de gestes tactiles, tels que le défilement à deux doigts et le pincement à trois doigts. Ils ont également montré qu'ils pouvaient capturer une image approximative de la main de l'utilisateur en utilisant une vidéo modifiée des personnages de dessins animés Tom et Jerry, suggérant que les modèles d'illumination pouvaient être dissimulés dans les vidéos.
Les défis et opportunités liés à l'utilisation des capteurs de lumière ambiante pour la reconnaissance gestuelle
La principale limite de l'approche, admet Liu, est le temps nécessaire à la capture des images. Comme les chercheurs s'appuyaient sur un capteur à pixel unique, ils ont dû passer en revue un très grand nombre de motifs d'éclairage pour obtenir une image claire. La vitesse relativement lente du capteur de lumière a fait que la résolution la plus rapide des gestes de la main a été de 3,3 minutes, tandis que l'expérience avec la vidéo modifiée de Tom et Jerry a duré 68 minutes.
« Le temps d'acquisition en minutes est trop lourd pour lancer des attaques simples et générales contre la vie privée à grande échelle », déclare Lukasz Olejnik, chercheur et consultant indépendant en sécurité, qui a déjà souligné les risques de sécurité posés par les capteurs de lumière ambiante. « Toutefois, je n'exclurais pas l'importance des collectes ciblées pour des opérations sur mesure contre des cibles choisies ». Mais il souligne également que, suite à ses recherches antérieures, le World Wide Web Consortium a publié une nouvelle norme qui limite l'accès à l'API des capteurs de lumière, déjà adoptée par les fournisseurs de navigateurs.
Liu note toutefois qu'il n'existe pas encore de restrictions générales pour les applications Android. En outre, les chercheurs ont découvert que certains appareils enregistrent directement les données du capteur de lumière dans un fichier système facilement accessible, sans passer par une API. L'équipe a également constaté que la réduction de la résolution des images pouvait ramener les temps d'acquisition dans des limites pratiques tout en conservant suffisamment de détails pour les tâches de reconnaissance de base.
Néanmoins, Liu reconnaît que l'approche est trop compliquée pour des attaques à grande échelle. L'un des points positifs est qu'il est peu probable qu'elle fonctionne un jour sur un smartphone, car les écrans sont tout simplement trop petits. Toutefois, Liu estime que les résultats obtenus démontrent que des combinaisons de composants apparemment inoffensifs dans les appareils mobiles peuvent entraîner des risques surprenants pour la sécurité.
Source : MIT - Massachusetts Institute of Technology, Imaging Privacy Threats From An Ambient Light Sensor
Et vous ?
Quel est votre avis sur le sujet ? Les résultats de l'étude sont-ils pertinents ? Quels sont selon vous, les scénarios réels ou potentiels où l'utilisation des capteurs de lumière ambiante pour l'espionnage pourrait compromettre la vie privée des individus ? Quels sont les types de données que les capteurs de lumière ambiante peuvent collecter et comment ces informations pourraient-elles être exploitées pour espionner les utilisateurs ?Voir aussi :
Facebook a volontairement planifié l'espionnage des utilisateurs, c'est ce que révèlent de nouveaux emails confidentiels de la direction Un nouveau kit de capteurs pour débuter sur Arduino, un ensemble de 10 modules populaires embarqués sur une seule carte WikiLeaks : comment la CIA aurait piraté les smart TV de Samsung, pour les transformer en dispositifs d'écoute des conversations privées