Une IA de Google confond des photos medicales d’enfants avec de la pédopornographie

The photo of the infection à aine d’un child sur le téléphone intelligent Android of a père de famille a pris une tournure inattendue. D’après le quotidien américain New York TimesGoogle a fermé les comptes de ce parent, déposé un rapport auprès du National Center for Missing and Exploited Children (NCMEC) aux États-Unis, ce qui a déclenché une enquête de police.

An autre parent, Mark appealed New York Times, to reçu le même traitement de Google. The avait envoyé une photo de la région génitale enflée de son enfant à une infirmière, à la question of cells-ci, en février 2021, au creux de la pandémie de COVID-19, avant une consultation vidéo avec un médecin.

Le géant californien lui a envoyé une notification deux jours après les événements, lui signalant que ses comptes avaient été verrouillés pour violation grave des règles de Google en raison d’un contained here pouvait être illégal.

Mark a perdu accès à ses courriels, à ses contacts, à ses photos et à son numéro de téléphone (the utilisait le mobile service Google Fi). Sa demande d’appel à Google a été rejetée.

Une enquête de la police de San Francisco a été ouverte, et l’enquêteur a conclu que the incident ne répondait pas aux éléments d’un crime et qu’aucun crime n’avait été commisfootnotes NYT.

A useful AI, mais non sans lacunes

C’est précisément le cauchemar qui nous inquiète tous et toutesa déclaré Jon Callas, director of the technical projects of the Electronic Frontier Foundation (EFF), here lutte pour la vie privée des internautes.

The organization a convaincu Apple d’appuyer sur le frein à la suite d’une annonce, in 2021, of a plan pour la protection des personnes mineures. Le géant souhaitait balayer les images des propriétaires de ses appearils avant qu’elles soient téléchargées sur l’iCloud d’Apple, afin de les comparer à la base de données du NCMEC.

Selon l’EFF, the s’agissait d’un recul sur la confidentialité des utilisateurs et utilisatrices.

Outre des lacunes liées à la vie privée, cette histoire jette de la lumière sur la difficulté pour une IA de distinguer une photo médicale d’un abus potentiel, si the image d’une ou d’un enfant nu est stockée dans la bibliothèque numérique de interneute ou sur le nuage (cloud).

All as Google, the social networks Facebook and Twitter, as well as the Reddit forums, utilisent le même outil, PhotoDNA de Microsoft, pour détecter les abus potentiels.

Son fonctionnement: il fait une correspondance par hachage avec l’outil PhotoDNA pour analyser les images téléchargées et détecter les correspondances avec du matériel connu d’abus sexuel d’enfants.

In 2012, the technology a permis de procéder à l’arrestation d’un délinquant sexuel enregistré qui utilisait Gmail pour envoyer des images d’une jeune fille.

Google compte aussi depuis 2018 sur sa propre boîte à outils qui utilise une technology d’IA plus avancée, allant jusqu’à identifier même le matériel illicite jamais utilisé avant.

Sollicité par le New York TimesGoogle a indiqué qu’il balayait seulement les images personnelles de ses utilisateurs et utilisatrices lorsque des mesures positives étaient prises. Sauvegarder des photos sur Google Photos, par exemple, pourrait être considéré comme tel. L’enterprise est tenue par la loi fédérale américaine de signaler les potentiels abus au NCMEC.

” Le matériel d’abus sexuel d’enfants est odieux, et nous nous engageons à empêcher sa diffusion sur nos plateformes. “

Our équipe de spécialistes en sécurité des enfants examine the contents signalé pour en vérifier l’exactitude et consulte des pédiatres pour s’assurer que nous sommes en mesure d’identifier les cas où les utilisateurs et utilisatrices peuvent chercher des conseils médicauxajouté par voie de communiqué la porte-parole de Google.

En 2021, Google a signalé 621 583 cas de matériel d’abus sexuels d’enfants à CyberTipLine, du National Center for Missing and Exploited Children. Parmi ceux-ci, 4260 victimes potentielles qui ont été signalées aux autorités, selon le New York Times.