#Unicité | Explore Tumblr Posts and Blogs

analyse-des-fichiers-logs · 8 months

Text

Système d'inférence pour la reconnaissance de l'iris

Worldcoin a besoin d'un système capable de vérifier avec précision l'unicité d'une personne parmi des milliards d'utilisateurs. Dans cet article, nous expliquons comment notre pipeline biométrique traite les images d'iris pour permettre la vérification de l'unicité à grande échelle.

Lire aussi « Le système d’identification par iris de Worldcoin sera disponible pour les sociétés et gouvernements qui le souhaitent ».

Introduction

Comme nous l'avons expliqué dans notre article de blog Humanness in the Age of AI [1], il devient de plus en plus difficile de différencier les personnes des robots en ligne au fur et à mesure que la technologie de l'IA progresse. Worldcoin propose une solution en utilisant la biométrie de l'iris pour vérifier l'humanité et l'unicité.

Le cas d'utilisation de Worldcoin dans le domaine de la reconnaissance de l'iris est tout à fait unique. Nous construisons un système de vérification de l'unicité dans un environnement contradictoire à l'échelle de milliards de personnes. Il s'agit d'une analyse technique approfondie de notre pipeline biométrique, le système qui vérifie l'unicité en encodant la texture de l'iris dans un code d'iris.

Vue d'ensemble du pipeline

L'objectif de ce pipeline est de convertir les images infrarouges haute résolution de l'œil gauche et de l'œil droit d'un être humain en un code d'iris : une représentation mathématique condensée et abstraite de l'entropie de l'iris qui peut être utilisée pour la vérification de l'unicité à grande échelle.

Les codes de l'iris ont été introduits par John Daugman dans cet article et restent à ce jour le moyen le plus largement utilisé pour abstraire la texture de l'iris dans le domaine de la reconnaissance de l'iris.

Comme la plupart des pipelines de reconnaissance d'iris de pointe, le nôtre est composé de quatre segments principaux : la segmentation, la normalisation, l'extraction des caractéristiques et la mise en correspondance.

Ces cartes de réponse sont quantifiées sur deux bits, de sorte que le code d'iris final a des dimensions de nh×nw×nf×2, nh et nw étant le nombre de positions radiales et angulaires où ces filtres sont appliqués. Pour plus de détails, voir notre article de blog sur l'extraction des caractéristiques de l'iris avec les ondelettes de Gabor 2D.

Bien que nous ne montrions que le code de l'iris d'un œil, il convient de noter qu'un modèle d'iris est constitué des codes de l'iris des deux yeux de l'utilisateur. Lors de l'étape de segmentation, nous cherchons à comprendre la géométrie de l'image d'entrée.

L'emplacement de l'iris, de la pupille et de la sclérotique est déterminé, ainsi que la dilatation de la pupille et la présence de cils ou de cheveux couvrant la texture de l'iris. Notre modèle de segmentation classe chaque pixel de l'image en pupille, iris, sclérotique, cils, etc. Ces étiquettes sont ensuite traitées pour comprendre la géométrie de l'œil du sujet.

L'image et sa géométrie sont ensuite soumises à une assurance qualité rigoureuse. Seules les images nettes où la texture de l'iris est suffisamment visible sont considérées comme valides, car la quantité et la qualité des bits disponibles dans les codes finaux de l'iris ont un impact direct sur les performances globales du système.

Une fois l'image segmentée et validée, l'étape de normalisation prend tous les pixels pertinents pour la texture de l'iris et les déploie en une représentation cartésienne (rectangulaire) stable.

L'image normalisée est ensuite convertie en un code d'iris au cours de l'étape d'extraction des caractéristiques. Au cours de ce processus, un noyau d'ondelettes de Gabor convolue à travers l'image, convertissant la texture de l'iris en un code d'iris normalisé.

Pour chaque point d'une grille recouvrant l'image, nous dérivons deux bits qui représentent respectivement le signe des composantes réelle et complexe de la réponse du filtre.

Ce processus synthétise une représentation unique de la texture de l'iris, qui peut être facilement comparée à d'autres en utilisant la métrique de la distance de Hamming. Cette métrique quantifie la proportion de bits qui diffèrent entre deux codes d'iris comparés.

Dans les sections suivantes, nous expliquerons plus en détail chacune des étapes susmentionnées, en suivant le parcours d'un exemple d'image d'iris dans notre pipeline biométrique.

Cette image a été prise sur l'Orb, notre dispositif d'imagerie biométrique personnalisé développé par Tools for Humanity (TFH), lors d'une inscription dans notre laboratoire. Elle est partagée avec le consentement de l'utilisateur et représente fidèlement ce que la caméra voit lors d'une vérification d'unicité en direct.

L'œil est un système remarquable qui présente divers comportements dynamiques, notamment le fait de cligner des yeux, de plisser les yeux, de se fermer, ainsi que la capacité de la pupille à se dilater ou à se contracter et celle des cils ou de tout autre objet à couvrir l'iris.

Dans la section suivante, nous verrons comment notre pipeline biométrique peut être robuste en présence d'une telle variabilité naturelle.

Segmentation

La reconnaissance de l'iris a été développée pour la première fois en 1993 par John Daugmann (Daugman 1993) et, bien que le domaine ait progressé depuis le début du millénaire, il continue d'être fortement influencé par des méthodes et des pratiques héritées du passé.

Historiquement, la morphologie de l'œil dans la reconnaissance de l'iris a été identifiée à l'aide de méthodes classiques de vision par ordinateur telles que la transformation de Hough ou l'ajustement de cercles (Daugman 2004).

Ces dernières années, l'apprentissage profond a apporté des améliorations significatives dans le domaine de la vision par ordinateur, fournissant de nouveaux outils pour comprendre et analyser la physiologie de l'œil avec une profondeur sans précédent. Nous avons proposé une nouvelle méthode pour segmenter les images infrarouges de l'iris à haute résolution dans Lazarski et al.

Notre architecture consiste en un encodeur partagé par deux décodeurs : l'un qui estime la géométrie de l'œil (pupille, iris et globe oculaire) et l'autre qui se concentre sur le bruit, c'est-à-dire les éléments non liés à l'œil qui se superposent à la géométrie et masquent potentiellement la texture de l'iris (cils, mèches de cheveux, etc.).

Cette dichotomie permet de traiter facilement les éléments qui se chevauchent et offre une grande flexibilité dans l'entraînement de ces détecteurs. L'architecture prend en compte l'architecture DeepLabv3+ avec un backbone MobilNet v2.

L'acquisition d'étiquettes pour les éléments de bruit prend beaucoup plus de temps que l'acquisition d'étiquettes pour la géométrie, car il faut un haut niveau de précision pour identifier des cils entrelacés.

Il faut entre 20 et 80 minutes pour étiqueter les cils d'une image, en fonction des niveaux de flou et de la physiologie du sujet, alors qu'il ne faut qu'environ 4 minutes pour étiqueter la géométrie à notre niveau de précision.

C'est pourquoi nous avons dissocié les objets bruyants (par exemple les cils) des objets géométriques (pupille, iris et sclérotique), ce qui permet de réaliser d'importantes économies de temps et d'argent tout en améliorant la qualité de l'image.

Notre modèle a été entraîné sur un mélange de perte de dés et de perte de frontière. La perte de Dice peut être exprimée comme suit : yi,j,k∈{0,1} est la vérité de terrain codée à un coup et pi,j,k∈[0,1] est la sortie du modèle pour le pixel (i,j) sous la forme d'une probabilité.

Le troisième indice k représente la classe (par exemple, pupille, iris, globe oculaire, cil ou arrière-plan). La perte de Dice mesure essentiellement la similarité entre deux ensembles, à savoir l'étiquette et la prédiction du modèle.

L'identification précise des limites de l'iris est essentielle pour une reconnaissance réussie de l'iris, car même une petite déformation de la limite peut entraîner une déformation de l'image normalisée dans la direction radiale.

Pour y remédier, nous avons également introduit une perte d'entropie croisée pondérée qui se concentre sur la zone à la limite entre les classes, afin d'encourager des limites plus nettes. Elle est représentée mathématiquement comme suit

LB=i,j∑k∑bi,j,k⋅yi,j,k⋅log(pi,j,k)

avec les mêmes notations que précédemment et bi,j,k étant le poids de la frontière, qui représente la proximité du pixel (i,j) par rapport à la frontière entre la classe k et toute autre classe.

Nous appliquons un flou gaussien au contour afin de donner la priorité à la précision du modèle sur la frontière exacte tout en conservant un degré de focalisation moindre sur la zone générale qui l'entoure.

Avec d(i,j,Sk) la distance entre le point (i,j) et la surface Sk comme le minimum des distances euclidiennes entre (i,j) et tous les points de Sk. Sk est la frontière entre la classe k et toutes les autres classes, G la distribution gaussienne centrée sur 0 avec une variance finie.

Nous avons mené des expériences avec d'autres fonctions de perte (par exemple, priorité convexe), architectures (par exemple, modèle à une seule tête) et dorsales (par exemple, ResNet-101) et avons constaté que cette configuration offrait les meilleures performances en termes de précision et de rapidité.

Le graphique suivant montre l'image de l'iris superposée aux cartes de segmentation prédites par notre modèle. En outre, nous affichons les points de repère calculés par un modèle IA distinct d'évaluation de la qualité au cours de la phase de capture de l'image.

Ce modèle produit des mesures de qualité pour s'assurer que seules des images de haute qualité sont utilisées dans la phase de segmentation et que le code de l'iris est extrait avec précision pour la vérification de l'unicité : image nette centrée sur la texture de l'iris, œil bien ouvert regardant la caméra, etc.

Normalisation

L'objectif de cette étape est de séparer la texture significative de l'iris du reste de l'image (peau, cils, globe oculaire, etc.). Pour ce faire, nous projetons la texture de l'iris de son système de coordonnées cartésiennes d'origine vers un système de coordonnées polaires, comme illustré dans l'image suivante.

L'orientation de l'iris est définie comme le vecteur pointant d'un centre de pupille vers l'autre centre de pupille de l'œil opposé. Ce processus réduit la variabilité de l'image en annulant les variations telles que la distance du sujet par rapport à la caméra, la constriction ou la dilatation de la pupille due à la quantité de lumière dans l'environnement et la rotation de la tête du sujet.

L'image ci-dessous illustre la version normalisée de l'iris ci-dessus. Les deux arcs de cercle visibles dans l'image sont les paupières, qui ont été déformées par rapport à leur forme originale au cours du processus de normalisation.

Extraction des caractéristiques

Maintenant que nous avons produit une texture d'iris stable et normalisée, nous pouvons calculer un code d'iris qui peut être mis en correspondance à l'échelle. En bref, nous parcourons l'image avec différents filtres de Gabor et nous seuillons sa réponse à valeur complexe pour extraire deux bits représentant l'existence d'une ligne (ou d'un bord) à chaque point sélectionné de l'image.

Cette technique, mise au point par John Daugmann et les itérations ultérieures proposées par la communauté des chercheurs en reconnaissance de l'iris, reste à la pointe du progrès dans ce domaine.

Nous avons consacré un article de blog à l'explication détaillée de cette méthode d'extraction de caractéristiques : Iris feature extraction with 2D Gabor wavelets (Extraction des caractéristiques de l'iris à l'aide d'ondelettes de Gabor en 2D).

Correspondance

Maintenant que la texture de l'iris est transformée en un code d'iris, nous sommes prêts à le comparer à d'autres codes d'iris. Pour ce faire, nous utilisons une distance de Hamming fractionnelle masquée (HD) : la proportion de bits de code d'iris non masqués qui ont la même valeur dans les deux codes d'iris.

En raison de la paramétrisation des ondelettes de Gabor, la valeur de chaque bit a la même probabilité d'être 0 ou 1.

Comme nos codes de l'iris sont composés de plus de 10 000 bits, deux codes de l'iris de sujets différents auront une distance de Hamming moyenne de 0,5, la plupart (99,95 %) des codes de l'iris s'écartant de cette valeur de moins de 0,05 HD (99,9994 % s'écartant de moins de 0,07 HD).

Lorsque nous comparons plusieurs rotations du code de l'iris pour trouver la combinaison présentant la probabilité de correspondance la plus élevée, cette moyenne de 0,5 HD passe à 0,45 HD, avec une probabilité de 5,7×10-7 d'être inférieure à 0,38 HD.

Il s'agit donc d'une anomalie statistique extrême que de voir deux yeux différents produire des codes d'iris avec une distance inférieure à 0,38 HD. Au contraire, deux images capturées du même œil produiront des codes iris avec une distance généralement inférieure à 0,3 HD.

L'application d'un seuil intermédiaire nous permet de distinguer de manière fiable les identités identiques des identités différentes.

Pour valider la qualité de nos algorithmes à grande échelle, nous avons évalué leurs performances en collectant 2,5 millions de paires d'images infrarouges haute résolution de l'iris de 303 sujets différents.

Ces sujets représentent une diversité de caractéristiques, notamment la couleur des yeux, le teint de la peau, l'origine ethnique, l'âge, la présence de maquillage et les maladies ou défauts oculaires.

Il est à noter que ces données n'ont pas été collectées lors de nos opérations sur le terrain, mais proviennent de notre équipe et de participants rémunérés à une session dédiée organisée par un partenaire respecté.

En utilisant ces images et les identités de référence correspondantes, nous avons mesuré le taux de fausses correspondances (FMR) et le taux de fausses non-correspondances (FNMR) de notre système. Match and Non-Match Distribution

Sur nos 2,5 millions de paires d'images, toutes ont été correctement classées comme correspondantes ou non correspondantes. En outre, la marge entre les distributions de concordance et de non-concordance est large, ce qui offre une marge d'erreur confortable pour tenir compte des valeurs aberrantes potentielles.

La distribution des correspondances présente deux pics clairs, ou maxima. Le pic de gauche (HD≈0,08) correspond à la distance médiane de Hamming pour les paires d'images prises sur la même personne au cours de la même procédure d'inscription.

Cela signifie qu'elles sont extrêmement similaires, comme on peut s'y attendre pour deux images de la même personne. Le pic à droite (HD≈0,2) représente la distance médiane de Hamming pour des paires d'images prises de la même personne mais au cours de processus d'inscription différents, souvent à quelques semaines d'intervalle.

Ces paires sont moins similaires, ce qui reflète les variations naturelles des images d'une même personne prises à des moments différents, telles que la dilatation des pupilles, l'occlusion et les cils.

Nous travaillons en permanence à l'amélioration de nos systèmes afin de réduire la distribution des correspondances : meilleures interactions entre l'autofocus et l'IA et le matériel, meilleurs filtres de qualité en temps réel, extraction de caractéristiques par apprentissage profond, réduction du bruit de l'image, etc.

Avec ces chiffres, nous sommes convaincus que notre système peut vérifier de manière fiable l'unicité à l'échelle d'un milliard de personnes, ce qui nécessite au moins un FMR de 10-6 et un FNMR raisonnablement bas par œil. Voir les performances biométriques à l'échelle d'un milliard de personnes pour plus de détails.

Toutefois, nous reconnaissons que l'ensemble de données utilisé pour cette évaluation pourrait être élargi et que des efforts supplémentaires sont nécessaires pour constituer des ensembles de données plus importants et encore plus diversifiés afin d'estimer avec plus de précision les performances biométriques.

Conclusions

Dans cet article, nous avons présenté les composants clés du pipeline de vérification de l'unicité de Worldcoin.

Nous avons illustré comment l'utilisation d'une combinaison de modèles d'apprentissage profond pour l'évaluation de la qualité de l'image et la compréhension de l'image, en conjonction avec des techniques traditionnelles d'extraction de caractéristiques, permet au système de vérifier avec précision l'unicité à l'échelle mondiale.

Cependant, nos travaux dans ce domaine se poursuivent. Actuellement, l'équipe du TFH étudie un modèle d'apprentissage profond de bout en bout, qui pourrait permettre une vérification plus rapide et encore plus précise de l'unicité.

En outre, Worldcoin améliore continuellement ses modèles de détection des attaques de présentation (PAD) pour contrer divers types d'attaques, qui exploitent de nouveaux modèles et capteurs.

#Worldcoin #unicité #IA #images

0 notes