Hakim Cheikh

Portfolio · Mission client

Rapprocher les compétences à partir des profils de demandeurs d’emploi

Chez France Travail, plusieurs services s’appuient sur un modèle d’IA qui apprend, à partir des profils de demandeurs d’emploi, quelles compétences vont ensemble. J’ai amélioré ce modèle et développé EmbCompare, un outil open source qui montre ce que change chaque nouvelle version.

Résultat livré
Outil open source qui compare deux versions d’un modèle d’IA
Rôle
Data scientist
Client
France Travail
Secteur
Emploi
Année
2023
Technos
Python, gensim, fastText, scikit-learn, Streamlit
Code source
Voir le dépôt

Contexte

Les demandeurs d’emploi inscrits sur le site de France Travail, ex-Pôle emploi, déclarent leurs compétences sur leur profil. Un modèle d’IA peut ainsi apprendre à faire des liens entre les compétences et avec les métiers sur la base des profils.

Plusieurs services internes dépendaient de ce modèle pour leur fonctionnement. Or, à chaque réentraînement, la nouvelle version du modèle d’IA peut changer les rapprochements et on ne mesurait pas l’effet de la nouvelle version sur ces services qui l’utilisent.

En tant que data scientist, j’ai fait évoluer ce modèle de compétences pour le rendre plus performant, puis conçu et développé un outil qui permet de comparer deux versions pour observer les changements avant une livraison.

Démarche

J’ai fait évoluer la méthode d’entraînement du modèle en passant de la méthode Word2vec, publiée par Google en 2013, à la méthode fastText publiée par Facebook en 2016. Les compétences rares dans les profils, peu vues pendant l’entraînement, recevaient jusque-là des voisines presque au hasard. Avec fastText, leurs voisines sont devenues cohérentes.

Pour repérer ce qu’un réentraînement a changé, j’ai étudié les méthodes publiées et retenu l’Embedding Comparator, proposé par des chercheurs du MIT. Pour chaque compétence, on compare ses plus proches voisines d’une version à l’autre : une compétence dont les voisines ont changé n’a plus le même sens pour le modèle.

L’outil sert deux usages. Pour surveiller les réentraînements, il calcule des indicateurs et produit un rapport, qui peut être généré automatiquement. Pour comprendre un changement, une interface montre les deux versions côte à côte et les compétences qui ont le plus bougé.

Pour qu’il serve à d’autres modèles que celui des compétences, je l’ai écrit comme un outil indépendant, qui lit les formats de modèle les plus courants.

Résultat

Le modèle de compétences donne des rapprochements cohérents, y compris pour les compétences rares. L’outil de comparaison est publié en open source sous le nom EmbCompare, dans l’organisation GitHub de France Travail, et s’installe avec pip.