Portfolio · Mission client
Rapprocher les compétences à partir des profils de demandeurs d’emploi
Chez France Travail, plusieurs services s’appuient sur un modèle d’IA qui apprend, à partir des profils de demandeurs d’emploi, quelles compétences vont ensemble. J’ai amélioré ce modèle et développé EmbCompare, un outil open source qui montre ce que change chaque nouvelle version.
- Résultat livré
- Outil open source qui compare deux versions d’un modèle d’IA
- Rôle
- Data scientist
- Client
- France Travail
- Secteur
- Emploi
- Année
- 2023
- Technos
- Python, gensim, fastText, scikit-learn, Streamlit
- Code source
- Voir le dépôt
Contexte
Les demandeurs d’emploi inscrits sur le site de France Travail, ex-Pôle emploi, déclarent leurs compétences sur leur profil. Un modèle d’IA peut ainsi apprendre à faire des liens entre les compétences et avec les métiers sur la base des profils.
Plusieurs services internes dépendaient de ce modèle pour leur fonctionnement. Or, à chaque réentraînement, la nouvelle version du modèle d’IA peut changer les rapprochements et on ne mesurait pas l’effet de la nouvelle version sur ces services qui l’utilisent.
En tant que data scientist, j’ai fait évoluer ce modèle de compétences pour le rendre plus performant, puis conçu et développé un outil qui permet de comparer deux versions pour observer les changements avant une livraison.
Démarche
J’ai fait évoluer la méthode d’entraînement du modèle en passant de la méthode Word2vec, publiée par Google en 2013, à la méthode fastText publiée par Facebook en 2016. Les compétences rares dans les profils, peu vues pendant l’entraînement, recevaient jusque-là des voisines presque au hasard. Avec fastText, leurs voisines sont devenues cohérentes.
Pour repérer ce qu’un réentraînement a changé, j’ai étudié les méthodes publiées et retenu l’Embedding Comparator, proposé par des chercheurs du MIT. Pour chaque compétence, on compare ses plus proches voisines d’une version à l’autre : une compétence dont les voisines ont changé n’a plus le même sens pour le modèle.
L’outil sert deux usages. Pour surveiller les réentraînements, il calcule des indicateurs et produit un rapport, qui peut être généré automatiquement. Pour comprendre un changement, une interface montre les deux versions côte à côte et les compétences qui ont le plus bougé.
Pour qu’il serve à d’autres modèles que celui des compétences, je l’ai écrit comme un outil indépendant, qui lit les formats de modèle les plus courants.
Résultat
Le modèle de compétences donne des rapprochements cohérents, y compris pour les compétences rares. L’outil de comparaison est publié en open source sous le nom EmbCompare, dans l’organisation GitHub de France Travail, et s’installe avec pip.