Hakim Cheikh

Portfolio · Mission client

Fiabiliser des traitements d’IA quotidiens lancés à heure fixe

Chez SNCF Voyageurs, une dizaine de traitements d’IA quotidiens aident les analystes à fixer le prix des billets, mais ils échouaient dès que l’un d’eux prenait du retard. J’ai fait une refonte de l’orchestration et ajouté un tableau de suivi et des alertes.

Résultat livré
Orchestration des traitements quotidiens, avec tableau de suivi et alertes
Rôle
Ingénieur MLOps
Client
SNCF Voyageurs
Secteur
Transport ferroviaire
Année
2022
Technos
Python, Azure, Rundeck, Power BI, Datadog, Poetry

Contexte

Chez SNCF Voyageurs, les analystes qui fixent le prix des billets de TGV et d’Intercités s’appuient sur des prévisions de trafic et des propositions de prix calculées chaque nuit par une dizaine de traitements d’IA.

À mon arrivée en 2021, l’équipe data science finissait de migrer ces traitements vers le cloud. Chacun se lançait à heure fixe, avec une marge après celui dont il dépendait. Lorsque le volume de données était important, un traitement débordait et le suivant démarrait trop tôt. Il fallait alors relancer les traitements à la main, ce qui prenait du temps et causait d’autres erreurs.

Ingénieur MLOps dans l’équipe chargée de leur exploitation, j’avais pour mission de fiabiliser ces traitements pour que les analystes reçoivent leurs indicateurs à l’heure.

Démarche

Pour qu’un traitement ne démarre plus avant la fin de celui dont il dépend, j’ai remplacé les horaires fixes par des enchaînements : chaque traitement se lance dès que ceux qui le précèdent ont réussi.

Pour que l’équipe sache vite si un rattrapage est nécessaire et quels traitements relancer, j’ai construit un tableau de suivi des traitements. J’ai ajouté des contrôles sur les données produites et des alertes, qui signalent un problème dès qu’il survient.

J’ai aussi adapté les traitements d’IA à leur exécution dans le cloud, et organisé le suivi des versions des modèles pour savoir quelle version a produit quel résultat.

Résultat

Les rattrapages manuels sont passés de plusieurs par semaine à quelques-uns par mois, soit environ 80 % de moins. Les indicateurs, qui arrivaient en retard plusieurs fois par mois, étaient ensuite entièrement calculés pendant la nuit.