Portfolio · Mission client
Fiabiliser des traitements d’IA quotidiens lancés à heure fixe
Chez SNCF Voyageurs, une dizaine de traitements d’IA quotidiens aident les analystes à fixer le prix des billets, mais ils échouaient dès que l’un d’eux prenait du retard. J’ai fait une refonte de l’orchestration et ajouté un tableau de suivi et des alertes.
- Résultat livré
- Orchestration des traitements quotidiens, avec tableau de suivi et alertes
- Rôle
- Ingénieur MLOps
- Client
- SNCF Voyageurs
- Secteur
- Transport ferroviaire
- Année
- 2022
- Technos
- Python, Azure, Rundeck, Power BI, Datadog, Poetry
Contexte
Chez SNCF Voyageurs, les analystes qui fixent le prix des billets de TGV et d’Intercités s’appuient sur des prévisions de trafic et des propositions de prix calculées chaque nuit par une dizaine de traitements d’IA.
À mon arrivée en 2021, l’équipe data science finissait de migrer ces traitements vers le cloud. Chacun se lançait à heure fixe, avec une marge après celui dont il dépendait. Lorsque le volume de données était important, un traitement débordait et le suivant démarrait trop tôt. Il fallait alors relancer les traitements à la main, ce qui prenait du temps et causait d’autres erreurs.
Ingénieur MLOps dans l’équipe chargée de leur exploitation, j’avais pour mission de fiabiliser ces traitements pour que les analystes reçoivent leurs indicateurs à l’heure.
Démarche
Pour qu’un traitement ne démarre plus avant la fin de celui dont il dépend, j’ai remplacé les horaires fixes par des enchaînements : chaque traitement se lance dès que ceux qui le précèdent ont réussi.
Pour que l’équipe sache vite si un rattrapage est nécessaire et quels traitements relancer, j’ai construit un tableau de suivi des traitements. J’ai ajouté des contrôles sur les données produites et des alertes, qui signalent un problème dès qu’il survient.
J’ai aussi adapté les traitements d’IA à leur exécution dans le cloud, et organisé le suivi des versions des modèles pour savoir quelle version a produit quel résultat.
Résultat
Les rattrapages manuels sont passés de plusieurs par semaine à quelques-uns par mois, soit environ 80 % de moins. Les indicateurs, qui arrivaient en retard plusieurs fois par mois, étaient ensuite entièrement calculés pendant la nuit.