Portfolio · Mission client
Reconstituer chaque jour les trajets des bus à partir de leur GPS
À la RATP, mesurer l’effet des changements de voirie sur la vitesse des bus demande de retrouver les rues empruntées à partir de leurs positions GPS. J’ai accéléré l’algorithme qui reconstitue ces trajets pour qu’il tourne chaque jour sur les données de la veille.
- Résultat livré
- Calcul quotidien des trajets et vitesses des bus, affiché sur la carte du département Bus
- Rôle
- Data scientist
- Client
- RATP
- Secteur
- Transport public
- Année
- 2020
- Technos
- Python, Map-matching, HDFS, multiprocessing, Folium, Leaflet, Elasticsearch, Kibana
Contexte
Fermeture des voies sur berge, zones à 30 km/h, pistes cyclables : pour mesurer l’effet de ces changements sur la vitesse des bus, rue par rue et heure par heure, il faut savoir quelles rues chaque bus a empruntées. Avec l’ouverture du réseau de bus à la concurrence, la RATP voulait aussi suivre de près l’exploitation de ses lignes. Or un bus n’envoie qu’environ une position GPS par minute, et cette position est imprécise : il faut retrouver la rue qui correspond à chaque point. C’est la cartospondance, ou map-matching.
Une équipe de la RATP avait écrit un premier programme qui reconstitue ces trajets, essayé sur 3 lignes et quelques semaines de données. Sur les quelque 350 lignes de bus d’Île-de-France, le département Bus demandait les 60 lignes de Paris, six mois de données et un calcul automatique chaque jour. Or ce programme était d’autant plus lent que le GPS était imprécis.
En tant que data scientist, j’avais la charge du calcul des trajets et des indicateurs de vitesse.
Démarche
J’ai gardé l’algorithme du premier programme et cherché où se perdait le temps, en chronométrant chaque version sur les mêmes fichiers. Pour chaque position, le programme examinait de nombreuses rues candidates. Pour en réduire le nombre, j’ai limité la recherche aux rues proches du point, à la mesure de l’imprécision du GPS, et aux chemins qu’un bus peut parcourir dans le temps écoulé entre deux positions. J’ai aussi regroupé les positions d’un bus à l’arrêt, écarté les bus restés au dépôt, réduit la mémoire utilisée et réparti le calcul en parallèle.
Pour éviter de faire passer un bus dans une rue qu’il ne peut pas emprunter, ou à une vitesse impossible, j’ai tenu compte du sens de circulation des rues, de leurs limites de vitesse et de la direction du bus.
Faute de trajets de référence, j’ai vérifié les résultats avec le département Bus, sur des cartes de journées types. J’ai ensuite automatisé le calcul quotidien, avec des tests, une documentation et un tableau de bord qui suit chaque exécution et les indicateurs du département Bus.
Résultat
Le calcul d’une journée de données GPS est passé de 20 minutes à 1 min 30 sur les fichiers de test. La construction de la carte des rues, qui prenait de nombreuses heures, se fait en quelques minutes. En 2020, le calcul tournait chaque jour sur les données de la veille et alimentait la carte du département Bus, qui jugeait les trajets assez précis pour ses analyses.