Portfolio · Mission client
Repérer les stations de vélos en vidéo pour situer un piéton en ville
À l’IRSTV, une thèse cherchait à situer un piéton plus précisément que le GPS, grâce au mobilier urbain filmé par son téléphone. J’ai développé un algorithme de vision par ordinateur qui repère les stations de vélos dans la vidéo, en temps réel.
- Résultat livré
- Algorithme qui repère les stations de vélos en vidéo, et deux démonstrateurs
- Rôle
- Stagiaire ingénieur en recherche
- Client
- IRSTV (CNRS) et IFSTTAR
- Secteur
- Recherche (ville et mobilité)
- Année
- 2016
- Technos
- MATLAB, SURF, SVM, MSAC, KLT
Contexte
En centre-ville, les bâtiments masquent et perturbent les signaux GPS : la position d’un smartphone devient trop imprécise pour afficher des informations par-dessus l’image de sa caméra et guider un piéton en réalité augmentée. Une thèse menée à l’IRSTV (fédération de recherche CNRS, Nantes) et à l’IFSTTAR proposait de situer le téléphone à partir d’un mobilier urbain connu, vu par sa caméra, tel que les stations de vélos en libre-service Bicloo.
Pendant mon stage de 2e année à Centrale Nantes, j’ai travaillé sur la reconnaissance d’une station dans une vidéo de smartphone, en temps réel, puis sur la reconnaissance de la forme géométrique de la station dont le doctorant avait besoin pour calculer la position du piéton par rapport à la station.
Démarche
J’ai d’abord constitué le jeu de données d’entraînement : 491 photos prises dans les rues de Nantes, sous plusieurs angles et à plusieurs hauteurs, comme les prendrait un passant qui lève son téléphone.
La méthode de détection classique de l’époque a échoué sur toutes les images, sans doute à cause de la forme complexe de la station et des fonds de rue chargés. J’ai retenu une méthode qui apprend avec peu d’exemples. Mes premiers essais classaient bien plus de 98 % des zones d’image, mais voyaient souvent une station là où il n’y en avait pas.
Pour gagner en vitesse, j’ai pris l’hypothèse que l’utilisateur vise la station : le système ne cherche plus la station dans toute l’image, mais au centre. Cette hypothèse a aussi réduit les fausses alertes.
Pour repérer les points géométriques de la station, la recherche de ses contours donnait des coins peu fiables. J’ai fini par m’appuyer sur une photo de référence de chaque station, retrouvée grâce au GPS.
Résultat
Sur des photos que le système n’avait pas vues, il reconnaissait 90 % des stations vues de face (66 sur 73), avec 0,07 % de fausses alertes (5 zones sur 7 429 sans station), et aucune sur 200 photos de rue sans station. Une image se traite en 0,33 s au plus sur ordinateur portable, contre environ 7 minutes au début. J’ai livré l’algorithme et deux démonstrateurs, dont une vidéo qui affiche les points de la station en réalité augmentée. La thèse à laquelle ce stage contribuait a été soutenue en 2018.
Les stations vues de dos restaient mal reconnues (51 %), à cause des affiches publicitaires qui confondaient le classifieur. Par ailleurs, je n’ai pas trouvé de parade efficace aux ombres des bâtiments.
Références
- Estimation continue de la pose d’un équipement tenu en main par fusion des données visio-inertielles pour les applications de navigation piétonne en milieux urbains
Thèse de doctorat (IFSTTAR, IRSTV), soutenue le 18 octobre 2018