Hakim Cheikh

Écrits Article

Fine-tuner un modèle de reconnaissance d'entités nommées est-il toujours nécessaire en 2026 ?

Comparaison d’un modèle spécialisé à trois modèles qui s’utilisent sans entraînement pour une tâche de reconnaissance d’entités.

Publié le
Lecture
12 minutes

En 2024, chez France Travail, j’ai fine-tuné un modèle de type BERT pour repérer les compétences citées dans les offres d’emploi. Avant d’entraîner quoi que ce soit, il a fallu réunir et annoter un millier de textes. Et chaque évolution du besoin aurait demandé de nouvelles annotations.

Aujourd’hui, plusieurs options permettent de traiter ce problème sans entraînement, avec un simple appel API. À l’occasion de la publication du modèle Clairic de Cloudflare, le 19 octobre 2026, je me suis amusé à comparer un modèle spécialisé, similaire à celui que j’avais utilisé chez France Travail à trois modèles utilisables sans entraînement.

Quatre modèles, une même tâche

  • NERmemberta : un encodeur CamemBERTa v2 d’environ 110 millions de paramètres, fine-tuné par le CATIE pour repérer personnes, organisations, lieux et entités diverses. Il a été entraîné sur la partie entraînement de frenchNER_4entities, le jeu dont viennent aussi les phrases de test. Il s’agit d’une approche analogue à celle que j’avais utilisée chez France Travail.
  • GLiNER multi v2.1 : environ 300 millions de paramètres, entraîné à repérer des entités de n’importe quelle catégorie à partir de son nom (« person », « location »).
  • Clairic : le modèle d’extraction de Cloudflare.
  • Claude Haiku 5.5 : prompt simple avec sortie JSON imposée et effort de réflexion réglé sur low.

Données d’évaluation

Les phrases viennent de la partie test du jeu de données frenchNER_4entities. Il s’agit d’une combinaison de trois jeux de données : Multiconer, Multinerd et Wikiner.

J’ai tiré au hasard 167 phrases dans chacun, soit 501 phrases pour 653 entités : 296 personnes, 274 lieux et 83 organisations. 91 phrases ne contiennent aucune entité à trouver.

Wikiner, phrase n° 183

Référence

À vingt ans , Pierre Du MagePER va à ParisLOC , étudier avec Louis MarchandPER .

Multiconer, phrase n° 31689

Référence

il a également été sélectionné avec les māori de nouvelle-zélandeORG en 2002 2003 et 2005 .

Multiconer, phrase n° 31472

Référence

a été découvert le à l observatoire astronomique dynicLOC basé à kyotoLOC au japonLOC par atsushi sugiePER .

Multiconer, phrase n° 31839

Référence

elle utilise différents types d avions pour ses vols incluant les constructeurs phares boeingORG et airbusORG .

Multinerd, phrase n° 15447

Référence

Les trois compagnons sont aussi à l' origine de la création de Skype .

Multiconer, phrase n° 31096

Référence

bioforcePER une entreprise pharmaceutique suisse ;

À noter : les phrases du jeu de données sont découpées en tokens ; on les reconstruit en les séparant par un espace, ce qui n’est probablement pas complètement fidèle aux textes d’origine au niveau de la ponctuation : ["à", "l'", "origine", ",", "il"] devient « à l’ origine , il ».

J’ai également écarté la catégorie MISC (œuvres, produits, événements…), car elle n’est pas annotée de la même façon d’un jeu d’origine à l’autre.

Il y a beaucoup moins d’organisations (83) que de personnes ou de lieux : les scores sont donc moins précis sur cette catégorie.

Métriques

Pour chaque modèle, on compte :

  • la précision : la part des entités renvoyées qui sont justes ;
  • le rappel : la part des entités de la référence qui ont été retrouvées ;
  • le F1, qui combine les deux, sur l’ensemble des 501 phrases.

J’ai également distingué deux manières de compter les entités justes :

  • En mode strict, une entité est juste si ses bornes et sa catégorie sont exactement celles de la référence.
  • En mode partiel, il suffit de la bonne catégorie et d’au moins un caractère en commun.

Sur 501 phrases, un F1 varie de 2 à 4 points selon les phrases tirées (intervalle de confiance à 95 %, estimé par bootstrap). Un écart de un ou deux points entre deux modèles ne permet donc pas de les départager.

Deux autres critères sont à prendre en compte :

  • la latence, médiane du temps de réponse pour une phrase. NERmemberta et GLiNER tournent sur le GPU d’un ordinateur portable (NVIDIA GeForce RTX 3070 Laptop, 8 Go), une phrase à la fois. Pour Clairic et Haiku, la mesure inclut l’aller-retour réseau vers l’API ;
  • le coût, calculé à partir des tokens facturés par chaque API et des prix publics relevés en octobre 2026. Pour les modèles locaux, le prix de la machine n’est pas compté.

Évaluation des modèles

Wikiner, phrase n° 183

Référence

À vingt ans , Pierre Du MagePER va à ParisLOC , étudier avec Louis MarchandPER .

NERmemberta3 justes

  • Pierre Du MagePERjuste
  • ParisLOCjuste
  • Louis MarchandPERjuste

Claude Haiku 5.53 justes

  • Pierre Du MagePERjuste
  • ParisLOCjuste
  • Louis MarchandPERjuste

GLiNER3 justes

  • Pierre Du MagePERjuste
  • ParisLOCjuste
  • Louis MarchandPERjuste

Clairic3 justes

  • Pierre Du MagePER1,00juste
  • ParisLOC0,99juste
  • Louis MarchandPER1,00juste

Multiconer, phrase n° 31689

Référence

il a également été sélectionné avec les māori de nouvelle-zélandeORG en 2002 2003 et 2005 .

NERmemberta1 juste

  • māori de nouvelle-zélandeORGjuste

Claude Haiku 5.52 erronées · 1 manquée

  • māoriORGerronée
  • nouvelle-zélandeLOCerronée
  • māori de nouvelle-zélandeORGmanquée

GLiNER2 erronées · 1 manquée

  • ilPERerronée
  • nouvelle-zélandeLOCerronée
  • māori de nouvelle-zélandeORGmanquée

Clairic2 erronées · 1 manquée

  • māori deLOC0,62erronée
  • māori de nouvelle-zélande enORG0,16sous le seuil
  • nouvelle-zélandeLOC0,62erronée
  • māori de nouvelle-zélandeORGmanquée

Multiconer, phrase n° 31472

Référence

a été découvert le à l observatoire astronomique dynicLOC basé à kyotoLOC au japonLOC par atsushi sugiePER .

NERmemberta4 justes

  • observatoire astronomique dynicLOCjuste
  • kyotoLOCjuste
  • japonLOCjuste
  • atsushi sugiePERjuste

Claude Haiku 5.53 justes · 1 erronée · 1 manquée

  • observatoire astronomique dynicORGerronée
  • kyotoLOCjuste
  • japonLOCjuste
  • atsushi sugiePERjuste
  • observatoire astronomique dynicLOCmanquée

GLiNER3 justes · 1 erronée · 1 manquée

  • observatoire astronomique dynicORGerronée
  • kyotoLOCjuste
  • japonLOCjuste
  • atsushi sugiePERjuste
  • observatoire astronomique dynicLOCmanquée

Clairic1 juste · 3 manquées

  • lORG0,40sous le seuil
  • lLOC0,35sous le seuil
  • observatoire astronomiqueLOC0,35sous le seuil
  • observatoire astronomique dynicORG0,40sous le seuil
  • dynicLOC0,35sous le seuil
  • kyotoLOC0,35sous le seuil
  • japonLOC0,35sous le seuil
  • atsushi sugiePER0,92juste
  • observatoire astronomique dynicLOCmanquée
  • kyotoLOCmanquée
  • japonLOCmanquée

Multiconer, phrase n° 31839

Référence

elle utilise différents types d avions pour ses vols incluant les constructeurs phares boeingORG et airbusORG .

NERmemberta2 justes

  • boeingORGjuste
  • airbusORGjuste

Claude Haiku 5.52 justes

  • boeingORGjuste
  • airbusORGjuste

GLiNER2 justes

  • boeingORGjuste
  • airbusORGjuste

Clairic2 justes · 1 erronée

  • phORG0,62erronée
  • boeingORG0,62juste
  • airbusORG0,62juste

Multinerd, phrase n° 15447

Référence

Les trois compagnons sont aussi à l' origine de la création de Skype .

NERmembertaaucune entité

Claude Haiku 5.51 erronée

  • SkypeORGerronée

GLiNER2 erronées

  • Les trois compagnonsPERerronée
  • SkypeORGerronée

Clairic2 erronées

  • SkypePER0,72erronée
  • SkypeORG0,97erronée

Multiconer, phrase n° 31096

Référence

bioforcePER une entreprise pharmaceutique suisse ;

NERmemberta1 erronée · 1 manquée

  • bioforceORGerronée
  • bioforcePERmanquée

Claude Haiku 5.52 erronées · 1 manquée

  • bioforceORGerronée
  • suisseLOCerronée
  • bioforcePERmanquée

GLiNER1 erronée · 1 manquée

  • bioforceORGerronée
  • bioforcePERmanquée

Clairic1 erronée · 1 manquée

  • bioforce une entreprise pharmaceutique suisseORG0,40sous le seuil
  • suisseLOC0,64erronée
  • bioforcePERmanquée
✓ juste · ✗ erronée (bornes ou étiquette) · ○ manquée · en grisé, sous le seuil de confiance. Une prédiction est juste si ses bornes et son étiquette sont exactement celles de la référence.

Les données de référence contiennent des erreurs. Dans la sixième phrase, l’entreprise Bioforce est annotée comme une personne. Ces erreurs restent cependant rares : en relisant 50 phrases tirées au hasard, je n’ai ajouté que deux entités, ce qui ne change presque pas les résultats.

Les intervalles entre parenthèses sont les intervalles de confiance à 95 % du F1 strict.

NERmemberta

NERmemberta s’utilise comme tout modèle de classification de la bibliothèque transformers :

from transformers import PreTrainedTokenizerFast, pipeline

repo = "CATIE-AQ/NERmemberta-4entities"
tokenizer = PreTrainedTokenizerFast.from_pretrained(repo)
ner = pipeline("token-classification", model=repo, tokenizer=tokenizer, aggregation_strategy="simple")

ner("À vingt ans , Pierre Du Mage va à Paris , étudier avec Louis Marchand .")
# [{'entity_group': 'PER', 'word': 'Pierre Du Mage', 'start': 14, 'end': 28, ...}, ...]

À noter : j’ai dû charger le tokenizer à part, car la configuration du dépôt déclare un tokenizer RoBERTa, alors que le fichier fourni est un WordPiece. Sans ce chargement explicite, transformers découpe le texte caractère par caractère.

NERmemberta obtient un F1 strict de 0,917 (0,895 à 0,938). Sur GPU, une prédiction prend 33 ms (médiane).

Claude Haiku 5.5

Il s’agit du plus petit modèle d’Anthropic. Sur l’indice d’Artificial Analysis, qui agrège neuf évaluations générales (code, agents, connaissances, sciences), la configuration utilisée ici, en effort bas, obtient 19 points, loin des grands modèles.

Artificial Analysis Intelligence Index

  1. Claude Fable 5.2 (medium)56
  2. GPT-6 Astra (medium)52
  3. Claude Opus 5.5 (medium)48
  4. GPT-6.1 Sol (medium)46
  5. Claude Sonnet 5.5 (medium)31
  6. Claude Haiku 5.5 (medium)25
  7. Mistral Large 4 (medium)23
  8. Claude Haiku 5.5 (low)19
  9. Qwen3.8 27B (medium)17
  10. Mistral Medium 3.55
Source : Artificial Analysis, version 5.0.1, relevé en novembre 2026.
class Entities(BaseModel):
    personnes: list[str]
    organisations: list[str]
    lieux: list[str]

response = client.messages.parse(
    model="claude-haiku-5-5",
    max_tokens=2048,
    output_config={"effort": "low"},
    system=[{"type": "text", "text": CONSIGNE, "cache_control": {"type": "ephemeral"}}],
    messages=[{"role": "user", "content": phrase}],
    output_format=Entities,
)

Le prompt système utilisé pour Haiku est le même pour toutes les phrases :

Tu repères les entités nommées dans une phrase en français. Recopie chaque entité exactement comme elle apparaît
dans la phrase, sans la corriger. Catégories :
- personnes : Noms de personnes, réelles ou fictives.
- organisations : Organisations : entreprises, institutions, partis, clubs, équipes, groupes de musique.
- lieux : Lieux : villes, pays, régions, cours d'eau, montagnes, bâtiments, adresses.
Une liste vide si la phrase ne contient aucune entité de la catégorie.

Il faut ensuite rechercher les occurrences de chaque chaîne dans le texte pour en déduire les positions de l’entité identifiée. La recherche ignore la casse, car Haiku a tendance à corriger les phrases en minuscules en renvoyant par exemple « Steve Miner » pour « steve miner ». Avec une recherche exacte, il perdait 3,7 points de F1 strict.

J’ai aussi essayé une consigne plus longue, avec 14 exemples tirés de la partie entraînement du jeu. Elle gagnait 4,6 points sur la partie validation, mais 0,3 point seulement sur l’échantillon. J’ai gardé la consigne courte, mais il reste sûrement de la marge de progression avec un peu de prompt engineering.

Haiku obtient un F1 strict de 0,826 (0,799 à 0,853). Il trouve presque toutes les personnes (0,925), mais il voit plus d’organisations que la référence n’en contient : sur cette catégorie, sa précision tombe à 0,531 pour un rappel de 0,831. Dans la phrase 2, il découpe l’équipe de rugby en un peuple et un pays. Les phrases en minuscules de Multiconer lui coûtent aussi : 0,751, contre 0,836 et 0,886 sur les deux autres jeux.

Une phrase prend 1,41 s (médiane), réseau compris. Pour chaque phrase, Haiku lit environ 520 tokens de consigne, 54 tokens de phrase, et écrit 39 tokens. La consigne pèse dix fois plus que la phrase, mais elle est lue en cache, à 10 % du prix d’entrée : mille phrases coûtent 0,031 $.

Après coup, j’ai testé une variante : j’étais tombé sur une phrase où il rangeait la Wii et la PlayStation parmi les lieux. Sans catégorie pour les produits et les œuvres, il peut les placer dans une des trois autres. NERmemberta, lui, dispose d’une catégorie MISC, que j’écarte de ses réponses. J’ai donc donné à Haiku une quatrième catégorie, « divers » (« autres noms propres : œuvres, produits, événements, langues, nationalités »), écartée de la même façon avant l’évaluation. Son F1 strict passe à 0,850 (0,821 à 0,876), soit 2,4 points de mieux (entre 1,0 et 3,6). La hausse vient de la précision : 0,815 au lieu de 0,767, dont 0,630 au lieu de 0,531 sur les organisations. Le coût monte à 0,037 $ pour mille phrases. L’idée venant d’une erreur vue sur l’échantillon de test, je garde la version sans « divers » comme résultat principal. La même variante ne change rien de mesurable pour GLiNER et Clairic.

GLiNER

GLiNER reçoit les noms des catégories, en anglais, et un seuil de confiance, ici la valeur par défaut de 0,5 :

from gliner import GLiNER

model = GLiNER.from_pretrained("urchade/gliner_multi-v2.1")
model.predict_entities(phrase, ["person", "organization", "location"], threshold=0.5)
# [{'start': 14, 'end': 28, 'text': 'Pierre Du Mage', 'label': 'person', 'score': ...}, ...]

Il se place entre les deux approches précédentes. Comme NERmemberta, c’est un encodeur qui tourne en local, en 37 ms par phrase sur GPU. Comme Haiku, il change de catégories sans réentraînement. En revanche, il attend un nom de catégorie plutôt qu’une définition. Pour qu’il compte les équipes parmi les organisations, on pourrait ajouter une catégorie (« sports team ») et la fusionner ensuite, ce que je n’ai pas fait.

GLiNER obtient un F1 strict de 0,712 (0,678 à 0,743). Il s’en sort sur les personnes (0,811), beaucoup moins sur les organisations (0,439, pour une précision de 0,313). Il répond plus souvent à tort que Haiku : 42 des 91 phrases sans entité reçoivent une prédiction. Dans la phrase 2, il marque le pronom « il » comme une personne.

Clairic

Clairic se décrit par des champs. J’ai repris pour chacun la définition donnée à Haiku :

fields = {
    "personnes": {"type": "list", "items": "text", "instructions": "Noms de personnes, réelles ou fictives."},
    "organisations": {"type": "list", "items": "text", "instructions": "Organisations : entreprises, ..."},
    "lieux": {"type": "list", "items": "text", "instructions": "Lieux : villes, pays, ..."},
}
response = session.post(url, json={"model": "clairic", "state": phrase, "fields": fields})
answers = response.json()["result"]["answers"]
# answers["personnes"] : {"spans": [[14, 28], [55, 69]], "confidence": 1.0, ...}

Pour chaque champ, Clairic renvoie des positions dans le texte et une seule confiance, qui vaut pour tout le champ.

Sans filtre, il trouve presque tout, mais renvoie beaucoup trop : rappel de 0,900, précision de 0,416, F1 strict de 0,569 (0,535 à 0,604). 84 des 91 phrases sans entité reçoivent au moins une prédiction. Écarter les champs dont la confiance est sous 0,5 remonte le F1 à 0,668 (0,624 à 0,707), et ne laisse plus que 29 phrases vides avec une prédiction. Mais la confiance étant donnée par champ, le seuil garde ou retire d’un bloc toutes les entités d’une catégorie : dans la phrase 2, māori de et nouvelle-zélande passent ensemble, à 0,62.

Clairic coupe aussi des mots : 138 de ses 1 412 entités commencent ou finissent au milieu d’un mot, comme ph, tiré de « phares », dans la phrase 4. Le seuil n’y change rien, puisque ph hérite de la confiance de son champ.

Une phrase prend 0,28 s (médiane), réseau compris. Il n’y a pas de cache : les 280 tokens facturés par phrase sont surtout la description des champs. Mille phrases coûtent 0,028 $.

Clairic est conçu pour remplir des champs à partir d’un texte. Repérer chaque occurrence d’une catégorie dans une phrase n’est peut-être pas l’usage pour lequel il a été pensé ; ces scores ne disent rien de ses résultats sur d’autres tâches d’extraction.

Comparaison des résultats

Modèle F1 strict F1 partiel PER ORG LOC Latence médiane Coût pour 1 000 phrases
NERmemberta 0,917 0,945 0,954 0,889 0,887 0,03 s local
Claude Haiku 5.5 0,826 0,875 0,925 0,648 0,788 1,41 s 0,031 $
Haiku, avec « divers » 0,850 0,898 0,928 0,712 0,813 1,28 s 0,037 $
GLiNER 0,712 0,768 0,811 0,439 0,730 0,04 s local
Clairic (seuil 0,5) 0,668 0,699 0,781 0,415 0,624 0,28 s 0,028 $
Clairic (sans seuil) 0,569 0,637 0,747 0,312 0,545 0,28 s 0,028 $

Scores PER, ORG et LOC en F1 strict. Latence réseau comprise pour Clairic et Haiku.

Le modèle fine-tuné reste devant. Il garde 9 points de F1 strict d’avance sur Haiku (entre 6,7 et 11,7 points, à 95 %), encore 6,7 points sur sa variante avec « divers » (entre 4,3 et 9,4), et répond 40 fois plus vite. Derrière, GLiNER devance Clairic de 4 points, un écart à peine plus grand que l’incertitude de la mesure (entre 0,7 et 8,7 points).

L’écart le plus net porte sur les organisations : 0,889 pour NERmemberta, entre 0,31 et 0,65 pour les autres, sur 83 entités seulement. C’est aussi la catégorie qui dépend le plus des choix d’annotation. Une équipe de rugby ou un observatoire sont-ils des organisations ? NERmemberta a vu ces choix appliqués pendant son entraînement. Les autres modèles n’ont que la définition de la consigne, et tranchent parfois autrement (phrases 2 et 3).

Ces chiffres décrivent le cas le plus favorable au fine-tuning : des données d’entraînement qui ressemblent exactement aux données de test, avec la même source, le même découpage en mots et les mêmes conventions. Pour voir ce qu’il en reste sur des phrases correctes, j’en ai tiré 50 au hasard. Haiku a proposé une version avec majuscules, ponctuation et apostrophes recollées, que j’ai relue, puis j’ai relu les annotations dans Label Studio. Les modèles ont été évalués trois fois sur ces mêmes phrases :

Modèle Format d’origine Texte corrigé Texte et annotations corrigés
NERmemberta 0,892 0,901 0,902
Claude Haiku 5.5 0,829 0,792 0,795
Haiku, avec « divers » 0,853 0,838 0,841
GLiNER 0,684 0,697 0,701
Clairic (seuil 0,5) 0,672 0,672 0,662

F1 strict sur 50 phrases et 68 entités.

Aucun écart n’est significatif : sur 50 phrases, il faudrait une variation bien plus forte pour en conclure quelque chose. Le format d’origine ne semble donc pas expliquer l’avance de NERmemberta. La seule variation visible vient de Haiku, et presque entièrement de la phrase sur la Wii : une fois les noms de consoles écrits avec des majuscules, il les prend pour des lieux. Avec la catégorie « divers », la baisse se réduit à un point et demi.

Le coût, lui, ne départage presque pas les modèles. À 3 centimes pour mille phrases, un million de phrases revient à une trentaine de dollars avec Haiku ou Clairic. La différence se joue plutôt sur la latence et l’hébergement : NERmemberta et GLiNER répondent en quelques dizaines de millisecondes, à condition de disposer d’un GPU.

Est-ce que labelliser vaut toujours le coup ?

Sur ce jeu, oui, quand les annotations existent déjà : le modèle fine-tuné surpasse les autres modèles, que les phrases soient réécrites ou non, et répond en quelques dizaines de millisecondes. Mais s’il faut labelliser des données pour l’entraînement, cela se discute. Chez France Travail, il avait fallu annoter un millier de textes avant d’entraîner le moindre modèle, ce qui est très coûteux. Haiku atteint un score honorable à partir d’un prompt de six lignes.

Au-delà de cette petite expérience, je pense que commencer par un LLM est ce qu’il y a de plus rationnel pour beaucoup de projets. Le fine-tuning garde sa place quand le volume à traiter est important et que la latence ou le coût deviennent une priorité, ou quand les règles d’annotation sont précises et stables, comme pour les organisations ici.

Dans tous les cas, des exemples annotés restent indispensables pour mesurer et pour préciser la consigne.

Pour les projets où les données se font rares, il reste également la piste d’utiliser un LLM pour labelliser des données, puis d’entraîner un modèle encodeur comme NERmemberta ou GLiNER pour obtenir un modèle spécialisé. On garderait la souplesse de la consigne et la rapidité d’un petit modèle local. Ce sera peut-être l’objet d’un prochain article.

Le code, l’échantillon et toutes les prédictions sont sur GitHub.

Projet lié

France Travail, 2024

Repérer les compétences citées dans les offres d’emploi et les formations

Modèle qui repère les compétences dans les offres et les formations, avec une interface de démonstration

Me contacter

Mission, poste ou simple échange technique.

hakim.cheikh.pro@pm.me

Hakim Cheikh Ingénieur IA, Nantes