Routeur de modèles IA : maîtriser qualité et coûts

Pourquoi parler de routage de modèles maintenant ?

Les TPE et PME qui adoptent l'intelligence artificielle générative se heurtent vite au même constat : la facture grimpe plus vite que la valeur produite. Reformuler un e-mail, résumer une réunion, mettre à jour une fiche client ou rédiger un plan stratégique ne demandent pas la même puissance de calcul. Pourtant, beaucoup d'organisations envoient toutes leurs demandes vers un seul modèle, en général le plus performant, donc le plus coûteux.

C'est précisément le sujet de l'article « Inside Notion's upgraded model router, Auto », signé par Ghita Houir Alami, Engineering Manager chez Notion. L'éditeur y détaille la méthode qui lui a permis de concevoir et d'améliorer Auto, son routeur de modèles : un mécanisme qui choisit automatiquement le modèle le plus adapté à chaque tâche, afin de délivrer des résultats de qualité tout en faisant durer plus longtemps les crédits IA de ses utilisateurs.

Ce retour d'expérience ne concerne pas que les grands éditeurs. Il pose des questions que toute entreprise devrait se poser avant de généraliser l'IA dans ses processus : quelles tâches automatise-t-on vraiment ? Comment mesure-t-on la qualité d'une réponse ? Combien coûte chaque usage ? Chez comm.it, ce sont exactement les questions que nous traitons avec nos clients lorsque nous intégrons l'IA dans leurs outils métier, qu'il s'agisse d'un CRM, d'un ERP ou d'une chaîne d'automatisation des processus.

Ce que montre l'expérience de Notion

Avant de voir comment transposer cette démarche à une PME, il est utile de résumer les grands enseignements de l'article source.

On n'évalue bien que ce que l'on comprend

Le premier principe est simple : on ne peut pas juger la réponse d'un modèle si l'on ne sait pas ce qu'une bonne réponse devrait être. Les équipes de Notion ont donc commencé par regrouper les tâches réelles effectuées par leurs utilisateurs en clusters : maintenir les contacts et relances d'un CRM, suivre des stocks, commandes et expéditions, traiter des demandes de support client et rédiger des réponses, etc. Elles ont ensuite retenu les 20 clusters les plus importants et tiré au hasard des centaines de tâches réelles dans chacun pour constituer un jeu de données d'évaluation.

Précision importante : l'article indique que ces analyses reposent uniquement sur les données de clients ayant explicitement accepté de participer au programme de partage de données.

Un environnement simulé fidèle à la réalité

Pour comparer plusieurs modèles sur ces tâches, l'éditeur a construit un environnement simulé, baptisé Gymmy, qui exécute le code applicatif, les bases de données et les services de recherche dans des bacs à sable isolés. Chaque bac à sable est chargé avec une copie d'un espace de travail, ce qui permet à différents modèles de traiter la même tâche, avec les mêmes outils, à partir du même point de départ.

Ne pas se fier aveuglément à une IA qui juge une autre IA

L'article insiste sur un point souvent négligé : demander simplement à un modèle de noter les réponses d'un autre modèle donne des évaluations bruitées, même avec une grille très détaillée. Un juge peut favoriser son propre fournisseur ou attribuer des notes incohérentes d'une évaluation à l'autre.

La solution retenue se fait en plusieurs temps :

• Comparaisons par paires : un ensemble de modèles de pointe compare deux réponses et désigne la meilleure selon une grille personnalisée ; la réponse choisie par la majorité l'emporte.
• Classement Elo : à partir de nombreuses comparaisons, chaque modèle reçoit un score Elo, le même principe que le classement des joueurs d'échecs.
• Calibration d'un juge unique : comme multiplier les comparaisons par paires coûte trop cher et prend trop de temps, ce classement sert à calibrer un juge LLM unique qui note chaque réponse individuellement. Le modèle, le prompt et le niveau de réflexion sont ajustés jusqu'à ce que ses notes rejoignent le classement Elo.

Selon l'article, les évaluations par paires et par note individuelle concordent dans plus de 80 % des cas. Les notes du juge sont aussi corrélées positivement aux retours des utilisateurs (pouce levé ou baissé).

Le résultat : une qualité proche, pour une fraction du coût

Les analyses de Notion indiquent qu'en moyenne, Auto atteint environ 90 % des performances des modèles de pointe, pour un coût inférieur d'environ 90 %. Pour le travail courant, les crédits des utilisateurs peuvent ainsi durer jusqu'à dix fois plus longtemps. Le tableau publié par l'éditeur donne des estimations par niveau de complexité :

L'éditeur précise enfin qu'il continuera à tester chaque nouveau modèle sur des tâches réelles pour faire évoluer son routeur.

Ce que cela change pour une TPE ou une PME

Une PME ne va pas reconstruire seule l'infrastructure d'évaluation d'un éditeur de logiciel. Mais elle peut appliquer la même logique, à son échelle, sur ses propres processus. C'est là que l'accompagnement de comm.it prend tout son sens : nous traduisons ces principes en une démarche concrète, adaptée à la taille et aux moyens de l'entreprise.

Étape 1 : cartographier les tâches réellement confiées à l'IA

Comme le rappelle l'article de Notion, la qualité d'une évaluation dépend de la compréhension de la tâche. Avant de parler de modèles, nous commençons donc par un inventaire des usages :

• quelles demandes les équipes adressent-elles déjà à des outils d'IA, de façon officielle ou non ?
• quels processus métier pourraient en bénéficier : relances commerciales dans le CRM, saisie de commandes dans l'ERP, tri des e-mails entrants, réponses au support, comptes rendus de réunion ?
• quel est le niveau d'exigence de chaque tâche : une légère reformulation tolère des approximations, une mise à jour de données client ou un calcul de stock beaucoup moins.

Ce travail aboutit à une typologie des tâches, classées par fréquence, criticité et complexité. C'est la base de toute stratégie de routage.

Étape 2 : définir ce qu'est une bonne réponse

Pour chaque famille de tâches, nous construisons avec les métiers une grille d'évaluation : exactitude des informations, respect du ton de l'entreprise, conformité du format attendu par le logiciel cible, absence d'invention, respect des règles internes. Cette étape est souvent sous-estimée, alors qu'elle conditionne tout le reste. Un modèle peut produire un texte élégant et pourtant inutilisable si le champ attendu dans l'ERP n'est pas renseigné correctement.

Étape 3 : tester dans un environnement isolé

L'idée d'un bac à sable reproduisant l'environnement réel est l'un des enseignements les plus précieux de l'article. Pour nos clients, cela se traduit par :

• un environnement de test séparé de la production, alimenté par des données représentatives et, si nécessaire, anonymisées ;
• la possibilité de rejouer les mêmes tâches avec plusieurs modèles, dans les mêmes conditions ;
• des connexions aux outils métier (CRM, ERP, messagerie) reproduites à l'identique, pour mesurer le comportement du modèle face aux vraies contraintes, et pas seulement sur un texte isolé.

Cette approche évite les mauvaises surprises : un modèle brillant en démonstration peut se révéler fragile face aux données réelles d'une entreprise.

Étape 4 : évaluer avec méthode, sans dépendre d'un seul juge

Inutile de reproduire un système de classement complet pour une PME. En revanche, les principes restent valables :

• ne jamais confier l'évaluation à un seul modèle sans contrôle : les biais signalés dans l'article existent quelle que soit la taille du projet ;
• comparer les réponses deux à deux sur un échantillon, avec un regard humain issu du métier ;
• calibrer ensuite un juge automatique sur ces comparaisons, pour pouvoir évaluer de grands volumes sans mobiliser les équipes en permanence ;
• croiser avec les retours des utilisateurs, à la manière des pouces levés ou baissés évoqués par l'éditeur.

Nous mettons en place ces boucles d'évaluation de manière proportionnée : quelques dizaines de cas bien choisis valent souvent mieux qu'un benchmark générique sans lien avec votre activité.

Étape 5 : router chaque tâche vers le bon modèle

Une fois les tâches classées et les modèles évalués, il devient possible de construire un routeur adapté à l'entreprise. Concrètement, il peut s'agir de :

• diriger les tâches simples (reformulation, traduction, résumé court) vers des modèles légers et économiques ;
• réserver les modèles les plus puissants aux tâches complexes ou critiques : analyse de documents longs, rédaction stratégique, opérations sur des données sensibles ;
• prévoir des règles de bascule : si la réponse d'un modèle léger ne passe pas les contrôles de format ou de cohérence, la tâche est relancée sur un modèle plus robuste ;
• intégrer, quand c'est pertinent, des modèles hébergés localement pour les traitements où la confidentialité prime.

Le tableau publié par Notion illustre bien l'enjeu : l'écart de consommation entre un routage adapté et l'usage systématique d'un modèle de pointe se mesure en multiples, et non en quelques pourcents. Les chiffres exacts dépendront de vos usages, mais la logique est la même.

Intégrer le routage au cœur des logiciels métier

Un routeur de modèles n'a de valeur que s'il s'insère naturellement dans le quotidien des équipes. C'est pourquoi comm.it ne le conçoit pas comme un outil isolé, mais comme une brique de vos logiciels cœur de métier.

Dans un CRM

L'article cite justement la maintenance des contacts et des relances commerciales parmi les tâches complexes. Dans un CRM, l'IA peut proposer des relances, résumer l'historique d'un client ou qualifier un prospect. Le routage permet de traiter les résumés courants avec un modèle léger, tout en réservant les analyses plus fines à un modèle plus puissant, avec une validation humaine lorsque l'enjeu commercial le justifie.

Dans un ERP

Le suivi des stocks, des commandes et des expéditions fait partie des clusters identifiés dans l'article source. Dans un ERP, l'exigence de fiabilité des données est maximale. Nous concevons des intégrations où l'IA prépare, propose et explique, tandis que les règles métier et les contrôles automatiques garantissent la cohérence de ce qui est réellement enregistré.

Dans les flux d'automatisation

Tri des e-mails, réponses de premier niveau au support, comptes rendus de réunion, génération de rapports : ces workflows automatisés traitent souvent de gros volumes de tâches simples. C'est précisément là qu'un routage bien pensé a le plus d'impact sur les coûts, puisque chaque requête économisée se multiplie par le volume.

L'infrastructure et la sécurité, socle invisible du projet

On l'oublie souvent, mais l'IA repose sur une infrastructure. En tant que prestataire informatique couvrant aussi le réseau, le Wi-Fi et la messagerie, comm.it intègre ces dimensions dès la conception :

• disponibilité et performance réseau : un assistant IA lent ou indisponible est vite abandonné par les équipes ;
• cloisonnement des environnements de test et de production, dans l'esprit des bacs à sable décrits par l'éditeur ;
• maîtrise des flux de données : savoir quelles informations partent vers quels fournisseurs de modèles, et lesquelles doivent rester en interne ;
• consentement et gouvernance : l'article source souligne que seules les données de clients ayant explicitement donné leur accord ont servi aux analyses. C'est un principe que nous recommandons de reproduire, notamment au regard des obligations liées aux données personnelles.

Les pièges à éviter

À partir de cette lecture et de notre pratique, voici les erreurs les plus fréquentes que nous aidons nos clients à éviter :

• Choisir un modèle sur sa réputation plutôt que sur ses résultats face à vos propres tâches.
• Évaluer sur des exemples artificiels qui ne reflètent pas la réalité de vos données et de vos outils.
• Faire confiance sans contrôle à un juge automatique, dont les biais peuvent fausser toutes les décisions qui en découlent.
• Figer le choix des modèles : de nouveaux modèles sortent régulièrement, et l'éditeur lui-même prévoit de continuer à les tester sur des tâches réelles. Une évaluation doit être rejouable.
• Oublier le coût total : abonnement, consommation, temps de correction humaine et impact sur la productivité doivent être regardés ensemble.

Une démarche continue, pas un projet ponctuel

Le principal enseignement de l'article est peut-être celui-ci : l'équilibre entre qualité, rapidité et coût n'est jamais acquis une fois pour toutes. Les modèles évoluent, vos usages aussi. C'est pourquoi nous proposons de mettre en place des évaluations rejouables et des indicateurs de suivi, afin de réviser régulièrement les règles de routage.

Pour une PME, l'objectif n'est pas de disposer du modèle le plus puissant du marché, mais d'obtenir la bonne réponse, au bon coût, au bon endroit de ses processus. C'est exactement ce que le routage de modèles permet, à condition de l'appuyer sur une compréhension fine des tâches et sur une méthode d'évaluation rigoureuse.

En résumé

• Toutes les tâches ne méritent pas le modèle le plus cher.
• Une bonne stratégie IA commence par la cartographie des usages réels.
• L'évaluation doit se faire dans un environnement fidèle et avec des juges calibrés, jamais à l'aveugle.
• Le routage des tâches vers des modèles adaptés peut réduire fortement la consommation, comme l'illustre l'expérience de Notion.
• L'intégration dans le CRM, l'ERP et les automatisations, sur une infrastructure maîtrisée, transforme ces gains en valeur concrète pour l'entreprise.

Prêt à transformer ces enjeux en avantage concurrentiel ? Contactez comm.it pour en discuter.

Source : Inside Notion’s upgraded model router, Auto