Faire passer un projet d'IA de la démonstration à la production

Construire une démonstration d'IA convaincante prend aujourd'hui quelques heures. La mettre entre les mains de vos équipes ou de vos clients prend des semaines. Cet écart n'est pas une question de technologie : il vient de tout ce qu'une démonstration se permet d'ignorer.

1. La démonstration ne se trompe jamais

On montre un prototype sur trois exemples choisis. En production, il reçoit des questions mal formulées, hors sujet, ou portant sur des documents qui n'existent pas. Un modèle de langage répond toujours, y compris quand il n'a pas l'information, et sa réponse inventée est aussi assurée que sa réponse correcte.

La parade tient en deux mesures : restreindre le modèle aux passages effectivement récupérés dans vos documents, et lui donner le droit explicite de répondre qu'il ne sait pas. Ce second point est souvent oublié parce qu'il rend la démonstration moins spectaculaire.

2. Personne ne mesure la qualité

Sans jeu de questions de référence, toute modification du système est un pari. Vous changez un réglage, la réponse à la question que vous testez s'améliore, et vous n'avez aucune idée de ce qui s'est dégradé ailleurs.

• Constituez une trentaine de questions représentatives avec la réponse attendue, écrites par les personnes du métier.
• Rejouez-les à chaque modification et comparez les résultats.
• Distinguez deux types d’échec : la réponse fausse et la réponse absente. La première est grave, la seconde est acceptable.
• Gardez une trace des scores dans le temps ; c’est la seule preuve de progression.

3. La facture est une variable, pas une constante

Chaque requête a un coût proportionnel à la quantité de texte envoyée et produite. Un prototype utilisé par trois personnes coûte quelques euros par mois. Le même système ouvert à cinq cents utilisateurs, avec des documents longs, change d'ordre de grandeur.

Les leviers existent et sont connus : mise en cache des parties de contexte qui ne changent pas, sélection plus fine des passages envoyés, modèle plus léger sur les étapes simples, plafond de consommation par utilisateur et par jour. Encore faut-il les avoir prévus avant l'ouverture.

4. Les données sensibles sortent du périmètre

Dès qu'un document part vers un service externe, vous avez un traitement à documenter. Cela ne veut pas dire que c'est interdit : les offres professionnelles des principaux fournisseurs prévoient contractuellement que vos données ne servent pas à l'entraînement. Cela veut dire que le lieu de traitement, la durée de conservation et la base légale doivent figurer dans votre registre.

Un projet d'IA qui n'a pas de note de traitement écrite n'est pas prêt pour la production, quel que soit son niveau technique.

Par où commencer

Prenez un seul cas d'usage, celui où le temps perdu est le plus mesurable. Chiffrez le gain attendu en heures par semaine. Construisez, évaluez, ouvrez à cinq personnes pendant un mois. Si le gain se confirme, élargissez. Si vous ne savez pas mesurer le gain, c'est que le cas d'usage n'est pas le bon.