Nos modèles d'intelligence artificielle

Nos valeurs

Des modèles à nous. Les 30 classifieurs qui lisent les phrases (21 thèmes de politiques publiques, 9 partis) et le modèle de sentiment sont des modèles locaux, légers, qui tournent sur notre propre infrastructure. Aucune phrase de la Vitrine n'est envoyée à un service commercial pour être classée.

Une science reproductible et transparente. Le rapport donne, pour chaque modèle, son jeu d'entraînement exact, sa procédure, sa performance mesurée sur des phrases annotées par des humains, et le seuil retenu. Aucun chiffre n'y est saisi à la main : les tableaux sont régénérés depuis les journaux d'entraînement versionnés.

Une science évolutive. Les modèles ne sont pas parfaits, et nous le disons. Ils sont réentraînés, revalidés et remplacés à mesure que les annotations humaines s'accumulent; chaque changement est daté dans la méthodologie.

Ce que l'IA fait chez nous, et comment

Distillation. Les modèles sont des encodeurs mDeBERTa, un par thème et un par parti, entraînés sur un corpus de 99 997 phrases bilingues tirées de la presse et des débats. Ce corpus a été annoté par un grand modèle de langue (gpt-5.4), puis les modèles légers ont été distillés à partir de ces annotations. Chaque modèle répond à une seule question, « ce thème est-il présent dans cette phrase? », ce qui permet de le mesurer, de le remplacer ou de le retirer sans toucher aux autres.

Calibration. Le seuil de décision de chaque tête thématique a été réglé sur des phrases annotées à la main, par validation croisée répétée deux cents fois, pour que le modèle ne dise « oui » ni trop souvent ni trop rarement.

Validation. Les modèles ont été confrontés à 2 273 phrases annotées par des humains, hors du corpus d'entraînement. C'est le seul chiffre qui dit ce que vaut un modèle sur les textes que la Vitrine traite réellement.

Et pour la Une des Unes. Le regroupement des Unes en histoires et leurs titres sont produits par un grand modèle de langue (Claude Sonnet 5), choisi après un banc comparatif; ce choix et ses mesures sont décrits au § 04 de la méthodologie.

Ce que valent les modèles

• Thèmes : F1 moyen de la classe positive de 0,656 sur les 21 têtes; 13 dépassent 0,65. Les têtes suivent le consensus humain : plus les annotateurs s'accordent sur une phrase, plus les modèles aussi.
• Partis : de 0,934 à 0,994 pour les quatre partis fédéraux disposant d'assez de cas de référence (BQ, PCC, PLC, NPD).
• Sentiment : 0,653, contre un accord entre annotateurs humains de 0,669, soit 98 % du plafond humain.

Ce qu'ils ne savent pas encore faire

• Deux têtes thématiques restent peu sûres, domestic_commerce et public_lands : leurs chiffres sont des ordres de grandeur.
• Les cinq partis provinciaux (CAQ, PLQ, PQ, QS, PVQ) comptent trop peu de cas de référence pour être validés, et le Parti conservateur du Québec n'a pas de modèle : sa colonne à zéro dit notre incapacité à le mesurer, pas son absence des médias.
• L'extraction des objets saillants (les personnes, lieux et enjeux qui font une Une) est encore en cours de validation contre des annotations humaines; la méthodologie dit quel extracteur est en service à chaque période.
• Une part de l'écart à la perfection ne tient pas aux modèles mais à l'ambiguïté des catégories elles-mêmes : l'accord entre humains sur les thèmes est de 0,726.

Le rapport complet

Rapport de validation des modèles de la Vitrine, thèmes et partis : données, entraînement, performance, calibration. Antoine Lemor, 30 août 2026, 20 pages, reproductible depuis les journaux d'entraînement.

Lire le rapport de validation (PDF) ↓