Guide à l’intention des chercheurs et des gouvernements pour reproduire la méthode employée par Oschinski et Walia (2025) avec DSPy.

Survol

L’IRPP a publié en mai l’étude de Matthias Oschinski et Ruhanie Walia intitulée Harnessing Generative AI: Navigating the Transformative Impact on Canada’s Labour Market. Celui-ci se penchait sur le risque d’automatisation des professions canadiennes. Ils suivaient une méthodologie innovante, n se servant de grands modèles de langage (GML) pour remplacer des experts humains afin d’évaluer dans quelle mesure les outils d’IA générative pourraient maîtriser différentes compétences et activités professionnelles.

Je pense que cette technique pourrait être très utile à un large éventail de chercheurs et d’analystes, tant au sein du gouvernement que dans le reste de la société. Il s’avère que la tâche principale, qui consiste à fournir systématiquement à un GML une liste d’éléments afin d’obtenir une réponse structurée (comme une note comprise entre 1 et 5), est étonnamment simple à mettre en œuvre avec les outils modernes.

Bien sûr, la question n’est pas seulement de savoir si nous pouvons utiliser un GML, mais si nous devons le faire. En tant que nouvelle méthodologie utilisant des outils émergents et parfois peu fiables, les résultats doivent être abordés avec prudence. En même temps, la seule façon d’apprendre est d’expérimenter.

À cette fin, j’ai reproduit la première partie de l’étude d’Oschinski et Walia (en produisant des évaluations générées par l’IA pour les compétences et les activités professionnelles) et l’ai publiée afin que d’autres puissent l’utiliser et l’adapter. Vous pouvez y accéder en cliquant sur le lien ci-dessous.

J’espère que ce projet encouragera d’autres chercheurs à expérimenter cette nouvelle approche de l’analyse du marché du travail.

Le code fourni vous servira à :

• Réaliser vos propres versions de cette expérience, en comparant même différents modèles ou paramètres.
• Suivre l’évolution de ces évaluations à mesure que de nouveaux outils d’IA apparaissent et que nous comprenons mieux leurs capacités.
• Adapter le script pour interroger les GML sur un sujet complètement différent, avec votre propre liste de termes et d’expressions.

Remerciement et avertissement

Je remercie Matthias Oschinski et Ruhani Walia d’avoir développé la méthodologie originale, d’avoir autorisé la reproduction de leur étude et d’avoir apporté leurs précieux commentaires sur une version préliminaire du présent guide.

Les opinions exprimées ici, ainsi que les erreurs éventuelles contenues dans le notebook qui l’accompagne, sont les miennes. Ce notebook a été élaboré avec l’aide de Gemini (2.5 Pro Preview), dans le cadre de mon apprentissage du framework DSPy. J’assume l’entière responsabilité de son contenu et de son exactitude.