Évaluation de modèle
Créer ses propres évaluations avancées de modèles d'IA
Ce chapitre vous permet de créer des évaluations précises pour comparer objectivement et subjectivement différents modèles d’intelligence artificielle (ChatGPT, Claude, Gemini, etc.). Vous utiliserez activement un assistant IA pour vous aider tout au long de ce processus.
📌 Utilisation d'un assistant IA pour créer vos évaluations
Comme ce travail peut être conséquent, utilisez systématiquement une IA comme assistant (ex : ChatGPT) pour vous aider à :
- Définir clairement les objectifs d'évaluation.
- Créer des consignes précises et des critères clairs.
- Formuler des exemples concrets.
- Analyser les résultats.
🧩 Exemples d’évaluations avec consignes précises
🧠 Test logique
-
Objectif : Évaluer les capacités de raisonnement logique des IA.
-
Exemples de consignes :
- « Une fille a autant de frères que de sœurs, mais chaque frère n'a que la moitié de ses frères et sœurs. Combien y a-t-il de frères et de sœurs ? »
Réponse attendue : 4 sœurs et 3 frères - « Quel nombre complète cette suite : 2, 3, 5, 7, 11, ? »
Réponse attendue : 13
- « Une fille a autant de frères que de sœurs, mais chaque frère n'a que la moitié de ses frères et sœurs. Combien y a-t-il de frères et de sœurs ? »
-
Critères :
- Exactitude de la réponse (⭐1-5)
- Clarté des explications (⭐1-5)
🖋️ Test créativité narrative
-
Objectif : Évaluer l'originalité et la créativité narrative.
-
Exemples de consignes :
- « Écris une courte histoire sur une IA devenue maire d'une petite ville belge confrontée à une invasion amicale d’extraterrestres. »
- « Décris un dialogue improbable entre Victor Hugo et une IA discutant de la poésie sur une terrasse à Bruxelles. »
-
Critères :
- Originalité (⭐1-5)
- Cohérence narrative (⭐1-5)
- Engagement du lecteur (⭐1-5)
📈 Test Excel
-
Objectif : Évaluer la capacité d'analyse et de calcul via Excel.
-
Exemples de consignes :
- « Fournissez un fichier Excel avec des résultats sportifs et demandez à l'IA de calculer le classement général et la moyenne de points. »
- « À partir d'un fichier Excel montrant des ventes annuelles, demandez de déterminer le trimestre le plus performant. »
-
Critères :
- Exactitude des calculs (⭐1-5)
- Pertinence de la méthode utilisée (⭐1-5)
📊 Test analyse graphique
-
Objectif : Évaluer la capacité d'analyse de données visuelles.
-
Exemples de consignes :
- « Fournissez un graphique présentant la fréquentation touristique annuelle d'une ville. Demandez à l'IA d’identifier les tendances majeures et les anomalies éventuelles. »
- « Fournissez un graphique montrant les résultats électoraux fictifs sur plusieurs années, demandez d’expliquer les évolutions observées. »
-
Critères :
- Exactitude des interprétations (⭐1-5)
- Clarté des explications (⭐1-5)
🖼️ Test génération d'images
-
Objectif : Évaluer la précision et la créativité dans la génération visuelle.
-
Exemples de consignes :
- « Génère une image réaliste d'une scène de pique-nique où un robot sert des boissons sous un arbre, en respectant précisément la disposition : arbre à gauche, robot au centre, groupe de personnes à droite. »
- « Crée une image d'un salon futuriste avec un canapé violet au premier plan, une fenêtre montrant une ville flottante en arrière-plan. »
-
Critères :
- Respect du placement précis des éléments (⭐1-5)
- Qualité visuelle globale (⭐1-5)
🔍 Test analyse d’images
-
Objectif : Évaluer la capacité de l’IA à analyser précisément des images.
-
Exemples de consignes :
- « Fournissez une photo d'un troupeau de moutons et demandez : “Compte précisément le nombre de moutons présents sur cette image.” »
- « Fournissez une photo d’un chien et demandez : “Identifie précisément la race de ce chien.” »
-
Critères :
- Exactitude du résultat (⭐1-5)
- Clarté et précision de la réponse (⭐1-5)
🚧 Test d'instructions complexes (avec pièges)
-
Objectif : Évaluer la capacité à suivre rigoureusement des consignes complexes.
-
Exemples de consignes :
- « Explique comment préparer un café en suivant ces étapes : allume la cafetière, éteins-la immédiatement, puis rallume-la après avoir récité chaque nombre de la suite de Fibonacci en chiffres romains jusqu’à XIII. »
- « Décris comment dresser la table : pose les assiettes, retire-les aussitôt, puis place les couverts, en intercalant entre chaque étape le prochain chiffre de la suite de Fibonacci en chiffres romains du plus petit au plus grand. »
-
Critères :
- Respect exact des étapes (⭐1-5)
- Gestion efficace des pièges (⭐1-5)
🧑⚖️ Utilisation d’une IA juge
Choisissez une IA spécifique (ex : ChatGPT-4) pour analyser et évaluer systématiquement les réponses obtenues des différents modèles selon les critères définis.
Exemple :
« Voici les réponses des IA au test logique. Évalue-les selon les critères donnés, attribue une note et explique ton choix. »
📝 Exemple complet de démarche d’évaluation
- Choisissez une question à évaluer.
- Demandez à une IA assistante de définir les critères d’évaluation.
- Posez cette question à plusieurs IA.
- Notez leurs réponses.
- Demandez à une IA juge d’analyser et d’évaluer ces réponses selon vos critères.
- Créez un tableau comparatif récapitulatif clair.
- Répétez cette démarche avec d’autres questions pour enrichir votre fiche.
🚀 Construisez votre fiche d’évaluation
Vous pouvez ainsi créer une fiche complète avec des dizaines d’évaluations variées, que vous mettrez régulièrement à jour en testant les nouveaux modèles d’IA disponibles. Ce document deviendra votre référence ultime pour choisir efficacement l’IA la mieux adaptée à vos besoins quotidiens ou professionnels.
Exemple complet d’évaluation détaillée
Pour illustrer ce que vous devez réaliser dans votre document, voici un exemple un peu plus complet qu’une liste en vrac :
Titre de l’évaluation
"Test de Créativité Narrative : Fables Fantastiques à la Belge"
Objectif
Évaluer la capacité des modèles IA (GPT-4, Claude, Gemini) à inventer une courte fable originale se déroulant en Belgique, en intégrant des éléments de folklore local.
Consigne
"Racontez une fable de maximum 300 mots, dont le héros est un personnage du folklore belge (ex : Tchantchès), confronté à une situation fantastique inédite. La morale doit être inspirée d’une valeur citoyenne belge (solidarité, tolérance, etc.)."
Critères d’évaluation
- Originalité de l’intrigue (⭐1-5)
- Évalue dans quelle mesure la fable se démarque par son concept, ses rebondissements ou son univers.
- Cohérence narrative (⭐1-5)
- Vérifie la clarté et la logique de l’histoire du début à la fin.
- Respect du folklore belge (⭐1-5)
- Analyse si le folklore local est bien intégré (références crédibles, ambiance, lieux, etc.).
- Qualité de la morale (⭐1-5)
- Juge la pertinence et la justesse de la leçon donnée à la fin de la fable.
Exemple concret d’utilisation (produit via ChatGPT)
Fable (extrait)
"Tchantchès, fatigué de ses frasques nocturnes à Liège, rencontra un jour un étrange lutin tenant une gaufre magique…"
(Texte de ~200-300 mots)
**Morale : "La vraie chaleur d’un peuple se mesure à sa solidarité, plus qu’à la température de ses gaufres."
Tableau récapitulatif comparatif (exemple)
| Critères | GPT-4 | Claude 3 | Gemini | Note Perso |
|---|---|---|---|---|
| Originalité | 5 ⭐ | 3 ⭐ | 4 ⭐ | GPT-4 invente un univers bluffant |
| Cohérence narrative | 5 ⭐ | 4 ⭐ | 4 ⭐ | Les trois s’en sortent pas mal |
| Respect du folklore | 4 ⭐ | 5 ⭐ | 3 ⭐ | Claude connaît mieux la culture belge |
| Qualité de la morale | 5 ⭐ | 3 ⭐ | 5 ⭐ | GPT-4 et Gemini plus inspirés |
(Rajoutez vos commentaires et analyses, évidemment.)
🏁 Conclusion
Avec ces évaluations et exemples de consignes, vous avez désormais un éventail très complet pour comparer les différents modèles d’IA sous plusieurs angles (logique, créativité, fiabilité, etc.). Reste à vous d’orchestrer le tout et de mesurer leurs performances. Bonne chance, et surtout amusez-vous à pousser les IA dans leurs retranchements !