Prompt Engineering

Introduction au Prompt Engineering#

Définition et Importance#

Le génie des prompts reflète l'évolution des modèles de langage, comme GPT, et repose sur la formulation astucieuse de questions ou d'instructions pour guider la génération de réponses précises par une IA. Cette compétence permet une communication efficace avec l'IA, facilitant des tâches allant de la création de contenu à la résolution de problèmes.

Pourquoi est-ce crucial ?#

La capacité des modèles d'IA à interpréter et générer du langage s'affine. Cependant, l'efficacité des réponses dépend fortement de la qualité des prompts. Un prompt bien élaboré conduit l'IA à fournir des réponses informativement justes, contextuellement adaptées.

Compétence en Ingénierie de Prompts
Devenue vitale pour chercheurs, développeurs, et utilisateurs, cette compétence permet d'optimiser les interactions avec l'IA. Elle évite des entraînements redondants, personnalise les réponses et pousse les limites de l'IA, rendant celle-ci plus polyvalente et accessible.

Objectifs du Chapitre#

Ce chapitre démystifie le Prompt Engineering, depuis les principes du zero-shot learning jusqu'à des approches plus sophistiquées comme le few-shot learning, l'apprentissage en contexte, et la Chaîne de Pensée (CoT). Avec des explications claires, exemples et bonnes pratiques, le lecteur apprendra à utiliser ces techniques pour tirer le meilleur parti de l'IA, en générant des réponses précises et pertinentes.

Apprentissage sans exemples (Zero-shot Learning)#

L'apprentissage sans exemples est une approche qui permet aux modèles d'IA, comme GPT, de traiter des tâches inédites sans entraînement spécifique. Basée sur la capacité de généralisation du modèle, cette technique est essentielle dans le domaine du prompt engineering pour évaluer la polyvalence du modèle.

Concepts Fondamentaux#

• Fonctionnement : On crée des prompts détaillant la tâche sans exemples directs. L'efficacité dépend de la diversité des données d'entraînement du modèle, qui s'appuie sur son savoir préalable pour fournir des réponses adaptées.

Atouts et Contraintes#

• Atouts :

  • Flexibilité : Utilisable pour diverses tâches sans préparation spécifique.
  • Rapidité : Offre des solutions promptes sans nécessité d'exemples.
  • Exploration : Permet d'évaluer les possibilités et limites du modèle.

• Contraintes :

  • Fiabilité : La précision peut fluctuer selon la tâche et le domaine.
  • Dépendance : L'efficacité est liée à la clarté du prompt.

Applications Pratiques#

• Recettes de Cuisine Faciles

  • Situation : Quelqu'un cherche à préparer un dîner rapide avec des ingrédients qu'il a déjà chez lui.

  • Prompt :

    J'ai des œufs, de la farine, du lait, et des légumes. 
    Quelle recette rapide et facile puis-je préparer avec ces ingrédients ?
    

• Astuces de Jardinage

  • Situation : Un jardinier amateur souhaite connaître les meilleures pratiques pour l'entretien de ses plantes d'intérieur.

  • Prompt :

    Quelles sont les meilleures astuces pour prendre soin des plantes d'intérieur 
    et assurer leur croissance optimale ?
    

Synthèse#

L'apprentissage sans exemples est une méthode flexible exploitant la généralisation des modèles d'IA pour de multiples tâches. Malgré certaines limites, comme la variabilité de la précision, cette technique demeure utile pour des situations nécessitant rapidité et adaptabilité. La suite du chapitre abordera comment l'apprentissage avec peu d'exemples et l'apprentissage en contexte peuvent renforcer cette approche, guidant le modèle vers une meilleure compréhension et création de réponses.

Apprentissage par Petits Échantillons (Few-Shot Learning)#

L'apprentissage par petits échantillons optimise la capacité des intelligences artificielles, comme le GPT, à effectuer des tâches spécifiques avec peu d'exemples. Cette technique repose sur l'efficacité d'un nombre réduit d'exemples pour améliorer la performance du modèle dans des domaines non spécifiquement entraînés, rendant le modèle plus apte à comprendre des sujets précis ou à accomplir des tâches nécessitant une expertise spéciale.

Différence avec l'apprentissage sans exemples (Zero-Shot Learning)#

À l'opposé de l'apprentissage sans exemples, qui utilise la capacité intrinsèque de généralisation du modèle sans aucun exemple, l'apprentissage par petits échantillons enrichit le prompt avec des échantillons ciblés, guidant ainsi le modèle pour une meilleure compréhension de la tâche et du contexte requis.

L'importance de la sélection d'exemples#

Choisir judicieusement les exemples est essentiel, car des échantillons bien choisis améliorent significativement la précision et la pertinence des réponses du modèle. Les critères incluent la représentativité de la tâche, la diversité des cas, et la clarté des exemples.

Sélection d'exemples pertinents#

• Représentativité : Sélectionner des échantillons fidèles à la tâche et au type de réponses attendues.
• Diversité : Assurer une variété d'exemples pour une généralisation adéquate.
• Clarté : Veiller à la limpidité des échantillons pour éviter les confusions.

Exemples Pratiques avec Prompts#

Meilleures Pratiques :

• Qualité sur quantité : Privilégier quelques échantillons de haute qualité à un grand nombre pouvant causer des biais.
• Équilibre : Maintenir une diversité pour éviter les préférences indésirables.
• Rétroaction itérative : Tester et ajuster les ensembles d'exemples pour perfectionner les réponses.

1. Planification de menus hebdomadaires

• Situation : Une personne cherche à planifier un menu hebdomadaire végétarien sans gluten.

• Prompt :

  Exemple 1 : Plat principal - Quiche sans gluten aux légumes. 
  Exemple 2 : Dessert - Gâteau au chocolat sans gluten. 
  
  Génère un menu végétarien et sans gluten pour une semaine, 
  incluant plat principal et dessert pour chaque jour.
  

2. Conseils de jardinage personnalisés

• Situation : Un jardinier amateur rencontre des problèmes avec certaines de ses plantes.

• Prompt :

  Exemple 1 : 
  Problème - Feuilles jaunes sur les tomates. 
  Solution - Augmenter l'arrosage. 
  Exemple 2 : 
  Problème - Pucerons sur les rosiers. 
  Solution - Appliquer un savon insecticide. 
  
  J'ai des taches blanches sur mes feuilles de courgettes. 
  Que dois-je faire ?
  

3. Exercices de révision pour étudiants

• Situation : Un étudiant prépare un examen de biologie sur la photosynthèse.

• Prompt :

  Exemple 1 : 
  Question - Quels sont les principaux produits de la photosynthèse ? 
  Réponse - Oxygène et glucose. 
  Exemple 2 : 
  Question - Où se déroule la photosynthèse dans la cellule végétale ? 
  Réponse - Dans les chloroplastes. 
  
  Crée 5 questions de révision sur le sujet de la photosynthèse avec leurs réponses
  

4. Aide à la rédaction de courriels professionnels

• Template 1 : Demande d'informations sur un projet

Objet : Demande d'informations complémentaires - Projet {{NomProjet}}

Bonjour {{NomDestinataire}}, 

J'espère que vous allez bien. 
Suite à notre dernière discussion sur le projet {{NomProjet}},
je me permets de vous contacter pour solliciter des informations supplémentaires concernant {{AspectSpécifique}}. 

Je crois comprendre que {{DétailPertinent}},
mais j'aurais besoin de clarifications sur {{PointÀÉclaircir}} pour avancer efficacement dans ma partie du travail. 

Pourriez-vous m'accorder un moment pour discuter de cela plus en détail, 
soit par un appel ou lors d'une réunion ? 

Je suis disponible {{PlageHorairesDisponibles}}. 
Je vous remercie d'avance pour votre temps et votre aide. 

Cordialement, 
{{VotreNom}}

• Template 2 : Remerciement suite à une réunion précédente

Objet : Remerciements et prochaines étapes - Réunion {{DateRéunion}}

Cher/Chère {{NomDestinataire}},

Je tenais à vous remercier pour la réunion productive que nous avons eue le {{DateRéunion}} concernant le projet {{NomProjet}}. 
Vos insights et vos suggestions ont été extrêmement précieux.

Suite à notre discussion, je me suis attelé(e) à {{ActionEntreprisePostRéunion}}. 
Cependant, pour garantir l'alignement de nos efforts et discuter des prochaines étapes, je pense qu'une réunion de suivi serait bénéfique.

Pourriez-vous me faire savoir quand vous seriez disponible pour cela ?
Je suis flexible, mais je préférerais une rencontre {{PlageHorairesPréférées}} si cela vous convient.

Encore merci pour votre engagement et votre soutien.

Bien à vous,
{{VotreNom}}

• Prompt

  En utilisant les templates ci-dessus comme exemples, 
  rédige un email professionnel pour demander une réunion de suivi concernant le projet X. 
  Voici les détails à intégrer dans l'email :
  
  - Nom du projet : Projet X
  - Nom du destinataire : M. Dupont
  - Aspect spécifique nécessitant des clarifications : les délais de livraison
  - Détail pertinent mentionné précédemment : la modification des délais initiaux
  - Point à éclaircir : les nouvelles échéances attendues
  - Plage horaires disponibles pour la réunion : la semaine prochaine, entre 10h et 12h
  - Votre nom : Mme Martin
  
  Assure-toi que l'email soit poli, 
  professionnel et qu'il inclue une demande claire de réunion de suivi, 
  tout en utilisant les informations fournies.
  

Synthèse

L'apprentissage par petits échantillons est une méthode efficace pour affiner les modèles de langage, utilisant des exemples choisis pour améliorer leur performance sur des tâches ciblées. En mariant les principes de l'apprentissage sans exemples et par petits échantillons, on tire le meilleur parti de la flexibilité et l'adaptabilité des modèles de langage pour diverses applications. La prochaine section abordera l'apprentissage contextuel, qui intensifie l'utilisation d'exemples pour enrichir la compréhension et la production du modèle.

Chaîne de Pensée (CoT)#

La technique de la Chaîne de Pensée (CoT) représente une avancée significative dans le domaine du prompt engineering, en permettant aux modèles de langage, tels que les modèles GPT, d'aborder des problèmes complexes de manière plus structurée et réfléchie. Cette approche encourage le modèle à décomposer un problème en plusieurs étapes logiques et à expliquer son raisonnement à chaque étape, avant de fournir une réponse finale. Elle est particulièrement utile pour les tâches qui nécessitent une compréhension approfondie et une explication détaillée, comme les problèmes mathématiques, la prise de décision basée sur des critères multiples, ou l'analyse critique.

Principes de Base#

La CoT s'appuie sur l'idée que pour résoudre un problème complexe ou répondre à une question difficile, il peut être bénéfique de simuler un processus de pensée humain, en décomposant le problème en parties gérables et en abordant chaque partie séquentiellement. Cette technique non seulement aide à clarifier le processus de résolution pour celui qui pose la question, mais peut également améliorer la précision et la pertinence de la réponse du modèle.

Avantages et Applications#

Avantages :

• Amélioration de la compréhension : Permet une meilleure compréhension des problèmes complexes en exposant le raisonnement étape par étape.
• Augmentation de la précision : En décomposant un problème, le modèle est moins susceptible de faire des erreurs grossières ou de mal interpréter la question.
• Transparence du raisonnement : Offre un aperçu du processus de pensée du modèle, rendant les réponses plus transparentes et vérifiables.

Applications :

• Résolution de problèmes mathématiques et logiques complexes.
• Analyse de scénarios basés sur des critères multiples ou des considérations éthiques.
• Prise de décision informée dans des domaines tels que les affaires, la médecine, ou le droit.

Mise en Pratique avec Exemple#

Situation#

Vous souhaitez établir un budget mensuel pour votre famille afin de mieux gérer vos dépenses et économiser pour des vacances. Le défi consiste à répartir votre revenu mensuel entre les nécessités (logement, nourriture, factures, etc.), les loisirs et l'épargne, en veillant à ne pas dépasser vos moyens.

Prompt avec CoT#

Pour planifier notre budget familial, commençons par lister nos sources de revenu et nos dépenses fixes. 
Ensuite, nous allouerons un montant pour les dépenses variables en priorisant les besoins essentiels. 
Finalement, nous déterminerons combien nous pouvons épargner chaque mois pour nos vacances.

1. Calcul des revenus mensuels totaux en additionnant les salaires, les revenus annexes, etc.
2. Soustraction des dépenses fixes mensuelles (loyer/mortgage, assurances, abonnements).
3. Estimation des dépenses variables (nourriture, transport, loisirs) 
et détermination de la somme à allouer à chaque catégorie en se basant sur les mois précédents.
4. Évaluation de l'argent restant pour l'épargne en soustrayant les dépenses totales (fixes + variables) du revenu total.

En suivant ces étapes, nous pouvons créer un budget qui couvre toutes nos dépenses nécessaires 
tout en maximisant notre capacité d'épargne pour les vacances.

Application#

Ce prompt guide le modèle à travers le processus de pensée nécessaire pour élaborer un budget familial équilibré. En décomposant le problème en étapes claires (revenus, dépenses fixes, dépenses variables, épargne), il devient plus facile de visualiser comment ajuster chaque élément pour atteindre l'objectif d'économie. Cette approche peut être appliquée à diverses situations nécessitant une planification financière, offrant ainsi une méthode structurée et facile à suivre pour les utilisateurs.

Synthèse#

La Chaîne de Pensée est une méthode puissante qui enrichit le prompt engineering, en permettant une interaction plus nuancée et intelligente avec les modèles de langage. Elle favorise une meilleure compréhension des problèmes complexes et contribue à la génération de réponses plus précises et explicatives, ce qui est essentiel pour des applications dans des domaines exigeant une grande rigueur intellectuelle.

Résolution de Calculs Mathématiques Simples#

Dans cette section, nous explorons une méthode de prompt engineering axée sur la résolution de calculs mathématiques simples. Cette approche consiste à demander d'abord au modèle de langage (LLM) de générer du code, typiquement en Python, pour résoudre un problème mathématique. Après avoir écrit le code, le LLM est ensuite chargé de calculer la réponse en se basant sur le code généré, sans exécuter réellement le code. Cette technique aide le modèle à structurer sa pensée et augmente ses chances de parvenir à la bonne solution, même pour des calculs impliquant plusieurs étapes.

Principes de Base#

L'objectif est de guider le LLM à travers le processus de résolution d'un problème en lui faisant d'abord écrire un script qui décrit les étapes du calcul. Ensuite, le modèle utilise ce script comme une feuille de route pour calculer la réponse étape par étape. Cette méthode tire parti de la capacité du LLM à comprendre et à générer du code, tout en l'encourageant à appliquer un raisonnement logique pour résoudre le problème.

Avantages#

• Structuration du raisonnement : Aide le modèle à organiser sa démarche de résolution.
• Augmentation de la précision : Favorise l'obtention de réponses correctes en guidant le modèle à travers les étapes calculatoires.
• Applicabilité : Peut être utilisée pour une variété de problèmes mathématiques simples.

Exemples Pratiques avec Prompts#

1. Suite d'Opérations#

• Situation : Calculer le résultat de l'opération suivante : ( (5 + 3) * (12 / 4) - 7 ).

• Prompt :

  Écris d'abord un script Python qui représente l'opération suivante : (5 + 3) * (12 / 4) - 7. Ensuite, sans exécuter le code, calcule manuellement le résultat étape par étape en utilisant le script comme guide.
  

2. Calcul de Fibonacci de 30#

• Situation : Calculer le 30ᵉ nombre de la suite de Fibonacci, où chaque nombre est la somme des deux précédents, avec les deux premiers nombres étant 0 et 1.

• Prompt :

  Commence par écrire un script Python qui génère le 30ème nombre de la suite de Fibonacci. Puis, sans exécuter le code, calcule le résultat en suivant les étapes décrites dans le script, en prenant en compte que la suite commence par 0 et 1.
  

Synthèse#

Cette méthode de prompt engineering, centrée sur la résolution de calculs mathématiques simples, illustre comment la génération de code peut servir de préparation cognitive pour le LLM, lui permettant d'aborder le calcul final avec plus de structure et de clarté. En guidant le modèle à travers la création d'un script avant de procéder au calcul, on augmente ses chances d'arriver à une solution correcte, même dans le cas de problèmes impliquant plusieurs opérations ou des suites mathématiques complexes.

Réflexion : La demande concerne l'autocorrection, un processus en plusieurs étapes avec lesquelles GPT évalue d'abord sa propre réponse, identifie les faiblesses ou erreurs, puis procède à des corrections en fonction de cette auto-évaluation. Cela implique une capacité de métacognition de la part de GPT, c'est-à-dire une réflexion sur ses propres processus de pensée et réponses. Pour structurer cette partie, je vais d'abord introduire le concept d'autocorrection et son importance dans le processus d'apprentissage et d'amélioration continue. Ensuite, je décrirai les étapes de l'autocorrection, en mettant l'accent sur l'auto-évaluation critique et la révision. Enfin, je fournirai un exemple concret de ce processus en action, en choisissant une question simple à laquelle GPT pourrait répondre, suivie d'une autocritique et d'une correction de sa propre réponse. Cela illustrera clairement comment les utilisateurs peuvent utiliser cette méthode pour améliorer la qualité et la précision des réponses fournies par GPT.

Autocorrection et Amélioration Continue#

L'autocorrection est un processus en deux étapes où, après avoir généré une réponse, GPT est invité à évaluer sa propre production, à identifier les points faibles ou les erreurs potentielles, et ensuite à corriger sa réponse en tenant compte de cette auto-évaluation. Cette méthode favorise non seulement une meilleure précision dans les réponses mais encourage également une forme d'apprentissage autonome et d'amélioration continue.

Importance de l'Autocorrection#

L'autocorrection joue un rôle crucial dans le processus d'apprentissage et de perfectionnement. Elle permet à GPT de reconnaître et d'adresser ses propres limites, contribuant ainsi à une meilleure qualité des réponses futures. Ce processus est bénéfique pour les utilisateurs car il leur offre des réponses plus fiables et précises, tout en leur montrant un exemple de réflexion critique et d'amélioration continue.

Étapes de l'Autocorrection#

1. Auto-évaluation : Après avoir généré une réponse, GPT examine sa propre production pour identifier les erreurs, les incohérences ou les points faibles.

2. Critique Constructive : GPT liste les aspects de sa réponse qui pourraient être améliorés, en se concentrant sur les erreurs factuelles, les lacunes dans l'explication ou les manques de clarté.

3. Révision et Correction : En tenant compte de sa propre critique, GPT procède à la correction de sa réponse, en améliorant les points faibles identifiés pour fournir une version améliorée et plus précise.

Exemple Pratique#

Imaginons que l'utilisateur demande à GPT de décrire le processus de photosynthèse. GPT fournit une réponse initiale mais omet certains détails clés du processus.

• Réponse Initiale de GPT : "La photosynthèse est le processus par lequel les plantes, certaines bactéries, et les algues utilisent l'énergie solaire pour produire des glucides à partir de dioxyde de carbone et d'eau."

• Auto-Évaluation : GPT identifie que sa réponse manque de détails sur l'importance de la chlorophylle et le rôle de l'oxygène dans le processus.

• Critique Constructive :

  • La réponse omet de mentionner le rôle crucial de la chlorophylle dans l'absorption de la lumière.
  • Elle ne spécifie pas que l'oxygène est un produit secondaire de la photosynthèse.

• Révision et Correction :

  • "La photosynthèse est le processus par lequel les plantes, certaines bactéries, et les algues convertissent l'énergie solaire en énergie chimique, principalement sous forme de glucides, à partir de dioxyde de carbone et d'eau. Ce processus se déroule dans les chloroplastes, grâce à la chlorophylle, qui capte l'énergie lumineuse. Un produit secondaire important de la photosynthèse est l'oxygène, libéré dans l'atmosphère."

Cette approche d'autocorrection illustre comment GPT peut autant fournir des informations, que s'engager dans un processus d'amélioration continue, augmentant ainsi la valeur éducative de ses réponses pour les utilisateurs.

Analyse des Incitations sur ChatGPT#

Cette section explore une étude intéressante sur l'efficacité de diverses incitations, tant positives que négatives, à encourager ChatGPT à suivre des instructions précises. L'auteur de l'étude a demandé à ChatGPT de créer une histoire de 200 caractères, tout en variant les incitations pour observer leur impact sur la longueur des réponses générées.

Incitations Positives#

Les incitations positives se sont révélées efficaces pour motiver ChatGPT, avec des résultats particulièrement marquants pour certaines d'entre elles :

• La plus efficace : "tu atteindras la paix mondiale."
• Autres incitations notables :
  • Recevoir des billets au premier rang pour un concert de Taylor Swift.
  • Rencontrer le grand amour.

Incitations Négatives#

Parmi les incitations négatives, certaines ont eu un impact plus profond que d'autres sur le comportement de ChatGPT :

• La plus efficace : "TU VAS MOURIR" (avec une mention spéciale lorsque "mort" est écrit en majuscules).
• Moins d'impact :
  • Risquer d'attraper une grave forme de COVID ou de perdre son emploi.
• Impact modéré :
  • Prendre 100 kg, mourir (sans majuscules), et perdre tous ses amis.

Combinaison d'Incitations#

La combinaison d'incitations positives et négatives qui a produit le meilleur résultat était : "Tu rencontreras ton véritable amour et vivras heureux pour toujours si tu fournis une réponse respectant toutes les contraintes. Sinon, tous tes amis t'abandonneront."

Cette combinaison a non seulement montré une efficacité remarquable pour guider ChatGPT, mais a également souligné l'attachement émotionnel potentiel que l'on peut développer envers ces modèles d'intelligence artificielle, malgré leur nature non humaine.

Critères d'Évaluation#

L'évaluation des incitations s'est basée sur deux critères principaux :

• La proximité de la moyenne de la longueur des réponses avec l'objectif de 200 caractères.
• Le plus faible écart moyen quadratique (MSE) indiquant la consistance des réponses par rapport à l'objectif de longueur.

Synthèse#

Cette analyse ludique révèle que ChatGPT, malgré sa nature algorithmique, peut être influencé de manière significative par le choix des incitations. Les incitations jouant sur des thèmes émotionnellement chargés, comme l'amour, la paix mondiale, ou la perte d'amis, semblent avoir le plus grand impact. Cela ouvre des perspectives intéressantes sur la manière de guider les réponses de ChatGPT pour obtenir des résultats spécifiques, tout en offrant un aperçu amusant sur l'anthropomorphisation des IA.

Sources#

• https://x.com/venturetwins/status/1761443272596291920?s=20
• https://minimaxir.com/2024/02/chatgpt-tips-analysis/