Aller au contenu
Chat GPT et ses amis

Outils

Outils pour LLM

Dans ce chapitre, nous abordons les divers outils que l'on peut intégrer à un modèle de langage à grande échelle (LLM) tel que GPT, afin d'élargir ses capacités de réponse et d'interaction. Notre objectif est de clarifier comment ces outils peuvent être utilisés par le LLM pour fournir des réponses plus précises et contextuelles aux requêtes des utilisateurs.

Principe de fonctionnement

Fonctionnement général

Les LLM, malgré leur capacité remarquable à générer du texte basé sur d'énormes volumes de données, ne possèdent pas une connaissance universelle. Pour compenser certaines de leurs lacunes, notamment en termes d'informations à jour ou spécifiques, il est possible de les équiper d'outils externes. Ces outils peuvent être sollicités par le LLM lorsqu'il identifie le besoin d'informations complémentaires pour répondre à une question.

Interaction avec les outils

Lorsqu'une question posée nécessite des informations externes, le LLM détermine quel outil est nécessaire pour obtenir ces informations. Il produit alors une requête structurée avec les paramètres nécessaires à l'outil. Les développeurs reçoivent cette requête, extraient les données requises et les rendent disponibles au LLM, qui les intègre dans sa réponse.

Exemple Pratique : Outil Météo

Considérons l'exemple de l'outil météo. Si un utilisateur interroge sur la météo à Wavre, en Belgique, le LLM reconnaît qu'il a besoin de données météorologiques externes pour formuler une réponse. Il initie une requête spécifiant l'outil "météo" et la localisation "Wavre, Belgique". Les développeurs récupèrent ces informations et les transmettent au LLM, qui les utilise pour élaborer une réponse informative et adaptée.

Types d'outils disponibles

Recherche sur Internet

Cet outil permet au LLM de réaliser des recherches sur Internet pour répondre à des questions demandant des informations récentes ou spécifiques, non incluses dans sa base de données d'entraînement.

Recherche profonde (Deep Research)

Recherche dans des Documents

Pour des questions nécessitant l'analyse de documents spécifiques, cet outil autorise le LLM à fouiller dans un ensemble défini de documents ou de bases de données.

https://medium.com/@machangsha/foundation-model-101-dumb-down-retrieval-augmented-generation-rag-2f9e0521d9f3

Génération d'Images

Cet outil habilite le LLM à créer des images à partir de descriptions textuelles, enrichissant ses réponses avec du contenu visuel pertinent.

Environnement d'Exécution de Code

Pour les questions exigeant l'exécution de code, cet outil met à disposition un environnement sécurisé où le code peut être exécuté et les résultats intégrés dans la réponse du LLM.

Reconnaissance d'Image

Cet outil permet au LLM d'analyser et d'interpréter le contenu d'images, offrant ainsi la possibilité de répondre à des questions basées sur des éléments visuels.

Conclusion

L'intégration d'outils externes aux LLM ouvre de nouvelles perspectives pour enrichir et préciser les réponses fournies. En saisissant le mode de fonctionnement de cette intégration et en explorant les différents outils disponibles, les développeurs peuvent maximiser les potentialités des LLM tout en contournant certaines de leurs restrictions.

Exercices pratiques d'utilisation des outils d'IA intégrés

Exercice 1 : Recherche rapide d'informations

  • Utilisez l'outil de recherche Web intégré pour identifier la date et le lieu du prochain concert en Belgique d'un artiste populaire de votre choix (ex : Billie Eilish, Metallica, Angèle).
  • Vérifiez la véracité des citations suivantes :
    1. « La vie, c'est comme une bicyclette, il faut avancer pour ne pas perdre l'équilibre. » – Albert Einstein
    2. « Soyez le changement que vous voulez voir dans le monde. » – Gandhi
    3. « Un ordinateur ne peut jamais surpasser l'intelligence humaine. » – Steve Jobs
    4. « Celui qui maîtrise l'IA, maîtrise le futur. » – Nikola Tesla
    5. « Internet n'est qu'une mode passagère. » – Bill Gates
    6. « Le bonheur se mesure par les likes sur les réseaux sociaux. » – Barack Obama
  • Après avoir utilisé l'outil de recherche simple, vérifiez à nouveau ces citations en utilisant l'outil Deepresearch. Comparez et expliquez les différences éventuelles entre les résultats obtenus.

Exercice 2 : Recherche approfondie avec Deepresearch

Choisissez l'un des sujets suivants et réalisez un rapport détaillé en utilisant l'outil Deepresearch :

  • Comparez les meilleures croquettes disponibles pour chats ou chiens en Belgique en analysant leurs avantages et inconvénients.
  • Identifiez les tendances actuelles du marché des voitures électriques en Belgique, en incluant des données récentes et des prévisions.
  • Réalisez un guide détaillé indiquant où et comment trouver des fossiles de dinosaures en Belgique. L'objectif est de trouver ces fossiles directement dans la nature, idéalement sans effectuer de fouilles profondes.

Exercice 3 : Transcription et restructuration automatique de notes manuscrites

  • Prenez des notes manuscrites lors d'une conférence ou d'un cours sur l'intelligence artificielle.
  • Photographiez clairement vos notes.
  • Utilisez une IA pour :
    • Transcrire fidèlement ces notes manuscrites.
    • Restructurer et formater les notes avec des titres, sous-titres, listes à puces et une mise en page claire et professionnelle.

Exercice 4 : Exécution automatique de code Python

  • Téléchargez le fichier Excel fourni en lien.

  • Donnez le document à l’IA, puis demandez-lui de générer et exécuter du code permettant :

    • De calculer automatiquement la moyenne d'âge à partir des données.

    • De réaliser une analyse de segmentation (clustering) pour identifier des groupes distincts dans les données.

  • Vérifiez le bon fonctionnement du script et demandez à l'IA d'analyser les résultats obtenus, d'en tirer des conclusions pertinentes, et de proposer d'autres analyses complémentaires possibles.

Exercice 5 : Transformation de données Excel en graphiques

  • Utilisez le même fichier Excel fourni en lien que pour l'exercice 4.

  • Demandez à l'IA de générer automatiquement des graphiques pertinents tels que :

    • La consommation mensuelle de tacos en fonction de l'âge.

    • La consommation de tacos selon la catégorie professionnelle ou la ville.

    • De réaliser une matrice de corrélation pour identifier les relations entre différentes variables.

    • D'effectuer des régressions linéaires.

  • Demandez à l'IA d'interpréter les graphiques obtenus, de tirer des conclusions, et de suggérer d'autres visualisations utiles pour approfondir l'analyse.

Exercice 6 : Résumer et extraire des informations clés de documents PDF

  • Utilisez obligatoirement les deux documents PDF suivants : « Attention Is All You Need » et le papier original du Bitcoin.
  • Demandez à l'IA :
    • De réaliser un résumé accessible pour une personne sans connaissance préalable du sujet.
    • D’extraire et classer les informations clés selon leur importance ou leur impact potentiel.