Tester les LLMs open source

Dans ce chapitre, nous allons explorer les outils permettant d'utiliser des modèles de langage à grande échelle (LLMs) de manière open source. L'un des outils les plus populaires dans ce domaine est LM Studio. Voyons en détail ce que LM Studio offre aux utilisateurs désireux d'explorer et d'utiliser des LLMs localement.

LM Studio#

LM Studio se présente comme une plateforme innovante permettant de découvrir, télécharger et exécuter localement divers LLMs. Cet outil offre une flexibilité remarquable en permettant l'exécution de plusieurs modèles de langage, tels que LLaMa, Falcon, MPT, Gemma, Replit et GPT-Neo-X, directement sur votre ordinateur portable, et ce, entièrement hors ligne.

Caractéristiques Principales#

• Exécution Locale des LLMs : Avec LM Studio, les utilisateurs peuvent faire fonctionner des LLMs sur leur propre matériel, garantissant ainsi une totale confidentialité des données traitées.

• Interface Chat et Serveur Local Compatible OpenAI : L'outil propose une interface de chat intégrée ainsi qu'un serveur local compatible avec les API d'OpenAI, offrant une expérience utilisateur intuitive et flexible.

• Accès aux Modèles de HuggingFace : LM Studio permet de télécharger n'importe quel fichier de modèle compatible depuis les dépôts de HuggingFace, élargissant considérablement les options disponibles pour les utilisateurs.

• Découverte de Nouveaux Modèles : La page d'accueil de l'application met en lumière de nouveaux modèles LLMs dignes d'intérêt, facilitant la découverte de technologies émergentes dans le domaine.

Configuration Requise#

Pour utiliser LM Studio, certaines exigences matérielles doivent être remplies :

• Compatibilité Matérielle : Nécessite un Mac équipé d'une puce Apple Silicon (M1/M2/M3) ou un PC Windows/Linux avec un processeur supportant AVX2.

• Recommandations : Il est conseillé de disposer d'au moins 16 Go de RAM et, pour les PC, plus de 6 Go de VRAM. Les GPU NVIDIA et AMD sont également pris en charge.

Confidentialité et Utilisation#

LM Studio se distingue par son engagement envers la protection de la vie privée. L'application ne collecte ni ne surveille les actions des utilisateurs, assurant que toutes les données restent privées et locales à l'appareil de l'utilisateur. LM Studio est gratuit pour un usage personnel, avec des options pour les utilisations commerciales sur demande.

Conclusion#

LM Studio représente une solution puissante et flexible pour les développeurs, chercheurs et amateurs désireux d'explorer le potentiel des LLMs dans un cadre local et sécurisé. Sa facilité d'utilisation, combinée à la richesse des modèles disponibles et à son engagement envers la confidentialité, en fait un outil incontournable pour quiconque souhaite expérimenter avec les LLMs open source.

Ollama#

Ollama est un outil conçu pour les développeurs, offrant une plateforme pour installer et exécuter localement des modèles de langage à grande échelle (LLMs) open source. Cet outil est une aubaine pour ceux qui cherchent à expérimenter avec des LLMs tout en gardant le contrôle total sur leurs données et leur environnement de travail. Avant de plonger dans les détails techniques d'Ollama, il est important de comprendre qu'une connaissance en programmation est essentielle pour utiliser cet outil efficacement. De plus, la communication avec Ollama se fait à travers une API, un concept qui sera expliqué plus en détail dans le chapitre suivant.

Modèles Supportés par Ollama#

Ollama supporte une variété de modèles de langage, chacun ayant des caractéristiques et des tailles spécifiques. Voici un tableau récapitulatif de certains modèles disponibles :

Modèle	Paramètres	Taille	Commande
Llama 2	7B	3.8GB	ollama run llama2
Mistral	7B	4.1GB	ollama run mistral
Dolphin Phi	2.7B	1.6GB	ollama run dolphin-phi
Phi-2	2.7B	1.7GB	ollama run phi
Neural Chat	7B	4.1GB	ollama run neural-chat
Starling	7B	4.1GB	ollama run starling-lm
Code Llama	7B	3.8GB	ollama run codellama
Llama 2 Uncensored	7B	3.8GB	ollama run llama2-uncensored
Llama 2 13B	13B	7.3GB	ollama run llama2:13b
Llama 2 70B	70B	39GB	ollama run llama2:70b
Orca Mini	3B	1.9GB	ollama run orca-mini
Vicuna	7B	3.8GB	ollama run vicuna
LLaVA	7B	4.5GB	ollama run llava
Gemma	2B	1.4GB	ollama run gemma:2b
Gemma	7B	4.8GB	ollama run gemma:7b

Il est recommandé de disposer d'au moins 8 Go de RAM pour exécuter les modèles de 7B, 16 Go pour les modèles de 13B, et 32 Go pour les modèles de 33B.

Fonctionnalités Clés d'Ollama#

• Installation Facile : Ollama offre des options d'installation pour macOS, Windows et Linux, rendant l'accès aux LLMs simple et rapide pour les développeurs sur différentes plateformes.

• Utilisation de Docker : Pour ceux qui préfèrent les conteneurs, Ollama fournit une image Docker officielle, facilitant l'isolation et la gestion des environnements de développement.

• Bibliothèques pour Python et JavaScript : Ollama étend sa compatibilité en proposant des bibliothèques pour Python et JavaScript, permettant ainsi une intégration facile dans des projets existants.

• Personnalisation des Modèles : Les utilisateurs peuvent personnaliser les modèles pour répondre à des besoins spécifiques, en ajustant des paramètres comme la température pour contrôler le niveau de créativité des réponses.

Conclusion#

Ollama se positionne comme un outil précieux pour les développeurs souhaitant explorer le monde des modèles de langage à grande échelle en toute autonomie. Bien que nécessitant des compétences en programmation, Ollama démocratise l'accès à ces technologies avancées, offrant une plateforme flexible et puissante pour l'expérimentation et le développement d'applications basées sur l'IA.

Limites des Outils Open Source pour LLMs#

L'utilisation d'outils tels que LM Studio et Ollama pour exécuter localement des modèles de langage à grande échelle (LLMs) offre de nombreux avantages, notamment en termes de confidentialité et de personnalisation. Cependant, ces avantages s'accompagnent de certaines limites importantes, principalement liées à la configuration matérielle nécessaire pour obtenir des performances optimales.

Exigences Matérielles Élevées#

Pour atteindre une vitesse de génération de token satisfaisante, une configuration matérielle de haute performance est indispensable. Les modèles de langage à grande échelle sont gourmands en ressources, en particulier en termes de puissance de calcul et de mémoire. Cela signifie que pour tirer le meilleur parti de ces outils, les utilisateurs doivent disposer d'un matériel informatique avancé.

Nécessité de Cartes Graphiques ou Spécialisées#

L'un des composants clés pour améliorer les performances lors de l'utilisation de LLMs est la carte graphique (GPU). Les GPU sont particulièrement adaptés aux calculs parallèles requis par les algorithmes d'intelligence artificielle, y compris les LLMs. Cependant, l'acquisition de cartes graphiques ou de cartes spécialisées pour l'IA peut représenter un investissement considérable. Les modèles haut de gamme tels que la RTX 3090 (de 600 à 900€ d’occasion) ou la RTX 4090 (2000€ neuve), qui offrent jusqu'à 24 Go de VRAM, sont particulièrement prisés pour leur capacité à gérer les exigences des LLMs. Bien que l'achat d'occasion puisse offrir un meilleur rapport qualité-prix, ces cartes restent onéreuses.

Les mac de Apple sont aussi des options intéressantes. Leur architecture particulière leur permet de partager la mémoire entre le processeur, la carte graphique et les circuits spécialisés pour l’intelligence artificielle. La puissance de traitement reste moins élevée, au prix d’une consommation grandement réduite.

Ce graphique, fourni par Apple, ne représente pas la réalité au niveau des performances réelles de leurs puces face à la concurrence.

Limitations sur le Nombre de Cartes par Ordinateur#

Bien qu'il soit possible d'installer deux de ces cartes graphiques puissantes dans un seul ordinateur, aller au-delà de cette limite nécessite de passer à du matériel de serveur, qui n'est pas destiné au grand public. Cela implique non seulement un coût supplémentaire, mais aussi une complexité accrue en termes de configuration et de maintenance.

Conclusion#

Alors que les outils open source pour les LLMs ouvrent des possibilités fascinantes pour les développeurs et les chercheurs, il est crucial de prendre en considération les limites matérielles associées. La nécessité d'une configuration matérielle avancée et le coût élevé des composants requis peuvent constituer des obstacles pour ceux qui souhaitent explorer pleinement le potentiel des LLMs. Il est donc important de bien évaluer ces facteurs avant de s'engager dans l'utilisation de ces outils pour des projets de développement ou de recherche.