Aucune compétence en codage, application propriétaire ou matériel Nvidia requis
Prospectif : Alors que les grandes entreprises technologiques développent des services d’IA basés sur serveur exclusivement dans le cloud, les utilisateurs sont de plus en plus intéressés par les interactions chatbot sur leur propre PC local. AMD affirme qu’il existe une application pour cela, et qu’elle peut même fonctionner avec des GPU tiers ou des accélérateurs d’IA.
Les services d’IA les plus populaires disponibles aujourd’hui fonctionnent presque exclusivement sur du matériel Nvidia puissant et obligent les clients à utiliser une connexion Internet. AMD tente de promouvoir une approche alternative de l’expérience chatbot basée sur LM Studio, un outil conçu pour télécharger et exécuter des modèles en grand langage (LLM) dans un environnement local.
Le blog officiel d’AMD souligne à quel point les assistants IA deviennent des ressources essentielles pour la productivité ou simplement pour réfléchir à de nouvelles idées. Avec LM Studio, les personnes intéressées à essayer ces nouveaux outils d’IA peuvent facilement découvrir, télécharger et exécuter des LLM locaux sans avoir besoin de configurations complexes, de connaissances en programmation appropriées ou d’infrastructure au niveau du centre de données.
AMD fournit des instructions détaillées pour télécharger et exécuter la version correcte de LM Studio en fonction du matériel et du système d’exploitation de l’utilisateur, notamment Linux, Windows ou macOS. Le programme peut apparemment fonctionner uniquement sur les processeurs Ryzen, même si la configuration matérielle minimale requise inclut un processeur avec prise en charge native des instructions AVX2. Le système doit disposer d’au moins 16 Go de DRAM et le GPU doit être équipé d’un minimum de 6 Go de VRAM.
Il est conseillé aux propriétaires de GPU Radeon RX 7000 d’obtenir l’aperçu technique ROCm de LM Studio. ROCm est la nouvelle pile logicielle open source d’AMD permettant d’optimiser les LLM et autres charges de travail d’IA sur le matériel GPU de l’entreprise. Après avoir installé la bonne version de LM Studio, les utilisateurs peuvent rechercher un modèle LLM à télécharger et à exécuter sur leur PC local. AMD suggère Mistral 7b ou LLAMA v2 7b, qui peuvent être trouvés respectivement en recherchant « TheBloke/OpenHermes-2.5-Mistral-7B-GGUF » ou « TheBloke/Llama-2-7B-Chat-GGUF ».
Une fois LM Studio et certains modèles LLM correctement installés, les utilisateurs doivent sélectionner le bon modèle de quantification. Q4 KM est recommandé pour la plupart des puces Ryzen AI. Les propriétaires de GPU Radeon doivent également activer l’option « GPU Offload » dans l’application, sinon le modèle LLM choisi fonctionnera probablement (très lentement) sur la seule puissance de calcul du CPU.
En promouvant LM Studio en tant qu’outil tiers pour exécuter des LLM locaux, AMD tente de combler l’écart avec Nvidia et sa solution Chat with RTX récemment annoncée. L’application propriétaire de Nvidia fonctionne exclusivement sur le matériel GPU GeForce RTX 30 ou 40, tandis que LM Studio propose une approche plus agnostique en prenant en charge à la fois les GPU AMD et Nvidia ou même les processeurs PC génériques les plus modernes équipés d’AVX2.
