Dans le premier article de cette série, nous avons abordé les difficultés associées à l’entraînement de LLM. Le deuxième article s’est concentré sur les modèles de consommation des LLM pour les entreprises qui investissent dans l’IA (Makers, Takers, Shapers et RAG). Dans ce dernier article, nous allons passer en revue les modèles de déploiement disponibles pour vos applications d’IA et évaluer les coûts associés à chacun d’entre eux.
L’adoption de l’IA stimule sensiblement la croissance des datacenters IA et encourage les investissements dans ce domaine. Autrefois étouffés par les fournisseurs de clouds, les entreprises peuvent aujourd’hui reprendre le contrôle de leurs charges de travail et applications IA en s’ouvrant aux datacenters IA privés.
Rentabiliser au mieux votre investissement dans un datacenter IA
Selon IDC, les montants investis par les entreprises dans le matériel de commutation des datacenters IA devraient atteindre 1 milliard de dollars d’ici 2027, avec un taux de croissance annuel composé de 158 %. Alors que les mêmes dépenses des fournisseurs de clouds devraient continuer d’afficher un TCAC élevé de 91,5 % au cours de la même période, certaines entreprises cherchent à injecter une partie de leurs charges de travail d’entraînement et d’inférence dans des datacenters privés dans la logique d’une stratégie de cloud hybride.
La plupart des entreprises ont compris que pour obtenir de la GenAI les meilleurs résultats, elles devaient alimenter les modèles avec leurs propres données. La transformation numérique axée sur l’IA ne revient pas simplement à obliger les employés à utiliser des LLM publics au travail.
La grande question : construire ou acheter ?
Faut-il construire vos propres datacenters privés, acheter des services d’IA à des fournisseurs de cloud public ou utiliser un modèle mixte de cloud hybride ? Pour répondre à cette question, certaines considérations sont essentielles :
- Sensibilité des données: gérez-vous des données sensibles ou propriétaires à conserver localement dans un cloud privé ou des données soumises à des règles de souveraineté avec des exigences géographiques ? Les cas d’usage des secteurs technologique, financier, gouvernemental et médical sont plus susceptibles d’avoir à recourir à des datacenters privés afin de protéger la propriété intellectuelle ou d’éviter les incertitudes liées à d’éventuels litiges.
- Expertise: quelle est votre expertise interne en matière de science des données ou de mise en réseau ? Si vous avez le personnel nécessaire, le déploiement de datacenters privés constitue une option intéressante. Dans le cas contraire, vous devez songer à développer une expertise ou à externaliser.
- Géographie: vos sites sont-ils capables de répondre à vos besoins de datacenter ? Avec une consommation de 700 W par processeur graphique (GPU), les grands clusters d’entraînement peuvent nécessiter des mises à niveau coûteuses pour alimenter correctement les sites existants. Mais pour maîtriser leur budget énergétique, les entreprises peuvent aussi choisir de répartir leurs clusters d’IA entre plusieurs datacenters. Pour maximiser les performances d’inférence, RAG comprise, les datacenters IA risquent de se rapprocher encore plus de la périphérie, avec de petits clusters d’IA physiquement plus proches des utilisateurs (par exemple, les applications IoT déployées dans un atelier de production). Une architecture hybride permet aux entreprises de développer ce qui est à leur portée et d’acheter les ressources dont elles ont besoin de manière à placer les différentes fonctions d’IA (entraînement, inférence et RAG) à des emplacements optimisés.
- Délai de mise sur le marché: êtes-vous soumis à des délais stricts ? Si vous avez un besoin immédiat, les services de cloud public vous aideront à réduire vos délais de mise sur le marché et à vous dégager du temps pour planifier soigneusement le déploiement de vos datacenters privés. Où en êtes-vous dans votre parcours de transformation IA ? Si vous en êtes encore aux premières phases et que vous avez encore besoin d’une longue période d’expérimentation pour évaluer ce qui fonctionne ou non pour votre entreprise, optez simplement pour un cloud public. Si, en revanche, vous êtes déjà pleinement investi dans l’IA et que vous avez défini un plan pour l’utiliser dans différents aspects de votre activité, une simple analyse économique vous orientera généralement vers un investissement dans une infrastructure de cloud privé.
Stratégie d’entreprise Comme bon nombre de projets de transformation cloud, les initiatives d’IA naissent souvent au sein de services d’entreprises divers, créant des îlots de clusters d’IA conçus pour résoudre des problèmes clients ou opérationnels spécifiques. À mesure que les entreprises élaborent des stratégies globales avec des architectures d’IA plus unifiées et partagées, elles peuvent amortir plus efficacement leurs dépenses d’investissement dans l’IA et trouver des fonds pour des datacenters privés.
À l’origine, le cloud public était la seule alternative qui s’offrait aux pionniers des technologies d’IA. Alors que le cloud public demeure encore au centre de la plupart des stratégies d’IA, les inquiétudes autour de la sécurité des données et du coût financier encouragent à recourir plus massivement aux datacenters privés et aux architectures de cloud hybride. À l’occasion de son récent événement virtuel, Seize the AI Moment, Juniper a convié des clients, des partenaires et des experts du secteur à présenter leurs stratégies de cloud hybride pour obtenir le meilleur rapport coûts/performances et leurs cas d’usage, y compris la sécurisation des données dans les institutions financières.
Coûts : maximiser le ROI dans un secteur de l’IA coûteux
Quel que soit le modèle de déploiement retenu, l’aspect dispendieux du déploiement de l’IA n’est un secret pour personne. Le coût de l’IA se mesure en termes de budget, d’expertise et de temps, qui sont autant de ressources pour le moins limitées. Si l’expertise et le temps représentent des coûts variables propres à chaque entreprise, l’étendue des investissements dans l’IA est influencée par le marché et limitée uniquement par le budget alloué.
Quand on sait qu’un serveur GPU coûte environ 400 000 $, les coûts d’infrastructure d’un modeste datacenter IA peuvent à eux seuls grimper pour atteindre plusieurs millions de dollars. Mais une lueur d’espoir se profile à l’horizon. Avec des frameworks d’IA comme PyTorch 2.0, l’étroite intégration et la dépendance aux chipsets NVIDIA laisse place aux offres de processeurs graphiques de concurrents comme Intel, AMD et d’autres, redynamisant le marché et normalisant les coûts.
On serait tenté de penser qu’acheter des services d’IA auprès d’un fournisseur de cloud public serait plus économique que créer un datacenter IA privé. Mais ce mythe est démenti par une récente analyse du coût total de possession (TCO) réalisée par ACG Research. En comparant le TCO sur trois ans d’un datacenter IA privé à celui d’un service d’IA comparable hébergé par un cloud public, ACG a constaté que le modèle de datacenter privé permettait de réaliser 46 % d’économies sur le TCO, un résultat qui s’explique par les coûts récurrents élevés associés à des services de cloud public.
Dans son rapport, ACG a également analysé de manière plus approfondie le coût lié à la construction d’un datacenter IA, en comparant les coûts des réseaux InfiniBand à ceux des réseaux Ethernet. ACG en a conclu que déployer des commutateurs Ethernet Juniper avec RoCE v2 et Juniper Apstra permettait de réduire le TCO de 55 %, avec une économie de 56 % sur les OpEx et de 55 % sur les CapEx au cours des trois premières années, comparativement à des réseaux InfiniBand.
Il en ressort donc que, face aux coûts élevés du cloud public, construire son propre datacenter IA constitue une alternative économique. De plus, les fabrics d’IA sur Ethernet allègent encore la facture, car vous pouvez les déployer rapidement avec des équipes internes.
Simplifier les déploiements de cloud privé et hybride pour les entreprises
Au moment de choisir entre le cloud privé et le cloud hybride, trois critères méritent de l’attention : les besoins applicatifs, les modèles de déploiement et les coûts. Mais rien n’oblige les entreprises à faire cavalier seul. L’IA est encore une nouveauté pour la plupart des entreprises, et l’infrastructure d’IA soulève des défis complexes. Mais il n’y a là rien de bien sorcier : vous pouvez mettre à profit une grande partie de vos connaissances actuelles en matière de mise en réseau de datacenter. Juniper a investi dans la technologie d’IA pour stimuler l’innovation tout en simplifiant la transition vers l’IA. Pour les entreprises qui souhaitent confirmer la validité de leur propre conception de cluster IA avant de la déployer, Juniper propose l’Ops4AI Lab et son architecture multifournisseur de calcul GPU, de plateformes de stockage avancées et de fabrics Ethernet « rail-optimized » Juniper, composées de commutateurs QFX Series, de routeurs PTX Series et du logiciel d’automatisation réseau Juniper Apstra. L’AI Innovation Lab utilise des modèles open source et BYOM (Bring Your Own Models) pour aider les clients à ne laisser aucune place à l’incertitude.
L’Ops4AI Lab et vous
Juniper utilise aussi l’Ops4AI Lab dans sa pipeline de conceptions validées Juniper (JVD) pour prévalider les datacenters IA multifournisseurs. Pour rationnaliser et simplifier au maximum les déploiements souvent complexes, les JVD offrent des conceptions de datacenters IA avancés laissant les entreprises choisir entre diverses infrastructures de calcul et de stockage compatibles.
Avec la solution d’automatisation réseau Juniper Apstra, les entreprises peuvent concevoir leurs propres blueprints de déploiement personnalisé ou utiliser l’outil Juniper Terraform pour télécharger des blueprints IA de calcul back-end, de stockage back-end et de gestion front-end hébergés sur GitLab.
Pour en savoir plus sur l’Ops4AI Lab de Juniper, connaître les cas d’usage de l’IA chez nos clients et découvrir notre écosystème de partenaires IA (NVIDIA, AMD, WEKA, Intel et bien d’autres), écoutez le replay de Seize the AI Moment, l’événement virtuel de Juniper dédié à l’IA, ou suivez ce lien pour accéder à notre page Web consacrée aux datacenters IA.
