Im ersten Blog dieser Serie haben wir die Herausforderungen des Trainings von LLMs behandelt. Im vorherigen Blog wurden die LLM-Nutzungsmodelle für Unternehmen untersucht, die in KI investieren (Makers, Takers, Shapers und RAG). In diesem Blog werden die Bereitstellungsmodelle für Ihre KI-Anwendungen und die Kostenüberlegungen für jede Anwendung erläutert.
Die Einführung von KI führt zu einem starken Anstieg des Wachstums von und der Investitionen in KI-Datencenter. Auch wenn sie früher fast ausschließlich von Cloud-Anbietern in die Enge getrieben wurden, erweitern Unternehmen nun ihre KI-Datencenter um private Datencenter, um mehr Kontrolle über ihre KI-Workloads und -Anwendungen zu erhalten.
So maximieren Sie Ihre Investition in KI-Datencenter
Laut IDC werden die Unternehmensinvestitionen in KI-Datencenter bis 2027 auf 1 Mrd. USD steigen, wobei die CAGR 158 % beträgt. Während das Wachstum beim Wechsel von Cloud-Anbietern im selben Zeitraum voraussichtlich mit einer starken CAGR von 91,5 % anhalten wird, beabsichtigen einige Unternehmen, einen Teil ihrer Trainings abzuwickeln und Workloads in private Datencenter abzuleiten, um auf eine Hybrid-Cloud-Strategie umzusteigen.
Die meisten Unternehmen haben erkannt, dass sie ihre eigenen Unternehmensdaten in den Modellen verwenden müssen, um mit generativer KI (GenAI) aussagekräftige Ergebnisse zu erzielen. Die digitale Transformation über KI ist nicht so einfach wie die Forderung, dass Mitarbeitende öffentliche LLMs für ihre Arbeit verwenden.
Aufbauen im Vergleich zu Kaufen: Das ist hier die Frage
Die Entscheidung, ob Sie eigene private Datencenter aufbauen, KI-Services von Public-Cloud-Anbietern kaufen oder ein kombiniertes Hybrid-Cloud-Modell verwenden möchten, lässt sich auf einige wichtige Überlegungen herunterbrechen:
- Datensensibilität: Haben Sie es mit sensiblen oder proprietären Daten zu tun, die lokal in einer privaten Cloud verbleiben müssen, oder unterliegen diese Datenschutzbestimmungen, da Daten auf geografische Grenzen beschränkt sind? Für Anwendungsfälle in den Bereichen Technik, Finanzen, Behörden und Medizin ist es wahrscheinlicher, dass private Datencenter zum Schutz geistigen Eigentums oder zur Vermeidung von Unsicherheiten bei Rechtsstreitigkeiten erforderlich sind.
- Fachwissen: Wie umfangreich sind Ihre internen Fachkenntnisse in den Bereichen Data Science oder Unternehmensnetzwerke? Wenn Sie über das entsprechende Personal verfügen, ist die Bereitstellung privater Datencenter eine gute Option. Andernfalls muss Fachwissen entwickelt oder ausgelagert werden.
- Geografie: Verfügen Sie an den gewünschten Standorten über ausreichende Facilitys, um Ihre Datencenter-Anforderungen zu erfüllen? Mit einer Leistung von 700 W pro GPU können große Trainings-Cluster kostspielige Upgrades bei der Stromversorgung bestehender Einrichtungen erfordern. Alternativ können Unternehmen ihre KI-Cluster auf mehrere Datencenter-Standorte verteilen, um innerhalb des Strombudgets zu bleiben. Durch die Inferenz-Performance, einschließlich RAG, können KI-Datencenter noch weiter an den Edge herangetrieben werden, wo kleine KI-Cluster physisch näher an den Benutzern liegen. Zum Beispiel IoT-Anwendungen, die direkt in der Fertigung bereitgestellt werden. Eine hybride Architektur ermöglicht es Unternehmen, dort zu bauen, wo sie können, und dort zu kaufen, wo sie müssen, um KI-Funktionen für Trainings, Inferenz und RAG an optimierten Standorten unterzubringen.
- Markteinführungszeit: Wie hoch ist der Druck in Bezug auf die Markteinführungszeit? Wenn es sofort geschieht, verkürzen Services in öffentlichen Clouds die Markteinführungszeit und bieten wertvolle Zeit für die richtige Planung Ihrer privaten Datencenter-Bereitstellungen. Und wo befinden Sie sich auf Ihrem Weg zur KI-Transformation? Sind Sie am Anfang und müssen noch viel experimentieren, um zu sehen, was für Ihr Unternehmen funktioniert? Wenn ja, dann entscheiden Sie sich für die öffentliche Cloud. Wenn Sie sich jedoch für KI entscheiden und einen Plan für die Nutzung in verschiedenen Bereichen Ihres Unternehmens haben, wird in der Regel aufgrund der wirtschaftlichen Vorteile eine Investition in eine private Cloud-Infrastruktur vorgenommen.
Unternehmensstrategie: Wie viele andere Projekte zur Cloud-Transformation beginnen KI-Initiativen oft auf Abteilungsebene und schaffen Inseln von KI-Clustern, um bestimmte Kunden- oder betriebliche Herausforderungen zu lösen. Wenn Unternehmen übergreifende Unternehmensstrategien mit einheitlicheren und gemeinsam genutzten KI-Infrastrukturen entwickeln, können die Kosten für KI-Investitionen effizienter amortisiert werden, sodass KI-Investitionen für private Datencenter in bestehende Unternehmensbudgets passen.
Anfänglich war die öffentliche Cloud die einzige Alternative für Innovatoren und die ersten Nutzer von KI-Technologie. Während die öffentliche Cloud ein wichtiger Teil der meisten KI-Strategien bleibt, werden private Datencenter und Hybrid-Cloud-Architekturen aufgrund von Bedenken hinsichtlich Datensicherheit und -Kosten mehr zum Mainstream. Auf der jüngsten virtuellen Veranstaltung von Juniper, Seize the AI Moment, diskutierten Kunden, Partner und Branchenexperten ihre eigenen Anwendungsfälle und Strategien für Hybrid-Cloud, darunter Datensicherheitsaspekte für ein Finanzinstitut und die Strategie, Hybrid-Clouds einzusetzen, um Kosten und Performance in Einklang zu bringen.
Kosten: Maximierung des ROI in einer teuren KI-Welt
Unabhängig vom Bereitstellungsmodell dürfte es niemanden überraschen, dass die Bereitstellung von KI teuer ist. Die Kosten von KI werden anhand von Budget, Fachwissen und Zeit kalkuliert, wobei es sich bei allen Gebrauchsgütern um knappe Ressourcen handelt. Während Fachwissen und Zeit variable Kosten sind, die pro Unternehmen einzigartig sind, sind die harten Investitionen in KI marktorientiert und nur durch das zugewiesene Budget eingeschränkt.
Bei etwa 400.000 USD pro GPU-Server können allein die Infrastrukturkosten für ein kleines KI-Datencenter Millionen von Dollar betragen. Etwas könnte jedoch für eine Entlastung sorgen. KI-Frameworks wie PyTorch 2.0 haben die engmaschige Integration in und Abhängigkeit von NVIDIA-Chipsätzen beseitigt. Dies ermöglicht die Nutzung wettbewerbsfähiger GPU-Angebote von Intel, AMD und anderen Anbietern, um die Marktdynamik aufzurütteln und die Kosten zu normalisieren.
Auf der derzeitigen Ebene ist leicht davon auszugehen, dass der Kaufvon KI-Services eines öffentlichen Cloud-Anbieters kostengünstiger wäre als der Aufbau eines privaten KI-Datencenters. Eine kürzlich von ACG Research durchgeführte Analyse der Gesamtbetriebskosten (TCO) zeigt jedoch etwas anderes. Beim Vergleich der Gesamtbetriebskosten eines privaten KI-Datencenters über drei Jahre mit denen eines vergleichbaren, in der öffentlichen Cloud gehosteten KI-Services stellte ACG fest, dass das Modell des privaten Datencenters eine Einsparung von 46 % der Gesamtbetriebskosten aufweist, vor allem aufgrund der hohen wiederkehrenden Kosten, die mit öffentlichen Cloud-Services verbunden sind.
Im ACG-Bericht wurden die Kosten für den Aufbau eines KI-Datencenters weiter analysiert und die Kosten für InfiniBand-Netzwerke mit denen für Ethernet verglichen. In den Ergebnissen verdeutlicht ACG, dass die Implementierung von Juniper Ethernet mit ROCE v2 und Juniper Apstra zu 55 % Einsparungen bei den Gesamtausgaben führt, darunter 56 % Betriebsausgaben und 55 % Kapitalkosten in den ersten drei Jahren im Vergleich zu InfiniBand-Netzwerken.
Das Ergebnis ist, dass der Aufbau von KI-Datencentern eine kostengünstige Option ist, um die Vorteile der öffentlichen Cloud auszugleichen, und dass der Aufbau von Ethernet-basierten KI-Fabrics die harten Kosten weiter senkt, indem vorhandene interne Fachkenntnisse für schnelle Bereitstellungen genutzt werden können.
Simplifizierung privater Unternehmen und hybrider KI-Bereitstellungen
Anwendungsanforderungen, Bereitstellungsmodelle und Kosten spielen bei der Investition in private oder Hybrid-Cloud-Modelle eine große Rolle. Aber Unternehmen müssen das nicht allein tun. KI ist in den meisten Unternehmen neu, und KI-Infrastruktur geht mit komplexen Herausforderungen einher, aber es ist keine Zauberei – ein Großteil Ihres aktuellen Wissens über Datencenter-Netzwerke gilt weiterhin. Juniper hat in KI-Technologie investiert, um Innovationen voranzutreiben und gleichzeitig den Weg zur KI simplifiziert. Mithilfe einer Architektur verschiedener Anbieter von GPU-Computing, fortschrittlichen Speicherplattformen sowie Rail-optimierten Juniper Ethernet-Fabrics von Switches der QFX-Serie, Routern der PTX-Serie und Netzwerkautomatisierung von Juniper Apstra steht das Ops4AI Lab Unternehmen offen, um vor der Implementierung benutzerdefinierte KI-Cluster-Designs zu testen. Mit Open Source und BYOM (Bring Your Own Models) hilft das „AI Innovation Lab“ Kunden dabei, Unsicherheiten zu beseitigen.
Ops4AI Lab von Juniper und Sie
Das Ops4AI Lab von Juniper ist auch die Engine, die unsere Pipeline für Validierte Designs von Juniper (JVD) für vorvalidierte, herstellerübergreifende KI-Datencenter vorantreibt. Mithilfe von JVDs können Unternehmen unterstützte Computing- und Speicherinfrastrukturen mit den fortschrittlichen KI-Datencenter-Designs von Juniper kombinieren, um Rätselraten zu vermeiden und das oft komplexe Design und die Bereitstellung zu simplifizieren.
Mithilfe der Netzwerkautomatisierung von Juniper Apstra können Unternehmen Blueprints für benutzerdefinierte Bereitstellungen entwerfen oder den Terraform-Anbieter von Juniper nutzen, um von GitLab gehostete KI-Blueprints für Back-End-Computing, Back-End-Speicher und Front-End-Management herunterzuladen.
Weitere Informationen zu Ops4AI Lab von Juniper, Anwendungsszenarien für KI-Kunden und unserem Ökosystem von KI-Partnern, darunter NVIDIA, AMD, WEKA, Intel, erhalten Sie in der Aufzeichnung von „Seize the AI Moment“, dem virtuellen KI-Event von Juniper, oder folgen Sie diesem Link zu unserer Startseite für KI-Datencenter.
