Een dataplatform voor AI bouwen: Uitdagingen, kansen en Hype

Het bouwen van een dataplatform voor AI is zowel opwindend als uitdagend. De vraag naar data stijgt, er komen voortdurend nieuwe modellen en AI-architecturen evolueren met razendsnelle snelheid. Met de snelle opkomst van LLM’s en generatieve AI versnelt innovatie nog verder. Het is een spannend maar intens moment, en hoewel we nog in de beginfase van AI zitten, zullen de behoeften van vandaag blijven evolueren naarmate de technologie volwassen wordt.

De huidige markt voor AI-dataplatformen lijkt op de begindagen van flashopslag, waar ruwe prestaties alles waren. Veel nieuwkomers hebben hun producten als een “sleepracer” gericht, waarbij prioriteit wordt gegeven aan snelheid boven de architecturale en platformcomponenten die duurzame groei mogelijk maken. Nu zien we echter AIAIarchitecturen overgaan van dragracers naar F1-auto’s met een maniacale focus op consistente prestaties in diverse workloads en een nauwkeurige afhandeling van complexe eisen met precisie en balans. 

Hoewel er niet één formule voor succes is, is één ding duidelijk: Net zoals F1-auto’s niet zijn gebouwd voor lineaire snelheid, maar domineren door precisie-engineering, vereisen AI-dataplatforms innovatie over de gehele opslagstack. Succes zal hier afhangen van een zeer innovatieve en mede-ontwikkelde aanpak voor zowel hardware als software, wat resulteert in een naadloze, consistente en betrouwbare oplossing die “as-a-service” op de markt in het algemeen wordt geleverd.

Bij Pure Storage ondersteunen we honderden AI-klanten in verschillende stadia van hun innovatietrajecten, waaronder enkele van de grootste AI-omgevingen die bestaan. Door onze samenwerking met deze klanten hebben we essentiële vereisten geïdentificeerd die ze allemaal delen:

• Flexibiliteit en het vermogen om te evolueren naarmate de vereisten veranderen: AI evolueert snel en het laatste wat u wilt is investeren in technologie die niet met uw bedrijf meegroeit. Een platform dat niet alleen gelijke tred houdt met verandering, maar ook een strategisch voordeel biedt, is essentieel. Hoewel prestaties en schaalbaarheid van cruciaal belang zijn, wordt flexibiliteit in de huidige snelle omgeving uw grootste troef, waardoor uw AI-team zich kan aanpassen aan elke uitdaging die voor ons ligt.
• Maximaliseer het GPUGPUgebruik voor diverse workloads: Organisaties beheren verschillende workloads, van sequentiële data-inname tot taken met hoge concurrency, die allemaal dynamisch beheer vereisen om GPU’s volledig te benutten. Deze mogelijkheid moet zich uitstrekken over block-, file- en objectopslag, zowel on-premises als in de cloud.
• Schaalbare prestaties met flexibel verbruik: AI-projecten beginnen vaak als pilots en schalen naar productie. Platforms moeten naadloos en zonder onderbreking uitbreiden van terabytes naar exabytes, met “pay-as-you-go”-verbruik voor soepele, kostenefficiënte activiteiten.
• Gegarandeerde uptime SLA’s en duurzaamheid op lange termijn: Of het nu gaat om experimenteren of het uitvoeren van volledige productie-inferentie, veerkracht en uptime zijn essentieel. Bewezen veerkracht en continue beschikbaarheid voor kritieke diensten voorkomen downtime, waardoor ononderbroken innovatie en ontwikkeling wordt gegarandeerd.
• AI-gestuurde automatisering en eenvoud: Het beheer van complexiteit op schaal vereist tijd en middelen, vooral met ongedefinieerde schaalbaarheid en de behoefte aan agility. Autonome infrastructuur met zelftunende prestaties, op beleid gebaseerde upgrades en capaciteitsrebalancing vermindert de operationele overhead, elimineert onnodige operationele complexiteit en maakt IT-teams vrij om zich te concentreren op innovatie.
• Efficiëntie en duurzaamheid: Toegang tot stroom, rackruimte en koeling op schaal is uitdagend en duur, waardoor het essentieel is om prestaties en dichtheid in evenwicht te brengen. Het optimaliseren van flashmanagement om de energie-, koelings- en ruimtevereisten te verminderen is van cruciaal belang voor het ondersteunen van duurzame, high-performance activiteiten.
• Beveiliging en netwerkflexibiliteit: Uw kritieke data zijn de drijvende kracht achter training, RAG en andere processen, die zowel robuuste beveiliging als naadloze netwerktoegang vereisen. Dit moet end-to-end encryptie, malwaredetectie en snel herstel van inbreuken omvatten – allemaal via standaard Ethernet-protocollen.

De waarheid achter de Hype: Veelvoorkomende valkuilen vermijden

Wanneer u verder kijkt dan de marketinghype in de huidige opslagmarkt, vindt u vaak gedurfde claims en “wonder”-oplossingen die beloven het ultieme antwoord te zijn op AI-behoeften. Sommigen beweren zelfs het “Operating System for AI” te zijn, het panacea voor al dat kwaal! Helaas hebben we de afgelopen decennia allemaal geleerd dat “all that glitters not gold” en dat de functiesnelheid vaak faalt in betrouwbaarheid op lange termijn. Geweldsgeheugen dient als waarschuwingsverhaal: Ondanks het feit dat ze de snelste hardware creëerden, misten ze de robuuste opslagoplossing die bedrijven nodig hadden voor succes op de lange termijn, waardoor ze uiteindelijk geen blijvende impact hadden. Helaas kregen klanten pijnlijke architectonische schulden, wat jaren duurde om op te lossen. 

Flash-technologie heeft de afgelopen tien jaar een transformatieve verandering teweeggebracht, maar het geclaimde revolutionaire aanbod van vandaag, zoals hybride flash/harde schijf-architecturen, heeft gefaald door middelmatige prestaties over de hele linie te leveren, ondanks lage aanschafkosten. Storage class memory (SCM), in combinatie met QLC hybrid tiering, heeft ook weinig echte innovatie opgeleverd. Met Optane effectief DOA en de illusoire “magie” van prestatievervaging, blijven leveranciers die op deze technologieën vertrouwden, te maken met aanzienlijke architectonische uitdagingen en pijnlijke upgrades voor klanten. In combinatie met weinig zinvolle vooruitgang in de prestaties en dichtheid van SSD’s, leunen sommige leveranciers sterk op marketingbeloftes, in de hoop dat engineering op de een of andere manier zal kunnen leveren.

Hoewel prestaties – vooral om GPU’s volledig te benutten – cruciaal zijn, is het slechts een deel van de oplossing. Aangezien de AI-hype plaats maakt voor praktische adoptie in ondernemingen, geloven we bij Pure Storage dat platforms die een breed scala aan gebruikssituaties ondersteunen met efficiëntie, betrouwbaarheid en duurzaamheid essentieel zullen worden. Prestaties moeten verder gaan dan snelheid en multidimensionale mogelijkheden omvatten zoals gelijktijdige reads en writes, Metadata-scaling, veerkracht en duurzaamheid om te voldoen aan diverse, echte eisen.

Met dat in het achterhoofd is hier een overzichtelijke blik op de huidige beschikbare opties en hoe u deze kunt beoordelen. U zult zien dat al deze systemen tekortschieten aan een echt as-a-service-model, zonder prestatiegaranties om GPU’s volledig te benutten, 25% capaciteitscapaciteit en de uptimegarantie die nodig is voor 99,9999% betrouwbaarheid. Efficiëntie en duurzaamheid? Deze worden ook uit de vergelijking gelaten.

• Parallelle bestandssystemen: Hoewel deze systemen hoge prestaties bieden, worden ze geleverd met complex beheer, frequente updates en gebrek aan gegarandeerde SLA’s. Ze blinken uit in specifieke gebruikssituaties, maar haperen vaak wanneer ze worden geschaald naar bedrijfsomgevingen, waar de beheerlast snel opweegt tegen hun prestatievoordelen. Wilt u echt dat uw hoogopgeleide AI-team vastloopt door onderhoud? Is het zelfs financieel en operationeel haalbaar om deze systemen op schaal te onderhouden?
• Doe-het-zelf uitgesplitste hybride architecturen: Gedisaggregeerde hybride architecturen klinken misschien veelbelovend, maar ze leveren vaak niet in de praktijk. Storage class memory (SCM), ooit beschouwd als revolutionair, heeft zich bewezen als duur en beperkt in capaciteit. Het koppelen van SCM met QLC-flash creëert slechts een tijdelijke illusie van snelheid – de prestaties dalen naarmate de capaciteit toeneemt en de flash veroudert, wat leidt tot inconsistentie in de loop van de tijd. AI-workloads vereisen betrouwbare, burst-ready prestaties die cachingsystemen moeilijk kunnen bieden. De complexiteit groeit alleen met “bring your own hardware”-benaderingen, aangepaste Linux-distributies en netwerkintricacies, waardoor de operationele ervaring mogelijk nachtelijk wordt. Test deze systemen grondig “op schaal” voordat u de marketingclaims inkoopt. Ironisch genoeg verwijderen veel van deze producten nu SLM uit hun ontwerpen en schrijven ze rechtstreeks naar flash. Wat een concept! Welkom bij 2016!
• Hyperconvergentie hoopt en droomt: Het overladen van te veel niet-opslagtaken naar opslagsystemen creëert CPU-conflicten, waardoor de droom van het uitvoeren van niet-opslagactiviteiten op opslaghardware een pipedream wordt. Bovendien sluit het klanten in. De meest betrouwbare aanpak is om te vertrouwen op toegewijde software voor niet-opslagtaken, consistente prestaties te garanderen en afhankelijkheid van waterbesparende oplossingen te vermijden die door opslagleveranciers worden gebundeld.
• Betrouwbaarheid en schaalbaarheid: Snelle aanpassing en innovatie vereisen zowel betrouwbaarheid als schaalbaarheid. Toch heeft de markt het gevoel terug te gaan. Natuurlijk is GPU-gebruik cruciaal, maar veel platforms kunnen nog steeds geen snelle, non-disruptieve firmware-upgrades uitvoeren zonder downtime. Capaciteitsuitbreidingen bereiken vaak de prestaties of vereisen downtime. Erger nog, het toevoegen van prestatienodes vereist datahersharding, wat leidt tot meer onderbrekingen. Klanten vertellen ons dagelijks over prestaties tot wel 80%, of directe downtime, wanneer een enkele schijf, node of SLC-cachingapparaat uitvalt. Het voelt alsof we begin jaren 2000 terug zijn als het gaat om gebruikerservaring.

Dat leidt ons naar de volgende logische vraag die we moeten stellen: Waarom is Pure Storage het best gepositioneerd om de uitdagingen in enterprise AI op te lossen? Laten we eens kijken.

Het Pure Storage-platform voor AI: De toekomst van AI-infrastructuur

Het Pure Storage-platform levert een uniforme, multidimensionale oplossing die is gebouwd op 15 jaar meedogenloze software-innovatie en flash technologie. Het stelt organisaties in staat om elke fase van de AI-pijplijn naadloos uit te voeren, van datacuratie en modeltraining tot dienstverlening en gevolgtrekking, met autonoom afgestemde, high-performance opslag, allemaal met Pure Storage-efficiëntie en eenvoud in één krachtig platform. Het is meer dan alleen opslag, het is ontworpen om AI-resultaten op bedrijfsniveau te versnellen en een naadloze, cloud-achtige ervaring te bieden via een geïntegreerd dataplatform dat veel toegangspatronen door veel klanten op dezelfde data tegelijk ondersteunt (gooi geïntegreerde dataversies in en we hebben een hat trick). 

Een dataplatform, geen opslagarray

Terwijl anderen in de dataopslagindustrie graag praten over de prestaties, functies en functionaliteit van hun storage array, vertellen onze klanten ons altijd dat het echte probleem dat we voor hen hebben opgelost was dat ze zich geen zorgen meer hoeven te maken over het beheer van hun storage. Ons platform is op een paar fundamentele manieren anders.

• Multidimensionale prestaties op schaal: AI-workloads genereren diverse I/O-profielen, waardoor een consistente, multidimensionale opslaginfrastructuur van vitaal belang is voor schaalbare, geconsolideerde data en prestaties. Onze “AND, not OR”-benadering combineert scale-out-oplossingen voor schaalbaarheid met scale-up-architecturen die nodig zijn voor transactionele workloads met lage latency, zoals vectordatabases. Unified FlashArray™ en FLASHBLADE® consolideren block-, file- en objectopslag voor hoge schaalbaarheid en prestaties. DirectFlash®-technologie verwijdert SSD-inefficiënties, centraliseert IO-padbeheer voor topprestaties, terwijl DirectFlash-modules (DFM’s) een hoge dichtheid bieden (150 TB vandaag, binnenkort 300TB) met eersteklas veerkracht (

• Flexibiliteit die met u meegroeit: Onze Evergreen//One™ storage-as-a-service-oplossing is een langdurige, uitgebreide service die is gebouwd op onze unieke Evergreen®-architectuur en continue innovatie, naadloze upgrades en voorspelbare kosten biedt. Met de eerste SLA’s in de branche die betrekking hebben op prestaties, capaciteit, efficiëntie en uptime – ondersteund door ongeëvenaarde technologie – verwerkt Pure Storage stroom, koeling en rackruimte, zodat u alleen betaalt voor de service, niet voor het hardwareonderhoud. AI-geoptimaliseerde SLA’s zorgen voor een eenvoudige doorvoer om GPU’s volledig te benutten, en alles wordt beschreven in een eenvoudig contract van minder dan vijf pagina’s – geen pluisjes, geen verrassingen.

• Zero tuning en altijd efficiënt en performant: Hoewel anderen eenvoud op de markt kunnen brengen, is ons platform echt autonoom van ontwerp, met zelfafstemmende prestaties en continu geoptimaliseerde datalay-outs zonder menselijke tussenkomst. Gebouwd op ons eigen speciaal gebouwde besturingssysteem – de Purity Operating Environment – en DirectFlash-hardware, zorgt het voor maximale efficiëntie en duurzaamheid, en schaalt moeiteloos met bijna nul beheer. Het levert ook topprestaties zonder de noodzaak van complexe HPC-wetenschapsprojecten of de complicaties van hybride systemen, waardoor naadloos meerdere toegangspatronen tegelijk worden ondersteund.
• Eenvoudige automatisering, lifecycle management en orkestratie: Onze ingebouwde AIOps – Pure1® – vereenvoudigt automatisering, levenscyclusbeheer en orkestratie door bedrijfsbrede zichtbaarheid en beheer in één interface te bieden, met een AI-co-pilot die giswerk elimineert. Stel eenmalig beleid in en het beheert compliance, geautomatiseerde upgrades en realtime monitoring van beveiliging en duurzaamheid. Een enkel besturingsvlak – Pure Fusion™ – maakt directe toegang tot resources mogelijk, zodat beheerders diensten eenmaal kunnen configureren, zodat ontwikkelaars en zakelijke gebruikers er zonder IT-vertraging toegang toe hebben. Dit verkort de wachttijd van maanden naar seconden, waardoor teams kunnen innoveren en zich kunnen richten op werk met een hoge impact.
• Nooit meer downtime: Evergreen is meer dan een concept – het is een continu innovatiemodel dat wordt aangedreven door de unieke architectuur van Pure Storage. Toen ik vanuit EMC bij Pure Storage kwam, realiseerde ik me al snel dat het hart van Pure Storage-arrays Purity is, niet de controllers. De Stateless-architectuur van Pure Storage maakt non-disruptieve hardware-upgrades mogelijk, waardoor migraties of forklift-upgrades niet meer nodig zijn. Nadat ik mijn eerste naadloze hardwareruil had meegemaakt, wist ik dat dit revolutionair was. Met stateless controllers en plug-and-play eenvoud maakt Evergreen eenvoudige dichtheids- en prestatie-upgrades mogelijk, waardoor het platform aanpasbaar en modern blijft zonder geplande downtime.
• Containerorkestratie en geoptimaliseerde Kubernetes-ondersteuning: Het organiseren van een AI-pijplijn vereist naadloze coördinatie, waarbij Kubernetes de kern vormt. Ons platform maakt gebruik van Portworx® – een cloud-native data-oplossing ontworpen voor Kubernetes en gecontaineriseerde applicaties – op een uniform, schaalbaar en veilig opslagplatform. Het biedt persistente opslag voor stateful workloads, zero-downtime disaster recovery en naadloze dataportabiliteit, waardoor ondernemingen data-intensieve applicaties in hybride en multi-cloudomgevingen met flexibiliteit kunnen beheren. Dit flexibele platform integreert met elke Kubernetes-oplossing, van Kubeflow op Red Hat OpenShift tot Milvus op Rancher, waardoor klanten hun Kubernetes-stack naar keuze kunnen optimaliseren.
• Het meest duurzame platform: AI is een krachtige onderneming. Veel AI-innovators zijn op zoek naar manieren om het stroomverbruik te verminderen, zodat meer GPU-vermogen in het datacenter kan worden gestapeld. Pure Storage heeft een bewezen staat van dienst op het gebied van efficiëntie en duurzaamheid:
  • Ongeëvenaarde efficiëntie, met slechts 10% van de kracht van legacy HDD-systemen
  • Vermindert de behoefte aan vloer- en rackruimte met tot wel 95%, waardoor de koelingskosten met tot wel 75% worden verlaagd
  • Geavanceerde ontwerp- en recyclingpraktijken verminderen e-afval met 3x, waardoor een duurzame toekomst wordt bevorderd

Gevalideerde oplossingen en referentiearchitecturen

Pure Storage richt zich op het leveren van eersteklas opslag en biedt gevalideerde, gecertificeerde referentiearchitecturen voor de beste prestaties en betrouwbaarheid. We werken samen met leiders als Arista, Cisco, NVIDIA en Supermicro voor flexibiliteit en naadloze interoperabiliteit. In tegenstelling tot restrictieve hypergeconvergeerde platforms biedt de open architectuur van Pure Storage keuzevrijheid zonder vendor lock-in, zodat onze opslag meegroeit met AI-vereisten.

Deze oplossingen omvatten:

• Pure Storage GenAI RAG met NVIDIA
• AIRI® – AI-Ready Infrastructuur met NVIDIA DGX BasePOD
• NVIDIA OVX-validatie – OEM-servers met NVIDIA L40s GPU’s
• Gecertificeerde opslag voor NVIDIA DGX SuperPOD: Pure Storage en NVIDIA hebben de op Ethernet gebaseerde FlashBlade//S™ gecertificeerd met NVIDIA DGX SuperPOD, waardoor ondernemingen een snel, energie- en ruimtebesparend platform hebben voor grootschalige AI-behoeften. Deze kant-en-klare oplossing versnelt AI-training en -inferentie en stelt ondernemingen in staat om bestaande Ethernet-infrastructuur te benutten voor veeleisende AI-workloads. Of klanten nu DGX SuperPOD’s schaal nodig hebben of niet, er ontstaan data-uitdagingen voor AI in elke omvang. Lees de blog, waarin de unieke opslagmogelijkheden en uitdagingen in AI-omgevingen worden verkend en de hype wordt doorbroken.
• FlashStack® voor AI – Cisco Validated Designs voor GenAI, gevolgtrekking en MLOps
• GenAI Pods: Deze full-stack oplossing biedt kant-en-klare ontwerpen die zijn gebouwd op het Pure Storage-platform. Organisaties kunnen de Pure Storage GenAI Pod gebruiken om AI-aangedreven innovatie te versnellen en de tijd, kosten en gespecialiseerde technische vaardigheden te verminderen die nodig zijn om generatieve AI (GenAI)-projecten te implementeren.
• Gevalideerde AI Design Library – Bekijk ons volledige portfolio van gevalideerde ontwerpen

Wat is de toekomst voor het Pure Storage-platform?

Ons platform zet de industriestandaard voor prestaties, betrouwbaarheid, efficiëntie en duurzaamheid, maar we zijn nooit tevreden om daar mee te stoppen. We innoveren voortdurend om grenzen te verleggen, waardoor honderden AI-klanten, van kleinschalige implementaties tot enkele van ’s werelds grootste GPU-cloud, transformatieve AI-resultaten kunnen bereiken. Met name onze recente investerings- en partnerschapsaankondiging met CoreWeave ondersteunt klanten die op de schaal van tienduizenden GPU’s werken, naast hyperscale klanten zoals Meta’s AI Research SuperCluster. Naarmate AI-innovatie blijft evolueren, zetten we ons in om next-generation oplossingen te blijven bouwen die opnieuw definiëren wat mogelijk is. Blijf op de hoogte van spannende updates!

Conclusie: Ontketen AI-innovatie met Pure Storage

AI-workloads hebben meer nodig dan snelheid; ze vereisen een platform dat veerkrachtig, schaalbaar en efficiënt is voor alle workloads, vooral naarmate uw AI-eisen evolueren. Het Pure Storage-platform biedt consistente prestaties, onverslaanbare densiteit en nul downtime via onze unieke Evergreen-architectuur, software-innovatie en DirectFlash. Of het nu gaat om het draaien van transactionele AI of enorme, high-concurrency pipelines, Pure Storage garandeert topprestaties zonder in te leveren op schaalbaarheid. Met cloud-achtige flexibiliteit en een partner die zich inzet voor uw succes, helpt Pure Storage u het potentieel van AI volledig te realiseren.

Val niet voor de hype – laat Pure Storage u voorblijven.

Tot de volgende keer……blijf flitsend, mijn vrienden! (Het is goed om terug te zijn!)