Desarrollo de una plataforma de datos para la AI: Desafíos, oportunidades e exageración

Crear una plataforma de datos para la AI es emocionante y desafiante. Las demandas de datos están aumentando, los nuevos modelos están emergiendo constantemente y las arquitecturas de AI están evolucionando a una velocidad de cuello de ruptura. Con el rápido aumento de los LLM y la AI generativa, la innovación se está acelerando aún más. Es un momento emocionante pero intenso, y mientras aún estamos en las primeras etapas de la AI, las necesidades actuales continuarán evolucionando a medida que la tecnología madure.

El mercado actual de plataformas de datos de AI se asemeja a los primeros días del almacenamiento flash, donde el rendimiento bruto era todo. Muchos nuevos participantes han enfocado sus productos como un “corredor de arrastre”, priorizando la velocidad sobre los componentes arquitectónicos y de plataforma que permiten un crecimiento sostenible. Sin embargo, ahora vemos que las arquitecturas de AI pasan de los corredores de arrastre a los automóviles F1 con un enfoque maníaco en el rendimiento consistente en diversas cargas de trabajo y un manejo preciso de las demandas complejas con precisión y equilibrio. 

Si bien no existe una fórmula para el éxito, hay algo claro: Así como los automóviles F1 no están diseñados para la velocidad de línea recta, sino que dominan a través de la ingeniería de precisión, las plataformas de datos de AI requieren innovación en toda la pila de almacenamiento. El éxito aquí dependerá de un enfoque profundamente innovador y de diseño conjunto, tanto en hardware como en software, lo que dará como resultado una solución fluida, consistente y confiable que se ofrece “como servicio” al mercado en general.

En Pure Storage, brindamos asistencia a cientos de clientes de AI en diversas etapas de sus recorridos de innovación, incluidos algunos de los entornos de AI más grandes que existen. A través de nuestra colaboración con estos clientes, hemos identificado los requisitos esenciales que todos comparten:

• Flexibilidad y la capacidad de evolucionar a medida que cambian los requisitos: La AI está evolucionando rápidamente y lo último que desea es invertir en tecnología que no pueda crecer con su negocio. Es esencial contar con una plataforma que no solo mantenga el ritmo del cambio, sino que también proporcione una ventaja estratégica. Si bien el rendimiento y la escalabilidad son clave, en el entorno acelerado actual, la flexibilidad se convierte en su mayor activo, lo que permite que su equipo de AI se adapte a cualquier desafío futuro.
• Maximice la utilización de GPU en diversas cargas de trabajo: Las organizaciones administran cargas de trabajo variadas, desde la ingesta secuencial de datos hasta las tareas de alta simultaneidad, todas las cuales requieren una administración dinámica para mantener las GPU completamente utilizadas. Esta capacidad debe extenderse a través del almacenamiento de objetos, archivos y bloques, tanto en las instalaciones como en la nube.
• Rendimiento escalable con consumo flexible: Los proyectos de AI suelen comenzar como pilotos y escalarse a la producción. Las plataformas deben expandirse sin problemas y sin interrupciones de terabytes a exabytes, con consumo de “pago por uso” para operaciones fluidas y rentables.
• SLA de tiempo de actividad garantizado y durabilidad a largo plazo: Ya sea que experimente o ejecute una inferencia de producción completa, la resistencia y el tiempo de actividad son esenciales. La adaptación comprobada y la disponibilidad continua para los servicios críticos evitan el tiempo de inactividad, lo que garantiza la innovación y el desarrollo ininterrumpidos.
• Automatización y sencillez impulsadas por AI: La administración de la complejidad a escala exige tiempo y recursos, especialmente con la escalabilidad indefinida y la necesidad de agilidad. La infraestructura autónoma con rendimiento autoajustable, actualizaciones basadas en políticas y reequilibrio de capacidad reduce la sobrecarga operativa, elimina la complejidad operativa innecesaria y libera a los equipos de TI para que se enfoquen en la innovación.
• Eficiencia y sustentabilidad: El acceso a la energía, el espacio en rack y la refrigeración a escala es desafiante y costoso, lo que lo hace esencial para equilibrar el rendimiento y la densidad. Optimizar la administración de flash para reducir los requisitos de energía, refrigeración y espacio es fundamental para respaldar operaciones sostenibles de alto rendimiento.
• Flexibilidad de red y seguridad: Sus datos críticos impulsan la capacitación, RAG y otros procesos, lo que requiere una seguridad sólida y un acceso a la red sin problemas. Esto debe incluir encriptación integral, detección de malware y recuperación rápida de brechas, todo a través de protocolos Ethernet estándar.

La verdad detrás de la exageración: Cómo evitar los peligros comunes

Cuando mira más allá de la publicidad de marketing en el mercado de almacenamiento actual, a menudo encontrará afirmaciones audaces y soluciones “milagrosas” que prometen ser la respuesta definitiva para las necesidades de AI. Algunos incluso afirman ser el “sistema operativo para la AI”, ¡la panacea para todo lo que le duele! Desafortunadamente, todos hemos aprendido en las últimas décadas que “todo lo que brilla no es oro” y la velocidad de las características a menudo falla en la confiabilidad a largo plazo. Violin Memory sirve como una historia de precaución: A pesar de crear el hardware más rápido, carecían de la solución de almacenamiento robusta que las empresas requerían para el éxito a largo plazo, lo que finalmente no lograba tener un impacto duradero. Desafortunadamente, los clientes quedaron con una dolorosa deuda arquitectónica que tardó años en resolverse. 

La tecnología flash ha impulsado un cambio transformador durante la última década, pero las ofertas revolucionarias que se afirman en la actualidad, como las arquitecturas híbridas de flash/disco duro, han fallado al ofrecer un rendimiento mediocre en general a pesar de los bajos costos de adquisición. La memoria de clase de almacenamiento (SCM), combinada con la estratificación híbrida de QLC, también ha proporcionado poca innovación real. Con Optane efectivamente DOA y la ilustre “mágica” de la disminución del rendimiento, los proveedores que dependían de estas tecnologías se quedan con importantes desafíos arquitectónicos y actualizaciones dolorosas para los clientes. Cuando se combinan con pocos avances significativos en el rendimiento y la densidad de SSD de productos básicos, algunos proveedores se apoyan en gran medida en las promesas de marketing, con la esperanza de que la ingeniería pueda cumplir de alguna manera.

Si bien el rendimiento, especialmente para mantener las GPU completamente utilizadas, es crucial, solo es parte de la solución. A medida que la publicidad de AI da lugar a la adopción práctica entre empresas, en Pure Storage creemos que las plataformas que admiten una amplia gama de casos de uso con eficiencia, confiabilidad y sustentabilidad serán esenciales. El rendimiento debe ir más allá de la velocidad, abarcando capacidades multidimensionales como lecturas y escrituras simultáneas, escalamiento de metadatos, adaptación y sustentabilidad para satisfacer diversas demandas del mundo real.

Teniendo esto en cuenta, aquí le mostramos de forma directa las opciones actuales disponibles y cómo evaluarlas. Verá que todos estos sistemas no cumplen con un verdadero modelo como servicio, ya que carecen de garantías de rendimiento para mantener las GPU completamente utilizadas, un espacio libre de capacidad del 25 % y la garantía de tiempo de actividad necesaria para una confiabilidad del 99,9999 %. ¿Eficiencia y sustentabilidad? También quedan fuera de la ecuación.

• Sistemas de archivos paralelos: Si bien estos sistemas ofrecen un alto rendimiento, vienen con administración compleja, actualizaciones frecuentes y carecen de SLA garantizados. Sobresalen en casos de uso específicos, pero a menudo fallan cuando se escalan a entornos empresariales, donde la carga de administración puede superar rápidamente sus beneficios de rendimiento. ¿Realmente desea que su equipo de AI altamente capacitado se vea afectado por el mantenimiento? ¿Es posible mantener estos sistemas a escala desde el punto de vista financiero y operativo?
• Arquitecturas híbridas desagregadas que puede hacer usted mismo: Las arquitecturas híbridas desglosadas pueden sonar prometedoras, pero a menudo no cumplen con la práctica. La memoria de clase de almacenamiento (SCM), alguna vez considerada revolucionaria, ha demostrado ser costosa y limitada en capacidad. El emparejamiento de SCM con flash QLC crea solo una ilusión temporal de velocidad: el rendimiento disminuye a medida que la capacidad se llena y el flash envejece, lo que provoca inconsistencias con el tiempo. Las cargas de trabajo de AI requieren un rendimiento confiable y listo para la ráfaga que los sistemas de almacenamiento en caché tienen dificultades para proporcionar. La complejidad solo crece con enfoques de “traer su propio hardware”, distribuciones personalizadas de Linux e complejidades de red, lo que hace que la experiencia operativa sea potencialmente pesadilla. Pruebe minuciosamente estos sistemas “a escala” antes de comprar en las afirmaciones de marketing. Irónicamente, muchos de estos productos están eliminando SLM de sus diseños y escribiendo directamente en flash. ¡Qué concepto! ¡Bienvenido a 2016!
• Esperanzas y sueños de hiperconvergencia: Descargar demasiadas tareas sin almacenamiento a los sistemas de almacenamiento crea una contención de CPU, lo que hace que el sueño de ejecutar operaciones sin almacenamiento en hardware de almacenamiento sea un sueño. Además, asegura a los clientes. El enfoque más confiable es confiar en un software dedicado para tareas que no sean de almacenamiento, lo que garantiza un rendimiento uniforme y evita la dependencia de soluciones retenidas agrupadas por proveedores de almacenamiento.
• Confiabilidad y escalabilidad: La adaptación rápida y la innovación exigen confiabilidad y escalabilidad. Sin embargo, el mercado parece estar retrocediendo. Claro, la utilización de GPU es crucial, pero muchas plataformas aún no pueden manejar actualizaciones de firmware rápidas y sin interrupciones sin tiempo de inactividad. Las expansiones de capacidad a menudo alcanzan el rendimiento o requieren tiempo de inactividad. Peor aún, agregar nodos de rendimiento requiere la refragmentación de datos, lo que lleva a más interrupciones. Los clientes nos informan diariamente sobre el rendimiento que alcanza hasta el 80 %, o el tiempo de inactividad total, cuando falla un único disco, nodo o dispositivo de almacenamiento en caché SLC. Parece que volvimos a principios del siglo XX cuando se trata de la experiencia del usuario.

Eso nos lleva a la siguiente pregunta lógica: ¿Por qué Pure Storage está mejor posicionado para resolver los desafíos de la AI empresarial? Profundicemos.

La plataforma de Pure Storage para AI: El futuro de la infraestructura de AI

La plataforma de Pure Storage ofrece una solución multidimensional unificada basada en 15 años de innovación incesante de software y tecnología flash. Permite a las organizaciones ejecutar sin problemas cada etapa del proceso de AI, desde la selección de datos y la capacitación de modelos hasta el servicio y la inferencia, con un almacenamiento de alto rendimiento y sintonizado de forma autónoma, todo con la eficiencia y la sencillez de Pure Storage en una única plataforma potente. Más que solo almacenamiento, está diseñado para acelerar los resultados de AI a nivel empresarial, ofreciendo una experiencia sin interrupciones similar a la nube a través de una plataforma de datos integrada que admite muchos patrones de acceso de muchos clientes en los mismos datos a la vez (arroje el control de versiones de datos integrados y nos encargamos de nosotros mismos). 

Una plataforma de datos, no una matriz de almacenamiento

Si bien a otras personas de la industria del almacenamiento de datos les encanta hablar sobre el rendimiento, las características y la funcionalidad de su matriz de almacenamiento, nuestros clientes nos dicen todo el tiempo que el problema real que resolvimos para ellos era que ya no tienen que preocuparse por administrar su almacenamiento. Nuestra plataforma es diferente en algunos aspectos fundamentales.

• Rendimiento multidimensional a escala: Las cargas de trabajo de AI generan diversos perfiles I/O, lo que hace que una infraestructura de almacenamiento multidimensional y consistente sea vital para los datos y el rendimiento escalables y consolidados. Nuestro enfoque “Y, no OR” combina soluciones de escalabilidad horizontal para la escalabilidad con arquitecturas de escalabilidad horizontal necesarias para cargas de trabajo transaccionales de baja latencia, como bases de datos de vectores. FlashArray de bloques, archivos y objetos FlashBlade lograr una alta escalabilidad y rendimiento. La tecnología DirectFlash® elimina las ineficiencias de SSD, centralizando la administración de rutas de E/S para lograr un rendimiento máximo, mientras que los módulos DirectFlash (DFM) ofrecen alta densidad (150 TB hoy, 300TB pronto) con una resistencia de primer nivel (

• Flexibilidad que evoluciona con usted: Nuestra solución de almacenamiento como servicio Evergreen//One™ es un servicio integral y a largo plazo basado en nuestra arquitectura única Evergreen®, que proporciona innovación continua, actualizaciones sin interrupciones y costos predecibles. Con SLA pioneros en la industria que cubren el rendimiento, la capacidad, la eficiencia y el tiempo de actividad, respaldados por una tecnología inigualable, Pure Storage maneja la energía, la refrigeración y el espacio en rack, por lo que solo paga por el servicio, no por el mantenimiento del hardware. Los SLA optimizados para AI garantizan un fácil tamaño del rendimiento para mantener las GPU completamente utilizadas, y todo se describe en un contrato directo de menos de cinco páginas, sin pelusa, sin sorpresas.

• Sin calibración y siempre eficiente y con rendimiento: Si bien otros pueden comercializar la sencillez, nuestra plataforma es verdaderamente autónoma por diseño, ya que ofrece un rendimiento autoajustable y diseños de datos optimizados continuamente sin intervención humana. Desarrollado sobre nuestro propio sistema operativo diseñado específicamente, el Entorno operativo Purity, y el hardware DirectFlash, garantiza la máxima eficiencia y sustentabilidad, escalando sin esfuerzo con una administración casi cero. También ofrece el máximo rendimiento sin la necesidad de proyectos complejos de ciencia de HPC o las complicaciones de los sistemas híbridos, lo que admite sin problemas varios patrones de acceso a la vez.
• Automatización simple, administración del ciclo de vida y organización: Nuestras AIOps incorporadas, Pure1®, simplifican la automatización, la administración del ciclo de vida y la organización al ofrecer visibilidad y administración en toda la empresa en una única interfaz, con un copiloto de AI que elimina las conjeturas. Establezca políticas una vez y administra el cumplimiento, las actualizaciones automatizadas y el seguimiento de la seguridad y la sustentabilidad en tiempo real. Un único plano de control, Pure Fusion™, permite el acceso instantáneo a los recursos, lo que permite a los administradores configurar los servicios una vez para que los desarrolladores y usuarios empresariales puedan acceder a ellos sin demoras de TI. Esto reduce los tiempos de espera de meses a segundos, lo que permite a los equipos innovar y enfocarse en el trabajo de alto impacto.
• Nunca vuelva a tomarse un tiempo de inactividad: Evergreen es más que un concepto: es un modelo de innovación continua impulsado por la arquitectura única de Pure Storage. Cuando me uní a Pure Storage desde EMC, rápidamente me di cuenta de que el corazón de las matrices de Pure Storage es Purity, no los controladores. La arquitectura sin estado de Pure Storage permite actualizaciones de hardware sin interrupciones, lo que elimina la necesidad de migraciones o actualizaciones de montacargas. Después de experimentar mi primer intercambio de hardware sin interrupciones, supe que esto era revolucionario. Con controladores sin estado y simplicidad “plug-and-play”, Evergreen permite actualizaciones fáciles de densidad y rendimiento, lo que mantiene la plataforma adaptable y moderna sin tiempo de inactividad planificado.
• La organización de contenedores y la compatibilidad optimizada de Kubernetes: La organización de un proceso de AI requiere una coordinación fluida, con Kubernetes en su núcleo. Nuestra plataforma aprovecha Portworx®, una solución de datos nativa en la nube diseñada para Kubernetes y aplicaciones en contenedores, en una plataforma de almacenamiento unificada, escalable y segura. Proporciona almacenamiento persistente para cargas de trabajo con estado, recuperación ante desastres sin tiempo de inactividad y portabilidad de datos sin interrupciones, lo que permite a las empresas administrar aplicaciones de uso intensivo de datos en entornos híbridos y multinube con agilidad. Esta plataforma flexible se integra con cualquier solución habilitada para Kubernetes, desde Kubeflow en Red Hat OpenShift hasta Milvus en Rancher, lo que permite a los clientes optimizar su pila de elección de Kubernetes.
• La plataforma más sustentable: La AI es un esfuerzo que requiere mucha energía. Muchos innovadores de AI están buscando formas de reducir el consumo de energía para permitir que se apile más potencia de GPU en el centro de datos. Pure Storage tiene un historial comprobado de eficiencia y sustentabilidad:
  • Eficiencia inigualable, que utiliza solo el 10 % de la potencia de los sistemas de HDD heredados
  • Reduce las necesidades de espacio de piso y rack hasta en un 95 %, lo que reduce los costos de enfriamiento hasta en un 75 %.
  • Las prácticas de diseño y reciclaje de vanguardia reducen los desechos electrónicos 3 veces, lo que permite avanzar en un futuro sustentable.

Soluciones validadas y arquitecturas de referencia

Pure Storage se centra en ofrecer almacenamiento de primer nivel, proporcionando arquitecturas de referencia validadas y certificadas para obtener el mejor rendimiento y confiabilidad. Nos asociamos con líderes como Arista, Cisco, NVIDIA y Supermicro para lograr flexibilidad e interoperabilidad perfecta. A diferencia de las plataformas hiperconvergentes restrictivas, la arquitectura abierta de Pure Storage ofrece libertad de elección sin el bloqueo del proveedor, lo que garantiza que nuestro almacenamiento evolucione con las demandas de AI.

Estas soluciones incluyen:

• Pure Storage GenAI RAG con NVIDIA
• AIRI®: Infraestructura lista para la AI con NVIDIA DGX BasePOD
• Validación de NVIDIA OVX: servidores OEM con GPU NVIDIA L40s
• Almacenamiento certificado para NVIDIA DGX SuperPOD: Pure Storage y NVIDIA han certificado FlashBlade//S™ basado en Ethernet con NVIDIA DGX SuperPOD, que ofrece a las empresas una plataforma de alta velocidad, con eficiencia energética y espacio para las necesidades de AI a gran escala. Esta solución personalizada usar acelera el entrenamiento y la inferencia de AI, al mismo tiempo que permite a las empresas aprovechar la infraestructura Ethernet existente para cargas de trabajo de AI exigentes. Ya sea que los clientes requieran o no la escala de DGX SuperPOD, surgen desafíos de datos para la AI en todos los tamaños. Lea el blog, que explora las oportunidades de almacenamiento únicas y los desafíos en los entornos de AI, lo que hace un gran esfuerzo.
• FlashStack® para AI: diseños validados por Cisco para GenAI, inferencia y MLOps
• Pods de GenAI: Esta solución de pila completa ofrece diseños listos para usar basados en la plataforma de Pure Storage. Las organizaciones pueden usar el GenAI Pod de Pure Storage para acelerar la innovación impulsada por AI y reducir el tiempo, el costo y las habilidades técnicas especializadas necesarias para implementar proyectos de AI generativa (GenAI).
• Biblioteca de diseño de AI validada: vea toda nuestra cartera de diseños validados

Lo que sigue para la plataforma de Pure Storage

Nuestra plataforma establece el estándar de la industria en cuanto a rendimiento, confiabilidad, eficiencia y sustentabilidad, pero nunca estamos contentos de detenernos allí. Innovamos continuamente para superar los límites, lo que permite que cientos de clientes de AI, desde implementaciones a pequeña escala hasta algunas de las nubes de GPU más grandes del mundo, logren resultados transformadores de AI. En particular, nuestro reciente anuncio de inversión y asociación con CoreWeave respalda a los clientes que operan a una escala de decenas de miles de GPU, junto con clientes de hiperescala como AI Research SuperCluster de Meta. A medida que la innovación en AI continúa evolucionando, estamos comprometidos a seguir desarrollando soluciones de próxima generación que redefinan lo que es posible. ¡Esté atento a las emocionantes actualizaciones que se avecinan!

Conclusión: Libere la innovación de AI con Pure Storage

Las cargas de trabajo de AI necesitan más que velocidad; exigen una plataforma que sea resistente, escalable y eficiente para todas las cargas de trabajo, especialmente a medida que evolucionan sus demandas de AI. La plataforma de Pure Storage proporciona un rendimiento consistente, una densidad inigualable y cero tiempo de inactividad a través de nuestra arquitectura Evergreen única, innovación de software y DirectFlash. Ya sea que ejecute AI transaccional o procesos masivos y de alta simultaneidad, Pure Storage garantiza un rendimiento superior sin sacrificar la escalabilidad. Con una flexibilidad similar a la nube y un socio comprometido con su éxito, Pure Storage lo ayuda a aprovechar al máximo el potencial de la AI.

No se pierda la publicidad: deje que Pure Storage lo mantenga a la vanguardia.

Hasta la próxima vez… ¡manténganse brillantes, amigos míos! (¡Es bueno volver!)