FlashBlade + LandingAI de Pure Storage: Acelere la inteligencia visual

Este blog sobre el poder de FlashBlade y LandingLens de LandingAI fue coautor de Steve Ackley de LandingAI.

Seamos reales: La IA visual ya no es solo un campo de juego de I+D. Así es como las fábricas detectan los defectos antes de que cuesten millones, cómo las aseguradoras aceleran las reclamaciones y cómo las empresas biotecnológicas superan los límites del descubrimiento. ¿Los modelos? Están listos. ¿GPU? Mucho poder. Pero aquí está el punto de partida: La mayoría de los proyectos acaban en un muro porque el almacenamiento no puede seguir el ritmo.

Esta es la realidad:

• Los últimos DGX o HGX pueden pasar de 1-5TB/s para el entrenamiento y la inferencia en tiempo real puede variar de 500GB/s a 1TB/s.
• Escalar un clúster de GPU de manera realista requiere que el sistema NAS escale en rendimiento linealmente para mantener esos clústeres de GPU ocupados.
• Los equipos acaban copiando las mismas imágenes una y otra vez para ejecutar experimentos.
• Las configuraciones híbridas —en las que algunos datos están en la nube y otros localmente— crean quebraderos de cabeza con la seguridad y las operaciones.

Aquí es donde entra en juego esta configuración de Pure Storage + LandingAI. LandingAI simplifica el proceso de creación y despliegue de modelos (a través de LandingLens y microservices). Pure Storage se encarga de las hogueras de datos con FlashBlade//S™, una All-Flash Array NVMe que puede alcanzar hasta 450GB/s y una latencia de submilisegundos. FlashBlade//EXA™ puede alcanzar un rendimiento de lectura de más de 10TB/s. Juntos, se consigue una arquitectura de referencia limpia: imágenes brutas, información detallada —sin recableado, sin copias de datos desordenadas—.

(Y no, FlashBlade//S no es su SSD promedio, es más como 100 SSD NVMe detrás de una estructura de 450GB/s. Piense 10 veces más rápido que las SSD de escritorio o las unidades USB).

Lo que hemos creado realmente

Figura 1: 

Arquitectura de LandingLens

Figura 2: 

Cómo funciona (sin la jerga)

Aprovisionamiento: Automatizamos el lado de Azure con Terraform; los nodos locales de Pure Storage se aprovisionan manualmente por ahora.

Paquete: El aterrizaje de la CLI de IA y nuestro script personalizador generan gráficos de timones específicos del sitio, inyectando hosts de base de datos, reglas de entrada y etiquetas de imagen.

Lanzamiento: Aplicamos los gráficos servicio por servicio con la actualización de Helm: instalamos y añadimos secretos de extracción para cada espacio de nombres. Una instalación guiada suele tardar un par de días con nuestros ingenieros de guardia.

Conclusión: Cualquier ingeniero autorizado puede hacer girar toda la pila en minutos, realizar pruebas localmente o en la nube y pasar a producción sin necesidad de reelaborarla.

¿Qué tiene de bueno esto?

Sin datos de ensayo o copia: LandingLens funciona directamente en FlashBlade//S. No es necesario realizar trabajos de sincronización ni distorsiones de caché.

La misma velocidad, independientemente del tamaño del conjunto de datos: Tanto si se trata de 100GB como de 1PB, el rendimiento se mantiene plano gracias al tejido paralelo de FlashBlade^®.

Seguridad y resiliencia integradas: FlashBlade ofrece cifrado constante y copias instantáneas inmutables, para que el Ransomware no tenga ninguna oportunidad.

Precisión: Hay un mayor nivel de precisión comparado con el código abierto y un menor número de muestras para ajustar los modelos de visión altamente especializados.

Tiempo de formación/valoración: Debido a las ventajas arquitectónicas, la pila proporciona el tiempo más rápido para entrenar los modelos de visión en comparación con las ofertas de código abierto.

Rendimiento: La solución proporciona el mejor rendimiento/unidad de bastidor, métricas de rendimiento/W/GB y el mejor rendimiento de cargas de trabajo mixtas (lecturas/escrituras simultáneas) para cargas de trabajo de IA multimodales.

Coste: La solución ofrece el mejor TCO global con un rendimiento garantizado gracias a Evergreen//One™ de Pure Storage^®.

Propuesta de valor global: FlashBlade + LandingLens de Pure Storage proporciona un pod de pila completa validado llave en mano para la creación de imágenes médicas, la biotecnología y la fabricación, lo que proporciona el tiempo más rápido de formación/valor para el cliente final para los casos de uso de la visión artificial. FlashBlade

Lo que esto significa para usted

Ahora echemos un vistazo más de cerca a algunos casos de uso de esta pila.

Fabricación y electrónica

Ponga fin a la «comprobación puntual y la oración». Con FlashBlade alimentando sus GPU a una velocidad de hasta 600Gb/s —e incluso más rápido si pasa a FlashBlade//EXA—, LandingLens señala que faltan componentes, piezas fuera de ángulo, puentes de soldadura y golpes estéticos mientras la línea sigue en movimiento. Debido a que los modelos aprenden de una fracción de las imágenes etiquetadas que la mayoría de las pilas de código abierto necesitan, obtiene un mayor rendimiento y una trazabilidad hermética sin el slog de etiquetado de datos de seis meses.

Aplicación de LandingLens en la fabricación.

Textiles y embalaje

Tanto si tejes tejido de fibra de carbono como si imprimes etiquetas de envoltura retráctil, cada rollo y cada pase de impresión se transmiten directamente a la memoria GPU. La misma canalización que detecta las manchas y los defectos de trama puede leer los códigos de barras o los códigos de lote sobre la marcha, para que detecte los cambios de color, las impresiones erróneas o los espacios de sellado antes de que un solo palé salga de la estación —sin sincronización nocturna, sin juegos de caché, solo ojos en tiempo real de cada milímetro—.

Biotecnología y ciencias de la vida

Las imágenes de portaobjetos completos y las pilas de microscopía fluorescente se mueven a la velocidad de detección, no a la velocidad de las transferencias de archivos. Ajuste localmente, detrás de su cortafuegos, con un cifrado siempre activo y copias instantáneas inmutables que se ajustan a la norma FDA 21 CFR Parte 11 e HIPAA. Resultado: ciclos de ensayo más rápidos, cero problemas de soberanía de datos.

Aplicación de LandingLens en las ciencias de la vida y la biotecnología.

Finanzas y Seguros

LandingLens convierte los backlogs de documentos en flujos de trabajo directos. En nuestra compilación de viabilidad, la pila ingirió fotos de ID de alta resolución, paquetes de reclamaciones de múltiples páginas y paquetes hipotecarios directamente desde FlashBlade, los impulsó a través de los servicios de visión y de documentos-IA y entregó resultados estructurados a los sistemas centrales —todo ello con la misma facilidad—, sin que los datos pasaran a la nube. Los primeros pilotos muestran que puede reducir los días de KYC y los ciclos de reclamación manteniendo cada byte dentro de su propio perímetro de cumplimiento.

Supervisión de equipos industriales

Vigile constantemente los transportadores, las prensas y los brazos robóticos. En el momento en que la alineación se desvía o una cinta empieza a deshilacharse, el modelo de visión lanza un ticket de mantenimiento. Como FlashBlade se escala linealmente —un chasis por vez—, puede seguir añadiendo cámaras (o celdas de producción completas) sin tener que volver a diseñar el almacenamiento ni ver cómo la latencia pasa más de un milisegundo.

Vea un vídeo de demostración de LandingLens

¿Cuál es el futuro?

Ejecute su propio piloto: Ofrecemos a los primeros clientes la oportunidad de probar sus cargas de trabajo en la configuración conjunta de nuestro laboratorio.

Los resultados de referencia llegan: Publicaremos las cifras de latencia, rendimiento y costes del mundo real una vez que los pilotos hayan terminado.

Plano de bricolaje: Estamos empaquetando las configuraciones de Terraform + Helm para que su equipo de DevOps pueda replicar la configuración en menos de una hora.

¿Listo para desarrollar? Llévenos sus datos

Si tiene una enorme biblioteca de imágenes o un montón de documentos que ralentizan sus planes de IA, pongamos a prueba. Tráiganos su conjunto de datos —lo ejecutaremos en directo y le mostraremos lo que puede hacer esta pila.

Try FlashBlade

No hardware, no setup, no cost—no problem. Experience the self-service capabilities of FlashBlade.

Take a Test Drive