Control asíncrono de FlashBlade y PyTorch de Pure Storage: Aceleración del entrenamiento para grandes modelos de IA

El entrenamiento de grandes modelos de IA viene acompañado de desventajas y uno de los más críticos es lograr el equilibrio adecuado entre rendimiento y resiliencia. La detección de puntos de control es esencial para la tolerancia a los fallos, pero el enfoque síncrono tradicional obliga a la formación a detenerse mientras se guarda el estado del modelo. Para los modelos de miles de millones de parámetros y posteriores, esas pausas pueden extenderse a minutos, lo que ralentiza la iteración de los desarrolladores y deja las GPU caras inactivas cuando deberían estar entrenando.

El control asíncrono ofrece una alternativa más inteligente. Al desacoplar el proceso de control de la ruta de entrenamiento crítica, permite que los puntos de control se realicen en segundo plano, manteniendo las GPU caras ocupadas y los flujos de trabajo de entrenamiento ininterrumpidos. Cuando se combina con la arquitectura escalable horizontalmente y de alto rendimiento de FlashBlade® de Pure Storage®, la sobrecarga de los puntos de control cae significativamente —a menudo en un 90% o más— sin comprometer la fiabilidad. Es una manera práctica de mantener el impulso del entrenamiento a escala.

Control asíncrono de PyTorch

El control asincrónico distribuido de PyTorch introduce un cambio importante en el modo de manejar un estado de modelo. En lugar de detener el entrenamiento para escribir los puntos de control, permite ahorrar fondos mientras continúa el cálculo. Esto no solo reduce el tiempo de inactividad de la GPU, sino que también permite que cada proceso de entrenamiento escriba sus datos de punto de control de manera independiente, distribuyendo I/O entre nodos y reduciendo la presión sobre los sistemas de almacenamiento compartido.

El resultado son unos ciclos de entrenamiento más rápidos, una mejor utilización de los recursos y un escalamiento más fluido para las cargas de trabajo grandes. Los controles frecuentes son una buena práctica para la recuperación y la experimentación de fallos, pero los métodos tradicionales hacen que sea demasiado costoso. El control asincrónico cambia la ecuación, lo que permite que los equipos ahorren estado tantas veces como necesiten sin interrumpir el flujo de entrenamiento.

Mecanismos clave

El control asíncrono divide el proceso tradicional de almacenamiento todo a la vez en dos pasos coordinados:

1. Transferencia de GPU a CPU: El estado del modelo se mueve rápidamente de la memoria GPU a la memoria CPU, lo que permite que el entrenamiento continúe sin demora.
2. Persistencia asíncrona: Una vez que los datos están en la CPU, los subprocesos dedicados se encargan de guardarlos en el disco, manteniendo las GPU libres para centrarse en el entrenamiento. 

PyTorch utiliza grupos de procesos separados para gestionar los puntos de control, para que no interfiera con las tareas de formación distribuidas en curso.

Piénselo como una parada en el pozo de Fórmula 1: Su costosa GPU es el coche de carreras, optimizado para la velocidad, mientras que la CPU es el equipo de boxes, creado para manejar un mantenimiento rápido. No quiere que su motor de GPU de 40 000 $ esté inactivo mientras guarda los datos en el disco. Este diseño mantiene el coche en marcha mientras el personal se encarga de los negocios. 

En la práctica, significa que los equipos de IA ya no tienen que elegir entre rendimiento y resiliencia. Al igual que en las carreras, en las que la velocidad y el mantenimiento pueden coexistir con la estrategia de foso adecuada, el control asíncrono permite que el entrenamiento de los modelos continúe mientras que el ahorro de estado se produce en segundo plano. 

Ventajas de la implementación

Alteración mínima del entrenamiento

El entrenamiento solo se detiene brevemente para transferir el estado del modelo de la GPU a la memoria de la CPU. Esto significa que los profesionales de la IA pueden mantener el impulso durante largas ejecuciones de entrenamiento sin perder valiosos ciclos de GPU, que son especialmente importantes para el desarrollo de modelos urgentes o la experimentación iterativa.

Mayor frecuencia de punto de control

Como el control ya no para toda la canalización de entrenamiento, los equipos pueden guardar el estado del modelo con más frecuencia. Para los profesionales, esto abre la puerta a una iteración más rápida, una experimentación más sencilla y una mejor protección frente a los fallos de entrenamiento raros pero costosos, como los choques de nodos o los errores de memoria.

Tolerancia a fallos mejorada

Los puntos de control más frecuentes reducen el tiempo de recuperación si un trabajo falla. Para los responsables de infraestructura, esto se traduce en unos reinicios más rápidos de los trabajos, menos horas de computación perdidas y una mejor previsibilidad de nivel de servicio en los clústeres compartidos. También reduce la necesidad de una programación de trabajos demasiado conservadora, liberando capacidad para las cargas de trabajo más activas.

Mejor uso de los recursos

Las GPU siguen funcionando mientras que los subprocesos de CPU manejan las escrituras de disco. Esto garantiza el máximo retorno de la inversión en GPU, al mantener la utilización de la computación alta y evitar la contención innecesaria de I/O en los sistemas de almacenamiento compartido. Para los administradores de almacenamiento y los vicepresidentes de infraestructura, esto significa menos presión sobre las IOPS, un comportamiento de I/O más predecible y menos cuellos de botella que pueden afectar a otros usuarios del sistema.

FlashBlade de Pure Storage: Amplificar el rendimiento

Si bien el control asíncrono de PyTorch reduce significativamente las interrupciones de entrenamiento, la infraestructura de almacenamiento determina hasta dónde pueden llegar esas ganancias. En los entornos de IA multinodo de alto rendimiento, FlashBlade de Pure Storage es especialmente adecuado para maximizar el valor del checkpointing asincrónico.

Diseñado para Metadata rápidos y alto rendimiento

Si bien el checkpointing asincrónico puede reducir la interrupción del entrenamiento por sí solo, FlashBlade libera todo su potencial. Su arquitectura se encarga de las operaciones de entrenamiento a gran escala, que requieren muchos Metadata, con una latencia sistemáticamente baja, incluso durante las intensas ráfagas de escritura.

Esto se traduce en:

• Finalización más rápida del punto de control: Los subprocesos de fondo pueden escribir rápidamente el estado del modelo en el disco, con lo que a menudo logran un caudal de escritura 10 veces mayor que las configuraciones de control tradicionales.
• Sin retrasos: Con I/O de baja latencia, los puntos de control no se acumulan ni compiten con otras operaciones de entrenamiento, lo que mantiene el sistema receptivo y el entrenamiento programado.
• Programación fiable: El rendimiento de I/O predecible permite que los equipos planifiquen estrategias de punto de control con confianza, sin preocuparse de las ralentizaciones inesperadas o de los ciclos de entrenamiento paralizados.

Creado para el paralelismo a escala

La arquitectura distribuida y escalable horizontalmente de FlashBlade distribuye los datos en múltiples cuchillas, lo que permite:

• Escrituras paralelas sin cuellos de botella: Varios nodos pueden escribir puntos de control al mismo tiempo, evitando la contención de I/O.
• Rendimiento constante a medida que crece: La adición de nodos de entrenamiento no sobrecarga la capa de almacenamiento, porque FlashBlade se escala con su espacio de computación, manteniendo el rendimiento bajo una mayor demanda.
• Coordinación rápida de Metadata: El acceso rápido a Metadata permite una orquestación eficiente de los puntos de control en grandes trabajos de entrenamiento distribuidos.

Un rendimiento que se adapta a sus necesidades

Al emparejar el checkpointing asíncrono de PyTorch con FlashBlade de Pure Storage, se elimina el almacenamiento como cuello de botella en el pipeline de entrenamiento de IA. En lugar de diseñar en torno a las limitaciones I/O o soportar largas pausas para persistir los estados del modelo, los equipos ahora pueden entrenar a toda velocidad, con los puntos de control en silencio en segundo plano.

Esta integración proporciona:

• Utilización casi continua de la GPU, incluso durante los controles frecuentes
• Estrategias de control flexibles, adaptadas a los requisitos de las cargas de trabajo
• Escalamiento de la infraestructura impulsado por las necesidades de computación, no por las limitaciones de almacenamiento

No se trata solo de I/O más rápidas, sino de mantener sus activos más valiosos, como las GPU, funcionando de la manera más eficiente posible. Al igual que no aparcaría un coche de carreras para girar sus neumáticos a mitad de carrera, el control asincrónico garantiza que el entrenamiento se mantenga en marcha, mientras que los sistemas ligeros se encargan del ahorro.

La combinación de los puntos de control asincrónicos de PyTorch y FlashBlade representa un cambio en el diseño de la infraestructura de entrenamiento a gran escala. Al reducir la sobrecarga de los puntos de control 10 veces o más y proporcionar un rendimiento constante y de baja latencia a escala, esta solución ayuda a los equipos a sacar más partido de sus GPU y acelerar los ciclos de desarrollo de los modelos.

Para los administradores de almacenamiento y los responsables de infraestructura, proporciona un comportamiento de I/O predecible, una gestión simplificada y la confianza necesaria para escalar las cargas de trabajo de entrenamiento sin comprometer el rendimiento. Para los ingenieros de IA, significa unas ejecuciones de entrenamiento más fluidas, una iteración más rápida y la capacidad de introducir modelos más grandes en la producción de un modo más rápido y fiable. 

A medida que las cargas de trabajo de la IA continúan escalando, la colaboración entre el diseño inteligente del software y el almacenamiento de alto rendimiento se vuelve esencial. Con el checkpointing asincrónico y FlashBlade de Pure Storage, el almacenamiento ya no es un factor limitante, sino una ventaja competitiva.

Try FlashBlade

No hardware, no setup, no cost—no problem. Experience the self-service capabilities of FlashBlade.

Take a Test Drive