La trampa SSD: Cómo puede afectarle la dependencia del almacenamiento en las SSD

A medida que los medios flash NAND de celda de cuatro niveles (QLC) continúan ampliando su prevalencia en los sistemas de almacenamiento, estamos viendo una mayor rentabilidad de las SSD y, con ello, una caída en el despliegue de los discos duros tradicionales. Todas las ventajas que han impulsado el desplazamiento histórico de los discos duros para las cargas de trabajo más intensivas en cuanto al rendimiento se están aplicando ahora a todas las cargas de trabajo, debido a la reducción de los costes de $/GB de los medios QLC. Al mismo tiempo, la oportunidad de IA ha hecho que las empresas que quieren activar y monetizar sus datos sean urgentes y eficientes desde el punto de vista operativo.  

La canción del cisne de los discos duros ha empezado, pero ¿es realista en este momento programar el despertar?

En este capítulo de dos partes de nuestra serie de blog “Beyond the Hype”, hablaremos de por qué el uso de las SSD estándar (COTS), propuestas por algunas nuevas startups de almacenamiento definido por software (SDS) basadas en NVMe, es una alternativa subóptima a las cabinas totalmente flash (AFA) que utilizan dispositivos de almacenamiento flash diseñados específicamente para sustituir los discos duros. En la segunda parte, veremos más bien una comparación directa entre las SSD COTS y los Módulos DirectFlash^® de Pure Storage^®. 

Las preocupaciones por la sostenibilidad acelerarán la desaparición de los discos duros

En comparación con los sistemas de almacenamiento HDD tradicionales, el almacenamiento basado en flash ofrece ventajas abrumadoras para todas las cargas de trabajo: rendimiento superior, mayor fiabilidad, mayor densidad de almacenamiento, menor consumo energético y menor sobrecarga operativa. De 2012 a 2019, las cabinas totalmente flash han aumentado en popularidad y ahora impulsan aproximadamente el 80% o más de todos los envíos de almacenamiento para entornos de aplicaciones de alto rendimiento. 

Básicamente, los discos duros se han dejado en el polvo magnético. 

¿Por qué? A medida que más empresas priorizan la sostenibilidad como criterio clave para las nuevas compras de AFA, métricas como la eficiencia energética (TB/vatio) y la densidad de almacenamiento (TB/U) se vuelven críticas para evaluar el coste de los nuevos sistemas. La mayor densidad (en relación con las unidades de disco duro) y el rendimiento significativamente mayor de la unidad de estado sólido son factores clave que contribuyen a una mayor eficiencia y, en última instancia, a un menor coste, porque se necesitan muchos menos dispositivos multimedia (así como una infraestructura de soporte mucho menor para esos dispositivos, como controladores, armarios, ventiladores, fuentes de alimentación, cables, conmutadores, etc.) para crear un sistema que cumpla cualquier requisito de rendimiento y capacidad dado. 

En Pure//Accelerate^® 2023, ponemos en juego que 2028 sería el último año en el que los nuevos sistemas de almacenamiento construidos en torno a los discos duros se venderían para uso empresarial. Lo que se perdió en medio del hullabaloo generado por esa afirmación fue lo siguiente: La predicción agresiva de Pure Storage se basó en empresas que utilizaban nuestros dispositivos flash, no en SSD estándar (COTS). Somos optimistas con el flash, pero ni siquiera creemos que las SSD COTS vayan a eliminar los discos duros esta década.  

En Pure Storage, hay algo muy diferente e innovador en cómo desplegamos el flash en nuestros sistemas de almacenamiento empresarial. Sabemos esto porque se ha demostrado que los Módulos DirectFlash (DFM) de Pure Storage son de dos a cinco veces mejores en cada métrica significativa que en las SSD COTS. Y son 10 veces mejores que las HDD en todos los indicadores, excepto en uno: el coste bruto de adquisición. 

Limitaciones de los proveedores que utilizan las SSD COTS 

Cuatro cosas funcionan en contra de los proveedores que usan SSD COTS, incluso cuando están basadas en NVMe. Echemos un vistazo a cada uno de ellos:

1. El diseño de la SSD se basa en el volumen de los mercados minoristas de consumo en lugar de en las necesidades de la empresa.
2. El uso de las SSD COTS perpetúa la deuda técnica de los discos duros.
3. Crea dependencia de las hojas de ruta de los proveedores de discos para mejorar la eficiencia del sistema.
4. El resultado es un uso subóptimo de los medios flash.

El diseño de la unidad de estado sólido está impulsado por el volumen de los mercados minoristas de consumo en lugar de por los requisitos empresariales

En el mundo de los medios de almacenamiento, las eficiencias de costes de fabricación están directamente relacionadas con los volúmenes de producción. El mercado del volumen está compuesto por SSD de consumo (PC y móviles), no empresariales. De hecho, las unidades de estado sólido empresariales representan aproximadamente solo el 15% del mercado total de unidades de estado sólido. Siguiendo el volumen, las innovaciones clave para la tecnología SSD COTS están impulsadas por el mercado de consumo, que valora el bajo coste y las capacidades más bajas, no las necesidades empresariales. Por el contrario, las empresas valoran el rendimiento, la resistencia, la fiabilidad y la integridad de los datos — todas características que requieren una ingeniería profunda más allá de las SSD de consumo principales. Esta dicotomía sigue afectando al ciclo de innovación de las SSD COTS y a su aplicación en los mercados empresariales.  

El uso de las SSD COTS perpetúa la deuda técnica de los discos duros

Las unidades de estado sólido se han diseñado para poder insertarlas fácilmente en los sistemas de almacenamiento diseñados para las unidades de disco duro. Específicamente, las SSD COTS están diseñadas en gran medida para caber en carcasas de unidades de factor de forma pequeño (SFF) de 2,5”. La mayoría de las AFA empresariales se desarrollaron específicamente para usar estas SSD COTS. Las cabinas totalmente flash empresariales que utilizan dispositivos que tienen que caber en unas huellas de SFF de 2,5” tienen limitaciones en cuanto a su capacidad para aumentar la densidad, proporcionar unos vatios/TB más bajos y usar los medios flash de manera óptima. 

¿Cuáles son esas limitaciones? Las unidades de estado sólido COTS incluyen un controlador interno, DRAM para el almacenamiento en caché para ayudar a mejorar el rendimiento y los propios medios flash. Arquitectónicamente, una SSD COTS necesita 1GB de DRAM por cada 1TB de capacidad flash, principalmente para impulsar la capa de traducción flash (FTL). La creación de una SSD de mayor capacidad significa que tiene que encontrar el espacio dentro del dispositivo para el controlador, la DRAM y los medios flash, así como enfriar el dispositivo. Cada vez es más difícil ser capaz de hacerlo y mantenerse dentro de los límites de los embalajes de 2,5” mientras se impulsan los aumentos de densidad.

En primer lugar, veamos el controlador y sus requisitos de firmware resultantes. Las propias unidades de estado sólido tienen controladores integrados que manejan el direccionamiento lógico de bloques, la gestión del espacio libre y las tareas de mantenimiento en segundo plano, así como la FTL. También incluyen controladores flash NAND integrados que manejan el acceso directo a la memoria a la NAND. Todos estos controladores tienen firmware y cada sistema de almacenamiento empresarial puede tener fácilmente cientos de SSD, por lo que hay mucho firmware. El firmware es una de las dos causas principales de fallo en las cabinas totalmente flash (siendo los fallos de los dispositivos los más comunes). Este laberinto de complejidades del firmware plantea riesgos de fiabilidad.

Si alguna vez se ha preguntado por qué la mayoría de los proveedores de sistemas no recomiendan actualizar el firmware a nivel de SSD en línea, se debe al riesgo asociado a ello, dada la complejidad del firmware. El resultado neto de esto es que es raro que una empresa intente incluso una actualización del firmware del disco durante la vida útil de un sistema, lo que hace que el sistema pase de manera efectiva a usar un firmware de disco más antiguo y menos eficiente que se envió inicialmente con el sistema. Sería bueno poder actualizar el firmware de manera no disruptiva durante la vida útil de un sistema para mejorar el rendimiento, la utilización de la capacidad, la resistencia, la eficiencia energética y otras métricas, pero en los sistemas que usan SSD COTS, eso rara vez ocurre, a menos que se vea forzado por algún tipo de problema de integridad de los datos.

A continuación, veamos la DRAM. La DRAM es mucho más cara que los medios flash NAND, consume mucha energía en relación con los propios medios flash y ocupa espacio en el dispositivo que no contribuye directamente a su capacidad utilizable. La cantidad de DRAM necesaria en las SSD de mayor capacidad es un factor limitante cuando hay que encajar en un factor de forma de 2,5”. Y en los sistemas con cientos de SSD, eso es mucha DRAM, que consume mucha más energía por GB que los propios medios flash NAND. La DRAM también está sujeta a fallos que afectan a la fiabilidad del dispositivo. Las SSD más grandes que necesitan más DRAM aumentan las preocupaciones por la fiabilidad de la DRAM.  

Si bien ha surgido un nuevo enfoque de empaquetado de disco conocido como factor de forma estándar para empresas y centros de datos (EDSFF) y permite una capacidad de almacenamiento ligeramente más densa, sigue estando limitado por los mismos factores molestos de “embalaje HDD” y actualmente se plantea el reto de superar los 30,72 TB de tamaño y mantener la fiabilidad.

Pero ¿no se desarrolló NVMe específicamente para los dispositivos flash? Sí, pero se diseñó principalmente para acelerar la latencia y aumentar el ancho de banda de los sistemas flash. En esas métricas, claramente supera a SAS, pero tiene un impacto mucho menor en la resistencia, la fiabilidad, el uso de la capacidad o la eficiencia energética cuando se usa con SSD COTS que siguen siendo gestionadas por controladores individuales que trabajan de manera aislada. 

Dependencia de las hojas de ruta de los proveedores de discos para mejorar la eficiencia

Una arquitectura de dispositivo de almacenamiento basada en las SSD COTS significa que el proveedor del sistema de almacenamiento depende de las hojas de ruta de las SSD de los proveedores de discos para mejorar la eficiencia energética y la densidad del almacenamiento. Al principio, esto puede sonar bien: los proveedores de medios pueden centrarse en hacer las «mejores» unidades de estado sólido y los proveedores de dispositivos de almacenamiento que usan las unidades de estado sólido COTS en sus sistemas pueden centrarse en hacer los mejores sistemas, ¿verdad? Veámoslo con más detalle. 

Actualmente, las SSD de 15,36 TB están disponibles en volumen, las SSD de 30,72 TB están disponibles (pero aún no en volumen, por lo que los precios siguen siendo relativamente altos) y las SSD de 61,44 TB están en la lista de precios de al menos un proveedor de discos (aunque la disponibilidad parece limitada y los precios son altos). A nivel del mercado, surgen preguntas sobre si las SSD de 30,72 TB lograrán la caída de precios asociada con los envíos de gran volumen. Y hay aún más preguntas sobre si los dispositivos de 61,44 TB lograrán alguna vez esa caída de precio. No cabe duda de que los dispositivos flash de mayor capacidad marcan una gran diferencia en la eficiencia energética de una plataforma de almacenamiento, ya que reducen el consumo de energía y espacio en bastidor por terabyte, así como abren la oportunidad de comprar menos dispositivos para alcanzar un objetivo de rendimiento y capacidad a nivel del sistema. En teoría, esto también mejora la fiabilidad, ya que un sistema con menos dispositivos también requiere mucha menos infraestructura de soporte (controladores, armarios, ventiladores, fuentes de alimentación, cables, conmutadores, etc.). 

Sin embargo, crear una SSD de mayor capacidad no es solo una simple cuestión de instalar más medios flash en el dispositivo. En función del factor de forma, tiene que instalar el controlador, la DRAM (1 GB por TB) y los medios flash en el paquete. Suponiendo que un proveedor puede lograrlo, hay preocupaciones empresariales válidas sobre las SSD de más de 15,36 TB de tamaño, específicamente el uso de la capacidad y los tiempos de reconstrucción del disco. 

Independientemente de las afirmaciones de los proveedores de discos sobre el uso de la capacidad a nivel de dispositivo, la mayoría de los proveedores de sistemas de almacenamiento no recomiendan que llene las unidades de estado sólido en un sistema de almacenamiento más del 60%-70%. (Sin embargo, es aún peor con los discos duros, ya que los proveedores de sistemas sugieren no llenar esos dispositivos más del 50%-60% de su capacidad). Esta incapacidad para utilizar plenamente toda la capacidad de esas SSD significa que tiene que comprar más para cumplir cualquier objetivo de rendimiento y capacidad dado.

Para aumentar el uso de la capacidad de los medios flash en cada dispositivo, los proveedores pueden añadir una gran capa de caché. Esta caché actúa como un búfer de escritura de mayor rendimiento y su gran tamaño le permite realizar la coalescencia de escritura para aumentar la resistencia y el uso de capacidad del flash de respaldo mejor que los sistemas convencionales. Pero este enfoque tiene sus riesgos. La caché suele consistir en un almacenamiento de muy alto rendimiento (es decir, Optane o SLC NAND flash), que es mucho más caro en dólares/GB y consume mucha más potencia que el flash QLC NAND. El rendimiento de escritura de esa caché debe ser lo suficientemente alto para evitar que el sistema golpee un acantilado de escritura, ya que simultáneamente ingiere nuevas escrituras, atiende las solicitudes de metadatos, maneja cualquier tráfico de lectura y gestiona cómo se desfasan los datos para convertirlos en medios flash de menor coste. ¿Qué son exactamente esos medios de alto rendimiento, qué cuestan y dónde se experimenta el acantilado de escritura con las diferentes cargas de trabajo?

La relación entre las lecturas y las escrituras que los medios de alto rendimiento pueden proporcionar es un factor de éxito crítico para gestionar con éxito las cargas de trabajo de alto rendimiento y la relación entre la caché y los medios flash variará con la intensidad de escritura de la carga de trabajo. El hecho de no obtener la ratio correcta y los impactos en los costes del gran tamaño de la caché tienen un impacto en el rendimiento.  

Veamos ahora el problema del tiempo de reconstrucción. La mayoría de los proveedores de sistemas de almacenamiento implementan algún tipo de protección de datos en línea y en disco, como RAID o codificación de borrado (EC), para proteger los datos de los fallos individuales de la SSD. A raíz de los fallos, las empresas están preocupadas por un segundo fallo del disco que podría provocar la falta de disponibilidad o la pérdida de datos antes de que se complete la reconstrucción del primer disco defectuoso y, por este motivo, están muy preocupadas por los tiempos de reconstrucción del disco. Cuando una SSD falla y debe sustituirse, todos esos datos de ese dispositivo deben reconstruirse. Las SSD COTS son mucho más rápidas que las HDD, por lo que las empresas se sentían más cómodas desplegando SSD más grandes. Los proveedores de sistemas de almacenamiento suelen presupuestar un tiempo de reconstrucción de 8 a 12 horas para una SSD de 15,36 TB, mientras que la estimación sería de 25 a 30 horas para un HDD de ese tamaño. Pero esto supone que no pasa nada más en el sistema. En la práctica real, la tasa de reconstrucción de un HDD usando un enfoque EC de 20 bandas que sigue dando servicio a I/O normales es de aproximadamente 1TB al día, lo que significa que la reconstrucción de un HDD de 24TB puede tardar más de tres semanas. Las SSD pueden reconstruirse mucho más rápidamente, pero para los dispositivos de mayor capacidad, seguimos hablando de muchos días.

Debido a las preocupaciones por los tiempos de reconstrucción, las empresas tienden a querer desplegar dispositivos de menor capacidad en sistemas que tienen cualquier sensibilidad a la disponibilidad de los datos. Esto ha afectado especialmente a la capacidad de los proveedores de discos para vender dispositivos de 30,72 TB. De hecho, he visto que los clientes despliegan dispositivos de 30,72 TB en los sistemas y luego deciden pasarse a dispositivos de 15,72 TB o 7,68 TB porque no pudieron utilizar suficiente capacidad y cumplir sus requisitos de rendimiento para hacerlos económicamente atractivos.1 También he visto que los proveedores ofrecían SSD de 30,72 TB para conseguir un acuerdo de coste, pero luego pasaban al cliente a SSD de menor capacidad en el momento de la instalación por razones similares. 

Por lo tanto, con las SSD COTS, un tamaño de dispositivo más pequeño disipa las preocupaciones por los tiempos de reconstrucción, pero genera un sistema más caro y potencialmente menos fiable. Los tamaños de dispositivo más grandes generan un sistema más eficiente energética y espacialmente, pero plantean problemas de usabilidad. De hecho, por razones de rendimiento a escala y de uso de la capacidad, es posible que los proveedores de discos ni siquiera estén dispuestos a producir las unidades de estado sólido de gran capacidad (más de 75 TB) que se necesitarán para que el flash sustituya las unidades de disco duro en las cargas de trabajo empresariales. Esto se debe a que, aunque los proveedores puedan fabricar los dispositivos de mayor capacidad, sigue habiendo dudas de si las empresas las van a usar realmente en los sistemas de producción. Y si los clientes no los compran muy a menudo, los proveedores no pueden conseguir el gran volumen de fabricación necesario para reducir los precios. Esto hace que los clientes empresariales tengan aún menos probabilidades de comprarlos.

Esto lleva a lo que nuestros hermanos del otro lado del estanque pueden denominar “atacar a un chupete pegajoso” para los proveedores de discos y las empresas, en función de las unidades de estado sólido COTS.  

Uso subóptimo de los medios flash

¿Qué significa diseñar un sistema para usar los medios flash de manera óptima? Significa dispensar el equipaje HDD, optimizar el diseño del sistema en torno a un protocolo creado específicamente para flash (NVMe) y mapear y gestionar todos los medios flash en un sistema, tanto global como directamente. 

Las SSD empresariales utilizan un pequeño controlador en cada disco que gestiona los medios en solo ese dispositivo, coordinando las I/O de lectura y escritura con la gestión del espacio libre y tratando los errores I/O. Esta fue básicamente la manera en que se crearon las HDD y las SSD COTS se construyen de la misma manera. Al tomar decisiones sobre el uso de los medios, el controlador de disco no tiene visibilidad de lo que ocurre en el sistema. Al optimizar la gestión de los medios en un solo disco, acaba gestionándolos de manera subóptima desde el punto de vista de los sistemas. ¿El resultado? Una mayor amplificación de la escritura, un problema debido a las preocupaciones por la resistencia flash y la recogida de basura menos eficiente que afecta a la coherencia del rendimiento, sobre todo a medida que se llenan las unidades de estado sólido. Para intentar compensarlo, el flash está “sobreaprovisionado” (generalmente en un 15%-20%) en la propia SSD COTS, para ayudar a mejorar el rendimiento y aumentar la resistencia. Por supuesto, este sobreaprovisionamiento aumenta el coste y elimina la «capacidad utilizable» que una unidad puede proporcionar realmente (ya que la capacidad sobreaprovisionada ocupa espacio, pero solo es visible para el controlador de ese disco, no para el sistema).

Todavía hay sistemas de almacenamiento en el mercado que son básicamente solo versiones actualizadas de sistemas diseñados en las décadas de 1990 y 2000 para las unidades de disco duro que ahora ejecutan unidades de estado sólido. También hay sistemas más nuevos, algunos de los cuales se diseñaron en torno a NVMe, que tienen menos equipaje en el HDD y son más eficientes. Sin embargo, el “equipaje HDD” que sigue ahí con estos sistemas NVMe es que siguen usando dispositivos creados en torno al diseño original del HDD con un controlador interno, una DRAM y unos medios que tienen que caber dentro de un factor de forma de HDD. Y el acceso a los medios de disco a través de controladores de disco internos que no tienen una visión global de lo que hace el sistema plantea retos cuando se trata de sacar el máximo partido de los medios flash en muchas métricas: coherencia del rendimiento, resistencia, fiabilidad, consumo energético, densidad y utilización de la capacidad. 

En las SSD, el controlador interno asigna y presenta los medios a la FTL, que luego los presenta a un controlador de almacenamiento que los presenta a servidores que ejecutan varias aplicaciones. Una SSD de 15TB que funciona con una tasa de utilización de la capacidad del 70% presenta algo menos de 11TB de capacidad utilizable. Eso es mejor que una HDD con una tasa de utilización de la capacidad del 60% que solo presentaría 9,2 TB de capacidad utilizable desde un dispositivo de 15TB. Pero ¿cómo se compara esto con un sistema que utiliza dispositivos de almacenamiento flash (no SSD COTS) que no tienen un historial de consumo y que se han creado específicamente para impulsar el rendimiento y la eficiencia en los entornos empresariales? Eso es exactamente lo que hemos hecho en Pure Storage con nuestros Módulos DirectFlash (DFM), y responderemos a esta pregunta en la segunda parte de este blog.

En resumen, la inversión en un sistema de almacenamiento empresarial basado en las unidades de estado sólido COTS obliga a los clientes a aceptar una infraestructura ineficiente que les afecta negativamente en términos de coherencia del rendimiento, resistencia de los medios, fiabilidad de los dispositivos, consumo energético, densidad del almacenamiento, utilización de la capacidad y, en última instancia, coste del sistema. Pero como los puntos de comparación de muchos de ellos son sistemas totalmente HDD, los sistemas basados en SSD COTS parecen atractivos. 

Preparación para la parte 2

Hemos visto las implicaciones del uso de las SSD COTS. Para tantas cargas de trabajo empresariales, son mucho mejores que las HDD. Pero ¿y si un proveedor de almacenamiento pudiera crear dispositivos de almacenamiento flash que fueran de dos a cinco veces mejores que las SSD COTS en cuanto a consistencia del rendimiento, resistencia, fiabilidad, consumo energético, densidad y utilización de la capacidad, y menores costes de $/GB? Lo veremos en la segunda parte.

1Pagar por el 30% de una SSD de 30TB que no puede usar es más caro que pagar por el 30% de una SSD de 7,68 TB que no puede usar, un factor que desaconseja la compra de SSD COTS de mayor capacidad.