¿Cómo se compara el equivalente de dióxido de carbono incorporado de Flash con los HDD?

Recientemente, ha habido una serie de artículos web y publicaciones en blogs que comparan el equivalente de dióxido de carbono incorporado (CO2_e) de los discos duros (HDD) listos para usar (COTS) de productos básicos frente a los discos de estado sólido (SSD). Si toma esas comparaciones al valor nominal, es probable que se retire creyendo que en esta métrica de sustentabilidad, los SSD son hasta 8 veces peores que los HDD con la sugerencia implícita de que el desarrollo de sistemas de almacenamiento a partir de flash es mucho peor para el medio ambiente que el desarrollo con disco giratorio. Sin embargo, si observa datos de CO2_e más recientes en HDD y SSD, ese número está mucho más cerca y, dependiendo de qué dispositivos flash compare, puede ser menos de 2 veces por terabyte (TB). 

Después de actualizar las comparaciones a nivel de dispositivo con las cifras actuales, ejecutamos una comparación a nivel de sistema que muestra claramente que los sistemas basados en flash pueden tener un CO2e notablemente menor que los sistemas basados en HDD, dependiendo de qué proveedores se utilicen para la comparación. También validé por qué usar comparaciones a nivel de dispositivo en lugar de a nivel de sistema para argumentar la sustentabilidad sobre los sistemas de almacenamiento empresarial es extremadamente engañoso. 

Cómo obtener una referencia actualizada equivalente al dióxido de carbono incorporado  

Un estudio de la Universidad de Wisconsin comparó los discos duros y SSD COTS fabricados en 2017, comparando el dióxido de carbono incorporado por terabyte (CO2_e/TB) durante la fabricación de un HDD de 1TB para el consumidor y un SSD de 1TB para el consumidor. El estudio mostró emisiones incorporadas de 20 kg de CO2_e/TB para el HDD y 160 kg de CO2_e/TB para el SSD, ¡una diferencia de 8 veces! Mediante el uso de datos publicados de proveedores de unidades SSD para unidades empresariales fabricadas en 2021, comparé un HDD Seagate Exos X20 de 18TB con un CO2_e/TB de 1,2 kg con un disco sólido Seagate Nytro 3332 de 15TB con un CO2_e/TB de 2,91 kg. En lugar de una diferencia de 8 veces, el SSD tenía un contenido de carbono incorporado de solo 2,4 veces el del HDD comparable.

Si observamos las tendencias de la industria desde 2017, no hay duda de que las emisiones de fabricación de SSD por TB han disminuido rápidamente (en casi 10 veces desde 2017), mientras que al mismo tiempo, la densidad de SSD aumenta más rápido que la densidad de HDD. La tabla de la Figura 1 a continuación se tomó del Informe de sustentabilidad del año fiscal 2022 de Western Digital, página 43, y muestra la relación de intensidad de emisiones promedio de gases de efecto invernadero (GEI) en todos los HDD y SSD fabricados por el proveedor durante años consecutivos. Las relaciones de intensidad de emisiones de GEI para HDD y SSD por TB vendidas en 2020 mostraron SSD 2,5 veces más altas (4,3/1,7), pero es claro ver que cada SSD del año siguiente mejoraba mucho más que los HDD. Para 2022, los datos mostraron que la relación de intensidad de emisiones de GEI de SSD para SSD por TB había disminuido en un 49 % a 2,2, mientras que la relación de intensidad de emisiones de GEI de HDD había disminuido solo en un 29 % a 1,2, lo que mostró que las SSD eran solo 1,83 veces más altas (2,2/1,2) en la intensidad de emisiones de GEI en ese año. 

Figura 1. Una comparación de la relación de intensidad de emisiones de GEI de HDD y SSD en el FY22 publicada por Western Digital.

Pero no debemos detenernos allí. ¿Qué sucede con el impacto de los ciclos de vida de los dispositivos en el CO2_e? La mayoría de los proveedores de HDD ofrecen una garantía en el rango de dos a cinco años, mientras que los proveedores de SSD cotizan uniformemente cinco años. Backblaze, una empresa independiente de almacenamiento en la nube y copia de seguridad de datos que publica números de confiabilidad de dispositivos de almacenamiento basados en un estudio de cientos de miles de dispositivos que se ejecutan en sus propios laboratorios y que se inició en 2013, realiza un seguimiento de las fallas de HDD y SSD en pruebas en ejecución continua. Los datos más recientes de Backblaze muestran que los HDD fallan aproximadamente un 50 % más a menudo que los SSD y, de esos errores de HDD rastreados, la edad promedio de falla es de 2 años y 10 meses. Tenga en cuenta que si un SSD dura 1,83 veces más que un HDD, entonces ha logrado un CO2_e equivalente, y la probabilidad de que eso suceda es bastante buena en entornos empresariales. 

En función de esto, está claro que los SSD están mucho más cerca de los HDD en términos de intensidad de emisiones de GEI por TB y la disparidad que aún existe puede compensarse con el ciclo de vida más largo de los SSD. Y la brecha de carbono incorporado por TB entre los HDD en comparación con los SSD continuará reduciéndose en el futuro a medida que mejoren las eficiencias de la fabricación flash y las instalaciones de fabricación aprovechen las fuentes de generación de energía más ecológicas. 

¿Las comparaciones a nivel de dispositivo son incluso relevantes para el almacenamiento empresarial?

He comentado sobre otras comparaciones de HDD frente a SSD que utilizaron comparaciones a nivel de dispositivo en el pasado, en particular, aquellas que demostraron que los HDD tienen un costo mucho menor de $/GB para la capacidad bruta. Si intenta hacer comparaciones entre computadoras como computadoras portátiles que probablemente solo tengan un dispositivo de almacenamiento incorporado, tal vez funcione una comparación a nivel de dispositivo. Pero los sistemas de almacenamiento empresarial a menudo tienen cientos o miles de dispositivos de almacenamiento, y la dinámica de comparación es muy diferente en esos tipos de entornos. Llegaría hasta el punto de decir que el uso de comparaciones a nivel de dispositivo para hacer argumentos de sustentabilidad sobre los sistemas de almacenamiento empresarial es extremadamente engañoso. 

He analizado estos argumentos en detalle en otras publicaciones, pero aquí resumiré por qué las comparaciones a nivel de dispositivo son tan engañosas para el almacenamiento empresarial. Para realizar una comparación relevante para los sistemas de almacenamiento empresarial, debe establecer un objetivo de rendimiento y requisito de capacidad para el sistema, y luego construir el sistema que pueda cumplir con ese requisito usando HDD o SSD. Luego, debe tener en cuenta los ahorros de capacidad con flash que se acumulan de una conversión de capacidad bruta a utilizable más alta (mayor utilización de capacidad, codificación de eliminación más eficiente). Debido al rendimiento y las densidades significativamente más altos y a las proporciones de conversión de capacidad bruta a utilizable más altas de los SSD, termina necesitando mucho menos SSD que los HDD, lo que también significa que necesita mucha menos infraestructura de soporte (controladores, gabinetes, ventiladores, fuentes de alimentación, infraestructura de conmutación), lo que impulsa un mayor costo, consumo de energía, emisiones de carbono y desechos electrónicos al final de la vida útil de un producto. 

Tenga en cuenta que el rendimiento mucho mejor de las SSD significa que puede usar dispositivos mucho más grandes mientras cumple con los objetivos de tiempo de rendimiento y reconstrucción de disco, y puede usar tecnologías de reducción de almacenamiento como la desduplicación que funcionan en tiempo real para aumentar aún más la capacidad efectiva de las SSD. 

La Figura 2 muestra una comparación de sistemas diseñados para cumplir con un requisito de 4 petabytes utilizando HDD de 12TB y tres opciones diferentes de dispositivos flash (SSD de 15,36 TB, SSD de 30,72 TB, DFM de 75TB)1. Para crear la Figura 2, utilicé las relaciones de intensidad de emisiones de GEI para el FY22 para el disco giratorio y flash para el FY22 de la Figura 1. Las emisiones de CO2_e y de fase de uso se usan indistintamente según la convención. Notará que solo basado en CO2_e de dispositivos de almacenamiento, el sistema basado en SSD es solo 1,84 veces más alto (no el 8x que se ha implícito en artículos recientes). Esta comparación rápida no tiene en cuenta los componentes adicionales y los gabinetes necesarios para el sistema basado en HDD (todo lo cual se agregaría a su CO2_e). [Note that I added in two 1U switches for the networking in each system type to get to the rack space requirement.] 

Figura 2. Una comparación rápida del recuento de dispositivos de almacenamiento y CO2_e para sistemas de almacenamiento empresariales que utilizan diferentes tipos de dispositivos.

No quiero entrar en una comparación detallada del consumo de energía del ciclo de vida en este blog, pero noto que los sistemas basados en SSD pueden usar mucha menos energía que los sistemas basados en HDD comparables. Un HDD de 12TB consume aproximadamente 6 vatios en promedio, lo que produce un TB/vatio de 2,0. Una SSD de 30,72 TB consume entre 9 y 13 vatios según el nivel de actividad. Si usamos una suposición de 11 vatios, ese SSD produce un TB/vatio de 2,8, aproximadamente un 40 % más que el HDD. Para la comparación en la Figura 2, el consumo de energía solo para los dispositivos en el sistema basado en HDD es de 2052 vatios en comparación con 1474 vatios para el sistema basado en SSD de 30,72 TB. Es aún más bajo para el sistema basado en el módulo DirectFlash® (DFM) de 75TB de Pure Storage. Nuestros DFM consumen 10 vatios, tienen un TB/vatio de 7,5 e impulsarían el consumo de energía de 550 vatios en el ejemplo dado en la Figura 2, aproximadamente un 75 % menos que el sistema basado en HDD. Una comparación más completa del consumo de energía será el tema de otro blog, pero está claro que cuando se trata del consumo de energía y sus CO2_e asociados, los sistemas basados en flash pueden ofrecer grandes triunfos sobre los sistemas basados en HDD.

¿Y ahora qué sucede con los desechos electrónicos? Si usamos la comparación de 10 años que se muestra en la Figura 2 para discos duros de 12TB y discos SSD de 30,72 TB, tiene 2,55 unidades de disco duro que desechar. Suponemos que tanto los HDD como los SSD funcionan en un ciclo de vida de cinco años en los sistemas (que podría ser generoso para los HDD). Por lo tanto, al final de los 10 años, habría desechado 684 HDD, pero solo 267 SSD de 30,72 TB (sin mencionar la necesidad de comprar y desechar todos los controladores, gabinetes, ventiladores, fuentes de alimentación e infraestructura de conmutación adicionales que necesitaría para los HDD).

Emisiones de la fase de uso a nivel del sistema 

Veamos nuevamente las emisiones totales de la fase de uso para las opciones basadas en flash y discos giratorios. El informe de sustentabilidad del FY22 de Western Digital muestra que el HDD promedio tiene emisiones de fase de uso que son 1,2 veces más altas que el SSD promedio. En la Figura 3, comparé la infraestructura basada en HDD usando HDD de 22TB con una infraestructura basada en DFM de Pure Storage usando los DFM de 150TB que se enviarán a finales de 2024 para una implementación de 1 exabyte2 durante 10 años. Supongo un ciclo de vida de 5 años para los HDD (que puede ser generoso) y un ciclo de vida de 10 años para los DFM (que está comprobado por las propias tasas de fallas anuales internas de Pure Storage [AFRs] y los registros de seguimiento de resistencia). Por lo tanto, para los fines de la Figura 3, asumimos que el equipo basado en HDD debe comprarse dos veces durante el período de 10 años, mientras que el equipo basado en DFM solo debe comprarse una vez. Notará que la configuración basada en HDD tiene un CO2_e de ciclo de vida total que es 7,3 veces mayor que la configuración basada en DFM.

Figura 3. Comparación de CO2e entre una implementación basada en HDD 1EB frente a una implementación basada en DFM 1EB durante un período de 10 años. 

Cualquier comparación cambia según el tamaño de los dispositivos que pueda usar y, al mismo tiempo, cumple con el rendimiento, el tiempo de reconstrucción del disco y otros requisitos, pero está claro que si puede usar dispositivos más grandes, necesita mucho menos de ellos. En particular, cuando se trata de sistemas basados en HDD, muchas empresas eligen tamaños de dispositivos más pequeños para abordar las preocupaciones de reconstrucción y rendimiento general del sistema, por lo que las comparaciones más realistas pueden usar HDD de 10TB u 8TB, lo que reduce aún más la brecha inicial de CO2_e entre los sistemas basados en SSD y HDD. Por otro lado, si los requisitos de tiempo de rendimiento y reconstrucción son muy flexibles, podría usar discos duros más grandes. Los HDD de 24TB están disponibles en la actualidad, y en los próximos años, es posible que veamos que los HDD de 30TB pasan a la producción por volumen. Por supuesto, esto aumentaría la brecha inicial de CO2_e entre los SSD y los HDD. 

Módulos DirectFlash de Pure Storage  

Permítame hablar sobre los módulos DirectFlash (DFM) de Pure Storage®. Hace casi una década decidimos que para implementar el sistema basado en flash más eficiente, no podíamos confiar en las SSD COTS, tendríamos que construir nuestros propios dispositivos3. Sin restricciones por los límites de la tecnología de empaque SFF de 2,5”, ya hemos demostrado que podemos crear dispositivos flash de capacidad extremadamente grande que no solo se pueden utilizar por completo en sistemas empresariales, sino que también ofrecen un rendimiento más uniforme, una mejor utilización de la capacidad y tienen una densidad, confiabilidad, resistencia y eficiencia energética mucho más altas que los SSD COTS. Si bien los proveedores de discos a menudo implican un ciclo de vida de 10 años para sus SSD, en realidad solo ofrecen garantías en el rango de cinco años. Nuestra garantía sobre los DFM coincide con nuestras suposiciones de análisis del ciclo de vida: 10 años. Además, nuestros DFM cuestan menos USD/TB que los SSD COTS.

Hemos estado enviando nuestros DFM de 75TB desde 2023, y los incluí en la Figura 2. Puede ver que nuestras densidades de DFM más altas dan como resultado sistemas mucho más compactos que necesitan mucho menos dispositivos, menos infraestructura de soporte y espacio en rack, consumen mucha menos energía y habilitan sistemas a gran escala que realmente pueden comenzar con un CO2_e más bajo que los sistemas basados en HDD comparables (según las capacidades de dispositivos seleccionadas). Enviaremos un DFM de 150TB para fines de 2024 y tenemos planes de presentar un DFM de 300TB para 2026. Esos DFM de mayor capacidad serán muy atractivos para crear sistemas multiPB, mientras que conservaremos DFM de menor capacidad (que también estamos enviando hoy) para su uso con nuestros sistemas más pequeños. 

No olvide la confiabilidad

Existe una diferencia significativa de confiabilidad entre los HDD y los SSD. En el último lanzamiento de Backblaze en mayo de 2024, muestran AFR de HDD promedio en un 1,41 %. Las últimas AFR de SSD de Backblaze publicadas disponibles son del 0,96 %. Los administradores de almacenamiento saben por experiencia que la AFR aumenta a medida que los HDD envejecen. Sí, los proveedores reemplazarán los dispositivos defectuosos que aún están en garantía, pero el hecho es que con los sistemas basados en HDD, los administradores pasan más tiempo reemplazando los dispositivos defectuosos y reconstruyendo los datos debido a las fallas de la unidad. Además, ya sea que el fabricante los reemplace o no, no significa que el dispositivo de reemplazo no tenga impacto de CO2_e, casi lo contrario. Cada dispositivo reemplazado agrega cada vez más carbono incorporado al total del sistema.

Por cierto, los módulos DirectFlash de Pure Storage son mucho más confiables, incluso que los SSD. Nuestra AFR es del 0,12 %, comprobada en cientos de miles de DFM que hemos enviado en sistemas desde 2017, ¡eso es 8 veces mejor que las AFR más recientes de los SSD COTS!

Entonces, ¿cuál es el CO2_e adicional en el que se incurre por una tasa de fallas más alta del dispositivo? La Figura 4 utiliza las suposiciones de la Figura 3 para comparar un sistema 1EB construido a partir de discos duros de 22TB frente a DFM de 150TB durante un ciclo de vida de 10 años para mostrar que el sistema basado en HDD incurre en un CO2_e adicional de dispositivos de reemplazo de 169 224 kg, mientras que el sistema basado en DFM solo incurre en 26 400 kg adicionales, una diferencia de más de 6 veces. Esta adición marca una diferencia sustancial cuando se agrega al CO2_e general de cada sistema (los sistemas basados en HDD y DFM).  

Figura 4. CO2e adicional incurrido para la configuración 1EB debido a fallas del dispositivo.

Conclusiones

Por lo tanto, está claro que los argumentos que buscan alentar las compras de sistemas basados en HDD para uso empresarial basados en CO2_e realmente no se desvían si observa todo el sistema durante su ciclo de vida. Mejorar la eficiencia de la fabricación flash ya ha reducido la brecha inicial de CO2_e entre los HDD y SSD a nivel del dispositivo a menos de 2 veces, y eso solo continuará disminuyendo a medida que la relación de intensidad de emisiones de GEI para los SSD disminuya más rápido que para los HDD. Y si tiene en cuenta la vida útil, eso reduce (y a veces) cualquier diferencia de CO2e. Si usa sistemas de almacenamiento de Pure Storage y evalúa el CO2_e durante toda la vida útil de un sistema de almacenamiento empresarial, lo cual diría firmemente que es la forma correcta de evaluarlo, es cierto que los sistemas basados íntegramente en tecnología flash pueden tener un menor impacto de carbono incorporado que los sistemas basados en HDD.  

Las soluciones de Pure Storage superan de manera consistente a los sistemas basados en HDD en una amplia gama de métricas a nivel de sistema: rendimiento general, así como consistencia de rendimiento, utilización de capacidad, densidad, confiabilidad, resistencia, costo/TB, eficiencia energética y ciclo de vida. Los artículos recientes que superan las ventajas de CO2_e para los discos duros frente a flash buscaron dar a los clientes empresariales motivos para continuar comprando nuevos sistemas basados en HDD, pero este análisis muestra que los sistemas construidos con SSD tienen CO2e de ciclo de vida que es mucho más cercano al de los sistemas basados en HDD que lo que sugerirían las comparaciones a nivel de dispositivo. Y los sistemas de almacenamiento a gran escala construidos con los DFM de Pure Storage en realidad tienen menor contenido de carbono incorporado no solo en su ciclo de vida de 10 años, sino también en la compra inicial. De nuevo, como sucedió con los costos/TB, los SSD COTS aún no ofrecen capacidades que amenacen con un evento de nivel de extinción para los HDD, pero los DFM claramente lo son.

 1 El módulo DirectFlash (DFM) de 75TB es un dispositivo de almacenamiento flash diseñado específicamente por Pure Storage para uso empresarial. 

 2 Esto se basa en los planes actuales de Pure Storage. 

 3 Entregamos nuestros primeros DFM en 2017.