Hoe verhoudt het belichaamde kooldioxide-equivalent van flash zich tot HDD’s?

Onlangs zijn er een aantal webartikelen en blogposts geweest waarin het belichaamde koolstofdioxide-equivalent (CO2_e) van commodity-off-the-shelf (COTS) harde schijven (HDD’s) werd vergeleken met solid-state schijven (SSD’s). Als u deze vergelijkingen tegen nominale waarde neemt, is de kans groot dat u niet denkt dat SSD’s op basis van deze duurzaamheidsmetriek tot 8x slechter zijn dan HDD’s, met de impliciete suggestie dat het bouwen van opslagsystemen van flash veel slechter is voor het milieu dan het bouwen ervan met draaiende schijf. Als u echter kijkt naar recentere CO2_e-data op HDD’s en SSD’s, is dat aantal veel dichterbij, en afhankelijk van welke flashapparaten u vergelijkt, kan het minder dan 2x zijn op basis van terabyte (TB). 

Na het bijwerken van vergelijkingen op apparaatniveau met de huidige cijfers, hebben we een vergelijking op systeemniveau uitgevoerd die duidelijk laat zien dat flash-gebaseerde systemen een aanzienlijk lagere CO2e kunnen hebben dan HDD-gebaseerde systemen, afhankelijk van welke leveranciers worden gebruikt voor vergelijking. Ik heb ook gevalideerd waarom het gebruik van vergelijkingen op apparaatniveau in plaats van op systeemniveau om duurzaamheidsargumenten te maken over opslagsystemen voor ondernemingen extreem misleidend is. 

Naar een bijgewerkte equivalente baseline van belichaamd koolstofdioxide  

Een studie van de University of Wisconsin vergeleek COTS HDD’s en SSD’s die in 2017 werden geproduceerd, waarbij de belichaamde koolstofdioxide per terabyte (CO2_e/TB) werd vergeleken tijdens de productie van een 1TB HDD van consumentenkwaliteit en een 1TB SSD van consumentenkwaliteit. Het onderzoek toonde een belichaamde emissie van 20 kg CO2_e/TB voor de HDD en 160 kg CO2_e/TB voor de SSD, een 8x verschil! Met behulp van openbaar gepubliceerde data van leveranciers van SSD-schijven voor bedrijfsschijven die in 2021 zijn geproduceerd, vergeleek ik een Seagate Exos X20 HDD van 18TB met een CO2_e/TB van 1,2 kg met een Seagate Nytro 3332 SSD van 15TB met een CO2_e/TB van 2,91 kg. In plaats van een 8x verschil, had de SSD een belichaamd koolstofgehalte van slechts 2,4x dat van de vergelijkbare HDD.

Als we kijken naar trends in de industrie sinds 2017, is er geen twijfel dat de SSD-productie-emissies per TB snel zijn afgenomen (met bijna 10x sinds 2017), terwijl tegelijkertijd de SSD-dichtheid sneller toeneemt dan de HDD-dichtheid. De tabel in afbeelding 1 hieronder is overgenomen uit het duurzaamheidsverslag van Western Digital over het boekjaar 2022, pagina 43, en toont de gemiddelde broeikasgasemissie-intensiteitsratio (BKG) over alle geproduceerde HDD’s en SSD’s van de leverancier voor opeenvolgende jaren. De broeikasgasemissie-intensiteitsverhoudingen voor HDD’s en SSD’s per TB die in 2020 werden verkocht, toonden SSD’s aan met 2,5x hoger (4,3/1,7), maar het is duidelijk dat elk volgend jaar SSD’s met veel meer verbeterden dan HDD’s. In 2022 toonden de data aan dat de intensiteitsverhouding van de SSD-broeikasgasemissies voor SSD’s per TB met 49% was gedaald tot 2,2, terwijl de intensiteitsverhouding van de HDD-broeikasgasemissies slechts met 29% tot 1,2 was gedaald, wat aantoont dat SSD’s in dat jaar slechts 1,83x hoger (2,2/1,2) waren in de intensiteit van de broeikasgasemissies. 

Afbeelding 1. Een vergelijking van de broeikasgasemissie-intensiteitsratio van HDD’s en SSD’s in FY22, gepubliceerd door Western Digital.

Maar daar moeten we niet stoppen. Hoe zit het met de impact van de levenscyclus van apparaten op CO2_e? De meeste HDD-leveranciers bieden een garantie van twee tot vijf jaar, terwijl SSD-leveranciers uniform vijf jaar vermelden. Backblaze, een onafhankelijk cloudopslag- en databack-upbedrijf dat betrouwbaarheidsnummers van opslagapparaten publiceert op basis van een onderzoek van honderdduizenden apparaten die in hun eigen laboratoria draaien en die in 2013 is gestart, volgt HDD- en SSD-storingen in continu lopende tests. De meest recente data van Backblaze tonen aan dat HDD’s ongeveer 50% vaker falen dan SSD’s en van die getraceerde HDD-storingen is de gemiddelde leeftijd bij storingen 2 jaar en 10 maanden. Houd er rekening mee dat als een SSD 1,83 keer zo lang meegaat als een HDD, hij een equivalent CO2_e heeft bereikt, en de kans dat dat gebeurt is vrij goed in bedrijfsomgevingen. 

Op basis hiervan is het duidelijk dat SSD’s zich veel dichter bij HDD’s bevinden in termen van broeikasgasemissie-intensiteit per TB en dat de verschillen die nog bestaan kunnen worden gecompenseerd door de langere levenscyclus van SSD’s. En de belichaamde koolstof per TB-kloof tussen HDD’s in vergelijking met SSD’s zal in de toekomst blijven afnemen naarmate de efficiëntie van de flashproductie verbetert en de productiefaciliteiten gebruikmaken van groenere stroomopwekkingsbronnen. 

Zijn vergelijkingen op apparaatniveau zelfs relevant voor enterprise storage?

Ik heb commentaar gegeven op andere HDD- vs. SSD-vergelijkingen die in het verleden gebruik maakten van vergelijkingen op apparaatniveau – met name de vergelijkingen die aantoonden dat HDD’s een veel lagere $/GB kosten hebben voor ruwe capaciteit. Als u vergelijkingen probeert te maken tussen computers zoals laptops die waarschijnlijk slechts één ingebouwd opslagapparaat hebben, werkt misschien een vergelijking op apparaatniveau. Maar enterprise storage-systemen hebben vaak honderden of duizenden opslagapparaten, en de vergelijkingsdynamiek is in dit soort omgevingen zeer verschillend. Ik zou zeggen dat het gebruik van vergelijkingen op apparaatniveau om duurzaamheidsargumenten te maken over opslagsystemen van ondernemingen extreem misleidend is. 

Ik heb deze argumenten uitgebreid behandeld in andere publicaties, maar ik zal hier samenvatten waarom vergelijkingen op apparaatniveau zo misleidend zijn voor enterprise storage. Om een relevante vergelijking te maken voor enterprise storage-systemen, moet u een doelvereiste voor prestaties en capaciteit voor het systeem instellen en vervolgens het systeem opbouwen dat aan die vereiste kan voldoen met behulp van HDD’s of SSD’s. Vervolgens moet u rekening houden met de capaciteitsbesparingen met flash die voortvloeien uit een hogere ruwe naar bruikbare capaciteitsconversie (hoger capaciteitsgebruik, efficiëntere wiscodering). Vanwege de aanzienlijk hogere prestaties en dichtheden en hogere conversieverhoudingen van ruwe tot bruikbare capaciteit van SSD’s, hebt u uiteindelijk veel minder SSD’s nodig dan HDD’s, wat betekent dat u ook veel minder ondersteunende infrastructuur nodig hebt (controllers, behuizingen, ventilatoren, voedingen, schakelinfrastructuur) – wat allemaal leidt tot hogere kosten, energieverbruik, koolstofemissies en e-afval aan het einde van de levensduur van een product. 

Houd er rekening mee dat de veel betere prestaties van SSD’s betekenen dat u veel grotere apparaten kunt gebruiken terwijl u nog steeds voldoet aan de prestatie- en schijfreproductietijddoelstellingen, en dat u opslagreductietechnologieën kunt gebruiken zoals deduplicatie die in realtime werken om de effectieve capaciteit van SSD’s verder te vergroten. 

Afbeelding 2 toont een vergelijking van systemen die zijn gebouwd om te voldoen aan een 4 petabyte-vereiste met behulp van 12TB HDD’s en drie verschillende flashapparaatopties (15,36 TB SSD, 30,72 TB SSD, 75TB DFM)1. Om figuur 2 te creëren, heb ik de broeikasgasemissie-intensiteitsratio’s voor FY22 voor draaiende schijf en flash voor het FY22 van figuur 1 gebruikt. CO2_e– en gebruiksfase-emissies worden volgens de conventie door elkaar gebruikt. U zult merken dat het SSD-gebaseerde systeem op basis van CO2_e van opslagapparaten slechts 1,84x hoger is (niet de 8x die in recente artikelen is geïmpliceerd). Bij deze snelle vergelijking wordt geen rekening gehouden met de extra componenten en behuizingen die nodig zijn voor het HDD-gebaseerde systeem (wat allemaal zou bijdragen aan de CO2_e). [Note that I added in two 1U switches for the networking in each system type to get to the rack space requirement.] 

Afbeelding 2. Een snelle vergelijking van het aantal opslagapparaten en CO2_e voor enterprise-opslagsystemen die verschillende apparaattypen gebruiken.

Ik wil in deze blog geen gedetailleerde vergelijking maken van het energieverbruik van de levenscyclus, maar ik merk op dat SSD-gebaseerde systemen veel minder energie kunnen gebruiken dan vergelijkbare HDD-gebaseerde systemen. Een 12TB HDD verbruikt gemiddeld ongeveer 6 watt, wat een TB/watt van 2,0 oplevert. Een SSD van 30,72 TB levert tussen 9 en 13 watt, afhankelijk van het activiteitsniveau. Als we een aanname van 11 watt gebruiken, levert die SSD een TB/watt van 2,8 op, ongeveer 40% hoger dan de HDD. Voor de vergelijking in afbeelding 2 is het energieverbruik voor alleen de apparaten in het HDD-gebaseerde systeem 2.052 watt, vergeleken met 1.474 watt voor het 30,72 TB SSD-gebaseerde systeem. Het is nog lager voor het 75TB DirectFlash® Module (DFM)-gebaseerde systeem van Pure Storage. Onze DFM’s verbruiken 10 watt, hebben een TB/watt van 7,5 en zouden het energieverbruik van 550 watt verhogen in het voorbeeld in afbeelding 2 – ongeveer 75% lager dan het HDD-gebaseerde systeem. Een completere vergelijking van het energieverbruik zal het onderwerp zijn van een andere blog, maar het is duidelijk dat als het gaat om energieverbruik en de bijbehorende CO2_e, flash-gebaseerde systemen grote overwinningen kunnen opleveren ten opzichte van HDD-gebaseerde systemen.

Hoe zit het met e-waste? Als we de in afbeelding 2 getoonde vergelijking van 10 jaar gebruiken voor HDD’s van 12TB en SSD’s van 30,72 TB, hebt u 2,55 het aantal HDD’s dat moet worden weggegooid. We gaan ervan uit dat zowel HDD’s als SSD’s binnen een levenscyclus van vijf jaar in systemen werken (die mogelijk royaal zijn voor HDD’s). Dus aan het einde van 10 jaar zou u 684 HDD’s hebben weggegooid, maar slechts 267 SSD’s van 30,72 TB (en niet te vergeten alle extra controllers, behuizingen, ventilatoren, voedingen en schakelinfrastructuur die u nodig hebt voor de HDD’s).

Emissies in de gebruiksfase op systeemniveau 

Laten we nog eens kijken naar de totale gebruiksfase-emissies voor spinning disk- en flash-gebaseerde opties. Het duurzaamheidsverslag van Western Digital over het FY22 toont aan dat de gemiddelde HDD gebruiksfase-emissies heeft die 1,2x hoger zijn dan de gemiddelde SSD. In afbeelding 3 heb ik HDD-gebaseerde infrastructuur met HDD’s van 22TB vergeleken met een DFM-gebaseerde infrastructuur van Pure Storage met behulp van de 150TB DFM’s die tegen het einde van 2024 zullen worden verzonden voor een implementatie van 1 exabyte2 over 10 jaar. Ik ga uit van een levenscyclus van 5 jaar voor de HDD’s (die royaal kan zijn) en een levenscyclus van 10 jaar voor de DFM’s (wat blijkt uit Pure Storage’s eigen interne jaarlijkse storingspercentages [AFRs] en endurance track records). Voor de doeleinden van figuur 3 gaan we er dus van uit dat de HDD-gebaseerde apparatuur twee keer moet worden aangeschaft over de periode van 10 jaar, terwijl de DFM-gebaseerde apparatuur slechts één keer mag worden aangeschaft. U zult merken dat de HDD-gebaseerde configuratie een totale levenscyclus CO2_e heeft die 7,3x hoger is dan de DFM-gebaseerde configuratie.

Afbeelding 3. CO2e-vergelijking tussen een 1EB HDD-gebaseerde vs. een 1EB DFM-gebaseerde implementatie over een periode van 10 jaar. 

Alle vergelijkingswijzigingen afhankelijk van de grootte van de apparaten die u kunt gebruiken terwijl u nog steeds voldoet aan de prestaties, de heropbouwtijd van de schijf en andere vereisten, maar het is duidelijk dat als u grotere apparaten kunt gebruiken, u er veel minder nodig hebt. Met name als het gaat om HDD-gebaseerde systemen, kiezen veel bedrijven voor kleinere apparaatformaten om problemen met de heropbouw en de algehele systeemprestaties aan te pakken, zodat realistischere vergelijkingen 10TB of 8TB HDD’s kunnen gebruiken, waardoor de initiële CO2_e-kloof tussen SSD- en HDD-gebaseerde systemen nog verder wordt verminderd. Aan de andere kant kunt u grotere HDD’s gebruiken als de vereisten voor prestaties en heropbouwtijd zeer laks zijn. 24TB HDD’s zijn vandaag de dag vrij algemeen beschikbaar, en in de komende jaren kunnen we zien dat 30TB HDD’s overgaan op volumeproductie. Dat zou natuurlijk de initiële CO2_e-kloof tussen SSD’s en HDD’s vergroten. 

Pure Storage DirectFlash-modules 

Ik zal hier iets zeggen over Pure Storage® DirectFlash Modules (DFM’s). We hebben bijna tien jaar geleden besloten dat we niet konden vertrouwen op COTS SSD’s om het meest efficiënte flash-gebaseerde systeem op te zetten – we zouden onze eigen apparaten moeten bouwen3. Ongehinderd door de grenzen van 2,5” SFF-verpakkingstechnologie hebben we al aangetoond dat we flashapparaten met extreem grote capaciteit kunnen bouwen die niet alleen volledig bruikbaar zijn in bedrijfssystemen, maar ook consistentere prestaties leveren, een beter capaciteitsgebruik hebben en een veel hogere dichtheid, betrouwbaarheid, duurzaamheid en energie-efficiëntie hebben dan COTS SSD’s. Hoewel schijfleveranciers vaak een levenscyclus van 10 jaar voor hun SSD’s impliceren, bieden ze in feite alleen garanties in het bereik van vijf jaar. Onze garantie op DFM’s komt overeen met onze aannames voor levenscyclusanalyse – 10 jaar. En onze DFM’s kosten minder op $/TB-basis dan COTS SSD’s.

We verzenden onze 75TB DFM’s sinds 2023 en ik heb ze opgenomen in Figuur 2. U ziet dat onze hogere DFM-dichtheden resulteren in veel compactere systemen die veel minder apparaten nodig hebben, minder ondersteunende infrastructuur en rackruimte, veel minder stroom verbruiken en grootschalige systemen mogelijk maken die daadwerkelijk kunnen starten met een lagere CO2_e dan vergelijkbare HDD-gebaseerde systemen (afhankelijk van de geselecteerde apparaatcapaciteiten). We zullen eind 2024 een 150TB DFM verzenden en hebben plannen om tegen 2026 een 300TB DFM te introduceren. Deze DFM’s met grotere capaciteit zullen zeer aantrekkelijk zijn voor het bouwen van multi-PB-systemen, terwijl we DFM’s met kleinere capaciteit (die we vandaag ook verzenden) bewaren voor gebruik met onze kleinere systemen. 

Vergeet betrouwbaarheid niet

Er is een aanzienlijk betrouwbaarheidsverschil tussen HDD’s en SSD’s. In de nieuwste release van Backblaze in mei 2024 tonen ze gemiddelde HDD AFR’s aan van 1,41%. De meest recente gepubliceerde Backblaze SSD AFR’s zijn 0,96%. Storagebeheerders weten uit ervaring dat de AFR stijgt naarmate HDD’s ouder worden. Ja, leveranciers zullen defecte apparaten die nog onder de garantie vallen vervangen, maar het feit is dat beheerders met HDD-gebaseerde systemen meer tijd besteden aan het vervangen van defecte apparaten en het opnieuw opbouwen van data als gevolg van schijfstoringen. Of de fabrikant ze al dan niet vervangt, betekent ook niet dat het vervangende apparaat geen CO2_e-impact heeft – integendeel. Elk vervangen apparaat voegt steeds meer koolstof toe aan het totaal voor het systeem.

Pure Storage DirectFlash-modules zijn trouwens veel betrouwbaarder, zelfs dan SSD’s. Onze AFR is 0,12%, bewezen bij honderdduizenden DFM’s die we sinds 2017 in systemen hebben verzonden – dat is 8x beter dan de nieuwste AFR’s van COTS SSD’s!

Dus wat is de extra CO2_e die wordt opgelopen door een hoger storingspercentage van apparaten? Afbeelding 4 gebruikt de veronderstellingen van afbeelding 3 om een 1EB-systeem te vergelijken dat is gebouwd van 22TB HDD’s vs. 150TB DFM’s gedurende een levenscyclus van 10 jaar om aan te tonen dat het HDD-gebaseerde systeem een extra CO2_e oploopt van vervangende apparaten van 169.224 kg, terwijl het DFM-gebaseerde systeem slechts een extra 26.400 kg oploopt, een verschil van meer dan 6x. Deze toevoeging maakt een wezenlijk verschil wanneer het wordt toegevoegd aan de totale CO2_e van elk systeem (de HDD-gebaseerde en DFM-gebaseerde systemen).  

Afbeelding 4. Extra CO2e opgelopen voor de 1EB-configuratie als gevolg van apparaatstoringen.

Conclusie

Het is dus duidelijk dat argumenten die de aankoop van HDD-gebaseerde systemen voor bedrijfsgebruik op basis van CO2_e willen aanmoedigen, niet echt uit de lucht komen als u het hele systeem gedurende de levenscyclus bekijkt. Het verbeteren van de efficiëntie van de flashproductie heeft de initiële CO2_e-kloof tussen HDD’s en SSD’s op apparaatniveau al teruggebracht tot minder dan 2x, en dat zal alleen maar blijven dalen naarmate de intensiteitsverhouding van de broeikasgasemissies voor SSD’s sneller daalt dan voor HDD’s. En als u rekening houdt met de nuttige levensduur, wordt het CO2e-verschil beperkt (en soms verwijderd). Als u opslagsystemen van Pure Storage gebruikt en CO2_e gedurende de gehele levensduur van een enterprise storagesysteem evalueert – wat ik sterk zou stellen is de juiste manier om het te evalueren – is het waar dat all-flashsystemen een lagere koolstofimpact kunnen hebben dan HDD-gebaseerde systemen.  

Pure Storage-oplossingen zijn consistent beter dan HDD-gebaseerde systemen op een breed scala van systeemniveau-metrieken: algemene prestaties en prestatieconsistentie, capaciteitsgebruik, dichtheid, betrouwbaarheid, duurzaamheid, kosten/TB, energie-efficiëntie en levenscyclus. Recente artikelen over CO2_e-voordelen voor HDD’s tegen flash probeerden zakelijke klanten redenen te geven om nieuwe HDD-gebaseerde systemen te blijven kopen, maar deze analyse toont aan dat systemen die zijn gebouwd met SSD’s een levenscyclus hebben van CO2e die veel dichter bij die van HDD-gebaseerde systemen ligt dan vergelijkbaarheid op apparaatniveau zou suggereren. En grootschalige opslagsystemen die zijn gebouwd met Pure Storage DFM’s hebben eigenlijk een lager koolstofgehalte, niet alleen gedurende hun 10-jarige levenscyclus, maar ook bij de eerste aankoop. Dus nogmaals, net als bij kosten/TB, leveren COTS SSD’s nog geen capaciteiten die een gebeurtenis op extinctieniveau voor HDD’s bedreigen, maar DFM’s zijn dat duidelijk wel.

 1 De 75TB DirectFlash Module (DFM) is een flashopslagapparaat dat speciaal door Pure Storage is gebouwd voor zakelijk gebruik. 

 2 Dit is gebaseerd op de huidige Pure Storage-plannen. 

 3 In 2017 hebben we onze eerste DFM’s geleverd.