다이렉트플래시(DirectFlash)와 NetApp, 무엇이 진짜인가 – 오해를 바로잡다

NetApp이 최근 다이렉트 플래시와 SSD를 비교한 블로그를 포스팅했습니다. 이 글에서는 해당 포스트의 주장들을 자세히 살펴보고 퓨어스토리지의 다이렉트플래시(DirectFlash) 모듈의 실제 엔지니어링 기술을 살펴보겠습니다.

NetApp Direct Flash

요약

NetApp이 레거시 기술을 계속 옹호하는 동안, 퓨어스토리지는 다이렉트플래시 모듈(DFMs)을 통해 근본적으로 다른 접근 방식으로 현대 데이터센터에 최적화된 엔지니어링 스토리지 시스템을 제공하고 있습니다.

image_pdfimage_print

엔터프라이즈 스토리지에서 기술 부채는 단순히 속도를 늦추는 것이 아니라 성능의 한계를 결정합니다. NetApp의 최근 블로그 포스트 다이렉트 플래시 vs. SSD는 ONTAP이 관리하는 표준 SSD가 “충분히 좋다”고 주장합니다. 그러나 NVMe 시대에 “충분히 좋은” 것은 충분하지 않습니다. 퓨어스토리지의 다이렉트플래시 모듈은 점진적 개선이 아닌 아키텍처의 전면적 혁신입니다. 다음은 엔지니어링 사실에 근거하여 NetApp의 주장들을 세밀히 검토한 내용입니다.

1. 성능과 지연시간: 펌웨어 오버헤드 vs. 소프트웨어 정의 플래시

NetApp의 주장: 성숙한 SSD 펌웨어가 맞춤형 플래시 모듈보다 성능이 우수하다.
현실: DFM은 플래시 변환 계층(FTL)을 제거하여 SSD 컨트롤러의 추상화를 완전히 우회합니다. 대신 퓨리티(Purity) OS가 NAND 배치, 가비지 컬렉션(garbage collection), 웨어 레벨링(wear-leveling)을 직접 관리합니다. 이를 통해 다음과 같은 성과를 달성합니다:

  • 250μs 미만의 지연시간(이상적 조건에서 ONTAP 관리 SSD의  300~500μs 대비, 쓰기 증폭 또는 혼합 IO 패턴에서는 더 높음)
  • 소프트웨어 조정 NAND 운영으로 인한 혼합 IO 워크로드에서의 일관된 지연 시간
  • 시스템 수준의 예측 가능성에 최적화된 IOPS—기성품 SSD가 더 높은 원시 IOPS를 내세울 수 있지만, DFM은 예측 가능한 지연시간과 모든 워크로드에서 일관된 성능을 통해 엔드-투-엔드 처리량을 최적화하여 플래시 변환 계층과 백그라운드 운영으로 인한 성능 변동을 방지합니다.

ONTAP는 워크로드별 동작이 아닌 광범위한 호환성에 최적화된 드라이브 관리 FTL에 의존합니다. 결과는? 일관성 없는 지연시간, 예측 불가능한 중단, 펌웨어로 인한 병목 현상입니다.

2. 안정성: 워크로드에 맞춘 플래시 관리

NetApp의 주장: SSD의 안전성은 기존의 펌웨어 기술 덕분에 향상된다.
현실: DFM은 웨어 레벨링과 블록 상태 추적 같은 안정성 메커니즘을 시스템 IO 패턴에 대한 전체적 가시성을 가진 퓨리티로 이관합니다. 이를 통해 다음을 실현합니다:

  • 미세 조정된 쓰기 증폭 제어로 미디어 내구성 2.5 향상
  • 애플리케이션 수준 동작에 맞춰진 더 스마트한 가비지 컬렉션
  • 펌웨어 블랙박스 휴리스틱 없는 예측 가능한 동작

SSD 펌웨어는 여전히 컴포넌트 수준에서 작동하며, 오버프로비저닝과 범용 로직으로 플래시의 한계를 숨기려 합니다. 이런 방식이 내구성을 늘리기는 하지만, 시스템 전체 IO 패턴에 대한 통찰 없이 비효율적으로 작동하는 경우가 많습니다. 그 결과 혼합 워크로드에서 지연 시간과 동작을 예측하기 어려워집니다. 반면, 퓨어스토리지의 DFM은 플래시 관리를 전체 시스템을 조망하고 제어할 수 있는 퓨리티 OS로 전환하여 플래시 처리, 예측 가능한 지연 시간, 엔터프라이즈급 장애 대응력을 시스템 전반에 구현합니다. 이는 단순한 매크로 수준의 보호가 아니라 설계된 예측 가능성입니다.

3. 전력 효율성: 낮은 추상성, 높은 효율성

NetApp의 주장: SSD는 충분히 효율적이며, 이 분야에서 다이렉트플래시의 장점은 없다.
현실: DFM은 하드웨어가 다르기 때문이 아니라 소프트웨어가 더 스마트하기 때문에 우수한 전력 효율성을 달성합니다. 플래시 관리를 내장 드라이브 펌웨어에서 퓨리티 OS로 전환함으로써, 온보드 가비지 컬렉션, FTL 유도 메타데이터 조회, 컨트롤러 오버헤드와 같은 중복 프로세스를 제거합니다. 이 간소화된 소프트웨어 정의 모델은 다음을 가능하게 합니다:

  • 테라바이트당 최대 30% 낮은 전력 소비
  • 열 부하 감소 및 랙 수준의 전력 효율성 향상
  • 실제 IO 성능에 영향을 주지 않는 드라이브당 DRAM/컨트롤러 사이클 제거
  • 고밀도 배치를 위한 간소화된 전력 프로비저닝과 냉각, 더 높은 랙 밀도를 지원하는 열 헤드룸

대용량 DFM은 TB당 전력 효율성도 높잎니다. 150TB의 개별 모듈을 제공하고 300TB까지 확장되는 DFM은 NetApp의 61.44TB SSD보다 획기적으로 높은 모듈당 밀도를 제공하여 필요한 총 디바이스 수를 줄이고 랙 수준의 전력 및 냉각 비용을 절감합니다.

SSD의 전력 소비는 플래시 용량뿐만 아니라 컨트롤러 로직, FTL 및 DRAM 리프레시 사이클을 포함한 온보드 처리 과정의 오버헤드에도 크게 좌우됩니다. 이들은 모두 스토리지 시스템과 독립적으로 작동하며 비효율성을 초래합니다.

4. 밀도: 목적에 맞게 설계된 플래시 풋프린트

NetApp의 주장: SSD는 더 높은 집적도를 제공한다.
현실: NetApp은 더 높은 집적도를 요구하지만, DFM은 61.44TB SSD에 비해 모듈당 최대 150TB(300TB 발표)까지 확장하여 RU당 더 많은 사용 가능한 플래시를 제공합니다. 디바이스 수와 오버헤드를 줄인 DFM은 랙 수준에서 확장을 간소화하고 설치 공간을 줄입니다.

NetApp 셸프는 ONTAP으로 관리되는 최대 61.44TB 용량의 표준 NVMe SSD를 사용합니다. 그러나 플래시 동작은 스토리지 OS가 아닌 개별 SSD 펌웨어에 의해 결정됩니다. 반면, 퓨어스토리지의 DFM은 플래시 제어를 퓨리티 OS로 전환하여 IO, 웨어 레벨링, 가비지 컬렉션의 글로벌 조정을 지원합니다.

중요한 이유: NetApp의 경우 드라이브 펌웨어 로드 시, 특히 백그라운드 작업 중에 성능 변동을 일으킵니다. 퓨어스토리지는 이런 병목 현상을 제거하여 성능을 예측 가능하게 하고, 애플리케이션 속도를 높이며, 운영을 단순화합니다.

5. “독점적” vs. 정밀 엔지니어링

NetApp의 주장: DFM은 독점적이며 고객을 종속시킨다.현실: 통합은 종속되는 것이 아니라 올바른 아키텍처입니다. 퓨어스토리지 DFM은 전체 플래시 스택을 최적화하기 위해 퓨리티와 공동 엔지니어링됩니다.

  • 텔레메트리 기반 플래시 관리: 퓨리티  OS는 쓰기 배치, 가비지 수집 및 데이터 레이아웃을 드라이브 레벨이 아닌 시스템 전체 레벨에서 제어합니다. 
  • 통합된 펌웨어/소프트웨어 수명 주기: 움직이는 부품이 적고 엣지 케이스가 적습니다. 이러한 통합은 업그레이드 위험을 줄이고 SSD 펌웨어에서 흔히 발생하는 불일치를 제거합니다.
  • 간단하고 탄력적인 펌웨어 설계: 타사 SSD 마이크로코드에 의존하지 않는 DFM은 덜 복잡하고 안정적이므로 버그와 회귀가 줄어듭니다.

한편, NetApp은 자체 제어가 불가능한 타사 펌웨어가 들어간 드라이브들을 지원하고 통합해야 합니다. 이로 인해 예상치 못한 버그가 발생하고, 성능 튜닝이 까다로워지며, 코드를 업데이트할 때마다 위험 요소가 생깁니다. 퓨어스토리지는 소프트웨어와 스토리지 미디어를 함께 진화시켜 투명성, 결정성 및 운영 일관성을 제공합니다.

6. 메타데이터: 퓨어스토리지의 계층적 엔진vs. WAFL의 레거시

“퓨리티는 대규모 환경에서도 일관된 낮은 지연시간을 보장하기 위해 메모리와 스토리지의 여러 계층에 메타데이터를 구성하고 배치합니다.”
 “더 나은 과학, Vol. 2

퓨어스토리지 메타데이터 피라미드는 다음을 활용합니다:

  • 자주 사용되는 메타데이터를 위한 SRAM 및 DRAM
  • 실시간 저널링을 위한 NVRAM
  • 비활성이지만 자주 조회되는 맵에 최적화된 SSD 레이아웃

ONTAP의 WAFL 아키텍처는 당시로서는 강력한 기술이었지만, 회전 디스크를 중심으로 설계되었습니다. 카피-온-라이트(copy-on-write) 메타데이터 모델은 데이터를 직접 수정하지 않고 새로운 블록을 작성하고 포인터를 업데이트하여 IO 증폭을 일으킵니다. 이런 특성 때문에 스냅샷 생성이나 삭제, 재구축, 메타데이터 재구성 등 메타데이터 집약적인 작업 중에 지연 시간이 급증할 수 있습니다. 결국 고객 입장에서는 더 복잡한 튜닝 작업이 필요하고 성능 예측이 어려워지며, 특히 대규모 환경이나 혼합 워크로드가 조건에서 이런 문제가 더욱 두드러집니다.

7. 투자 보호 및 단순성

NetApp의 주장: ONTAP 및 SSD는 유연한 미디어 옵션을 통해 탁월한 투자 보호 및 단순성을 제공한다.현실: 퓨어스토리지 에버그린(Evergreen) 아키텍처는 대규모 교체 작업 없이 컨트롤러와 미디어를 모두 무중단으로 업그레이드할 수 있어 진정한 투자 보호를 제공합니다. DFM은 모든 복잡한 부분이 사용자에게 숨겨진 채 퓨리티가 전체를 관리합니다. 반면 NetApp의 유연성은 드라이브 펌웨어, 셀프 호환성 및 WAFL 시대의 메타데이터 구조에 의존하고 있습니다. 진정한 단순성은 3-5년마다 SSD를 교체하는 것이 아니라 소프트웨어와 하드웨어가 통합된 라이프사이클에서 비롯됩니다.

퓨어스토리지 고객들은 다음과 같이 주장합니다:

  • 하이퍼스케일러 검증: Meta는 미션 크리티컬 AI 및 분석 워크로드를 지원하기 위해 퓨어스토리지의 플래시어레이(FlashArray™)와 다이렉트플래시를 선택했습니다. 세계에서 가장 엄격한 환경에서 특정 플랫폼을 채택한다는 것은 업계 표준이 되었다는 의미입니다.
  • 에버그린 고객: 에버그린(Evergreen®) 고객의 97% 이상이 시스템 마이그레이션, 장비 재구매, 서비스 중단 없이 최소 한 번 이상의 컨트롤러 또는 스토리지 미디어 업그레이드를 성공적으로 완료했습니다.
  • 고객 만족도: 퓨어스토리지는 검증된 NPS 81점을 기록하고 있으며, 이는 NetApp의 기존 NPS인 30대 중반~40대 초반과 비교해 현저히 높은 수치입니다.
  • 실제 사례: 한 대형 SaaS 업체가 기존 2개의 AFF 어레이 랙을 DFM이 탑재된 단일 플래시어레이//XL(FlashArray//XL)로 통합하여 전력 사용량 40% 감소, 랙 공간 75% 절약을 달성했습니다.
  • 실제 도입 효과: ServiceNow는 퓨어스토리지 플래시어래이를 도입을 통해 스토리지 용량을 두 배로 확장하고 시스템 가용성을 향상시켜 가동시간을 늘리고 인프라 관리를 간소화했습니다.

DFM vs. SSD: 엔지니어링 직접 비교

기능NetApp ONTAP SSD퓨어스토리지 DFM
플래시 변환 계층현재제거됨
Metadata 관리레거시(WAFL)최적화(Metadata 피라미드)
레이턴시 일관성가변(FTL에 따라 다름)예측성
오버헤드 오버프로비저닝높음낮음
전력 효율성표준TB당 최대 30% 향상
랙 밀도제한적최대 2배 더 높음
모듈당 최대 용량61.44TB150TB(300TB 발표)
안정성FTL 의존FTL 없이 2.5배 향상
혼합 워크로드 성능변수최대 50% 향상
하드웨어-소프트웨어 공동 설계아니오

마지막 결론: 아키텍처 격차

NetApp은 여전히 범용 호환성에 맞춰 구축된 SSD에 노후화된 WAFL 파일 시스템 로직을  정리하고 있습니다. 퓨어스토리지는 변환 계층을 없애고 엔트로피를 줄이며 플래시의 경제성을 극대화하기 위해 다이렉트플래시를 구축했습니다. NetApp은 이런 접근이 불필요하다고 주장하지만, 우리는 이것이 필연적인 발전이라고 봅니다.

다이렉트플래시 모듈은 단순히 성능이 향상된 플래시 미디어가 아닙니다. 현대 데이터센터에 특화되어 설계된 통합 스토리지 시스템의 핵심 구성요소입니다.

이것은 무분별한 혁신이 아니라 미래 지향적인 선택입니다.

Future of Data Storage

Learn how only Everpure can meet your data storage needs now—and in the future.