NVMe: Past, Present and Future

NVMe가 스토리지 내부에서나 스토리지, 스토리지 네트워크, 서버를 연결하는 주된 프로토콜로 부상하고 있습니다. 기존의 스토리지 접속방식과 달리 NVMe는 고성능 병렬식vs 직렬식 환경에서 솔리드 스테이트 스토리지 전용으로 개발되었습니다. NVMe 사양을 관장하는 조직인 NVM 익스프레스(NVM Express)는 협회의 역할을 아래와 같이 설명하고 있습니다.

“NVM 익스프레스는 비영리 산업 협회로 모바일에서 데이터센터에 이르는 모든 컴퓨팅 환경에서 비휘발성 메모리의 장점이 완전히 발휘될 수 있도록 기준 및 사양을 개발하는 조직이다. NVMe 사양은 현재와 미래의 NVM 기술에 높은 대역폭과 낮은 응답시간의 스토리지 액세스를 제공하기 위해 만들어졌다.

NVMe는 하드 드라이브용으로 고안된 기존 스토리지 인프라스트럭처의 병목현상을 제거하기 위해 만들어졌으며, 간소화된 프로토콜, 확장 가능한 성능, 업계 표준 소프트웨어와 드라이버로 구성되어 있다.”

퓨어스토리지는 2015년 플래시어레이//M(FlashArray//M)제품 출시와 함께 NVMe의 전략적 도입  을 시작하였습니다. 현재는 4세대 NVMe 제품인 플래시어레이//X(FlashArray//X)와 NVMe가 적용된 다이렉트플래시(DirectFlash)의 우수한 성능과 높은 집적도를 통합하여 고객들에게 큰 가치를 제공하고 있습니다.

Pure's FlashArray: Seven Generations of All-Flash Storage

NVMe는 다양한 방식으로 스토리지 인프라스트럭처의 여러 부분에 활용될 수 있습니다. 플래시어레이//M(FlashArray//M)에 NVMe 프로토콜을 적용해 데이터를 NVRAM 캐시를 통해 PCIe로 옮긴 것이 퓨어스토리지의 첫 NVMe 사례입니다. 그 후에는 플래시어레이//X70 (FlashArray//X70)의 다이렉트플래시(DirectFlash) 모듈에 NVMe를 활용해 데이터 경로를 PICe로 이동시켰으며, 최신형 플래시어레이//X(FlashArray//X)를 이용해50기가바이트 이더넷이 탑재된 NVMe-oF로 섀시에서 확장 셸프로 데이터를 입출력할 수 있습니다.

올플래시 스토리지 어레이의 프론트엔드에서 이더넷과 파이버 채널 전반의 스토리지 네트워크, 서버까지 NVMe-oF가 차후 업계의 견인차가 될 것으로 예상됩니다. NVMe-oF의 이점으로 스토리지와 서버 간의 더 빠른 커넥티비티와 낮은 CPU점유율을 꼽을 수 있습니다. 이를 통해 기존에는 직접 연결 저장장치(DAS)에 의존하던 데이터센터 내의 애플리케이션 통합을 공유형 네트워크 스토리지에서 더 많이 실행할 수 있으며, 네트워크 속도가 빨라지고, 대역폭이 넓어집니다. 이러한 접근방식을 가트너는 초고속 통합 스토리지(Shared Accelerated Storage)라 명명했습니다.  더 나아가 파이버 채널을 위한 NVMe(FC-NVMe) 사양도 발표되었습니다. 이러한 NVMe-oF의 잠재력을 분석한 글은  여기에서 확인하세요. 일부 벤더들은 이미 사양 발표 이전에 초기 NVMe-oF 제품을 출시했습니다. 이제 경쟁이 시작된 것입니다!

Dell이 바라보는 올플래시 어레이와 NVMe의 경쟁 구도

2018년에 다수의 스토리지 벤더들이 NVMe를 올플래시 어레이 스토리지 시장에서 “꼭 갖춰야 할” 기술로 인지하기 시작했습니다. DellEMC, NetApp, HPE-Nimble과 IBM 모두 NVMe를 사용하는 제품을 발표, 출시 또는 이에 대한 계획을 언급하였습니다.

지난 5월, DellEMC는 새로운 PowerMax 시스템으로 NVMe 기술에 대한 첫 도전을 발표하였습니다. PowerMax 발표에 따른 퓨어스토리지의 첫 반응은 여기에서 보실 수 있습니다.

최근 Dell PowerMax 시스템에 대한 FAQ 문서에서 Dell은 “VMAX 기술 경쟁력 분석팀”이 연구한 NVMe 스토리지 경쟁 구도에 대한 Dell의 관점을 담은 표를 제시했습니다. 이 표는 문서의 1/3쯤에 있는 “NVMe 경쟁 구도(What is the competitive landscape for NVMe?)” 아래에서 보실 수 있습니다. Dell의 문서에 퓨어스토리지도 특별히 언급되어 있으므로, Dell이 생각하는 퓨어스토리지 제품의 포지션에 대한 저희의 의견도 여러분과 나누고자 합니다.

Dell은 “NVMe NAND 백엔드”와 “NVMe 캐시” 부문에서 퓨어스토리지와 PowerMax 모두에 “네(Yes)”를 주었습니다. 넓게 보면, 두 시스템 모두 이 두 부문을 지원합니다. 그러나 설치 방식에서 차이가 있습니다. 퓨어스토리지는 소프트웨어 정의 NVMe 다이렉트플래시(DirectFlash) 모듈을 활용해 데이터를 플래시어레이(FlashArray)에 저장하지만 PowerMax는 기존의 듀얼 포트 NVMe SSD를 활용합니다.

퓨어스토리지의 플래시어레이(FlashArray)는 백엔드 데이터 스토리지에 솔리드 스테이트 미디어만을 사용하도록 구축되어 있기 때문에 NVRAM 캐시는 쓰기 전용이며, 읽기에는 사용하지 않아 NVMe를 통해 훨씬 더 빠른 속도로 데이터 전달이 가능합니다. Dell의 PowerMax는 첫 Symmetrix 시스템(1990)에서부터 시작한 기존의 캐시 아키텍처를 여전히 사용하고 있으며, 계속해서 속도가 느린 기계적 디스크 드라이브가 백엔드 일 것이라 가정하기 때문에 DRAM 캐시에서 캐시가 전부 읽고 쓰기를 합니다. 이러한 아키텍처에서 최적의 성능을 발휘하려면 수십 년간 진화해온 성능 중심의 캐시 알고리즘을 PowerMax 소프트웨어에 구축해 어떤 데이터를 캐시로 가져올 것인지, 언제 그리고 얼마나 오래 보관할 것인지를 결정해야 합니다. 이러한 캐시 알고리즘이 EMC의 기존 스토리지 시스템과 과거의 하이브리드 스토리지 시스템에 큰 가치를 더하긴 했지만, 퓨어스토리지의 올플래시 플래시어레이(FlashArray)에서는 위와 같은 접근법이 전혀 필요하지 않습니다. 이전 블로그에서도 언급한 바와 같이 Dell에게 PowerMax가 제공하는 진정한 가치가 무엇인지 한번 질문을 해볼 만합니다.

Dell은 PowerMax를 스토리지 클래스 메모리(SCM)를 위한 준비가 된 혹은 “SCM 레디”라 홍보합니다. 퓨어스토리지가 몇 년 전 “NVMe 레디”라 했던 것처럼 말이죠. “NVMe SCM 백엔드” 부문에서 Dell은 스스로에게는 “네(Yes)”를 퓨어스토리지에겐 “아니오(No)”란 평가를 내렸습니다. 여기에 각주를 더해 PowerMax에 “네(Yes)”를 준 것은 “2020 회계연도의 1분기”에 이것이 가능해질 것이기 때문이라 설명하고 있습니다. 즉, Dell은 현재 가능하지도 않은 기능을 이점으로 내세우고 있는 것이며, Dell에 따르면 추후에 “기술적으로 가능”한 시기에 이 기능이 추가될 것이고, “NVMe NAND 드라이브 대비 기가바이트 당 5~10배의 프리미엄”이 붙을 것이라고 합니다. 아직 SCM 기술이 계속 개발 중이어서 퓨어스토리지는 관련 제품, 가격 혹은 가용성에 대해 발표한 바가 없기 때문에 “아니오(No)”라는 평가를 받아도 괜찮습니다. 퓨어스토리지는 실제로 고객이 주류로 채택할 수 있는, 소비 가능한 제품을 출시 및 판매할 때에만 “네(Yes)”를 받을 수 있다고 생각합니다. 지금으로서는 SCM 스토리지와 관련해 퓨어스토리지도 Dell도 이를 이뤄내진 못했습니다.

이 차트를 보시면 Dell의 “2020 회계연도 1분기”란 주장만으로 NVMeF(NVMe-oF) 부문에서도 PowerMax에 “네(Yes)”란 평가를 줄 수 있는 것인지 의문이 드실 것입니다. 퓨어스토리지는 이미 플래시어레이(FlashArray)에서 기본적인 섀시와 선택형 스토리지 셸프(50기가바이트 이더넷) 사이에 NVMe-oF를 사용하고 있으며, Dell이 이 부문에서 “네(Yes)”란 평가를 주어 기쁘게 생각합니다. 어떤 관점에서 보면 아직 “네(Yes)”란 평가를 받기에 부족해 보일 수도 있습니다. 퓨어스토리지의 고객들이 NVMe-oF에서 정말 원하는 것은 스토리지 어레이에서 고객들의 서버까지 스토리지 네트워크 상에서의 프론트엔드 커넥티비티입니다. 이 블로그에서 이야기했던 것처럼, 퓨어스토리지는 이더넷과 파이버 채널 모두에 프론트엔드 커넥티비티를 제공하기 위해 NVMe-oF를 플래시어레이(FlashArray)에 도입할 계획을 가지고 있으며, 빠르면 2018년 말부터 RoCE를 갖춰 제공하려고 합니다. 엄밀히 말하면, 플래시어레이(FlashArray)가 현재 NVMe-oF를 사용하고 있는 반면 PowerMax는 그렇지 않고, 훨씬 더 많은 문제가 있습니다.

이 차트를 보시면 Dell의 “2020 회계연도 1분기”란 주장만으로 NVMeF(NVMe-oF) 부문에서도 PowerMax에 “네(Yes)”란 평가를 줄 수 있는 것인지 의문이 드실 것입니다. 퓨어스토리지는 이미 플래시어레이(FlashArray)에서 기본적인 섀시와 선택형 스토리지 셸프(50기가바이트 이더넷) 사이에 NVMe-oF를 사용하고 있으며, Dell이 이 부문에서 “네(Yes)”란 평가를 주어 기쁘게 생각합니다. 어떤 관점에서 보면 아직 “네(Yes)”란 평가를 받기에 부족해 보일 수도 있습니다. 퓨어스토리지의 고객들이 NVMe-oF에서 정말 원하는 것은 스토리지 어레이에서 고객들의 서버까지 스토리지 네트워크 상에서의 프론트엔드 커넥티비티입니다. 이 블로그에서 이야기했던 것처럼, 퓨어스토리지는 이더넷과 파이버 채널 모두에 프론트엔드 커넥티비티를 제공하기 위해 NVMe-oF를 플래시어레이(FlashArray)에 도입할 계획을 가지고 있으며, 빠르면 2018년 말부터 RoCE를 갖춰 제공하려고 합니다. 엄밀히 말하면, 플래시어레이(FlashArray)가 현재 NVMe-oF를 사용하고 있는 반면 PowerMax는 그렇지 않고, 훨씬 더 많은 문제가 있습니다.

앞으로는 어떨까요? 혁신? 고군분투?

Dell이 발표한 문서에는 위의 경쟁 구도 분석 외에도 또 논의 해 볼만한 문장이 하나 있습니다:퓨어스토리지는 우세한 위치에 있으나 스케일-아웃 아키텍처(새로 적용하기 어려운 기능) 없이는 NVMe와 차세대 드라이브 아키텍처의 잠재력을 활용하는 데에 어려움을 겪게 될 것이다.”

우선 퓨어스토리지를 유리한 위치에 있다고 해준 점에 대해서 Dell에 감사합니다. 그러나 플래시어레이(FlashArray)에서 스케일-업 스테이트리스(stateless) 아키텍처 (vs. 스케일-아웃 아키텍처)를 선택함으로써 이 아키텍처가 현재 혹은 미래의 NVMe 활용을 방해할 것이라는 점에는 동의할 수 없습니다. 다음과 같은 질문들을 Dell에 해볼 수 있을 것이라 생각됩니다. 퓨어스토리지가 NVMe와 관련해 구체적으로 어떤 부분에서 어려움을 겪을 것이라 생각하는지, 그 이유는 무엇인지? 또, 스케일-업이나 스케일-아웃 아키텍처 중의 어떠한 부분이 실제 NVMe와 연관이 있다 생각하는지? 말입니다.

퓨어스토리지는 고객들이 현재의 스토리지 아키텍처에 대해 불만족하는 부분을 파악한 후에 아키텍처를 개발했습니다. 고객들은 복잡한 데이터 마이그레이션, 자꾸 늘어나는 제품 포트폴리오 내에서 그리고 제품 간의 대대적 업그레이드, 복잡한 설치 및 운영, 과다한 소프트웨어 라이선스, 지속적인 성능 관리 및 튜닝을 피하고 싶어했습니다.

퓨어스토리지는 이미 혁신적인 다이렉트플래시(DirectFlash) 모듈과 함께 ‘차세대 드라이브 아키텍처’를 출시해, 솔리드 스테이트 미디어의 더 현대적이고 실용적인 사용을 가능케 했으며, 플래시블레이드(FlashBlade)플래시어레이(FlashArray) 제품군에서 이를 사용할 수 있게 했습니다. 영상을 통해 퓨어스토리지가 왜 전통적인 SSD에서 다이렉트플래시(DirectFlash)로 나아갔는지에 대한 배경 설명을 보실 수 있습니다.

DirectFlash: First Software-Defined Flash Module

플래시어레이(FlashArray)의 초기 세대들은 지금의 PowerMax가 그렇듯, NAND SSD를 기존 디스크 드라이브의 물리적 포맷에서 활용했습니다. 그러나 NVMe로 인해 가능해지는 대량 병렬은 플래시에 더 현대적이고 실용적인 포맷을 가능하게 해, 기존의 디스크 드라이브 모델들을 앞서게 됩니다. NVMe와 기존 플래시 드라이브에서 찾아볼 수 있던 상용 플래시와 프로토콜을 활용해 퓨어스토리지만의 모듈을 만듦으로써 공간 효율성, 전력 사용, 성능, 가격, 용량 집적도와 유연성을 모두 개선할 수 있습니다.

특히, 퓨어스토리지의 현재 가장 큰 NVMe 다이렉트플래시(DirectFlash) 모듈은 18.3테라바이트를 지원합니다. 이에 반해 PowerMax가 지원하는 NVMe SSD의 최대 크기는 7.68테라바이트에 불과합니다. 이러한 이유로 플래시어레이(FlashArray)와 PowerMax를 유효용량으로 비교했을 때 FlashArray가 훨씬 작은 물리적 공간, 적은 전력, 적은 냉각을 필요로 합니다. 또 다른 주요 이유는 우수한 데이터 절감 효율성을 들 수 있습니다.

또한, 퓨어스토리지는 Dell을 제외한 다른 벤더들이 기존의 SSD를 올플래시 어레이에 사용하는 대신 자체적인 플래시 모듈을 만드는 ‘차세대’ 접근방식을 도입한 것에 대해 매우 기쁘게 생각하고 있습니다. 다른 벤더들 역시 기존의 디스크 폼 팩터를 넘어서는 혁신의 가치를 잘 이해하고 있는 것 같습니다.

NVMe is the Future of Modern All-Flash Storage

플래시어레이(FlashArray)는 계속해서 퓨어스토리지의 아키텍처가 새로운 기술적 혁신을 포용하고, 이에 매끄럽게 적응하고 있음을 증명해 왔습니다. 심지어 성능에 영향을 주는 대대적인 업그레이드 없이, 데이터의 마이그레이션 없이 이 모든 것을 해냈습니다. ‘차세대’ 기술을 견인하는 것이 SCM이든 무엇이든 퓨어스토리지의 아키텍처는 미래의 기술을 수용하는 데에 아무런 한계가 없을 것입니다. 그리고 여러가지 합당한 이유로 NVMe는 퓨어스토리지의 미래에 필수적인 부분이 될 것이며, 이에는 그 어떤 장애물도 없을 것입니다. 현재 그리고 미래에 퓨어스토리지의 NVMe 솔루션이 어떻게 여러분을 도울 수 있는지 더 알고 싶으시다면 연락주세요.