과거의 기술은 그만! 진정한 올플래시 스토리지를 찾는 새로운 기준 ‘NVMe’
스토리지 시장은 빠르게 올플래시로 옮겨가고 있습니다.
최근에는 전통적인 디스크 제조업체까지도 올플래시 제품을 내놓으며 이 시장에 가세하고 있습니다. 이는 마치 자동차 시장에서 전기자동차를 표방하는 하이브리드 자동차들이 쏟아져 나오는 것과 유사합니다. IT시장에서는 신기술이 주목받으면 기존 공급업체들이 ‘me too’ 솔루션을 내놓는 일이 흔합니다. 지금부터, ‘진짜’ 올플래시 스토리지를 가려 내기 위해 기업들이 반드시 확인해야 할 체크리스트를 태생부터 올플래시 스토리지 기업인 퓨어스토리지가 전격 소개합니다.
스토리지 시장은 자동차 시장과 비슷합니다.
자동차가 내연기관 자동차에서 하이브리드 자동차를 거쳐 전기자동차로 가는 것처럼 스토리지도 전통적인 디스크 방식에서 기존 방식에 SSD를 추가하는 단계를 거쳐 올플래시로 가는 추세입니다. 하이브리드 자동차가 주행환경에 따라서 전기와 휘발유를 선택적으로 사용하여서 좋다고 하는 사람도 있지만, 결국 전기자동차로 바뀔 것으로 예상하는데요, 이 같은 전망은 테슬라(자동차 업계 2위인 포드 매출의 1/20 수준)가 시가총액 기준으로 GM을 넘어선데서 짐작할 수 있습니다. 내연기관 자동차 시장은 앞으로 발전 가능성이 낮으며, 미래에는 전기차로 대체될 전망입니다. 스토리지 시장도 일반 디스크에 SSD를 꽂아 쓰는 하이브리드 방식이 공존하다가 향후 올플래시로 옮겨갈 것입니다.
테슬라, 올플래시 스토리지
전기자동차의 대명사인 테슬라가 올플래시 스토리지와 닮은 점은 또 있습니다. 바로 ‘소프트웨어 정의 자동차(Software Defined Car)’라는 점입니다. 테슬라는 기존 자동차처럼 모델이 다양하지도 않고, 옵션도 몇 가지밖에 없습니다. 대신 테슬라 자동차 센서와 연결된 소프트웨어가 업그레이드되면, 자동차 기능이 자동적으로 강화됩니다.
이밖에 테슬라에는 엔진이 없으며 배터리, 모터 4개, 바퀴 4개 그리고 이들을 관리하는 중앙 컴퓨터만있습니다. 올플래시 역시 SSD와 컨트롤러 2개로 매우 단순한 구조입니다. 올플래시 스토리지도 테슬라 자동차처럼 소프트웨어가 핵심입니다. 때문에 소프트웨어를 어떻게 개발했고 제품을 어떻게 관리하느냐가 이 둘에겐 핵심 경쟁력이 됩니다.
전기자동차와 올플래시 스토리지의 공통점
스토리지 아키텍처 비교
‘레트로핏’ 올플래시 스토리지는 가라
현재 시장에 나와 있는 스토리지는 크게 3가지입니다.
- 일반적인 스토리지로 알려진 하드디스크와,
- 최신 스토리지인 올플래시 스토리지,
- 레트로핏(retrofit) 스토리지입니다.
하드디스크는 일반적으로 알려진 저장매체고, 올플래시는 하드디스크 대신 메모리를 사용하는 저장장치입니다.
레트로핏 스토리지
레트로핏 스토리지는 기존의 하드디스크 스토리지에서 사용하는 저장매체인 하드디스크 드라이브를 제거하고 SSD를 장착한 것이죠. 따라서, 20년 이상 사용되어 온 기존의 아키텍처는 그대로 유지하면서 저장매체만을 메모리 기반으로 변경한 것입니다. 쉽게 말하면 하드디스크 대신 SSD를 집어넣어서, 겉모양은 같은 스토리지가 하이브리드 혹은 레트로핏 스토리지입니다.
레트로(Retro)는 복고를 뜻하는 말로 수십 년 전에 유행했던 갤러그, 스트리트 파이터 같은 옛날 게임을 최근 ‘레트로 게임’이라고도 부르고 있습니다. 레트로핏은 혁신이 없는 오래된 아키텍처에 SSD만 꽂았다고 해서 퓨어스토리지가 붙인 말입니다.
올플래시 스토리지는 차세대 올플래시 아키텍처인 NVMe(Non-volatile memory Express)를 준비하고 지원해줄 수 있어야 합니다. 경쟁사는 레트로핏 스토리지를 진짜 올플래시라고 주장합니다. 이는 NVMe는 쉽게 구현할 수 있는 기술이 아니기 때문입니다.
올플래시 스토리지 필수 조건
가트너의 10대 기술 전망 트렌드 가운데에는 인공지능, 빅데이터, 보안, 클라우드가 들어 있습니다. 이러한 기술 트렌드는 대용량 고속 스토리지가 갖춰야 할 요건과 관련 있습니다. 결국 성능이 우수하고, 용량이 크며, 신뢰성도 좋고, 사용하기 편리한 스토리지가 각광받게 될 것입니다. 이러한 고객의 요구 사항을 충족하려면 데이터 플랫폼이라는 개념을 중심으로 제품을 만들어내고 고객들에게 서비스를 제공하는 ‘차세대 올플래시 스토리지’가 필요합니다.
그렇다면, 기존 올플래시와 NVMe를 채택한 차세대 올플래시의 차이점을 알아보죠.
현재 시장에 나와있는 SSD 용량을 살펴보면, 1TB SSD부터 최근 나 온 60TB SSD까지 다양합니다. 스토리지 용량이 커지면 내부가 달라져야 하는데 기존 SSD는 아키텍처를 쉽게 바꿀 수 없다는 단점이 있습니다. 용량은 1TB에서 60TB로 60배 증가했는데 데이터를 처리할 수 있는 통로가 1TB일 때와 60TB일 때가 똑같다는 의미입니다. 이렇게 되면, SSD의 GB당 처리능력이 떨어지므로 병목이 생길 수밖에 없습니다.
데이터 통로
또한 SSD 안에 있는 CPU가 메모리를 관리하고 처리하는 용도로 사용되는데 1TB와 60TB의 CPU가 같습니다. 게다가 데이터가 지나갈 수 있는 경로가 하나 밖에 없습니다. 따라서 성능이 들쑥날쑥해 이를 예측하기 어렵죠. 기존 올플래시 스토리지 아키텍처의 근간을 이루는 SSD의 문제가 바로 여기에 있습니다. 다른 업체 들은 SSD를 여러 개 모아서 대용량의 올플래시 스토리지를 만들지만 데이터가 오갈 수 있는 통로가 하나의 큐로 돼 있어 데이터양이 늘어나면 처리 속도가 떨어질 수밖에 없습니다. 피크타임에서 병목 문제를 해결하기 위해 퓨어스토리지는 다양한 패스를 동시에 지원하는 아키텍처를 도입하였고그것이 바로 NVMe입니다.
스토리지 아키텍처 비교
성능과 아키텍처
일반적으로 성능은 GB를 기준으로 하는데, GB 당 성능이 1이라고 가정할 때 SSD가 제대로 된 성능을 낸다면 용량이 60배 늘어날 경우 데이터 처리성능도 60배 좋아져야 합니다. 하지만 실제로는 용량만 늘어났을 뿐 아키텍처는 똑같습니다. 그에 비해 퓨어스토리지는 데이터 통로가 다양해 각각의 통로로 데이터가 이동하고 이를 처리하는 구조입니다.
퓨어스토리지는 컨트롤러와 저장장치를 완전히 분리합니다.
그래서 모든 메모리들을 컨트롤러에서 하나의 공간으로 관리할 수 있습니다. 즉, 타사는 SSD 단위로 관리할 수 있는 데 비해 퓨어스토리지는 각각의 SSD에서 메모리를 관리하는 대신 모든 메모리를 하나의 컨트롤러에서 전체적으로 관리합니다. 아래의 그림에서 볼 수 있듯 스토리지는 메모리 부분과 컨트롤러 부분으로 나뉘고 모든 메모리 관리기능은 컨트롤러에서 실행되는 소프트웨어가 담당합니다.
퓨어스토리지는 전체 메모리를 하나의 공간(Pool)으로 보고 관리하기 때문에 메모리 공간을 좀 더 효율적으로 관리할 수 있고, 여러 가지 기능들을 쉽게 구현할 수 있습니다. 이렇게 함으로써 안정적인 성능을 보장할 수 있습니다. 또한 전형적인 SSD보다 5배 이상 빠른 속도를 제공합니다.
차세대 올플래시 스토리지 아키텍처
퓨어스토리지를 단순히 올플래시 스토리지만 판매하는 하드웨어 회사라고 생각할 수 있는데, 실제로는 하드웨어뿐 아니라 관련된 소프트웨어, 기존 고객 들이 많이 사용하는 애플리케이션과 클라우드의 자동연계 및 데이터 전송 등도 함께 제공하는 데이터 플랫폼 회사입니다.
올플래시 스토리지의 요건 가운데 성능 측면에서 보면, 퓨어스토리지는 NVMe 차세대 올플래시 아키텍처를 통해 성능을 보장하고 있습니다. 용량 측면에서는 크게 4가지 모델이 있습니다. 가장 작은 모델인 M10부터 큰 모델인 M70까지 있으며, 상위 모델로의 확장과 호환이 매우 자유롭고 쉽다는 특징이 있습니다. 경쟁사 제품은 작은 모델로부터 상위 모델까지 가는 과정이 매우 복잡합니다. 예를 들어 작은 모델을 도입하였다가 상위 모델로 업그레이드 하면 수작업이나 툴을 이용해서 작은 모델에 저장된 데이터를 모두 옮겨야 합니다. 하지만 퓨어스토리지는 그러한 과정이 필요하지 않습니다.
유연한 확장기능
퓨어스토리지의 작은 모델에서 상위 모델로 데이터를 옮기고 싶다면, 기존 장비의 컨트롤러를 상위 모델의 컨트롤러로 교체하기만 하면 됩니다. 이러한 유연한 확장 기능을 통해 데이터 공간을 1.5페타바이트까지 확장할 수 있습니다. 가장 작은 장비에서 가장 큰 장비까지 자유롭게 성능이나 용량을 확장할 수 있습니다. 높은 성능을 얻기 위해서 상위 모델로 업그레이드 하는 스케일 아웃, 하나의 장비에서 용량을 확장하는 스케일-업, 이 둘을 모두 지원하는 스토리지 아키텍처입니다.
왜 NVMe인가
프로토콜 비교(AHCI vs. NVMe)
NVMe가 주목받는 이유는 HDD 시대에 설계됐던 AHCI(Advanced Host Controller Interface)를 대체할 수 있기 때문입니다. 삼성전자는 AHCI와 NVMe 기반의 SSD를 모두 생산하는데, AHCI는 SAS나 SATA 방식을 쓰며 기존 아키텍처로 설계돼 있습니다. 이는 거의 20~30년 전에 나온 아주 오래된 아키텍처로, 메모리 저장매체와는 맞지 않는 아키텍처라 할 수 있습니다. 때문에 PCI 익스프레스라는 프로토콜이 개발되었습니다. 이를 사용하는 메모리 아키텍처를 NVMe라고 합니다.
현재 나와 있는 기존 방식은 속도가 12기가 비트라고 돼 있는데, 이를 바이트로 보면 1.2GB/sec입니다. NVMe 아키텍처는 최소 3~7배까지 속도가 빨라 이론적 으로 7.8GB/sec의 속도를 기본적으로 제공합니다. 메모리 업체들, 혹은 올플래시 업체들은 NVMe기술을 채택할 수밖에 없고 이 기술은 계속 발전하고 있습니다. 조만간 15GB/sec 속도를 제공하는 NVMe 아키텍처가 나올 것입니다.
이미 NVMe는 시장에 나와 있고 일부 제품에 들어가 있습니다. 스마트폰에도 NVMe가 들어가 있습니다. NVMe는 메모리와 CPU 코어들 간 통로가 1:1로 돼 있습니다. 때문에 대용량 데이터가 한꺼번에 들어온다 해도 병목이 발생하지 않습니다. 향후 모든 올플래시 스토리지가 이 방향으로 갈 수 밖에 없는 이유도 여기에 있습니다.
퓨어스토리지는 준비되었습니다.
퓨어스토리지는 NVMe 아키텍처를 수용할 수 있도록 설계돼 있습니다. 제품을 처음 만들 때부터 향후 나올 NVMe 아키텍처를 수용할 수 있도록 했습니다. NVMe 아키텍처를 완전히 제공하려면 섀시부터 컨트롤러, 메모리 모두가 NVMe를 지원해야 합니다. 물론 소프트웨어도 NVMe를 구성하는 컨트롤러, 메모리 등을 관리해야 합니다. 소프트웨어와 하드웨어가 모두 NVMe 아키텍처를 위해 준비되어야 완벽한 NVMe 환경을 제공할 수 있습니다.
하나의 스토리지 박스에서 NVMe를 지원하는 것을 넘어서 복수개의 NVMe 스토리지 혹은 확장 셸프, 서버를 연결하기 위한 기술인 NVMe Fabric 기술도 이미 상용화되어 있습니다.
퓨어스토리지는 미래의 올플래시 기술을 보고 로드맵을 수립해 제품을 개발 하고 있습니다. 올플래시 스토리지라는 단위 제품에서 시작했으며 현재는 1,000명 이상의 엔지니어가 올플래시만 연구하고 있습니다. 기존의 대형 스토리지 업체가 올플래시 분야에 이 정도 규모의 연구/개발인력을 배치하기는 어려울것입니다. 레거시 기술이나 레트로핏 기술을 보유한 회사들과는 출발점부터 다릅니다. 가트너의 매직쿼드런트 SSA 부문에서 퓨어스토리지는 4년 연속 1위를 차지해 비전과 실행력을 인정받았습니다.
올플래시 스토리지 도입 가이드라인
올플래시 스토리지를 도입하려는 기업이 고려해야 하는 3가지는 가용성, 기능, 성능입니다. 가용성 측면에서는 무중단 아키텍처가 필요합니다. 기업의 주요 업무들은 절대 중단되어서는 안 됩니다. 이를 위해서는 스토리지 박스 자체의 가용성이 99.9999% 이상이어야 합니다. 그리고 사용자가 성능을 업그레이드 하거나 용량을 확장할 때도 다운되지 않는 아키텍처여야 합니다.
기능 측면에서 보면, 대기업에서는 복제, 암호화, QoS, 성능을 일정하게 보 장하는 기능, 씬 프로비저닝기능 등이 필요합니다. 또한 고성능을 제공해야 하고, 응답시간이 빨라야 하며, 지속적으로 낮은 레이턴시를 제공해야 합니다.
성능을 보면, 예전에는 포트 개수, 캐시 용량으로 스토리지를 하이엔드, 미드 레인지, 엔트리 레벨로 나눴는데요, 예전의 스토리지는 포트 하나당 낼 수 있는 성능이 제한적이라서 포트 개수가 많아야 좋은 성능을 낼 수 있다고 생각했습니다. 하지만 지금은 포트 개수, 캐시 용량이 별 의미 없습니다. 이는 하나의 포트가 예전보다 4 배 이상 큰 성능을 제공하고 낸드플래시 쪽에서 고 IOPS, 광대역, 저 지연 등을 보장해 주기 때문입니다.
