한 조사에 따르면, 많은 사람들이 어떠한 사물이나 사람이 얼마나 “스마트”한지를 떠올릴 때, 본인을 실제보다 더 스마트하다고 생각하는 “기만적 우월감”을 보인다고 합니다. 기만적 우월감의 특징 중 하나는 연구자 C.L Downing의 이름에서 유래된 “다우닝 효과”입니다. 다우닝은 연구를 통해 IQ가 낮은 사람들이 본인의 지능을 과대평가하는 반면, IQ가 높은 사람들은 스스로의 본인의 지능을 과소평가한다고 밝혀냈습니다.
퓨어스토리지는 스토리지 운영에 필요한 요소들을 얼마나 간단하고 쉽게 다룰 수 있느냐가 스토리지 인텔리전스의 가치를 나타내는 가장 중요한 지표라 생각합니다.
실질적으로 스토리지 인텔리전스의 가치를 가장 잘 보여주는 것은 ‘스마트한 사람이 수동으로 하려는 작업 중 얼마나 많은 부분을 스토리지가 스스로, 자동으로 해줄 수 있냐’입니다.
스토리지가 얼마나 “스마트”한지 파악하려면 스토리지 제조 벤더에게 다음의 질문들을 해보면 됩니다. 설치가 쉬운가? 설치 이후 얼마나 빠르게 운영이 가능한가? 서비스 수준 요건이 충족됐는지 확인하는 데에 어느 정도의 성능 관리가 필요한가? 압축, 중복제거, 암호화와 같은 데이터 서비스가 자동화되어 있는가? 아니면 수동으로 구성 및 관리를 해야 하는가? 액티브/액티브 클러스터링 통합을 쉽게 할 수 있는가? 유사한 스토리지 사용자들의 지식 및 경험이 지속적으로 축적돼 문제가 생겼을 때 사용자가 개입하지 않더라도 바로 해결이 가능한가?
처음부터 퓨어스토리지의 플래시어레이(FlashArray)는 시장에 출시된 그 어떤 제품들보다 더 우수하고, 손쉬운 고객 경험을 제공하도록 설계됐습니다. 퓨어스토리지는 스스로를 다른 스토리지 시스템보다 더 “스마트”하다든지 “인텔리전트”하다고 표현하기보다 고객들이 원하는 바를 더 잘 만족시키고자 합니다. 2017년 초에 작성된 블로그 글에 퓨어스토리지의 컨셉이 잘 설명되어 있습니다.
그러나 이와 반대로 일부 스토리지 벤더들은 스스로가 생각하는 본인들만의 “인텔리전스” 수준을 내세우기도 합니다.
최근 Dell은 PowerMax출시를 발표하면서 자사의 최신 스토리지를 “머신 러닝”, “자율 스토리지”, “인공지능”, “더 높은 IQ”등의 용어로 설명했습니다. 또한 “PowerMax OS”에 내장된 머신 러닝 엔진이 예측분석과 패턴인식을 활용해 4천만 개 이상의 데이터 세트를 실시간으로 분석, 예측하고, 하루 60억 건의 의사결정을 내려서 오버헤드 없이 성능이 극대화돼 자율 스토리지가 가능해진다고 주장했습니다.
이는 정말 놀라운 일입니다. 그런데 여기에서 분석되는 데이터 세트가 정확히 무엇일까요? 그리고 실제로 어떠한 결정이 내려지고 있는 것일까요? 또 실제로 제공되는 고객가치는 무엇일까요?
스토리지 인텔리전스 역사상 주요 사건들
데이터 스토리지 인텔리전스에 있어 많은 벤더들이 성능, 가용성, 효율성 및 간소화 부분에서 긴 혁신의 역사를 거쳐왔습니다. 대표적인 혁신의 예로 스토리지 연구자들로부터도 인정받은 Digital Equipment Corp.의 최초 RAID 기능 도입(VMS Volume Shadowing, 1989), StorageTek의 통합 데이터 압축(Iceberg, 1994), 3Par의 씬 프로비저닝(InForm O/S, 2003), Hitachi의 다른 스토리지를 가상화하는 스토리지 개발(TagmaStore, 2004) 그리고 Compellent의 자동 스토리지 티어링(Storage Center, 2004)이 있습니다.
EMC Symmetrix 아키텍처는 1990년 첫 출시부터 속도가 느린 디스크에서 속도가 더 빠른 프론트엔드 SSD의 캐시 메모리로 프리페치(pre-fetch)할 메모리를 선별 및 결정하고, 어떤 데이터를 캐시에 얼마나 오래 보유할지를 결정하는 인텔리전스를 지니고 있었습니다. 이러한 아키텍처가 가치를 창출할 수 있었던 것은 대다수의 데이터가 느리고 비용이 싼 디스크 드라이브에 저장되긴 했지만, 애플리케이션을 위해서는 대다수의 I/O(쓰기 모두 포함)가 더 빠른 속도를 가진 프론트엔드의 캐시 메모리에 저장되어야 한다는 일차적 목표 및 추정이 있었기 때문입니다. 그 당시 모든 주요 시스템 요소들이 가용성 개선을 위해 중복 설계되던 것이 혁신적으로 여겨졌던 것처럼 이 아키텍처 역시 혁신으로 받아들여졌습니다.
퓨어스토리지는 EMC가 지난 수십 년 간 업계를 발전시킨 기술적 혁신을 포함한 리더십을 스토리지 역사 속에서 보여줬음을 잘 알고 있습니다. 그러나 퓨어스토리지의 플래시어레이(FlashArray)는 디스크가 아닌 플래시의 시대에 ‘올플래시’로 설계되었기 때문에 새로운 방식으로 운영될 수 있습니다. 올플래시 어레이에서는 데이터를 읽기 위해서 데이터를 따로 읽기 캐시에 저장하지 않아도 됩니다. 따라서 올플래시 아키텍처에서는 읽기 캐시 관리를 위해 복잡한 소프트웨어를 만들 필요가 없습니다.
2009년 EMC는 FAST(Fully Automated Storage Tiering)를 출시하고, 이어서 FAST-VP(Fully Automated Storage Tiering Virtual Provisioning)를 출시해 디스크의 물리적 위치를 세밀하게 분석할 수 있도록 했습니다. 분석 대상은 무엇이었을까요? 바로 사용량이었습니다. 이 사용량에 기반해 한 VMAX 안에서 어떤 데이터를 어떤 스토리지 티어로 옮길 지가 매 10분마다 결정되었습니다.
FAST-VP 소프트웨어는 하이브리드 스토리지 어레이에서 요구되는 속도는 높지만 고비용인 플래시 용량을 최소화하고, 속도는 느리지만 비용이 저렴한 SATA 용량을 극대화해 비용과 성능 모두를 최적화했습니다. FAST-VP는 다양한 디스크 타입으로 구성된 하이브리드 VMAX스토리지를 최적화하는 데에 효과적이었습니다.
인텔리전스: 활용하거나 잃거나
그럼, 2018년으로 다시 돌아와봅시다. Dell이 역사적인 캐시 관리 혹은 무언가를 “60억 건의 의사결정”의 일부라 생각할 수도 있겠지만, 다음에 이어지는 Dell의 발언들을 보면 그렇지는 않은 것 같습니다. “마케팅 발표에서 우리는 세 가지의 숫자를 언급하며 서비스 수준을 설명한다. 이 숫자들은 어디서 유래된 것일까?”
우리가 언급하는 숫자들은 아래와 같다:
- 4천만 데이터 세트의 실시간 분석 및 예측: 4천만은 일반적인 200TB의 VMAX가 관리하는 데이터의 수를 나타낸다. 데이터 모니터링과 이동의 단위는 5.25MB 데이터 오브젝트(128KB 트랙 42개)다. 완전히 구성된 PowerMax어레이(4PB)에서는 8억 개의 데이터 세트가 지속적으로 관리된다. 우리의 고급 머신 러닝 알고리즘은 PowerMax의 성능을 극대화하고 효율성을 향상시킨다.
- 하루 60억 건의 의사결정: 일반적인 PowerMax환경에서 스토리지는 약 10분마다(의사결정 사이클) 4천만 개의 데이터 세트가 각각의 백엔드에 배치되도록 분석하고, 물리적으로 조정한다. 즉, 하루 150회 X 4천만 데이터 세트=60억 건이 된다.
참고: 시스템이 매 10분마다 4천만 데이터 세트를 전부 이동시키는 것이 아니고, 서비스 수준 요건에 따라 조정이 필요한 데이터만 이동된다.
PowerMax의 데이터 세트 분석과 60억 건 의사결정의 대부분이 단순하게 기존의 FAST-VP 소프트웨어에 기반한 것으로 보이지만, 몇 가지 주목할 만한 점이 있습니다. VMAX에서 FAST-VP 는 실시간 사용량에 기반해 서로 다른 스토리지 티어 간에 데이터를 이동시켰습니다. 반면, PowerMax에서는 단 하나의 스토리지 타입만이 존재합니다. 바로 NAND SSD입니다. 소프트웨어가 SSD 상에서 데이터의 사용빈도를 분석할 수 있고, 데이터를 어디로 이동할 지 결정(하루 최대 60억 회)할 수 있습니다.
그러나 오늘날 PowerMax상에는 NAND SSD만 있기 때문에 데이터를 이동시킬 만한 다른 공간이 없어, 데이터의 이동이 거의 없을 것입니다. 수많은 의사결정 끝에 이동되는 데이터가 없다면, 도대체 어떠한 가치가 제공될 수 있는지 궁금해집니다. 그럼에도 Dell은 이 기능에 대해 스토리지 클래스 메모리(SCM)와 연계해 설명하며, PowerMax에서SCM과 NAND SSD 티어 간에 데이터가 스마트하게 이동할 수 있다고 이야기합니다. 그러나 Dell은 2019년까지는 SCM을 제공할 계획이 없다고 했기 때문에, 데이터의 이동은 현재 불가능합니다. 또한 Dell이 “초기 SCM 가격은 NVMe NAND 드라이브에 비해 1GB 당 5~10배 수준일 것이다”고 밝혔기 때문에 SCM이 출시됐을 때 과연 이 정도의 가치가 있을지에 대해 한번 생각해봐야 할 것입니다.
2019년에는 아마 이 소프트웨어가 PowerMax에서 새 생명을 얻고, NAND 티어와 그보다 5~10배 비용이 비싼 SCM 티어 간의 데이터 이동이라는 원래의 가치를 제공할 수 있을지도 모릅니다. 그러나 이 모든 것이 가능해지질 때까지, 이동시킬 데이터에 대한 의사결정을 내리면서 그 데이터를 이동시키지 않는 것은 그 어떤 가치도 창출하지 못합니다. 이와 다르게 퓨어스토리지의 플래시어레이(FlashArray)에서는 티어링에 대해 전혀 고민할 필요가 없습니다. 플래시어레이(FlashArray)는 최신 올플래시 아키텍처를 활용해 지속적으로 낮은 비용으로 높은 성능을 제공하지만, 어떤 요소를 포기한다거나 티어링의 복잡성을 가져오지 않습니다.
데이터 절감을 하느냐 마느냐, 그것이 문제로다!
VMAX에서 PowerMax로 이어지는 레거시 인텔리전스 기능 중 또 하나는 가장 “활성화된” 데이터의 상위 20%를 파악하고, 이 활동성에 기반해 의사결정을 내리는 기능입니다. 여기에서 내려지는 의사결정은 “활성”데이터에 데이터 절감 기능을 사용하지 않아야 하는가?”입니다. 여러분이 데이터 절감 기능이 주는 비용, 공간, 전력 소모 차원의 이점을 모든 데이터에서 원해도, 또 데이터 절감 기능을 수동으로 켜도, PowerMax는 이 의견을 무시하고, 활성 데이터에 대해서는 데이터 절감 기능을 사용하지 않을 것입니다.
그렇다면 여러분은 도대체 이런 기능이 왜 필요한지, 데이터 절감에 대해 왜 스스로 결정을 내릴 수 없는지, 혹은 더 나아가서 성능과 저비용 모두를 얻을 수 있으면 좋지 않을까?라는 질문들을 하게 될 것입니다.
영화 “2001 스페이스 오디세이”의 명장면에 이를 비유할 수 있을 것 같습니다. 이 영화에서 우주비행사 데이브는 컴퓨터인 HAL 9000에게 우주선 격납고를 열라고 명령하지만 HAL은 차분한 목소리로 “데이브, 미안하지만 그렇게 못하겠습니다”라 대답합니다. 반대로, PowerMax자체에서 수동으로 데이터 절감 기능이 꺼져 있다면 데이터 절감 기능을 켤 “인텔리전스”는 없는 것과 다름없습니다.
플래시어레이(FlashArray)의 데이터 절감 기능은 상시 구동되도록 설계되었습니다. 사용자가 수동으로 기능을 작동시킬 필요가 없으며, 성능에 영향이 갈까 걱정하지 않아도 됩니다. 클릭하시면 플래시어레이(FlashArray)의 다섯 가지 데이터 절감 기술에 대한 설명을 더 보실 수 있습니다. PowerMax에서는 데이터의 최대 20%만 데이터 절감 기능의 영향을 받기 때문에, 데이터 절감 기능이 상시 구동되는 시스템과 비교했을 시, PowerMax는 더 많은 용량을 차지하게 되고, 비용이 증가하게 됩니다.
서비스 품질도 인텔리전스다!
PowerMax의 또 다른 인텔리전스는 성능 서비스 수준, 즉 서비스 품질(QoS)과 관련이 있습니다. 2014년 EMC는 서비스 레벨 프로비저닝(SLP) 소프트웨어를 출시해 FAST-VP가 플래시 SSD, FC 디스크, SATA 디스크에서 데이터 위치를 최적화하고, 각 워크로드의 각기 다른 응답 시간 및 성능 목표를 달성할 수 있도록 지원했습니다. 디폴트 모드 외에 다섯 개의 성능 클래스가 가능해진 것입니다. FAST-VP처럼 이 소프트웨어도 기존의 혼합 디스크 하이브리드 스토리지 플랫폼에 적합하게 디자인된 것이었으며, 지금은 업데이트되어 올플래시 플랫폼 환경에서는 그 영향이 좀 다를 수 있습니다.
앞서 언급한 바와 같이 PowerMax에는 NAND SSD, 단 하나의 성능 클래스만 존재합니다. 그래서 우선 순위가 낮은 워크로드의 속도를 올플래시 스토리지 어레이에서 기대되는 속도 수준에 못 미치게끔 강제로 낮출 수 있습니다. PowerMax의 다섯 가지 선택 가능한 서비스 수준 중에 네 가지가 1ms 이상의 응답시간 목표를 갖고 있으며, 성능 타깃은 최저 6ms입니다. “개별 응답 시간을 사용자가 구성할 수는 없습니다.” PowerMax의 서비스 품질 기능은 수동으로 가동되고 구성됩니다.
플래시어레이(FlashArray)는 2016년부터 서비스 품질 기능을 추가했습니다. 서비스 품질에는 세 가지 주요 기능이 있으며, 더 자세한 내용은 클릭하시면 보실 수 있습니다.
- “서비스 간섭(noisy neighbors)”로부터의 보호 기능입니다. 개별 애플리케이션이 과도하게 시스템 자원을 독차지하는 것을 방지하고, 필요에 따라 사용량을 조절합니다. 플래시어레이(FlashArray)에서는 서비스 품질 기능이 상시 구동돼 관리나 구성을 수동으로 할 필요가 없습니다.
- 성능 크리티컬한 애플리케이션의 성능을 보장합니다. 플래시어레이(FlashArray)는 이 부분에 있어서는 PowerMax와 비슷한 서비스 품질 혜택을 제공합니다. 그러나 SATA 디스크, FC 디스크, SSD가 사용되던 VMAX와 같은 기존 하이브리드 스토리지 아키텍처에서는 다섯 가지의 성능 클래스를 나누는 것이 도움이 됐을지는 모르겠으나 올플래시 스토리지에서는 이러한 복잡성이 필요하지 않습니다. 플래시어레이(FlashArray)는 세 개의 성능 클래스를 제공하며, 이미 고객들로부터 세 개도 충분하다는 평을 들었습니다.
- 서로 다른 테넌트에 일관된 성능을 보장하기 위해 성능을 제한하는 기능이 있습니다. 이 기능 역시 플래시어레이(FlashArray)와 PowerMax가 비슷한 혜택을 제공합니다.
Dell의 스토리지 인텔리전스가 오늘날 여러분에게 주는 혜택이 무엇인지 한번 생각해보십시오.
PowerMax는 모든 Symmetrix 아키텍처 스토리지 시스템(Symmetrix, DMX, VMAX, PowerMax)에 이어져온 기본적인 Symmetrix 인텔리전스 기능에 더해, 두 가지의 주요 “머신 러닝” 관련 결정을 내립니다(이 결정 중 대다수가 “60억개의 의사결정”에 포함됩니다). 그리고 퓨어스토리지는 이 소프트웨어의 기반이 VMAX의 FAST/SLP 소프트웨어로부터 이어져 온 것이라고 생각합니다.
- 그렇다면 성능을 유지하기 위해 고객의 요청과는 상관없이, 전체 데이터 절감량에 영향을 미치면서까지 일부 데이터에서 데이터 절감 기능을 꺼야 하는 걸까요? 데이터 절감 기능이 켜져 있다면 이 기능이 작동할 것이고, 절감 기능이 꺼져있는 경우에는 아무런 액션도 취해지지 않을 것입니다. 퓨어스토리지의 플래시어레이(FlashArray)에서는 데이터 절감 기능이 다른 요소를 저해하지 않고 상시 구동됩니다.
- 서비스 수준(서비스 품질)을 봅시다. 서로 다른 애플리케이션과 테넌트를 위한 성능 클래스와 한계를 정의해야 할까요? 이 기능은 소프트웨어가 수동으로 구성 및 가동됐을 때만 작동될 것이며, 그렇지 않은 경우에는 아무런 액션도 취해지지 않을 것입니다. 퓨어스토리지의 플래시어레이(FlashArray)의 “서비스 간섭(noisy neighbor)” 보호기능은 자동으로 상시 구동되며, 저희의 다른 서비스 품질 기능들은 PowerMax와 유사한 혜택을 제공합니다.
PowerMax가 스스로 주장하는 인텔리전스 측면은 퓨어스토리지 플래시어레이(FlashArray)//X에는 적용되지 않습니다. 모든 퓨어스토리지의 플래시어레이(FlashArray)는 첫 세대부터 올플래시만을 위해 설계되었으며, 복잡한 티어링 소프트웨어를 필요로 하지 않았습니다. 한 가지 방식이 모두, 혹은 적어도 대다수에 적용될 수도 있습니다. 다수의 티어1과 티어2 워크로드에 우수한 성능을 제공하면서 말입니다. 퓨어스토리지 플래시어레이(FlashArray)//X는 상시 구동 방식으로 모든 데이터 서비스를 제공하기 때문에, 무언가를 희생할 필요도, 데이터 절감과 올플래시 성능 간에 타협을 하지 않아도 됩니다.
하지만 퓨어스토리지도 투명할 필요가 있습니다. 퓨어스토리지에서도 기능들을 설명할 때 “머신 러닝”과 “인공지능”을 언급하곤 하는데, 여기서 말하는 것은 퓨어1 메타 클라우드 기반 예측 분석(Pure1® Meta cloud-based predictive analytics)입니다. 또한 퓨어스토리지는 매일 퓨어스토리지의 전체 설치 기반에서 오는 1조 가량의 데이터 포인트를 분석합니다. 오늘까지 퓨어스토리지는 7PB이상의 데이터 레이크를 만들었으며, 계속 성장하며, 지속적으로 학습하고 있습니다. 현재 퓨어스토리지의 주요 사용사례는 아래와 같습니다.
- 성능과 용량 계획을 위한 워크로드 분석: 고객들이 구성을 최적화하고, 변화하는 환경에서 일관된 서비스 수준을 유지할 수 있게 합니다.
- 사전 및 자동 문제 인식과 해결: 잠재적 이슈를 인지하고 문제 발생 전에 해결합니다.
퓨어1 메타(Pure1 Meta)에 대한 더 많은 자료를 보시려면 클릭해주세요.
플래시어레이(FlashArray)는 “인텔리전트”할까요? 네, 퓨어스토리지는 그렇게 생각합니다. 하지만 이보다 더 중요한 것은 고객들의 의견입니다. 퓨어스토리지가 스토리지를 더 쉽게 만들 수 있도록 도와드리겠습니다. 언제든지 연락주세요. 그리고 더 나아가 실제로 PoC를 통해 퓨어스토리지만의 차별점을 몸소 경험하시길 바랍니다!
