퓨어스토리지는 스토리지와 관련된 모든 작업을 쉽게 수행할 수 있어야 한다고 생각하며,
“자동으로 운영되는 스토리지”를 제공한다는 비전을 지니고 있습니다.
그리고 오늘 퓨어스토리지는 인공지능 기술을 적용하여서 한층 더 향상된 안정성, 단순함 및 효율성을 제공하는 획기적인 혁신 기술을 발표하며 우리의 비전 실현에 한발 더 다가섰습니다.
이 글은 퓨어스토리지가 자동으로 운영되는 스토리지로 향하는 여정을 어떻게 바라보고 있는지 그 관점을 공유하고, 이제까지 달성해 온 성과를 살펴보며, 머신러닝을 활용한 새로운 혁신적인 기능들이 어떻게 자동으로 운영되는 스토리지 전략을 추진하고 있는지 알아보도록 하겠습니다.
보다 자세한 내용은 이 블로그 시리즈에 포함된 다른 글들을 확인해 보시기 바랍니다.
클라우드 시대의 플래시: “올해의 소프트웨어” 출시 블로그 시리즈
- 퓨어스토리지 설립 사상 최대 규모의 혁신적인 소프트웨어 출시
- 퓨리티(Purity) 액티브클러스터(ActiveCluster) – 모든 운영 환경에 적용 가능한 액티브-액티브 클러스터 솔루션
- 진정한 스케일 아웃 스토리지, 플래시블레이드(FlashBlade) – 5배 커진 용량, 5배 향상된 퍼포먼스
- 초고속 오브젝트 스토리지, 플래시블레이드(FLASHBLADE)
- 퓨리티(Purity) 클라우드스냅(CloudSnap) 기능을 활용한 네이티브 퍼블릭 클라우드 통합 방안
- VMware VVol의 간소화 – 클라우드에 최적화된 플래시 어레이에서의 VSPHERE 가상 볼륨 구축
- 퓨리티 런(Purity Run) – 내부 개발자를 위한 가상머신 및 컨테이너 구동을 위한 플래시어레이(FlashArray)
- 업계 혁신적인 NVMe 기술 도입, 그 이후는? 다이렉트플래시(DirectFlash) 쉘프 소개 및 NVMe/F 프리뷰
- 플래시어레이(FlashArray용 Windows File Services: 플래시어레이(FlashArray)에 완전한 SMB & NFS 탑재
- 다양한 업무 통합을 가능하게 하는 정책 기반 QoS
- 퓨어1 메타(Pure1 META): 셀프-드라이빙 스토리지를 가능하게 하는 퓨어스토리지의 AI 플랫폼(이번 포스팅)
자율주행 자동차는 가까운 시일 내에 우리의 생활을 획기적으로 변화시킬 것이며, 이 기술이 어떻게 제한된 활용범위를 넘어서 보다 발전된 완전한 자율주행을 구현하고 대규모로 사용될지 지켜보는 것은 매우 흥미로운 일입니다. 자율주행 자동차가 완전하게 개발되고 사용되려면 어느 정도의 시간이 걸리겠지만, 이 기술을 추진하기 위해선 다음과 같은 기본 원칙을 충족시켜야합니다.
- 자동화 & 간소화: 자율주행 자동차는 내부 기능을 자동화하고 통제합니다.
- 주변 환경 감지 & 모델링: 자율주행 자동차는 경로안내뿐 아니라 다른 자동차, 보행자 및 환경 요소들과의 상호작용을 위한 안전 메커니즘을 위해 다양한 센서 및 카메라를 사용합니다.
- 지속적인 학습 & 재교육: 자율주행 자동차는 인공지능을 사용해 수집된 데이터로부터 학습합니다. 이러한 자동차들이 더 많은 주행 조건에 노출될수록 보다 효과적으로 주행할 수 있으며, 재훈련은 의사결정 과정을 수정할 수 있도록 지원합니다.
- 전세계적인 효과: 자율주행 자동차 기술은 단지 개별 자동차의 통찰보다는 네트워크 인텔리전스가 통합될 때 보다 강력해집니다. 교통 최적화와 같은 보다 향상된 수준의 효율성은 자동차 전반에 걸친 전역적 및 네트워크 뷰를 통해서만 달성될 수 있습니다.
이러한 사실을 고려할 때, 퓨어스토리지는 자율주행 자동차와 셀프-드라이빙 스토리지 간에 명백한 유사점이 존재한다고 생각합니다. 자율주행 자동차처럼, 셀프-드라이빙 스토리지는 수동 조작이 필요하지 않습니다. 자동차 주변의 환경을 감지하고 모델링 할 수 있는 기술은 진화하는 IT 환경을 이해하하는데 핵심적이며, 모델을 생성하는데 사용되는 데이터는 고객의 모든 환경을 대표할 수 있어야 합니다. 통합된 환경에 다양한 애플리케이션이 다수 존재하는 경우, 결과는 예측할 수 없습니다.
그렇기 때문에, 셀프-드라이빙 스토리지는 또한 모든 상호작용 요소를 수용하기 위해 적절한 수준의 보호와 안전성을 제공해야 합니다. 마지막으로 셀프-드라이빙 스토리지는 단일한 어레이의 최적화를 뛰어 넘어 글로벌 인텔리전스를 제공해야 합니다.
퓨어스토리지는 창립 시기부터 스토리지 관리자의 업무 부담을 최소한으로 줄이고, 스토리지를 간소화 및 자동화하는 것을 중요 목표로 삼았습니다.
퓨리티(Purity)는 이러한 높은 수준의 자동화 및 간단함을 제공합니다.
퓨어스토리지 고객은 어레이에 플러그를 꽂기만 하면 그 후에는 별로 할 일이 없습니다.
새로 선보인 퓨리티(Purity) 기능을 통해, 퓨어스토리지는 스토리지 경험을 지속적으로 보다 간단하게 만들고 있습니다. 예를 들어, 상시 가동 QoS 기능은 시스템의 모든 리소스를 소비하고 다른 테넌트들에 영향을 미치는 워크로드로부터 다른 시스템 워크로드를 자동적으로 보호할 수 있습니다.
퓨어1(Pure1)은 셀프-드라이빙 스토리지를 제공하고자 하는 퓨어스토리지 비전의 핵심적인 요소로, 방대한 글로벌 센서 네트워크를 보유하고 있습니다.
퓨어스토리지는 전세계적으로 구축된 수천 대의 어레이로부터 하루 수조 개에 달하는 텔레메트리 데이터 포인트로부터 데이터를 수집하고 있습니다. 이러한 방대한 데이터에는 엄청난 잠재력이 존재하며 다양한 방법으로 이를 활용할 수 있습니다.
먼저, 고객들이 어레이의 상태를 직접 확인할 수 있습니다.
고객들은 언제 어디에서든 모든 장치에서 퓨어1(Pure1)에 액세스하고 새로운 퓨어1 글로벌 대시보드(Pure1 Global Dashboard)를 사용해 전체 어레이의 용량 합계, 성능, 데이터 절감율 및 기타 어레이 상태에 대한 지표를 확인할 수 있습니다.
또한, 전세계 센서 네트워크로부터 수집된 데이터는
퓨어스토리지가 제공하는 예측적 기술 지원의 기반이 됩니다.
바이러스 스캐너의 작동 방식과 유사하게, 퓨어스토리지는 모든 이슈에 대한 핑거프린트(fingerprint)를 생성하고 동일한 이슈를 실시간으로 전체 어레이에서 찾아냅니다. 이러한 기술을 통해 이제까지 500여 건 이상의 Sev1을 사전에 예방했습니다. 그리고 이 기술은 점점 더 스마트해지고 있습니다. 퓨어1 서포트(Pure1 Support)는 365일 24시간 제공되며 예측 가능합니다. 고객들이 문제를 깨닫기 전에 대부분의 문제를 찾아 해결합니다. 이 모든 것이 결합되어 99.9999%의 가용성을 제공하며, 유지보수 심지어 세대간 업그레이드 시에도 높은 수준의 가용성이 보장됩니다.
지난 수년간, 성능 규모를 산정한다는 것은 매우 어려운 일이었습니다. 수많은 변수, 복잡한 상호 작용 및 상호 의존이 존재하기 때문입니다. 두 개의 서로 다른 워크로드가 별개의 어레이에서는 잘 실행될 수 있지만, 동일한 어레이에 위치하는 경우엔 예측할 수 없는 방식으로 상호작용할 수도 있습니다. 이 때문에 두 가지 좋지 않은 결과가 발생합니다. 필요한 것보다 많은 어레이를 구매해서 오버 프로비저닝하거나 또는 언더 프로비저닝해 성능 이슈와 잠재적인 가동 중단을 야기하는 것입니다. 성능을 이해하고 어레이 규모를 산정하기 위해 복잡한 계산을 하는 것은 거의 불가능합니다. 적어도 인간의 머리로는 어려운 일입니다.
퓨어스토리지는 고급 AI 기술을 사용해 본질적으로 새로운 방식으로 이러한 문제를 해결하고자 했습니다.
퓨어스토리지가 오늘 출시해서 퓨어1(Pure1)에 포함된 글로벌 인텔리전스 엔진, 퓨어1 메타(Pure1 META)가 바로 그 해결책입니다.
메타(META)는 시간이 지나면서 보다 다양한 방식으로 사용되겠지만, 가장 우선적으로는 워크로드를 이해하는데 사용될 것입니다. 이를 위해 퓨어스토리지는 워크로드의 특징을 파악해주는 머신러닝 모델을 개발했습니다.
바로 워크로드 DNA(Workload DNA)입니다.
현재 퓨어스토리지 어레이의 성능은 수천 개의 다양한 지표로 측정됩니다. 그렇기 때문에, 가장 먼저 해야 하는 것은 이들 중 어떤 지표가 실제 주어진 워크로드의 성능을 예측하는데 중요한지를 질문하는 것이었습니다. 워크로드마다 가장 효과적인 예측 요인이 다를 수 있습니다.
이에 퓨어스토리지는 전세계에서 운영중인 10만 개 이상의 워크로드에 머신러닝을 적용해 성능 예측을 위한 지표를 파악했습니다. 그리고 완전히 다른 유형의 워크로드 즉, DNA가 전혀 다른 워크로드 간에 직접적인 성능 비교를 할 수 있도록 그 결과를 정규화했습니다.
메타(META) 및 워크로드 DNA(Workload DNA)를 통해 퓨어스토리지는 어렵지만 해결할 가치가 있는 몇 가지 질문에 대한 해답을 찾을 수 있습니다. 해답을 찾은 가장 분명한 질문은 ‘새로운 워크로드가 어레이에 부합할 것인가? 한 어레이에 워크로드 A와 B가 구동 중인 상태에서 워크로드 C를 탑재하려하는 경우, 워크로드 C가 어레이에 적합할 것인가?’라는 질문입니다. 그 다음 질문은 ‘워크로드 A와 B가 올바르게 상호작용할 것인가? 그리고 시간이 지나면서 성능과 용량은 어떻게 변화 및 증가할 것인가?’라는 질문입니다. 또한 워크로드가 어떻게 진화하는지도 이해할 수 있습니다. 예를 들어, 퓨어스토리지는 네트워크 전반에서 미국 의료기관들이 전자 건강 기록에 가장 많이 사용하는 전자 프라이버시 정보센터(EPIC)를 살펴보고, DNA가 변경되면 이를 알려줍니다.
이러한 지능적인 기능은 고객들이 구동하는 Oracle, SAP, Microsoft SQL Server 등 다양한 워크로드에 걸쳐 적용할 수 있습니다.
고객들은 새로운 퓨어1 메타 워크로드 플래너(Pure1 META Workload Planner)를 통해 메타(META) 및 워크로드 DNA(Workload DNA)를 매우 손쉽게 활용할 수 있습니다. 슬라이더를 간단하게 이동시키면 성능 부하와 용량에 대한 예측 정보가 표시됩니다. 매우 간단하지만, 모든 것은 그 이면에서 실행됩니다.
퓨어1 메타 워크로드 플래너(Pure1 META Workload Planner)는 단지 시작에 불과합니다.
퓨어스토리지의 비전은 메타(META)를 퓨리티(Purity) 액티브클러스터(ActiveCluster) 및 퓨리티(Purity) QoS와 결합하여 워크로드 배치 및 최적화를 보다 높은 수준으로 끌어 올리는 것입니다. 이에 퓨어스토리지는 스토리지 관리자들에게 어떤 워크로드가 같은 어레이 또는 다른 어레이에 위치되는 것이 좋은지 조언할 수 있는 방법을 개발 중입니다. 또한 액티브클러스터(ActiveCluster)의 액티브/액티브(active/active) 스트레치 클러스터링을 통해 퓨어스토리지는 데이터센터의 어레이 간에 또는 심지어 도시간에 워크로드를 무중단으로 이동시킬 수 있습니다.
정말 흥미로운 것은 이러한 지능적인 판단이 단일한 어레이 뿐 아니라 서로 다른 어레이들 간에도 가능하다는 것입니다. 또한, 수십만개의 워크로드로부터 학습해서 모든 고객들이 자사의 워크로드에 대해 보다 나은 통찰력을 확보할 수 있다는 것입니다.
향후 메타(META)는 퓨어스토리지의 예측적 기술 지원 역량을 더욱 강화해줄 것으로 기대됩니다.
현재는 퓨어스토리지의 기술지원 엔지니어들이 수동으로 핑거프린트(fingerprints)를 생성하고 있으나 향후 메타(META)를 통해 머신러닝 기술을 기반으로 핑거프린트(fingerprints)를 자동적으로 생성할 수 있게 될 것입니다.
또한 전세계의 센서 네트워크가 확장되면서, 메타(META)는 단지 스토리지뿐 아니라 보다 광범위한 데이터센터 및 애플리케이션 환경을 위한 핑거프린트(fingerprints)를 생성할 것입니다.
퓨어1 메타(Pure1 META)는 퓨어스토리지가 셀프-드라이빙 스토리지에 대한 비전을 계속해서 진화시키는 과정에서, 보다 향상된 다음 단계의 안정성을 구현합니다. 보다 효과적인 규모 산정을 통해 효율성을 향상시키며, 워크로드 작동에 대한 더 많은 양의 인텔리전스를 제공하는데 핵심적인 요소가 될 것입니다.
