신생 스토리지 솔루션의 숨겨진 단점

지난 10여 년 동안 소프트웨어 정의 스토리지(SDS)는 복잡한 고가 엔터프라이즈 데이터 스토리지를 위한 강력한 대안이라고 주장해왔습니다. 그 근거로 제시된 이점에는 탁월한 유연성, 하드웨어의 독립성, 상용 하드웨어를 통한 비용 절감 등이 있었습니다. 하지만 관리와 운영의 복잡성, 예측할 수 없는 성능, 안정성, 지원 등의 측면에서 실제 구현된SDS는 실용적인 대안이 되지 못했습니다. 처음에 상용 하드웨어 구성 요소를 기반으로 인프라를 구축한 퍼블릭 클라우드들도 대규모 효율성은 하드웨어와 소프트웨어를 함께 엔지니어링해야 실현될 수 있다는 사실을 깨닫게 된 것입니다.

그리고 오늘날, 검증되지 않은 많은 신생 스토리지 솔루션들은 ‘소프트웨어 전용’이라거나 ‘하드웨어에 구애받지 않음’을 기치로 내세우며, SDS와 유사한 혜택을 제공하고, 광범위한 기능, 간단한 운영 및 무제한적인 확장성을 제공한다고 약속하고 있습니다. 이러한 주장이 과연 사실일까요?

이 글에서는 SDS 복잡성과 이러한 솔루션들의 장기적인 생존 가능성을 살펴봅니다.

새로운 SDS 솔루션, 전과 다름없는 복잡성

SDS 기반 신생 솔루션들은 원활한 스토리지 솔루션을 약속하지만, 복잡한 초기 구현, 지속적인 안정성 문제 등으로 인해 입지를 굳히는데 어려움을 겪고 있습니다. 보다 구체적으로 설명하면, 이러한 시스템을 배포하는 과정에서 다양한 스토리지 구성으로 인해 끊임없이 문제를 진단하고, 패치를 적용하며, 실험하느라 귀중한 리소스의 손실이 발생합니다.

또한 이러한 SDS 솔루션은 비효율적입니다. 상용 구성 요소는 구매 비용이 낮기 때문에 처음에는 매력적이지만, 하드웨어와 소프트웨어 간의 최적화와 효율성이 부족해 궁극적으로 시스템의 에너지 효율성에 피해가 갑니다. 전 세계가 에너지 위기에 직면해 있는 상황에서, 절약되는 전력은 새로운 워크로드에 할당할 수 있는 소중한 전력입니다. AI 투자가 증가함에 따라 전력 소비 절감은 더 큰 가치를 갖게 될 것입니다.

초기 구현부터 골칫거리

문제는 구현 시점부터 시작됩니다. 시스템을 설치하는 것은 밀레니엄 수학 난제를 푸는 것만큼이나 까다롭습니다. 하드웨어는 컴퓨팅 박스, 스토리지 박스, 스위칭 패브릭, 그리고 많은 케이블로 구성되어 있습니다. 솔루션은 ‘하드웨어에 구애받지 않는다’는 주장에도 불구하고 인증을 받았거나 자격을 충족하는 일부 공급업체들의 특정 구성 요소로 구성됩니다. 이러한 다양성을 고려할 때, 초기 구성은 복잡하기도 하고, 구성 요소마다 차이가 있기 때문에 공급업체에서 교육을 받은 엔지니어와 협력하여 시스템을 가동하는 데 몇 주가 걸리는 경우가 허다합니다. 안타깝게도, 첫 번째 I/O까지 걸리는 시간은 시작에 불과합니다.

이러한 신생 스토리지 솔루션은 기능이 풍부하다고 주장하지만, 많은 기능들은 다양한 오픈 소스 소프트웨어에 기반합니다. 이러한 기능 중 상당수는 엔터프라이즈 환경에서 사용할 수 없으며, 적절하게 구성하는 것은 복잡하고 시간도 많이 듭니다. 구현을 간소화하고 성능을 향상하기 위해, 이러한 주요 기능 중 일부는 기본적으로 비활성화되어 있어 운영에 들어가면 문제가 됩니다. 예를 들어, 한 솔루션 공급업체는 고객 데이터를 안전하게 유지하는 데 필수적인 저장 데이터 암호화(D@RE)가 기본적으로 비활성화되어 있습니다. D@RE는 시스템이 가동되기 시작한 후에 활성화할 수 있지만, 이는 성능에 영향을 미칠 수가 있고 예측이 불가능하며, 심지어 시스템이 성능 SLA를 충족하지 못하게 될 수도 있습니다. 자체 암호화 드라이브(SED)는 암호화하는 도중에 시스템 성능에 미치는 영향을 최소화할 수 있지만 일반 드라이브보다 훨씬 비용이 높습니다. 암호화가 비활성화된 이 공급업체가 공개한 성능 벤치마크 결과와는 달리, 이 솔루션을 배포하는 고객은 성능에 미치는 영향을 감수하거나 SED를 구매하기 위해 추가 비용을 지불하는 것 중 하나를 선택해야 합니다.

일상적인 운영에서 직면하는 어려움

이러한 신생 스토리지 솔루션은 초기 구현이 완료된 후에도 운영하기가 쉽지 않습니다. 고객은 스토리지 시스템이 최적의 상태로 실행되도록 항상 주의를 기울여야 합니다. 다양한 타사 패치와 커스텀 소프트웨어 픽스를 사용해야 해서 다운타임과 리스크가 증가하고 해결 시간이 길어질 수 있습니다. 대부분의 경우 어레이에 대한 사후 정보와 사용자 통계, 오류 알림을 제공하는 모니터링 기능이 제한적인 데다가 문제에 대한 자동 감지나 셀프 서비스 솔루션을 제공하지 않고, 향후 요구사항을 예측할 수 없습니다.

이러한 스토리지 솔루션에서는 성능, 안정성, 효율성 및 확장 목표의 충족이라는 측면에서 SDS가 가진 모든 문제들이 고스란히 나타납니다. 이론적으로는, 필요에 따라 컴퓨팅 노드와 스토리지 노드를 독립적으로 확장할 수 있습니다. 하지만 실제로는 컴퓨팅 노드와 스토리지 노드가 함께 확장되어 리소스의 오버 프로비저닝과 워크로드 밸런싱이 야기되는 경우가 많습니다. 확장이 되더라도, 이러한 솔루션은 소규모 I/O의 경우 모든 시나리오에서 일관된 성능을 제공하지 못합니다. 클러스터가 확장되고 비대칭화됨에 따라 예측이 불가능해지고 성능의 불균형이 발생할 가능성이 더욱 커집니다.

신생 스토리지 공급업체 중 일부는 전용 Slack 채널이라는 명목 하에 각 설치별로 지속적인 지원을 위한 전담 엔지니어링 전문가를 배정해야 합니다. 불안정성과 복잡성을 숨기려면 이러한 잘못된 노력이 필요하다는 사실은 이해가 가지만, 장기적으로 이는 고객에게 전혀 득이 되지 않습니다.

심각한 장기적인 파급 효과

이러한 SDS 기반 스토리지 솔루션은 하드웨어와 소프트웨어 측면에서 고객의 스토리지 환경에 예상치 못한 리스크를 가중시킵니다. 소프트웨어 관점에서, 이러한 신생 스토리지는 풍부한 기능과 포괄적인 지원을 제공한다고 주장합니다. 이러한 기능 중 상당수는 추가 비용 없이 구매 시 포함되어 있지만, 기존 또는 향후 기능의 라이선스를 추후 별도로 구매해야 될 수 있다고 고지가 됩니다. 하드웨어 관점에서, 특화된 다양한 구성 요소를 구축하는 데 따르는 복잡성도 빼놓을 수 없습니다. 이러한 구성 요소 중 일부는 이미 시장에서 장기적으로 사용할 수 없는 것으로 드러나, 아키텍처를 장기적으로 확장하고 활용하며 투자를 보호하는 조직의 역량에 영향을 미칩니다. 대대적인 업그레이드와 마이그레이션은 대단히 수고스러운 일이기 때문에, 모든 아키텍처는 반드시 장기적으로 사용할 수 있어야 합니다.

예를 들면, 한 SDS 스토리지 솔루션은 아키텍처에 Optane 스토리지 클래스 메모리(SCM)를 중요한 성능 구현 요소로 사용합니다. SCM은 쓰기, 읽기 및 메타데이터의 랜딩 지점으로 활용됩니다. Intel이 Optane 사업에서 손을 뗄 예정인데(영문자료) 이 스토리지 스타트업은 향상된 SLC로 아무런 문제없이 SCM을 대체할 수 있다고 주장합니다. 하지만 SLC는 쓰기 성능이 3분의 1밖에 되지 않고 레이턴시가 일관되지 않아 클러스터 성능에 부정적인 영향을 미치고 예상치 못한 비용이 추가될 수 있습니다. 마지막으로, 이러한 SDS 솔루션에 사용되는 독점적인 네트워킹 아키텍처를 대규모로 원활하게 확장하는 것은 복잡하고 많은 시간이 소요됩니다.

핵심 원칙, 간단함

대규모 언어 모델(LLM)과 검색-증강 생성(RAG) 같은 최신 워크로드의 중요성이 커지고 있습니다. 조직은 운영 효율성이 뛰어난 고성능 데이터 플랫폼이 필요합니다. 최신 SDS라고 주장하지만 실제로는 복잡하고 전력 소모가 많은 HPC 인프라 환경을 제공하는 스토리지 솔루션은 도움이 되지 않습니다.

퓨어스토리지는 처음부터 간단함을 염두에 두고 제품을 설계하여 이러한 복잡성을 다르게 처리합니다. 퓨어스토리지 데이터 스토리지 플랫폼은 설치, 관리 및 확장 과정에서 직관적인 설계와 간단함을 제공하여 조직이 데이터를 최대한 활용할 수 있도록 합니다. 또한 퓨리티(Purity) 운영 체제와 다이렉트플래시(DirectFlash) 모듈 간의 긴밀한 통합을 통해 업계 최고의 집적도와 에너지 효율성을 제공합니다.

퓨어스토리지의 솔루션은 구현, 관리 및 확장이 간편합니다. 며칠, 몇 주가 아닌 몇 분 안에 첫 번째 I/O가 가능하며 모든 시나리오에서 일관된 성능을 제공합니다. 또한 지능적이고 선제적인 SaaS 스토리지 관리 플랫폼인 퓨어1(Pure1)과 세계 수준의 지원 팀으로 뒷받침됩니다. 퓨어스토리지의 순고객추천지수(NPS)는 82점으로 업계 최고 수준입니다. 또한 가트너 매직 쿼드런트의 프라이머리 스토리지 부문과 분산 파일 시스템 및 오브젝트 스토리지 부문에서 수년 연속 리더로 선정되었습니다.