플래시 스토리지는 AI의 미래에 어떤 역할을 할까요?

미국 캘리포니아주 산호세에서 열린 올해의 엔비디아(NVIDIA) GTC가 끝난 후, 찰리 쟌칼로 퓨어스토리지 CEO가 The Six Five – On the Road(영문자료) 웹캐스트 호스트인 패트릭 무어헤드(Patrick Moorhead)와 대니얼 뉴먼(Daniel Newman)과 만나, 인공지능(AI)의 데이터 요구사항, 환경에 미치는 영향, 그리고 플래시 스토리지가 AI의 미래에 핵심인 이유에 대해 이야기를 나누었습니다.

“데이터 스토리지가 AI와 무슨 상관이 있지?”라고 생각해본 적이 있으시다면 아래 내용을 확인해보세요.

AI의 성장에는 많은 것이 필요합니다.

“인공지능과 그 미래에 대한 이야기는 현재 진행형입니다. [AI의] 성장에는 GPU, 네트워킹 및 스토리지 등 많은 것이 필요합니다.”

AI에는 GPU만 중요하다고 생각하는 경우가 많지만, 실제로 AI는 네트워킹, 데이터 스토리지, 메모리, 액셀러레이터, 모델, 도구, 알고리즘 등 많은 것이 필요한 복잡한 파이프라인입니다. AI는 데이터에 의존하기 때문에 스토리지가 중요한 구성 요소라는 사실은 분명합니다.

AI의 성장 궤도와 관련해, 쟌칼로 CEO는 스토리지의 본질에 대한 의문이 점점 더 커지고 있다는 점을 지적합니다.

그는 “7년 전에는 모두가 클라우드로 이동하면서 스토리지는 특히 화이트 박스, 오픈소스 코드, 완전한 상품화를 향해 가고 있었습니다. 모든 주요 공급업체들은 스토리지를 이러한 관점에서 보고 [스토리지에 대한] 투자를 중단했습니다” 라고 말합니다. 

그러나 엔비디아를 비롯한 퓨어스토리지 기술 파트너들은 스토리지 문제를 해결하지 않으면 데이터센터에서 네트워킹과 컴퓨팅의 성능 한계를 극복할 수 없다는 사실을 깨닫았습니다.

“AI가 모든 이의 삶을 계속 변화시킬 것이라고 생각한다면, 클라우드이든 하이브리드이든 엔터프라이즈 [및 하이퍼스케일] 데이터센터도 스토리지의 발전에 주목할 필요가 있습니다.”

데이터에 대한 AI의 요구는 전례 없이 커지고 있습니다.

고성능 스토리지가 왜 AI에 중요하며, 하드 디스크 시스템은 왜 AI에 적합하지 않을까요? 문제는 기존 시스템이 볼륨, 속도, 성능을 지원할 수 없다는 것입니다.

AI 모델은 더 많은 데이터를 활용할 수 있으면 더 많은 것을 학습할 수 있습니다. 전 세계적으로 그 어느 때보다 많은 데이터가 존재하지만, 그렇다고 해서 모든 데이터에 액세스할 수 있는 것은 아닙니다.

쟌칼로 CEO는 “데이터의 대부분은 하드 디스크에 존재합니다. 하드 디스크 시스템은 애플리케이션을 지원하는데 필요한 성능만 겨우 제공할 수 있을 뿐이기 때문에 AI에 데이터를 활용하려면 데이터를 복사해 더 나은 성능을 발휘할 수 있는 곳으로 내보내야 한합니다” 라고 설명합니다.

데이터가 처음부터 플래시 시스템에 상주하는 경우, 플래시는 디스크와 비슷한 가격으로 4~5배의 성능을 제공하기 때문에 AI 구현에 상당한 도움이 될 수 있습니다.

디스크 시스템에서 AI는 심각한 에너지 문제를 야기할 수 있습니다.

올해 다보스에서 샘 알트만(Sam Altman) OpenAI CEO는 AI가 점점 더 많은 에너지를 소비할 것이기 때문에, AI의 미래는 혁신적인 에너지 효율성을 달성할 수 있는지에 달려 있다고 경고(영문자료)했습니다. 더불어 그는 친환경 스토리지(영문자료)가 잠재적인 해결책이 될 수 있고 말했습니다.

플래시 스토리지가 디스크에 비해 월등한 또 다른 측면입니다.

쟌칼로 CEO는 “GPU를 추가하기 시작하면 많은 전력과 냉각이 필요하지만 대부분의 데이터센터는 전력 및 냉각 성능이 제한되어 있습니다. 데이터센터는 이제 평방 피트 단위로 판매되는 것이 아니라 메가와트 단위로 판매됩니다.” 라며, “데이터센터가 전력 공급 한계에 부딪치면… 다른 데이터센터로 확장하거나 더 많은 전력을 공급해야만 하는 상황에 처하는데, 이는 수년에 걸친 노력과 작업 그리고 수백만 달러에 달하는 비용이 필요합니다” 라고 설명합니다.

데이터센터 전력 소비량을 2년 만에 두 배로 늘려야 하는 상황이라면, 디스크 시스템과 비슷한 가격으로 4~5배의 성능을 제공하면서도 공간, 전력 및 냉각 비용은 10분의 1에 불과한 퓨어스토리지는 큰 도움이 됩니다. 이렇게 추가적으로 절감된 전력은AI 워크플로우를 극대화할 수 있도록 GPU에 투입될 수 있습니다.

“전력이든 성능이든, 플래시는 모든 측면에서 하드 디스크보다 우위에 있습니다.”

엔비디아와 퓨어스토리지의 RAG: “수준을 높일 수 있는 기회”

AI 파이프라인에서 더 나아가, 대규모 언어 모델 같은 프로젝트는 데이터 가용성과 정확성은 물론 데이터 환각, 시기 적절한 정보의 부족, 관련성 없는 인사이트로 이어질 수 있는 다양한 문제에 직면할 수 있습니다.

스토리지가 이 부분에서 도움을 주는 것으로 밝혀졌습니다.

엔비디아 GTC에서 퓨어스토리지와 엔비디아는 플래시 스토리지가 중요한 역할을 하는 새로운 검색 증강 생성(RAG) 솔루션을 시연해 보였습니다.

“검색 증강 생성에서는 기업 내 데이터의 대다수 또는 전부가 필요한데 이는 데이터에 액세스할 수 있어야 한다는 의미입니다.” 

쟌칼로 CEO는 여기에서 퓨어스토리지의 역량이 왜 중요한지 설명했습니다.

그는 디스크 시스템의 경우 “데이터가 연결되어 있지 않고, 애플리케이션 뒤에 대부분 숨겨져 있으며 우선순위가 아닙니다.” 라며 “데이터를 복사하려면 ERP 플랫폼과 같은 애플리케이션을 통해야 합니다. 그리고 RAG에 대한 성능 수준에 미치지 못합니다. [데이터는] 애플리케이션을 지원할 수 있을 만큼만 기능을 하고, 생성형 AI 애플리케이션에 사용하기에는 충분하지 않습니다.” 라고 말합니다.

퓨어스토리지에서는 데이터가 서로 연결됩니다. 퓨어스토리지 시스템은 모두 동일한 운영 환경인 퓨리티(Purity)에서 작동하며, 퓨어스토리지는 퓨전(Fusion)으로 퓨리티를 활용해 데이터 스토리지를 ‘연결’할 수 있기 때문에 데이터가 AI에서 아카이브에 이르는 모든 주요 애플리케이션을 지원하는 경우에도 AI 애플리케이션이 단일 데이터 풀에 액세스할 수 있습니다.

인터뷰 영상을 통해 퓨어스토리지가 AI 파이프라인의 모든 단계에서 완벽하게 통합되는 일관된 운영 환경에 구축된 데이터 스토리지 플랫폼을 통해 어떻게 AI 도입을 가속화할 수 있도록 지원하는지 알아보세요.