성공적인 AI 전략이 데이터 전략에서 시작되는 이유

성공적인 AI 전략을 위해서는 무엇이 필요할까요? GPU의 용량? 세계 최고의 데이터 과학자들? 무한대 예산? 모두 좋지만, 성공적인 데이터 전략이 없다면 AI 프로젝트는 성공할 수 없습니다. 퓨어스토리지의 최신 연구에 따르면 조직의 4분의 3이상(81%)이 AI에 필요한 데이터 수요와 막대한 에너지 요구사항에 준비가 되어 있지 않으며(영문자료), AI를 도입한 조직의 73%는 데이터 관리를 업그레이드할 필요가 있는 것으로 나타났습니다.

AI는 데이터 관리와 처리를 시작으로 많은 엔터프라이즈 IT 인프라에 막대한 영향을 미치고 있습니다. 성공적인 AI 전략의 도전과제 뒤에는 무엇이 있는지, 그리고 많은 AI 프로젝트들이 확장되고 있는 환경에서 왜 이러한 도전과제를 극복해야 성공할 수 있는지 알아보겠습니다.

AI의 기본 데이터 요구사항에 대한 7가지 진실

AI에 친화적인 전략에는 학습 데이터 세트를 준비하기 위한 데이터 큐레이션, 학습 및 추론 인프라의 데이터 액세스, 새로운 AI 도구와 애플리케이션 통합 등이 포함되어야 합니다. 모든 작업은 높은 수준의 보안, 거버넌스, 가용성 및 이동성이 보장되고 비용 효율적이며 고도로 자동화된 방식으로 수행되어야 합니다. 

성공적인 AI 전략의 핵심이 성공적인 데이터 전략이라면, 데이터 문제는 필연적으로 AI 문제로 귀결될 수밖에 없습니다. 거대한 AI 계획에 적합한 엔터프라이즈 데이터 전략 수립을 위해 반드시 고려해야 하는 사항은 다음과 같습니다.

1. 오래된 데이터나 콜드 데이터는 없습니다.

데이터에 대한 AI의 엄청난 요구는 오래된 데이터 또는 휴면 데이터라는 개념에 종지부를 찍었습니다. 이론적으로, 조직의 모든 데이터(콜드 데이터 포함)는 인사이트를 얻거나 모델을 개선할 수 있는 잠재력을 가지고 있습니다. 한때 저장소로 이전되었던 데이터를 이제는 이동성이 뛰어나며 안전하게 온디맨드 방식으로 사용할 수 있어야 한다는 의미입니다. 조직의 데이터 전략이 이러한 요구사항과 기타 데이터 요구 사항을 아직 해결하지 못했다면 AI 전략은 흔들릴 것입니다.

2. 데이터 레지던시는 매우 중요하고 복잡합니다.

많은 AI 프로세스가 클라우드에서 실행되지만, 혁신적인 기업들은 대규모 AI를 온프레미스에서 활용하기 위해 투자하고 있습니다. 그러나 대규모 엔드-투-엔드 AI를 구현하고 그 데이터를 관리하는 것은 복잡한 일입니다. 

데이터 큐레이션 단계에서는 지리적으로 분산되어 있는 수십 개에서 수백 개에 이르는 운영 데이터베이스와 비정형 데이터 저장소의 사일로를 관리해야 합니다. 이들은 저마다 고유한 성능 요구사항과 관리 문제를 안고 있습니다. 학습, 추론, 추적 단계에서는 성능, 손쉬운 오케스레이션, 경제성을 제공하는 스토리지 시스템이 필요합니다.

3. AI 학습의 컴퓨팅 및 스토리지 문제에 대비해야 합니다.

모델 학습은 컴퓨팅 집약적이고 반복적입니다. 새로운 데이터, 새로운 소스, 새로운 워크플로우, 새로운 목표에 대한 요청은 이 프로세스의 일부이며, AI 및 인프라 팀은 워크플로우를 운영에 신속하게 제공해야 합니다. 높은 처리량이 지원되지 않으면, 딥러닝 알고리즘에 필요한 복잡한 계산을 수행하거나 심층 신경망을 학습하는 데 요구되는 액세스 시간이 느려지고 컴퓨팅 병목 현상이 발생할 수 있습니다.

AI를 도입하려면, 데이터가 여러 노드에 분산되고 작업이 일괄 처리되는 데이터 병렬 처리나 동일한 데이터 세트에 대해 모델을 분할하고 병렬로 학습시키는 모델 병렬 처리처럼, 변화하는 요구사항을 지원할 수 있는 민첩한 스토리지 플랫폼이 필요합니다. 이러한 방법을 사용하려면 우선순위와 리소스 효율성을 기반으로 데이터 부하를 분산하면서 대규모로 매우 높은 처리량을 제공할 수 있는 플랫폼이 필요합니다. 

데이터 플랫폼은 또한 모범 데이터 보안 사례를 채택하고 쿠버네티스와의 기본 지원과 통합을 제공해야 합니다. 데이터 과학자와 머신러닝 엔지니어가 셀프 서비스 방식으로 스토리지, 벡터 데이터베이스와 머신 러닝 서비스에 액세스하여 모델 학습과 구현을 가속화할 수 있도록 지원해야 합니다. 

4. 추론에서는 데이터 성능이 중요합니다.

의미 있는 예측이나 결정을 도출하기 위해 새로운 데이터에 학습된 머신러닝 모델을 적용하는 AI 추론 작업은 밀리세컨 단위로 이루어져야 합니다. 추론 프로세스의 출력은 사용자가 수천 또는 수백만 명에 달하는 여러 애플리케이션과 비즈니스 서비스, 워크플로우에서 사용될 수 있습니다. 또한 추론 프로세스에는 매우 빠른 I/O 작업과 높은 처리량이 필요합니다.

학습 데이터는 지리적으로 분산될 수 있지만, AI 추론 데이터는 엣지 또는 원격 위치에서 실시간으로 생성될 수 있습니다. 추론 단계에서는 데이터 소스와 데이터 유형이 모두 복잡해질 수 있습니다. 예를 들어, 비디오나 이미지, 수동 프로세스 및 워크플로우에서 생성되는 실시간 카메라 데이터(영문자료)를 관리해야 할 수 있습니다. GPU 클러스터는 데이터센터에 있지만 데이터 소스는 다른 곳에 있을 수도 있습니다. 이러한 시나리오를 처리하기 위해 기업은 스마트 오케스트레이션과 자동화된 워크플로우는 물론 데이터를 효율적으로 이동할 수 있는 역량도 갖추어야 합니다.

관련 자료: ‘인사이트 도출을 가속화하는 데 데이터 스토리지의 역할’ (영문자료)

5. AI 및 데이터 증가에 대비해 여유 공간을 확보해야 합니다.

대부분의 생성형 AI 프로젝트는 GPU 몇 개와 필요한 용량의 스토리지로 시작됩니다. AI 도입이 확대되고 데이터 볼륨이 확장됨에 따라 GPU와 스토리지를 추가하여 인프라를 확장해야 합니다. 데이터 과학자들은 검색 증강 생성(RAG)을 사용해 맞춤화된 독점 데이터로 대규모 언어 모델을 개선하고(영문자료) 활용하고 있습니다. 이를 통해 조직은 필요에 맞게 분야별로 최신 생성형 AI 사용 사례를 지원할 수 있습니다. 문제는 RAG가 데이터 스토리지 요구사항을 10배까지 확장시킨다는 것입니다.

규모가 커지면 데이터 풋프린트가 늘어나고, 데이터 소스가 증가하며, 데이터가 분산됩니다. 이렇게 데이터가 증가하고 무질서하게 확장되면 리소스 활용도가 낮아지며, 워크플로우가 수작업으로 이루어지고, 보안 노출이 증가할 수 있기 때문에, 여러 시스템들을 통합해야 합니다. 전체 환경을 변경할 때마다 스토리지를 조율하고 업그레이드하는 것은 시간도 많이 들고 힘든 일입니다. 여러 이종 시스템의 가용성을 관리하는 것도 가동 시간을 유지하는 데 문제가 됩니다.

잘 설계되고 효율적인 엔드-투-엔드 AI 인프라는 예측 가능한 성능, 손쉬운 관리, 안정성, 전력 및 공간 소비 최소화를 지원해야 합니다.

6. 지속적인 AI 진화를 위한 대비가 필요합니다.

기업들은 투자한 AI 인프라가 수년간 지속되기를 원합니다. 새로운 AI 모델의 증가, 더 강력한 GPU, 새로운 도구와 프레임워크, 데이터의 증가로 인해, AI 스택에 대한 요구사항은 계속 진화하고 있습니다. 조직은 다운타임과 중단 없이 필요에 따라 성능과 용량을 적정 규모로 확장할 수 있는 데이터 스토리지 플랫폼을 통해 미래에 대비한 AI 투자를 해야 합니다.

7. AI 가속화를 위한 공간을 확보해야 합니다.

다른 목적을 위한 데이터와 달리, AI를 위한 데이터를 저장할 때는 뉘앙스를 이해해야 합니다. AI에서 사용되는 데이터의 경우, IT 스토리지와 동일한 가치 제안이 많이 적용되지만, 특별히 초점을 두어야 하는 영역이 일부 있습니다. 

예를 들어, AI 환경이 성장함에 따라 성능과 용량을 독립적으로 확장할 수 있는 역량은 IT 부서에 매우 중요하며, 이러한 역량이 있어야 엔지니어가 시스템과 인프라를 변경하거나 교체할 필요가 없습니다. 데이터 부하가 증가함에 따라 원활하게 용량과 성능을 확장할 수 있어야 합니다. AI 엔지니어와 데이터 과학자는 중단 없이 모델 학습과 추론을 가속화함으로써 AI 워크플로우와 결과에 필요한 처리 시간을 단축할 수 있습니다. 데이터를 재구성하고 이동하는 작업은 큰 혼란이 따르며 직원의 시간을 소모하고 혁신에 지장을 줄 수 있습니다.

퓨어스토리지: 조직에 필요한 단 하나의 AI 스토리지 플랫폼

AI, 대규모 언어 모델 및 생성형 AI로 인해 데이터 기반 인사이트가 대중화되고 있습니다. 이를 지속 가능한 방식으로 활용하려면 데이터 역시 보편적으로 사용할 수 있어야 합니다. AI 전략을 진지하게 고려하는 조직에는 데이터 인제스트에서 추론, 그리고 그 이상을 지원할 수 있는 엔드-투-엔드 AI 플랫폼이 필요합니다.

전체 환경을 변경할 때마다 스토리지를 조율하고 업그레이드하기 위해 힘들고 시간이 많이 드는 작업을 할 필요가 없습니다. 퓨어스토리지를 사용하면, 조직은 각기 다른 AI 워크로드 프로필을 충족하도록 조율이나 조정을 하지 않고 스토리지를 중단 없이 업그레이드할 수 있기 때문에, 안심하고 GPU를 컴퓨팅 팜에 추가할 수 있습니다. 

퓨어스토리지 에버그린//원(Evergreen//One) 서브스크립션 서비스는 기업이 스토리지를 원하는 대로 사용하고 배포할 수 있도록 선택권을 제공하며, 기존의 CAPEX 기반 스토리지를 서비스형으로 사용할 수 있도록 합니다. 에버그린 서브스크립션은 온프레미스, 하이브리드 및 서비스형 스토리지(STaaS) 등 다양하게 제공되므로, 조직은 10년 이상 운영 중단 없이 업그레이드를 수행할 수 있습니다.

애널리스트 보고서(영문자료) 다운로드하기:

엔터프라이즈 AI 인프라의 방향 설정

스토리지 데이터 플랫폼이 고객에게 제공하는 가치는 데이터를 저장하고 불러오는 기능 그 이상이며, 이를 평가할 때는 다양한 선택 기준이 포함되어야 합니다. AI에 사용하는 스토리지에도 IT 스토리지와 동일한 가치 제안이 많은 부분 적용되지만, 위에서 살펴본 영역들을 특히 집중적으로 고려해야 합니다.