요약
A successful data strategy is the foundation for a successful AI strategy. If you don’t plan for the many underlying data requirements of AI, you’ll run into data problems, which will inevitably lead to AI problems.
성공적인 인공지능(AI) 전략을 위해서는 무엇이 필요할까요? GPU의 용량? 세계 최고의 데이터 사이언티스트? 제한 없는 예산? 모두 좋지만, 성공적인 데이터 전략 없이는 어떤 AI 프로젝트도 성공할 수 없습니다. 퓨어스토리지의 최근 연구에 따르면, 조직의 4분의 3 이상(81%)이 AI에 필요한 데이터 수요와 막대한 에너지 요구사항에 대비하지 못하고 있으며, AI를 도입한 조직의 73%는 데이터 관리 업그레이드가 필요하다고 답했습니다.
AI는 데이터 관리 및 처리부터 시작하여 많은 엔터프라이즈 IT 인프라에 막대한 영향을 미치고 있습니다. 성공적인 AI 전략의 이면에 있는 이러한 도전과제는 무엇이며, 많은 AI 프로젝트가 확장되기 시작한 지금 이를 극복하는 것이 왜 성공으로 이어질 수 있는지 살펴보세요.
AI의 기본 데이터 요구 사항에 대한 7가지 진실
AI 친화적인 전략에는 학습 데이터 세트를 준비하기 위한 데이터 큐레이션, 학습 및 추론 인프라에 대한 데이터 접근성 확보, 새로운 AI 도구와 애플리케이션 통합이 포함되어야 합니다. 이 모든 작업은 높은 수준의 보안, 거버넌스, 가용성 및 이식성과 함께 비용 효율적이고 고도로 자동화된 방식으로 이루어져야 합니다.
성공적인 AI 전략이 결국 성공적인 데이터 전략일 뿐이라면 데이터 문제는 필연적으로 AI 문제로 이어질 수밖에 없습니다. 대규모 AI 계획에 적합한 엔터프라이즈 데이터 전략을 수립하는 데 필요한 사항은 다음과 같습니다.
1. 오래된 데이터나 콜드 데이터는 없습니다.
데이터에 대한 AI의 엄청난 욕구는 오래된 데이터 또는 ‘휴면’ 데이터에 대한 개념을 종식시켰습니다. 이론상으로는 조직의 모든 데이터, 심지어 콜드 데이터라도 인사이트를 얻거나 모델을 개선할 수 있는 잠재력을 가지고 있습니다. 즉, 저장소에만 저장되어 있던 방대한 양의 데이터를 이제 안전하고, 이동 가능하며, 필요에 따라 사용할 수 있어야 합니다. 조직의 데이터 전략이 이러한 요구 사항과 기타 데이터 요구 사항을 아직 해결하지 못했다면, AI 전략은 흔들리고 있을 것입니다.
2. 데이터 레지던시는 매우 중요하고 복잡합니다.
많은 AI 프로세스가 클라우드에서 실행되지만, 혁신적인 기업들은 대규모로 온-프레미스에서 AI를 활용하기 위해 투자하고 있습니다. 그러나 대규모의 엔드-투-엔드 AI 배포와 그 데이터를 관리하는 것은 복잡한 작업입니다.
데이터 큐레이션 단계에서는 지리적으로 분산된 수십에서 수백 개의 운영 데이터베이스와 비정형 데이터 저장소의 사일로를 관리해야 하며, 각각 고유한 성능 요구 사항과 관리 도전과제를 안고 있습니다. 또한 학습, 추론, 추적 단계에서는 성능, 간편한 오케스트레이션, 경제성을 제공하는 스토리지 시스템이 필요합니다.
엔터프라이즈 AI 인프라의 방향 설정
3. AI 학습의 컴퓨팅 및 스토리지 문제에 대비해야 합니다.
모델 학습은 컴퓨팅 집약적이고 반복적인 작업입니다. 새로운 데이터, 소스, 워크플로우, 목표에 대한 요청은 이 과정의 일부이며, AI 및 인프라 팀은 여전히 워크플로우를 프로덕션에 신속하게 제공해야 합니다. 처리량이 많지 않으면, 딥 러닝 알고리즘에 필요한 복잡한 계산을 수행하거나 심층 신경망을 훈련하는 데 필요한 컴퓨팅 병목 현상과 느린 액세스 시간이 발생할 수 있습니다.
AI를 도입하려면 데이터가 여러 노드에 분산되어 일괄적으로 작업이 수행되는 데이터 병렬화와 같이 진화하는 요구 사항을 지원할 수 있는 민첩한 스토리지 플랫폼이 필요합니다. 또는, 동일한 데이터 세트에 대해 모델을 샤딩하고 병렬로 학습시키는 모델 병렬화도 필요합니다. 이러한 방법을 사용하려면 우선순위와 리소스 효율성을 기반으로 데이터 로드를 분산하면서 대규모로 높은 처리량을 제공할 수 있는 플랫폼이 요구됩니다.
이 데이터 플랫폼은 또한 모범 사례 데이터 보안을 채택하고 쿠버네티스와의 네이티브 지원 및 통합을 제공해야 합니다. 데이터 사이언티스트와 머신 러닝 엔지니어가 셀프 서비스 방식으로 스토리지, 벡터 데이터베이스, 머신 러닝 서비스에 액세스하여 모델 학습과 배포를 가속화할 수 있어야 합니다.
4. 추론에서는 데이터 성능이 중요합니다.
학습된 머신 러닝 모델을 보이지 않는 새로운 데이터에 적용하여 의미 있는 예측이나 의사 결정을 도출하는 AI 추론은 밀리 초 내에 수행되어야 합니다. 추론 프로세스의 결과는 수천 명 또는 수백만 명의 사용자와 함께 여러 애플리케이션, 비즈니스 서비스 및 워크플로우에서 사용될 수 있습니다. 또한 추론 프로세스에는 빠른 I/O 작업과 높은 처리량이 필요합니다.
학습 데이터는 지리적으로 분산될 수 있지만, AI 추론 데이터는 엣지 또는 원격 위치에서 실시간으로 생성될 수 있습니다. 추론 단계에서는 데이터 소스와 데이터 유형이 모두 복잡해질 수 있습니다. 예를 들어, 기업은 비디오 또는 이미지의 실시간 카메라 데이터(영문자료), 수동 프로세스 및 워크플로우를 관리해야 할 수 있습니다. 데이터센터 중 하나에 GPU 클러스터가 있지만, 데이터 소스는 원격에 있을 수 있습니다. 이러한 경우를 처리하려면, 기업은 스마트 오케스트레이션과 자동화된 워크플로우뿐만 아니라 데이터를 효율적으로 이동할 수 있는 역량도 필요합니다.
관련 자료: 버나드 마르(Bernard Marr)의 ‘인사이트 도출 시간을 단축하는 데이터 스토리지의 역할(영문자료)’
5. AI 및 데이터 증가에 대비해 여유 공간을 확보해야 합니다.
대부분의 생성형 AI 프로젝트는 몇 개의 GPU와 필요한 스토리지로 시작합니다. AI 도입이 증가하고 데이터 양이 확장됨에 따라 더 많은 GPU와 스토리지를 추가하여 인프라를 확장해야 합니다. 데이터 사이언티스트들은 검색 증강 생성(RAG)을 사용해 맞춤형 자체 데이터로 대규모 언어 모델을 활용하고 향상(영문자료)시키고 있습니다. 이를 통해 조직은 필요에 따라 보다 최신의 도메인별 생성형 AI 사용 사례를 가속화할 수 있습니다. 하지만, 도전과제는 RAG가 데이터 스토리지 요구 사항을 10배까지 확장한다는 것입니다.
규모가 커지면 데이터 풋프린트가 늘어나고, 데이터 소스가 증가하며, 데이터가 분산됩니다. 이렇게 데이터가 증가하고 무질서하게 확장되면 리소스 활용도가 낮아지며, 워크플로우가 수작업으로 이루어지고, 보안 노출이 증가할 수 있기 때문에, 여러 시스템들을 통합해야 합니다. 전체 환경을 변경할 때마다 스토리지를 조율하고 업그레이드하는 것은 시간도 많이 들고 힘든 일입니다. 여러 이종 시스템의 가용성을 관리하는 것도 가동 시간을 유지하는 데 문제가 됩니다.
잘 설계되고 효율적인 엔드-투-엔드 AI 인프라는 예측 가능한 성능, 손쉬운 관리, 안정성, 전력 및 공간 소비 최소화를 지원해야 합니다.
6. 지속적인 AI 진화를 위한 대비가 필요합니다.
기업은 AI 인프라에 대한 투자가 수년간 지속되기를 원합니다. 새로운 AI 모델, 더욱 강력한 GPU, 새로운 툴과 프레임워크, 데이터의 증가로 인해 AI 스택에 대한 요구사항은 계속 진화하고 있습니다. 조직은 다운타임과 중단 없이 필요에 따라 적절한 규모로 성능과 용량을 확장할 수 있는 데이터 스토리지 플랫폼을 통해 미래에 대비한 AI 투자가 필요합니다.
7. AI 가속화를 위한 공간을 확보해야 합니다.
다른 용도의 데이터와 AI를 위한 데이터 스토리지 간의 미묘한 차이를 이해해야 합니다. AI에 사용되는 데이터의 경우, IT 스토리지의 가치 제안 중 많은 부분이 동일하게 적용되지만 특별히 중점을 두어야 할 몇 가지 요소가 있습니다.
예를 들어, AI 환경이 성장함에 따라 성능과 용량을 독립적으로 확장할 수 있는 기능은 엔지니어가 시스템과 인프라를 변경하거나 교체할 필요가 없기 때문에 IT에 매우 중요합니다. 확장은 중단 없이 이루어져야 하며, 데이터 로드가 증가함에 따라 용량과 성능을 원활하게 증가시켜야 합니다. AI 엔지니어와 데이터 사이언티스트는 중단 없이 모델 학습과 추론을 가속화하여 AI 워크플로우와 결과에 필요한 처리 시간을 단축할 수 있다는 이점을 얻을 수 있습니다. 재구성 및 데이터 이동은 운영 중단을 야기하고 직원들의 시간과 혁신 일정을 맞추기 위한 노력을 소모할 수 있습니다.
퓨어스토리지: 조직에 필요한 단 하나의 AI 스토리지 플랫폼
AI, 대규모 언어 모델 및 생성형 AI로 인해 데이터 기반 인사이트가 대중화되고 있습니다. 이를 지속 가능한 방식으로 활용하려면 데이터 역시 보편적으로 사용할 수 있어야 합니다. AI 전략을 진지하게 고려하는 조직에는 데이터 수집부터 추론, 그리고 그 이상을 지원할 수 있는 엔드-투-엔드 AI 플랫폼이 필요합니다.
전체 환경이 변경될 때마다 스토리지를 조정하고 업그레이드하는 것은 길고 고통스러운 작업일 필요가 없습니다. 퓨어스토리지와 함께하면, 다양한 AI 워크로드 프로파일을 충족하기 위해 튜닝이나 조정 없이 스토리지를 무중단으로 업그레이드할 수 있으므로, 조직은 안심하고 컴퓨팅 팜에 GPU를 추가할 수 있습니다.
퓨어스토리지 에버그린//원(Evergreen//One) 구독 서비스는 기업들에게 스토리지 소비 및 구축에 대한 선택지를 제공하며, 기존 CAPEX 스토리지에 대한 서비스형 경험 또한 제공합니다. 에버그린(Evergreen) 구독 서비스는 온-프레미스, 하이브리드, 서비스형 스토리지(STaaS)로 구성되어 있어, 조직은 10년 이상 중단 없이 업그레이드할 수 있습니다.
AI 성공을 위한 데이터 거버넌스와 데이터 주권의 역할
성공적인 AI 전략은 강력한 데이터 거버넌스와 명확한 데이터 주권 정책에 크게 의존합니다. 데이터의 품질과 보안을 보장하고 글로벌 규정을 준수하는 것은 신뢰할 수 있고 윤리적인 AI 시스템을 구축하기 위한 토대를 마련하는 것입니다.
- 데이터 소유권 및 규제 도전과제에 대해 자세히 알아보려면 데이터 주권의 모호한 경계(영문자료)에 관한 블로그를 살펴보세요.
- AI 학습 데이터 관리를 위한 프레임워크와 모범 사례에 대해 알아보려면 AI 데이터 거버넌스 가이드를 확인해 보세요.
강력한 거버넌스 프레임워크와 데이터 주권에 대한 명확한 이해를 결합함으로써 조직은 컴플라이언스, 편향성, 보안과 같은 도전과제를 극복하고 AI 이니셔티브가 영향력 있고 윤리적인 결과를 이끌어낼 수 있습니다.
엔터프라이즈 AI 인프라의 방향 설정
스토리지 데이터 플랫폼이 고객에게 제공하는 가치는 데이터를 저장하고 불러오는 기능 그 이상이며, 이를 평가할 때는 다양한 선택 기준이 포함되어야 합니다. AI에 사용하는 스토리지에도 IT 스토리지와 동일한 가치 제안이 많은 부분 적용되지만, 위에서 살펴본 영역들을 특히 집중적으로 고려해야 합니다.
Written By:
A Successful Strategy
Leverage storage as a service for operational agility and financial flexibility.
