인공지능이 위협이 아닌 실질적인 기회로 인식되기 시작하면서, 조직들은 모든 분야에서 인공지능(이하 AI)를 보다 효과적으로 활용하기 위해 많은 노력을 기울이고 있습니다. 이러한 노력에서 성공을 거둔 조직은 일상에 완벽하게 녹아들어 우리가 거의 인지하지 못하는 AI 기반 기능과 서비스를 제공하고 있습니다.
하지만 AI 프로젝트의 ROI는 충분하지 않은 경우가 많습니다. 뭐가 문제일까요? AI는 디지털 트랜스포메이션의 핵심적인 구성 요소입니다. 그리고 디지털 트랜스포메이션을 미룰 수 없는 상황이라면 AI도 마찬가지입니다. AI 도입은 ‘만약’이 아니라 ‘언제’의 문제입니다. 이제 머신러닝(이하 ML)과 AI 프로젝트의 발목을 잡고 있는 근본적인 문제를 해결해야 합니다.
기존 IT가 제공하지 못하는 하이브리드 클라우드 환경의 유연성을 지원하는 현대적인 인프라 및 데이터 스토리지 솔루션이 그 해결책입니다.
데브옵스(DevOps), AI 및 기존 IT의 한계
대부분의 AI 이니셔티브는 인간에 대한 논의로 끝이 납니다. IT 수준에서는 차이가 없습니다. AI 프로젝트는 두 개의 팀, 두 가지 유형의 워크플로우, 두 가지 작업 수행 방법, 그리고 그 둘 간의 격차를 해소하는 방법에 관한 것이 대부분입니다.
퓨어스토리지의 AI 솔루션 아키텍트인 에밀리 포티라이(Emily Potyraj)는 팀 간의 갈등에 대해 굉장히 의미있는 글(영문자료)을 작성했습니다. 포티라이는 일반적으로 IT 팀이 AI 팀을 위한 인프라 구축을 담당하고 있지만, 이는 일반적인 소프트웨어 프로젝트가 아니라는 점을 지적합니다. 이 때 필요한 데이터 파이프라인은 기존 소프트웨어 데이터 파이프라인과는 상당히 다릅니다. 데이터 파이프라인은 온-프레미스, 하이브리드 클라우드 또는 엣지에 상주하며 상호간 이동이 가능해야 합니다.
새로운 데이터 이니셔티브를 과거의 데이터 수집 방식으로 통합하려고 하면 문제가 발생할 수 있습니다.
데브옵스 팀과 AL/ML 팀은 기본적으로 구조가 다릅니다. 데이터 과학 팀은 데브옵스 팀에 의존해 데이터 파이프라인을 ‘산업화’하고 있지만, 데브옵스 팀이 레거시 솔루션으로 이를 지원하는 데에는 어려움이 있을 수 있습니다. 데이터 과학 팀은 데이터 이동성을 필요로 하기 때문에 데브옵스 팀의 부담을 가중시킵니다.
레거시 IT 인프라는 대규모 AI와 ML을 감당하기에 너무 취약합니다. 기존 IT 인프라와 데이터 스토리지 솔루션은 AI 및 ML 팀의 요구 사항을 처리할 수 있도록 구축되어 있지 않습니다. 멀티 클라우드 환경에서 소프트웨어 1.0 버전으로 소프트웨어 2.0 이니셔티브를 추진하려고 하는 것과 같습니다.
섀도우 프로젝트는 적절한 리소스에 접근할 수 없습니다. AI 프로젝트가 데이터센터 외부에서 이루어지고 큰 IT 조직의 외부에 위치한 경우, 공유 서비스 및 리소스에 대한 액세스가 제한되어 어려움을 겪게 됩니다.
AI/ML 데이터가 잠겨 있거나 사일로화 됩니다. 데이터가 사일로화 되어 있거나 추론과 실험이 가능할 정도로 빠른 온-프레미스 및 클라우드 간의 이동이 불가능하다면, AI 프로젝트는 지연될 수 있습니다.
이 모든 것이 하나의 질문으로 귀결됩니다. “많은 기업들이 왜 아직도 기존의 IT 인프라에서 AI 및 ML 워크플로우를 구동하려고 애를 쓸까요?
멀티 클라우드, 데브옵스, 그리고 데이터가 만나는 곳: “MLOps”
두 가지를 성공적으로 결합하기 위해 새로운 IT 분야가 등장했습니다. 바로 ‘MLOps(영문자료)’ 입니다. ‘AIOps’라고도 불리는 MLOps는 AI 팀의 발전을 위해 필요한 아키텍처를 선택하는 현대적인 사고방식입니다. MLOps 팀은 데이터에 대한 AI의 요구를 충족할 수 있는 다양한 최신 기술을 조합하여 사용할 수 있을 때 효과적으로 작업할 수 있습니다.
AI 데이터 파이프라인의 요구사항을 보다 효과적으로 지원할 수 있는 최신 인프라 구성요소는 다음과 같습니다.
- 더 빠른 컴퓨팅 성능 및 가속화된 네트워킹 기능. CPU 대신 GPU를 활용하면 프로젝트에 필요한 성능을 확보할 수 있습니다. AI를 지원하는 에이리(AIRI) 같은 통합 하드웨어 및 소프트웨어 솔루션은 데이터센터를 다시 설계할 필요 없이 즉각적으로 스토리지를 사용할 수 있도록 해줍니다. 퓨어스토리지의 플래시블레이드(FlashBlade)와 엔비디아 DGX GPU를 사용하면, 교육에 1주일이 걸리던 모델을 58분(영문자료) 내에 교육할 수 있습니다.
- 클라우드 네이티브 파일 및 오브젝트 스토리지. 현대적인 플래시 스토리지는 하이브리드 및 멀티 클라우드 환경 간의 데이터 이동 방식을 간소화하여 부담을 줄여주며, 스냅샷은 데이터 팀들에게 라이브 데이터에 대한 복사본을 제공할 수 있습니다. AI처럼 데이터 집약적인 애플리케이션은 규제나 데이터 주권을 준수하면서 신속하게 대용량 데이터를 처리할 수 있어야 합니다. 웨비나를 통해 AWS 아웃포스트와 고속 플래시 스토리지를 사용해 AI 애플리케이션 배포를 가속화하는 데 도움이 되는 팁을 확인하실 수 있습니다.
- 멀티 클라우드, 하이브리드 클라우드 및 컨테이너 인프라. AI, ML 및 딥러닝 이니셔티브에 멀티 클라우드를 도입하면 특정 벤더에 종속되지 않고 클라우드 서비스를 선택할 수 있는 민첩성과 선택의 여지(영문자료)를 확보할 수 있습니다.¹ 활용 사례를 살펴보겠습니다. 규제 준수, 속도 및 비용 절감을 위해 온-프레미스를 사용하고 컨트롤 플레인에 AWS 아웃포스트를 활용하면, 팀이 모든 서버, 네트워크 및 애플리케이션을 직접 관리할 필요가 없어집니다. 퓨어스토리지의 플래시블레이드(FlashBlade)는 아웃포스트를 지원합니다.
하이브리드 클라우드, 멀티 클라우드 및 현대적인 스토리지가 AI의 성공을 지원하는 방법
소프트웨어 기업인 트라이팩타(Trifacta)는 “클라우드의 이점은 분석 및 AI/ML 이니셔티브를 신속하게 확장할 수 있는 기능과 관련이 있기 때문에 잘 드러나지 않는다”고 적고 있습니다. 최근 이 기업이 실시한 설문조사 결과, 응답자의 66%가 클라우드에서 전체 또는 대부분의 AI/ML 이니셔티브를 실행하고 있는 것으로 나타났습니다. 또한 이러한 이니셔티브는 이동성이 대단히 높습니다. AI 워크플로우를 위한 데이터 파이프라인이 코로케이션, 로컬 또는 퍼블릭으로 운영되는 클라우드 구성 요소들 간에 이동을 하기 때문에, 업그레이드된 데이터 스토리지 솔루션이 매우 중요합니다.
AI와 ML 연구를 활용하는 소프트웨어 개발 기업 크레이터 랩스(Crater Labs; 영문자료)는 야심찬 프로젝트를 많이 수행해왔습니다. 이들은 기존 스토리지에서 이러한 프로젝트를 실행하려는 과정에서 도전과제에 부딪쳤습니다. 연구 팀은 실험을 진행할 수 있도록 기다려야 했고, 하이브리드 클라우드에서 데이터를 탄력적으로 관리할 수 없었으며, 끊임없이 데이터를 이동해야 했습니다.
고객을 위해 원대한 목표에 도전하고자 하는 노력을 지원하기 위해, 크레이터 랩스는 레거시 스토리지에서 퓨어스토리지의 현대적인 환경으로 전환했습니다. 퓨어스토리지의 플래시블레이드는 모든 프로젝트에서 경쟁력을 향상시켜 연구자들이 데이터를 쉽게 이동하고 여러 실험을 동시에 실행할 수 있도록 지원하고 있습니다. 그 결과, 리소스 제약이나 데이터 손실에 대한 우려 없이 AI 프로젝트를 순조롭게 진행할 수 있게 되었습니다.
토요타, 라코스테 등 우리에게 잘 알려진 브랜드들을 지원하는 비즈니스 프로세스 아웃소싱 기업 글로벌 리스폰스(Global Response; 영문자료)는 AI로 최첨단 고객센터 시스템을 개발했습니다. 이들의 목표는 상담 통화를 실시간으로 기록 및 분석하여 맞춤화된 고객 경험을 제공하는 것입니다. 솔루션을 현실화하기 위해 이들은 엔비디아와 퓨어스토리지로 인프라를 구축했습니다.
대규모 AI 성공의 잠재력
AI 및 ML 프로젝트가 확산되고 성숙해짐에 따라, 무엇이 효과적이고 무엇이 그렇지 않은지에 대해 보다 명확하게 이해할 수 있게 되고 있습니다. 이러한 프로젝트들은 까다롭고 복잡하지만, 데이터 과학뿐만 아니라 조직 내의 지능형 기술 데이터와 서비스에도 엄청난 잠재력이 있습니다. 단일한 데이터 플레인이 이러한 문제를 해결하는 데 핵심적인 요소일 수 있습니다. 멀티 클라우드 환경을 간소화하고 표준화된 백엔드를 생성하여 데이터를 보다 쉽고 자유롭게 이동할 수 있게 해주기 때문입니다.
지금 CIO와 CTO에게는 AI 전략에 부합하는 인프라를 통해 조직의 미래를 대비할 수 있는 엄청난 기회가 있습니다. 에밀리 포티라이가 이를 아주 적절하게 표현해주었습니다. “이 문제를 해결할 수 있는 사람은 여러분과 임원들뿐입니다.”
AI 이니셔티브에서 데이터의 역할을 이해하고, 전략적 멀티 클라우드 환경에 맞게 데이터 스토리지를 업그레이드하는 것부터 시작해야 합니다. 거기에서 모든 기회가 열립니다.
