엔터프라이즈 AI에 관한 이 글은 커크 본(Kirk Borne) 박사의 LinkedIn 페이지(영문자료)에 처음 게재되었습니다. 이 블로그는 저자의 동의 하에 다시 게재되었습니다.
인공지능(AI)은 전 세계 경영진, 비즈니스 리더, 투자자는 물론, 대부분의 직장인에게 가장 중요한 화두입니다. AI는 장·단기적으로 기업 전반에 광범위한 영향을 미치고, 긍정적이거나 부정적으로 활용될 수 있는 잠재력을 가지고 있으며, 직원들의 지속적인 관심사가 될 것으로 예상됩니다. 이러한 변화 속에서 기업 리더들은 “이 변화의 바람이 우리 조직을 발전시키는 데 도움(순풍)이 될 것인가? 아니면 우리 조직에서 마찰의 원인(역풍)이 될 것인가?” 등의 많은 새로운 질문과 의사 결정, 요구 사항에 직면하게 되었습니다.
오늘날의 기업 환경 속 AI는 약 30년 전 처음으로 인터넷이 기업에 도입되었던 시기를 떠올리게 합니다. 이메일과 유즈넷 뉴스그룹(Usenet newsgroup)의 초창기가 아니라, 1990년대 중후반 비즈니스에 몰아친 웹과 이커머스 애플리케이션의 물결을 의미합니다. 당시의 신기술들은 기업에 많은 가치를 제공했지만, 동시에 임원진에 큰 IT 보안에 대한 우려를 야기했습니다. 결과적으로 최고 정보 책임자(CIO)와 최고 정보 보안 책임자(CISO)의 권위가 높아지고, IT 부서들, 특히 사이버 보안 팀에 할당된 예산도 파격적으로 증가했습니다. 그 영향은 매우 크고 오래 지속되어 지금까지 이어지고 있습니다.
웹/이커머스의 물결은 많은 과장된 기대와 뒤쳐질지 모른다는 공포감(FOMO)도 불러 일으켰으며, 이는 결국 2000년대 초반의 인터넷 거품(닷컴 버블) 붕괴로 이어졌습니다. AI, 특히 생성형 AI 애플리케이션의 새로운 물결은 이러한 역사를 반복할 가능성이 있으며, 잠재적으로 기업에서 유사한 패턴의 물결이 나타날 수 있습니다. 우리는 AI로 인해 또다시 과대광고, 큰 기대, 흥분, FOMO, 폭락과 붕괴를 맞이하게 될까요? 그렇게 되지 않길 바랍니다.
기업이 새로운 AI 기술(챗GPT 및 기타 생성형 AI 애플리케이션)을 적절하고 합리적이며 전략적으로 도입하면, 빠른 기술 변화 속에서 균형을 찾을 수 있다고 믿습니다. (다시 말해, 기업 리더들이 너무 큰 기대치를 설정하지 않도록 해야 합니다.) 이전 글에서는 ‘AI에 대한 준비는 선택이 아니다(영문자료)’라는 주제에 대해 논의했습니다. 이번 글에서는 이러한 전략적 대화에 엔터프라이즈 AI를 추가할 때 고려해야 하는 사항을 몇 가지 살펴보겠습니다. 특히 엔터프라이즈 AI 애플리케이션을 위한 동력인 알고리즘, 데이터, 그리고 엔터프라이즈 AI 인프라의 측면에서 다루겠습니다. 아래에서 자세한 내용을 살펴보겠습니다.
AI는 마법이 아닙니다.
어느 유명한 SF 작가는 ‘고도로 발전된 기술은 마법과 구별할 수 없다’고 했지만, AI는 마법이 아니라는 사실을 기억해야 합니다. AI는 수학이며, 대부분의 경우 대용량 데이터 세트에 대한 심도 있는 통계 추론을 기반으로 합니다. 예를 들어, 고객의 1%가 아기 기저귀를 구입하고, 5%가 맥주를 구입하며, 기저귀를 구입하는 남성의 100%가 맥주를 구매한다고 가정해보겠습니다. 이 경우, 기저귀를 사러 마트에 오는 남성 고객 100%에게 맥주 할인을 제공하는 것은 마법이 아닙니다. 할인 제공 여부와 관계없이 고객 중 5%만 맥주를 산다고 하는 경우에도 마찬가지입니다. 여기서 핵심은 조건부 확률입니다. 심도 있는 다변수 조건부 확률은 본질적으로 챗GPT나 기타 대규모 언어 모델(LLM)의 기반을 형성합니다. AI는 마법도 아니고, 지각 있는 존재도 아닙니다. 비즈니스 가치를 창출할 수 있도록 수치와 수학을 살펴보고, 퀀트 분석을 하여 데이터에서 패턴, 트렌드 및 인사이트를 도출한 후, 실행합니다.
AI의 연료는 데이터입니다.
AI는 데이터를 먹어 치웁니다. 데이터 과학자들은 비즈니스 분석가(데이터 과학자가 구축한 AI 모델을 분류, 검증 및 사용하는 사람)와 협력해 데이터 과학(데이터에서 중요하고 유의미한 패턴을 발견하고 검증하는 과학적 프로세스)과 수학(데이터에서 특징을 찾아내고 패턴을 학습하는 머신러닝 알고리즘)을 사용합니다. 이 모든 것은 데이터 엔지니어와 머신러닝 엔지니어에 의해 기업에 구현됩니다. 실시간 스트리밍 데이터 분석이 이루어지고 레이턴시가 낮아야 하는 기업 내 AI 애플리케이션(예: 고객 트랜잭션 처리, IT 보안 로그 분석 또는 온프레미스 센서 데이터 처리)의 경우, 온프레미스 환경이 이상적입니다. 온프레미스 스토리지는 엔터프라이즈 인공지능 및 머신러닝(AI/ML) 애플리케이션과 사용자들에게 데이터 소스에 빠르고 안전하며 정책으로 통제되는 액세스를 제공합니다. 특히 개인정보 보호 조건이나 기타 법적 요구 사항을 로컬에서 유지 관리하고 실행해야 하는 경우에 효과적입니다.
입력 데이터의 정확성은 양보할 수 없는 문제입니다.
AI/ML 구축을 위해서는 (지도 학습의 경우) 도메인 전문가가 입력 데이터를 정확하게 레이블링하고, 모든 AI/ML(트렌드 분석, 이상 감지 및 행동 세분화 같은 비지도 학습도 포함)의 출력 결과에서 유사성을 검증하고 인증 상태를 추적해야 합니다. 스토리지 시스템의 데이터에 대한 로그 분석과 추적 가능한 출처가 없으면 엔터프라이즈 AI/ML 프로세스가 느려지거나 정확도가 떨어질 수 있습니다. 이는 특히 팬데믹 시기에 많이 나타났던 데이터 드리프트나 컨셉 드리프트가 발생할 때 중요합니다.
데이터 드리프트와 컨셉 드리프트를 고려해야 합니다.
데이터 드리프트와 컨셉 드리프트는 부실 및/또는 잘못된 모델 출력(AI에 의한 결정 및 조치)으로 이어질 수 있습니다. 모델 구축은 입력 데이터 x를 출력 y에 매핑하는 함수 F(예측 또는 결정 또는 동작, y=F(x))를 찾는 데 중점을 둡니다. 그러나 변화하는 세상과 진화하는 비즈니스 운영 환경 내에서 모델이 정적 상태를 유지할 수는 없습니다. 데이터 드리프트는 입력된 비즈니스 데이터 x가 변경된 경우에 발생합니다. 컨셉 드리프트는 출력 y(모델링되는 원하는 비즈니스 결과)가 변경되었을 때 발생합니다. 두 경우 모두에서, 모델 F는 입력 및/또는 출력에서 드리프트가 발생함에 따라 동적으로 변경되어야 합니다. 이러한 변경 사항을 적시에 감지한 후 입력(x), 출력(y) 및/또는 모델(F)에 대해 활용 가능한 업데이트를 지속적으로 제공하는 것은 신속한 온프레미스 AI-레디 데이터 스토리지 인프라를 통해 가능합니다.
Customer Journeys to AI Success
임베디드 AIOps로 AI를 지켜봐야 합니다.
AI-레디 데이터 인프라에는 데이터 스토어를 ‘감시’하고, 이상 징후(영문자료), 중단, 변화하는 수요, 예측 용량 부하 요구 사항, 데이터 기반 AI 워크플로우 성능의 변화를 감지할 수 있는 임베디드 AI가 필요합니다. 데이터 스토리지 인프라에 내장된 이러한 AIOps 기능(영문자료)은 워크로드의 특징을 모니터링할 뿐만 아니라 선제적으로 인사이트를 제공하고, 문제 해결을 자동화하거나 결과 개선을 위한 제안을 제공해야 합니다. 퓨어스토리지가 어떻게 이를 지원하고, AIOps를 데이터 스토리지 인프라에 결합하는지 여기에서 자세히 알아보세요.
AI의 물결을 앞서나가야 합니다.
AI 기반 AI-레디 데이터 스토리지 시스템은 조직이 챗GPT와 생성형 AI 같이 빠르게 진화하는 엔터프라이즈 AI/ML 애플리케이션의 새롭고 혁신적인 물결을 앞서나가는 데 도움을 줍니다. AI를 위해 구축된 스토리지는 일관되게 빠르고 사용하기 쉬우며, 확장 가능하고 고도로 병렬화된 방식으로 다양한 AI 워크플로우를 위해 데이터를 GPU(영문자료)에 제공할 수 있습니다. 이러한 스토리지는 많은 AI 워크로드를 처리할 수 있도록 크기를 조정할 수 있으며, 향후 AI 데이터와 이니셔티브의 규모가 늘어나면 중단 없이 확장할 수 있습니다. AI를 위한 스토리지는 미래에 대비할 수 있어야 합니다. 기술이 변하더라도 스토리지 플랫폼은 대대적인 업그레이드를 거치지 않고도 진화하며 최신 상태를 유지하여 투자를 보호하고, 진화하는 기술과 애플리케이션 요구를 충족할 수 있어야 합니다.
플래시와 신뢰할 수 있는 스토리지 파트너로 TCO를 절감하세요.
새로운 저비용 플래시 스토리지 시스템의 등장으로 하드 디스크 드라이브(HDD) 대비 온프레미스 데이터 스토리지의 총소유비용(TCO, 영문자료)을 낮출 수 있습니다. 최신 플래시 스토리지 시스템은 클라우드 스토리지와 비교해도 TCO를 절감할 수 있습니다. 도입된 AI/ML 솔루션이 지속적으로 실행되어야 한다는 측면에서 클라우드는 비용 효율적이지 않기 때문입니다. 물론 AI 개발 및 시범 운영 프로젝트는 보통 지속적으로 실행되지 않기 때문에 클라우드 스토리지에서 처리할 수 있습니다. 따라서 고객의 이러한 선택과 결정에 도움을 줄 수 있도록 기술 컨설팅과 조언을 제공할 수 있는 (퓨어스토리지와 같은) 신뢰할 수 있는 데이터 스토리지 파트너를 확보하는 것이 중요합니다. 파트너는 특히 맞춤형 하이브리드 솔루션의 가치를 이해하고 이를 제공할 수 있어야 합니다.
기술 솔루션과 기술 요구 사항을 일치시키고 기술 부채를 고려해야 합니다.
AI 애플리케이션을 위한 엔터프라이즈 스토리지 솔루션에는 인적 자본 관리, 건강 및 생명 과학, 정부, 금융 서비스, 제조, 공급망, 물류 등 다양한 시장과 비즈니스 애플리케이션에 맞게 맞춤화된 솔루션이 필요할 수 있습니다. 여러 사업부를 운영하든, 하나만 운영하든, 기업은 고유한 요구 사항에 부합하는 데이터/AI 인프라 솔루션을 찾아야 합니다. AI-레디 인프라는 도입을 가속화하는 데 도움이 될 수 있으며, 보다 전문화된 맞춤형 구성과 비교해야 합니다. 주의해야 할 점은 기술, 혁신, 애플리케이션, 요구 사항이 진화하면서 기업이 상당한 기술적 부채를 안게 될 위험이 있다는 것입니다. 여기에서 기술적 부채는 ‘더 나은 솔루션에 투자하는 대신 비용 효율적인 조치로 구형 시스템을 유지 관리하는 비용’으로 정의할 수 있습니다. AI-레디 데이터 인프라는 요구 사항이 급격하게 변화하는 경우 상당한 기술적 부채가 발생할 수 있습니다. 기존 스토리지 시스템, 랙 및 컨트롤러에 무중단 업그레이드를 제공하는 데이터 스토리지 파트너(영문자료)는 현재와 앞으로 몇 년 동안 변화의 물결 속에서 엔터프라이즈 AI가 계속 앞으로 나갈 수 있도록 지원할 수 있습니다.
환경에 미치는 영향을 고려해야 합니다.
엔터프라이즈 AI에는 컴퓨팅 집약적인 워크로드가 포함되며, 이러한 워크로드는 매년 지속적으로 증가하고 있습니다. 따라서 데이터센터 운영 중단, 설치 공간, 환경적 영향을 최소화하면서 운영이 진화할 수 있어야 합니다. 예를 들어, 단일 랙에서 더 많은 작업을 수행할 수 있다면 수많은 스토리지 랙과 서버를 두고 관리할 필요가 있을까요? 환경, 사회, 거버넌스(ESG)와 에버그린(Evergreen) 기술을 언제, 어디에, 어떻게 도입해야 하는지는 오늘날 대부분 기업의 의사 결정자들에게 매우 중요한 문제입니다. 엔터프라이즈 AI 요구 사항, 애플리케이션 및 기대치가 지속적으로 증가함에 따라, 데이터센터 관리자는 데이터센터 내의 스토리지 시스템(랙, 열 및 회전식 디스크) 수를 늘리지 않고 ESG 및 에버그린 목표와 TCO 목표를 충족하는 방법을 고려해야 합니다.
다음은 추가 고려 사항입니다.
왜 고려 사항이 10개가 아니라 9개일까요?
상위 10대 고려 사항을 추리려고 했지만, 고려 사항은 9개였고 굳이 10개를 맞추고 싶지는 않았습니다. 작은 교훈이 있다면(어쩌면 10번째 또는 9.5번째 고려 사항이라고 할 수 있겠네요), 항상 기존의 방식을 고수할 필요는 없다는 것입니다. AI는 디지털 트랜스포메이션의 원동력일 뿐만 아니라 디지털 파괴의 주요 원동력이기도 합니다. 따라서 다르게 생각하고, 차별화된 전략을 구축하며, 다르게 계획해 새로운 결과를 기대해야 합니다. 지금까지 AI와 동일한 선상에서 스토리지 문제를 생각해본 적이 있나요? 스토리지는 중요(영문자료)하기 때문에 지금 바로 그 중요성을 다시 생각해봐야 합니다.
위에서 설명한 고려 사항들은 특정 기업의 요구에 맞게 추가적으로 맞춤형 지원을 제공할 수 있는 퓨어스토리지 시스템을 통해 이미 해결되었습니다. 퓨어스토리지는 최신 엔비디아 DGX 플랫폼(예: A100, H100)을 플래시블레이드//S(FlashBlade//S)와 결합하여 데이터 팀과 AI 인프라를 운영하는 IT 팀의 요구를 충족하는 동시에 TCO를 낮추고 ESG 및 지속가능성 목표를 충족할 수 있는 역량을 강화해주는 AI 지원 인프라 솔루션(예: 에이리//S(AIRI//S)을 제공하고 있습니다.
Read More from This Series
12 Reasons AI Readiness is the New Imperative
Top 9 Considerations for Enterprise AI
The Data Space-time Continuum for Analytics Innovation and Business Growth
AI와 AI-레디 인프라를 위한 퓨어스토리지 솔루션에 대한 자세한 내용은 아래 페이지에서 확인하시기 바랍니다.
다음 문서에서 ESG 및 에버그린 이니셔티브와 퓨어스토리지 구현 관련 기능에 대해 자세히 알아보세요.
Written By:
What Does the Future Hold for AI?
Dr. Kirk Borne and a panel of Pure experts discuss what the future holds for AI and AI tech in this webinar.
