이전 게시물 “데이터옵스: 데이터 경험 최적화“에서는 디지털 혁신 이니셔티브를 추진하는 동시에 성공적인 결과를 산출하는 데 도움이 되는 데이터옵스(DataOps)의 개념에 대해 살펴보았습니다. 데이터옵스 기능은 데이터 흐름의 생성 작업을 엔지니어링 활동에서 운영 활동으로 전환함으로써 데이터 관리 및 분석 방식에 획기적인 변화를 가져옵니다.
이러한 전환을 통해 IT 담당자는 실질적인 데이터 사용자가 작업 시 자율성을 높이고 속도 및 전반적 성능을 크게 개선할 수 있도록 돕는 도구 및 자동화에 집중할 수 있습니다.
예를 들어, 정유소에서 대형 저장고로 휘발유를 운송하는 파이프라인에 RFID 태그를 설치하는 데 필요한 작업을 살펴보겠습니다. 그리고 여기서 나타나는 압력 변화와 예상 원인을 파악해 볼 수 있습니다. 대부분의 기업에서와 마찬가지로 데이터 과학자는 다음 작업이 완료될 때까지 몇 달을 기다려야 합니다.
- 데이터 엔지니어는 이 프로세스를 뒷받침하는 데이터 모델의 초기 개념을 이해하고 정의해야 합니다.
- 데이터 엔지니어는 자동화된 프로세스에서 데이터를 수집하고 매핑합니다.
- 데이터 설계자는 새 데이터 필드가 표준 엔터프라이즈 데이터 모델과 마스터 고객 데이터 모델에 적용되는 방식을 설계합니다.
- 데이터 관리자는 비즈니스 용어집에서 항목을 식별하고 정의합니다.
- 데이터 작업을 통해 새 메타데이터 정보로 카탈로그를 생성합니다.
- 데이터 거버넌스를 통해 신규 데이터 승인에 적용할 표준을 결정하고 권한 및 액세스 제어를 설정합니다.
- 데이터 보안 작업으로 새 데이터의 가치를 발굴하여 이를 사용 및 추적 가능한 상태로 만들고 안전하게 보호해야 합니다.
경우에 따라, 특히 대기업의 경우 일반적으로 데이터 과학자는 6개월 이내에 데이터에 액세스할 수도 있습니다. 만약 데이터 과학자들이 직접 일부 데이터 통합을 수행하여 통합 시간을 줄이고 정상 프로세스 중 일부를 우회할 수 있다면 전체 소요 시간을 단축할 수 있을 것입니다. 이를 위해 조직에서 수립한 일부 프로세스를 반드시 건너뛰어야 하는 것은 아닙니다.
대신 데이터옵스 팀이 아키텍처, 설계, 거버넌스 또는 보안 기능을 우회하지 않고 모든 프로세스를 단계별로 수행한 후 며칠 내에 데이터를 제공할 수 있다면 어떨까요? 또는, RFID가 처음 구현된 당일에 데이터를 실시간 스트리밍 데이터로 전달할 수 있다면 어떨까요? 이는 근본적인 변화를 가져올 수 있을까요?
오늘날의 운영 현실에서 우리는 IT 팀이 신규 시스템 또는 최신 버전의 애플리케이션에 대한 통합을 구성, 설계, 테스트 및 구현하기까지 몇 달을 기다려야 합니다. 해당 애플리케이션이 온프레미스, 코로케이션 시설, 퍼블릭 클라우드 등 서로 다른 환경에 걸쳐 배치된 경우 특히 그렇습니다.
이러한 작업이 얼마나 오래 걸리는지 설명하기 위해 두 회사를 통합하는 데 필요한 일반적인 시간을 알아보겠습니다. 예를 들어, 이전에 제가 근무했던 한 회사는 다른 인접 시장에 진입하기 위해 기업을 인수한 적이 있습니다. 여기에는 해당 기업의 핵심 비즈니스와 신규 기능 및 애플리케이션 간의 통합을 관리하는 일이 포함되었습니다. 이러한 애플리케이션은 신규 기능을 뒷받침했고 인수의 결과로 추가되었습니다. 새로운 기업의 데이터를 합리화 및 통합하고 이를 기존 데이터 모델과 비교하는 데 몇 달이 걸렸습니다.
데이터옵스가 이 시간을 1/10로 단축할 수 있다고 상상해 보세요. 이와 같은 방식으로 합병을 진행할 경우 비용 절감 효과 및 재정적, 경쟁 상의 이점은 수백만 달러의 가치가 있습니다. 제가 수 년간 경험한 프로세스 자동화에 비추어 볼 때, 데이터옵스를 활용할 경우 분명히 이러한 혁신을 구현할 수 있을 것입니다.
또 다른 데이터 경험의 사례를 통해 일반적인 소프트웨어 버그 또는 데이터 오류를 살펴보겠습니다. 이는 기술 변경, 규제 변화, 시스템 변경, 심지어 간단한 데이터 오류 등으로 데이터가 바뀌면서 일상적으로 나타나는 문제입니다. 흔한 예로 소매업의 가격 오류를 들 수 있습니다. 예를 들어보겠습니다.
- 영국의 한 다국적 유통업체는 50인치 3D 플라즈마 스크린 TV를 1,099파운드가 아닌 199파운드에 판매했습니다.
- 각종 공구, 보조 도구 및 하드웨어를 판매하는 영국의 한 멀티채널 유통업체는 탑승형 잔디깎이의 가격을 1,599.99파운드가 아닌99파운드로 잘못 책정했습니다.
- 한 슈퍼마켓 체인은 50달러 바우처를 증정하면서 “최초 구매 한정”이라는 문구를 넣는 것을 잊었습니다. 프로모션이 종료될 때까지 수백 명의 쇼핑객이 이 바우처를 반복적으로 사용했습니다.
- 한 도매 유통업체는 산악 자전거부터 고화질 TV에 이르기까지 모든 제품의 가격을 인하했습니다. 결국 수백 건의 판매를 취소하고 대신 각 구매자에게 10달러의 기프트 카드를 증정했습니다.
이러한 사례들을 포함한 여러 경우에 많은 회사가 가까스로 데이터 문제를 복구하고 비용을 관리할 수 있었지만, 결국 재정적 손실을 입었고 장기적인 고객 경험 문제를 겪게 되었습니다.
데이터옵스와 적절한 모니터링 및 알림 기능을 사용하면 이와 같은 문제를 단 몇 분 안에 해결할 수 있습니다. 그리고 고객에게는 어떠한 영향도 주지 않습니다. 데이터옵스를 활용하면 이러한 유형의 오류를 사전에 막을 수 있습니다.
다음 게시물에서는 조직 내에서 데이터옵스 접근 방식을 구현하는 방법을 알아보겠습니다. 또한 이러한 작업을 효과적으로 지원하기 위해 어떤 기술을 구현할 수 있는지 살펴보겠습니다.
