데이터분석에 있어서 7가지 트렌드 | 매거진에 참여하세요

지난 10년 동안 데이터는 혁신적인 힘으로 부상했습니다.

리더들에게 데이터를 분석할 수 있는 도구와 데이터 기반 의사결정을 내릴 수 있는 플랫폼을 제공하는 기업들은 데이터의 힘을 진정으로 활용할 수 있습니다.

이를 실천하지 않는 기업들은 중요한 경쟁 우위를 놓치게 됩니다.

1. 데이터 분석에 AI 도입

인공지능(AI), 특히 머신러닝(ML)의 부상은 데이터 분석 작업의 속도와 규모를 증가시키고 있습니다.

"AI 분석"에 대한 검색량은 지난 5년간 335% 증가했습니다.

전통적인 분석은 IT 분석가 팀이 데이터를 수집하고, 잠재적인 통찰력을 이론화하며, 그 통찰력을 테스트하고, 결과를 보고하는 과정을 필요로 합니다.

전통적인 BI는 IT에 크게 의존하지만, ML 기반 분석은 데이터를 비즈니스 사용자의 손에 직접 넘겨줍니다.

그러나 ML 기반 모델은 데이터를 지속적으로 모니터링하고, 이상 현상을 감지하며, 실시간으로 적절한 팀에 경고를 보낼 수 있습니다

ML 모델은 어떤 데이터 하위 집합이라도 살펴보고 통찰력을 도출할 수 있습니다. 수백만 개의 데이터 포인트 간의 상관관계를 찾을 수도 있습니다.

이러한 시스템은 상당히 정확합니다.

데이터 분석 플랫폼이 ML을 활용하고 분석과 관련된 많은 전통적인 작업을 자동화할 때, 이를 증강 분석(augmented analytics)이라고 합니다.

인기 있는 데이터 분석 플랫폼인 Qlik은 일상적인 비즈니스 사용자와 데이터 과학자 모두가 활용할 수 있는 증강 분석을 제공합니다.

증강 분석의 중요한 장점 중 하나는 AI/ML 플랫폼이 비정형 데이터를 이해할 수 있다는 것입니다.

여기에는 전화 통화도 포함됩니다.

예를 들어, 오하이오 주 클리블랜드에 있는 University Hospitals는 매월 40만 건 이상의 전화를 받습니다.

그들이 AI 데이터 분석 플랫폼을 사용하기 전에는 이러한 전화 통화를 듣고 발생한 내용을 문서화하는 작업이 여러 직원의 업무였습니다.

University Hospitals가 Invoca의 증강 분석 플랫폼을 도입한 후, 그들은 AI 플랫폼을 통해 전화를 자동으로 모니터링할 수 있게 되었습니다.

그들은 직원 노동 시간을 최소한 주당 40시간 절약했습니다.

증강 분석은 또한 경쟁사 데이터를 모니터링하여 조직이 그에 따라 가격을 최적화할 수 있도록 합니다.

증강 분석 시장은 빠르게 성장하고 있습니다.

2. 비즈니스 인텔리전스를 활용한 통찰력 수집

비즈니스 인텔리전스(BI) 도구는 의미 있는 패턴과 실행 가능한 통찰력을 추출하기 위해 원시 데이터를 활용합니다.

오늘날 많은 인기 있는 BI 플랫폼은 AI/ML 기능을 활용하여 비즈니스 사용자에게 통찰력을 제공합니다.

이러한 통찰력은 문제를 식별하거나, 트렌드를 발견하거나, 새로운 수익원을 찾는 데 이어질 수 있습니다.

데이터 마이닝, 쿼리, 보고, 시각화는 모두 BI 시스템의 일부입니다.

많은 비즈니스 리더들은 BI를 조직의 생존과 성공을 위해 필수적인 것으로 간주합니다.

약 4분의 1의 조직이 현재 BI를 사용하고 있습니다. 이 수치는 직원 수가 5,000명 이상인 조직의 경우 80%까지 증가합니다.

"데이터 시각화"에 대한 검색량은 2022년 말에 급증했습니다.

이러한 시각화는 차트, 그래프, 지도 등과 같은 것들입니다.

가장 인기 있는 BI 시스템 중 하나인 Tableau는 사용자를 위한 다양한 데이터 시각화 옵션을 제공합니다.

그리고 이 회사는 Tableau Public이라는 무료 플랫폼을 제공하며, 사용자들이 자신만의 데이터 시각화에 대한 영감을 얻을 수 있도록 합니다.

사용자들은 데이터 분포를 빠르게 확인할 수 있는 상자 수염 그림(box-and-whisker plot), 특정 데이터를 특정 색상으로 표시하는 히트맵,

계층적 데이터를 표시하기 위해 사각형을 중첩하는 트리맵 등을 만들 수 있습니다.

히트맵은 데이터 세트에 색상을 할당하여 시청자가 데이터의 영향을 빠르게 파악할 수 있도록 합니다.

이러한 다양한 응용 프로그램을 통해 BI는 기업을 위한 보편적인 표준이 되어가고 있습니다.

Fortune Business Insights에 따르면, 비즈니스 인텔리전스 시장은 2030년까지 542억 7천만 달러에 도달할 수 있으며, 이는 2022년 대비 270억 달러 증가한 수치입니다.

3. 엣지 컴퓨팅의 더 많은 사용 사례

최근 몇 년간 데이터의 폭발적인 증가와 실시간 분석의 필요성으로 인해 많은 기업들이 데이터 분석을 에지로 이동시키고 있으며,

데이터를 생성하는 장치에서 직접 처리하고 있습니다.

Gartner는 2025년까지 중요한 데이터의 50% 이상이 기업의 데이터 센터와 클라우드 외부에서 생성되고 처리될 것이라고 예측합니다.

"에지 컴퓨팅"에 대한 검색량은 지난 10년간 6,200% 이상 증가했습니다.

EdgeIR의 분석에 따르면, 에지 컴퓨팅에 대한 전 세계 지출은 올해 말까지 2,320억 달러에 이를 것으로 예상됩니다. 이는 2022년 대비 13.1% 증가한 수치입니다.

왜 이렇게 빠르게 에지 컴퓨팅으로 전환되고 있을까요?

오늘날 세계는 총 244억 개의 연결된 장치에서 매일 4억 테라바이트 이상의 데이터를 생성합니다.

2025년까지 전 세계 데이터는 300억 개 이상의 연결된 장치에서 180 제타바이트를 초과할 것입니다.

또한, 소규모 오픈소스 AI 모델들이 로컬에서 LLM을 실행할 수 있는 가능성을 점점 더 높여주고 있습니다.

데이터의 양이 증가함에 따라, 많은 조직들이 클라우드에 데이터를 저장하는 방식으로 전환했습니다.

그러나 기존의 클라우드 컴퓨팅조차도 매일 생성되는 실세계 데이터의 방대하고 끊임없이 증가하는 양을 처리하기에는 역부족입니다.

대역폭의 제한, 데이터 전달의 지연, 네트워크 중단은 중요한 산업 및 상업 데이터 프로세스를 마비시킬 수 있습니다.

이는 결국 운영 비용과 위험을 증가시킵니다.

데이터 업계 전문가들은 에지 컴퓨팅이 더 나은 대안이라고 말합니다.

에지 컴퓨팅은 네트워크의 가장자리에 있는 장치 내에서 프로세서 집약적이고 종종 반복적인 임무에 중요한 데이터 분석을 수행합니다.

4. 데이터-어즈-어-서비스(DaaS)에 대한 의존도 증가

매일 더 많은 데이터가 생성됨에 따라, 모든 비즈니스가 경쟁력을 유지하기 위해 데이터를 활용해야 한다는 것이 분명해지고 있습니다.

그러나 모든 비즈니스가 가장 큰 기술 기업들만큼 쉽게 데이터를 수집, 저장, 분석할 수 있는 능력을 갖추고 있는 것은 아닙니다.

이것이 데이터-어즈-어-서비스(DaaS)가 등장한 이유입니다.

"데이터-어즈-어-서비스"에 대한 검색량은 지난 5년간 143% 증가했습니다.

DaaS 회사들은 일반적으로 구독 기반으로 데이터 수집, 저장, 분석 서비스를 제공합니다.

이는 클라우드 컴퓨팅을 통해 실행되며, 데이터를 로컬에서 분석하거나 저장하는 대신 네트워크를 통해 최종 사용자에게 서비스를 제공합니다.

고객에 따라 DaaS 제공업체는 고객에게 고유한 내부 데이터를 수집하고 활용하거나, 고객이 단독으로 접근할 수 없는 데이터 세트를 제공할 수 있습니다.

비즈니스 세계가 클라우드 우선 기술로 이동함에 따라, DaaS로의 전환도 빠르게 이루어질 것으로 보입니다.

사실, Technavio는 DaaS 시장이 2027년까지 568억 5천만 달러의 가치를 추가할 것으로 추정합니다.

DaaS 시장은 2027년까지 연평균 성장률(CAGR)이 약 40%로 성장할 것으로 예상됩니다.

Snowflake는 이 시장에서 가장 크고 인기 있는 회사 중 하나입니다.

이 회사는 데이터 웨어하우징 서비스로 유명하지만, 순수 DaaS 제공업체로도 활동할 수 있습니다.

Snowflake는 고객들이 플랫폼에 데이터를 저장하고 분석할 수 있도록 하지만, 플랫폼을 통해 최종 사용자에게 데이터 제품을 판매하는 공급업체도 호스팅합니다.

이 플랫폼에는 2,800개 이상의 활성 데이터 세트가 있습니다.

Snowflake의 마켓플레이스 샘플은 수요 예측 카테고리에서 154개의 사용 가능한 데이터 제품을 보여줍니다.

Snowflake는 또한 2023년 4월에 6,290만 달러의 시리즈 A 자금 조달 라운드에서 뉴욕 기반 회사인 Cybersyn에 투자했습니다.

이 회사는 공공 및 독점 경제 데이터를 결합하여 데이터 세트를 만들고 이를 제3자에게 판매하는 데 중점을 두고 있습니다.

5. 데이터 시스템의 민주화

현대 기업에서 데이터는 종종 사일로화되어 있습니다.

한 부서에 갇혀 있고, 다른 비즈니스 사용자들은 그 데이터의 가치를 놓치게 됩니다.

이것이 데이터 민주화가 비즈니스에게 중요한 트렌드인 이유입니다. 이는 기술 전문 지식에 관계없이 기업 내 모든 사람이 정보에 접근할 수 있도록 하는 것을 포함합니다.

데이터 민주화는 최종 사용자가 IT의 접근 권한을 기다릴 필요 없이 필요한 통찰력에 접근할 수 있도록 합니다.

한 설문조사에서, 80%의 비즈니스 리더들은 데이터에 접근할 수 있는 것이 의사결정을 개선한다고 말했습니다.

Harvard Business Review의 설문조사에 따르면, 97%의 비즈니스 리더들은 데이터 민주화가 비즈니스 성공에 중요하다고 말했습니다.

그러나 아직 갈 길이 멉니다. 그 중 60%만이 직원들이 데이터와 이를 분석할 수 있는 도구에 접근할 수 있도록 하는 데 효과적이라고 말했습니다.

거의 모든 응답자들이 데이터 민주화가 비즈니스 성공에 중요하다고 말했습니다.

데이터를 의사결정자들의 손에 넘기는 것은 회사의 많은 직원들이 시민 데이터 과학자가 되는 것을 의미합니다.

이들은 데이터를 분석할 수 있지만, 이를 주요 업무로 삼지는 않는 사람들입니다.

코카콜라는 조직 내 더 많은 시민 데이터 과학자를 만들기 위해 관리자들의 역량 강화에 투자했습니다.

이 프로그램의 첫 해에, 그들은 데이터 분석과 같은 디지털 기술을 500명 이상의 사람들에게 교육했습니다. 앞으로 몇 년 동안 4,000명 이상의 직원들에게 이 프로그램을 확대할 계획입니다.

새로운 교육 프로그램을 실행하는 것 외에도, 기업들은 직원들이 사전 교육 없이도 데이터를 쿼리하고 분석할 수 있는 셀프 서비스 데이터 분석 도구를 선택하고 있습니다.

6. 데이터 메시 아키텍처 구현

데이터 메시는 셀프 서비스 분석을 지원하는 아키텍처입니다.

"데이터 메시"에 대한 검색량은 지난 5년간 두 배 이상 증가했습니다.

이는 데이터 소유권과 관리를 분산시키고, 데이터를 제품으로 취급하며, 도메인 지향 데이터 팀을 구축하는 접근 방식입니다.

데이터 메시의 핵심 아이디어는 기업 내 다른 팀들 간에 데이터 책임을 분배하는 것입니다.

이를 통해 팀들은 자신의 데이터 도메인을 소유하고 데이터 기반 의사결정을 독립적으로 내릴 수 있습니다.

거버넌스도 도메인 팀 내에 내장되어 있으며, 상위에서 하위로 강제되지 않습니다.

각 팀은 특정 도메인 요구 사항에 따라 데이터 제품을 관리하고 통치할 수 있는 자율성을 가지고 있습니다.

"데이터 거버넌스"에 대한 검색량은 최근 몇 년간 100% 이상 증가했습니다.

데이터가 분산되어 있기 때문에, 각 기업 팀은 특정 도메인에 적합한 도구와 기술을 사용할 수 있습니다.

재고 관리 팀은 한 시스템을 사용할 수 있고, 마케팅 및 영업 팀은 다른 도구를 사용할 수 있습니다.

결과적으로 팀들은 필요한 데이터와 혁신, 실험, 효과적인 의사결정에 참여할 수 있는 도구를 갖추게 됩니다.

데이터 메시는 대량의 데이터를 처리하는 기업들을 위한 확장 가능하고 민첩한 솔루션을 제공합니다.

데이터 메시 접근 방식은 기업들에게 몇 가지 이점을 제공합니다:

저장 시스템에 대한 부담을 줄여 비용 효율적이며, 상호 운용성을 촉진하고, 보안 및 규제 준수를 증가시킵니다.

데이터 메시를 통해 데이터를 소유한 팀들은 데이터 레이크에서 데이터를 사용할 수 있게 합니다.

다른 팀들은 기업 데이터 카탈로그를 통해 해당 데이터를 찾고 요청할 수 있습니다.

데이터는 한 팀의 애플리케이션에서 다른 팀의 애플리케이션으로 직접 흐릅니다.

데이터 메시를 통해 팀들은 데이터를 공유하고 그 출처를 추적할 수 있습니다.

7. 프라이버시를 보장하면서 고품질 데이터를 제공하기 위해 합성 데이터 사용

합성 데이터는 컴퓨터 프로그램에 의해 생성된 가짜 데이터입니다. 이는 실제 세계의 사람이나 사건을 기반으로 하지 않습니다. 그러나 데이터 분석 분야에서 점점 더 가치 있게 여겨지고 있습니다.

"합성 데이터"에 대한 검색량은 2019년 이후 600% 이상 증가했습니다.

점점 더 많은 기업들이 AI 분석 시스템을 구현함에 따라, 이러한 시스템을 훈련시키기 위해 데이터가 필요합니다.

일부 회사들은 AI 모델을 훈련시키는 데 필요한 대량의 데이터와 고품질 데이터를 마련하는 데 어려움을 겪습니다.

이때 합성 데이터가 등장합니다.

합성 데이터는 완전히 합성되거나 부분적으로 합성될 수 있습니다.

이 데이터는 데이터베이스를 가져와 ML 모델을 생성하고, 이를 통해 두 번째 데이터 세트를 생성함으로써 만들어집니다.

합성 데이터는 실제 데이터와 동일한 패턴과 속성을 가지고 있지만, 실제 데이터 식별자와 연결되어 있지 않습니다.

짧은 시간 내에 대량의 합성 데이터를 생성할 수 있습니다. 그리고 생성될 때 자동으로 태그가 지정됩니다.

또한 실제 세계에서 자주 발생하지 않는 사건에 대한 고품질 데이터를 얻는 주요 방법이기도 합니다.

또 다른 큰 문제는 보안과 개인 정보 보호입니다.

합성 데이터는 데이터를 비공개로 유지해야 하는 기업들에게 이상적입니다.

데이터를 익명화하는 것은 비효율적일 수 있지만, 합성 데이터는 실제 데이터가 아니기 때문에 이러한 문제가 발생하지 않습니다.

Gartner는 올해 말까지 AI 및 분석 솔루션에서 사용되는 데이터의 60%가 합성 데이터가 될 것이라고 예측합니다.

AI 모델은 2030년을 향해 더 많은 합성 데이터를 사용할 것으로 예상됩니다.

위의 글은 아래 원문을 해석 및 재가공한 글로, 원문은 아래에서 확인하실 수 있습니다.

https://explodingtopics.com/blog/data-analytics-trends