글로벌 AI 데이터 클라우드 기업 스노우플레이크(Snowflake)가 ‘생성형 AI의 혁신적 ROI (Radical ROI of Generative AI)’ 보고서를 발표했다. 이번 보고서는 글로벌 시장 조사 기관 ESG (Enterprise Strategy Group)와 공동으로 AI를 실제 사용 중인 9개국 1900명의 비즈니스 및 IT 리더를 대상으로 진행한 설문조사 결과를 담았다.

보고서에 따르면 AI를 도입한 기업의 92%가 이미 AI 투자를 통해 실질적 ROI (투자수익률)를 달성했고, 응답자의 98%는 올해 AI에 대한 투자를 더욱 늘릴 계획인 것으로 나타났다. 전 세계 기업들의 AI 도입이 빨라지면서 데이터 기반이 성공적인 AI 구현의 핵심 요소로 떠오르고 있다. 그러나 많은 기업들이 여전히 자사 데이터를 AI에 적합한 형태로 준비하는 데 어려움을 겪는 것으로 파악됐다.

AI 분야에서 20년 가까이 경험을 쌓아온 스노우플레이크 바리스 굴테킨 AI 총괄(Baris Gultekin, Head of AI)은 “기업들에게 AI의 실질적인 가치가 가시화되기 시작했다”며 “평균 일주일에 4000개 이상의 고객이 스노우플레이크 플랫폼에서 AI 및 머신러닝을 활용하고 있고, 이를 통해 조직 전반의 효율성과 생산성을 높이고 있다”고 강조했다.

전반적으로 기업은 AI 초기 투자에서 성과를 거두고 있는 것으로 나타났다. 93%의 응답자는 자사의 AI 활용 전략이 ‘매우’ 또는 ‘대부분’ 성공적이라고 답했다. 특히 전체 응답자의 3분의 2는 생성형 AI 투자에 따른 ROI를 측정하고 있고, 1달러 투자당 평균 1.41달러의 수익을 올리며 ROI를 높이고 있는 것으로 집계됐다. 국가별 AI 성숙도에 따라 기업이 AI 역량을 주력하는 분야가 달랐으며, 이는 지역별 ROI 성과와 밀접한 연관이 있는 것으로 드러났다.

미국은 AI 투자 ROI가 43%로, AI 운영 최적화 측면에서 가장 앞서 있었다. 그뿐만 아니라 자사의 AI를 실제 비즈니스 목표 달성에 ‘매우 성공적’으로 활용하고 있다고 답한 비율이 52%로, 전체 응답국 중 가장 높았다. 한국의 경우 AI 투자 ROI는 41%로 나타났다. 보고서에 따르면 한국 기업은 AI 성숙도가 높은 편으로, 오픈소스 모델 활용, RAG (검색증강생성) 방식을 활용해 모델을 훈련 및 보강하는 비율이 각각 79%, 82%로 글로벌 평균인 65%, 71%를 상회했다.

특히 한국 기업들은 기술 및 데이터 활용에 있어 높은 실행 의지를 보이고 있다. 오픈소스 모델 활용(79%), RAG 방식의 모델 훈련 및 보강(82%), 파인튜닝 모델 내재화(81%), 텍스트 투 SQL (Text to SQL, 자연어로 작성한 질문을 SQL 쿼리로 자동 변환하는 기술) 서비스 활용(74%) 등 고급 AI 기술을 활용한다고 답변한 비율이 글로벌 평균을 크게 웃돌았다. 이러한 데이터 활용 역량은 비정형 데이터 관리 전문성(35%)과 AI 최적화 데이터 보유 비율(20%)에서도 확인된다.

이런 성과에 비해 아직도 전략적 의사결정에 AI 활용하는 데에는 어려움을 겪고 있는 것으로 나타났다. 조사 결과에 따르면 응답자의 71%는 ‘제한된 자원에 대비해 추진할 수 있는 AI 활용 분야가 매우 다양하고, 잘못된 의사결정이 시장 경쟁력에 부정적 영향을 미칠 수 있다’고 답했다. 또한 응답자의 54%는 ‘비용, 사업 효과, 실행 가능성 등 객관적 기준에 따라 최적의 도입 분야를 결정하는 데 어려움을 겪고 있다’고 밝혔다. 59%는 ‘잘못된 선택이 개인의 직무 안정성까지 위협할 수 있다’고 우려했다.

한국 기업의 경우 기술적 복잡성(39%), 활용 사례 부족(26%), 조직 내 협업 문제(31%) 등의 어려움을 겪고 있다고 답하며 아직 다양한 비즈니스 영역으로의 AI 확대는 더딘 것으로 나타났다. 그럼에도 향후 12개월 내 ‘다수의 대형언어모델(LLM)을 적극적으로 도입’하고 ‘대규모 데이터를 활용할 계획’이라고 답한 기업은 각각 32%, 30%로, AI 도입 확대에 관한 강한 의지를 드러냈다.

설문에 응답한 전체 기업의 80%는 ‘자체 데이터를 활용한 모델 파인튜닝을 진행 중’이고, 71%는 ‘효과적인 모델 학습을 위해 수 테라바이트의 대규모 데이터가 필요하다’고 답하며 AI의 효과를 극대화하기 위해 자사 데이터를 적극 활용하고 있는 것으로 나타났다. 그러나 여전히 많은 기업들이 데이터를 AI에 적합한 형태로 준비하는 과정에서 어려움을 겪기도 했다. 데이터 준비 과정에서 겪는 주요 과제로 △데이터 사일로 해소(64%) △데이터 거버넌스 적용(59%) △데이터 품질 관리(59%) △데이터 준비 작업 통합(58%) △스토리지 및 컴퓨팅 자원의 효율적 확장(54%) 등을 꼽았다.

스노우플레이크 아르틴 아바네스(Artin Avanes) 코어 데이터 플랫폼 총괄은 “AI의 발전과 함께 조직 내 데이터 통합 관리의 필요성이 더욱 커지고 있다”며 “스노우플레이크처럼 사용이 쉽고 상호 운용 가능하며 신뢰할 수 있는 단일 데이터 플랫폼은 단순히 빠른 ROI 달성을 돕는 것을 넘어 사용자가 전문적인 기술 없이도 안전하고 규정을 준수하며 AI 애플리케이션을 쉽게 확장할 수 있도록 견고한 기반을 마련해 준다”고 말했다.