[디지털경제뉴스 박시현 기자] 스노우플레이크가 9천 개 이상 고객을 대상으로 데이터 및 AI 도입의 패턴과 트렌드를 조사한 ‘데이터 동향 2024 보고서’를 발간했다.
이 보고서는 글로벌 기업들이 AI 기술과 데이터를 비즈니스에 어떻게 활용하고 있는지를 다루고 있다. 보고서에 따르면 LLM 앱 중 텍스트 입력 방식은 줄고 대화형 챗봇이 늘어났다. 또 개발자가 선호하는 AI 언어는 파이썬으로 나타났다.
스노우플레이크는 "대화형 앱은 사람들이 실제 상호작용하는 방식으로 프로그래밍 되어 사람과 대화하듯 LLM과 쉽게 상호작용할 수 있다”며 “특히 LLM 앱의 기초가 되는 데이터의 거버넌스와 보안이 보장된다면 대화형 앱은 기업과 사용자 모두의 기대치를 충족하며 활용도가 확대될 것”이라고 밝혔다.
스노우플레이크 스트림릿 커뮤니티에 속한 전세계 약 2만 명 이상의 개발자들은 지난 9개월 동안 3만 3143개 이상의 LLM 앱을 구축했다. 이들이 가장 선호하는 프로그래밍 언어는 파이썬이었다.
스노우플레이크의 앱 구축 플랫폼인 스노우파크에서 지난해 파이썬 사용량은 5.71배 증가했다. 이는 3.87배, 1.31배 늘어난 스칼라, 자바에 비해 높은 수치다. 파이썬은 프로토타입 및 테스트 속도를 높여 전체 작업 속도는 물론 최첨단 AI 프로젝트의 초기 단계에서 전반적인 학습 속도를 높인다.
최근에는 LLM 앱을 개발할 때 데이터 관리 플랫폼 위에서 프로그래밍하는 사례도 늘고 있다. 스노우플레이크 플랫폼에서 직접 앱을 개발할 수 있는 스노우플레이크 네이티브 앱 활용도는 지난해 7월부터 올해 1월, 7개월 사이 3배 이상 증가했다. 단일 데이터 플랫폼에서 개발한 애플리케이션은 외부 업체로 데이터 복사본을 내보낼 필요가 없어 앱 개발과 배포가 빨라지고 운영 및 유지보수 비용을 줄일 수 있다.
AI 도입과 함께 조직 내 비정형 데이터에 대한 분석과 처리도 늘었다. 이 과정에서 활용되지 않은 새로운 데이터 소스를 발견할 수 있고, 민감한 개인 데이터를 보호하기 위한 데이터 거버넌스도 중요해졌다.
스노우플레이크 보고서에 따르면 기업들이 지난 한 해 동안 처리한 비정형 데이터의 양은 1.23배 증가했다. 글로벌 시장분석 기관 IDC는 전 세계 데이터의 최대 90%를 비정형 동영상과 이미지 및 문서로 추산하고 있다. 이미 언어모델 훈련이 일반화된 정형 데이터와는 달리 비정형 데이터의 가공은 기업의 비즈니스 경쟁력을 높일 수 있는 새로운 기회가 되고 있다.
스노우플레이크는 “데이터 거버넌스는 데이터를 통제하는 것이 아니라 궁극적으로 데이터의 가치를 활용하는 것”이라며 “스노우플레이크는 거버넌스를 데이터 수집, 데이터 보안, 데이터 활용 등 3가지 축으로 분류하고 고객들이 기업에 적합한 액세스와 사용 정책을 적용하기 위해 데이터를 태그하고 분류할 수 있도록 했다”고 설명했다. 그 결과, 스노우플레이크 고객의 데이터 거버넌스 기능을 도입한 기업은 70%에서 100%로 늘었고, 거버넌스 내 운영되는 쿼리 수도 142% 증가했다.
스노우플레이크는 이어 “각각의 데이터들은 기업들이 당면한 문제에 대해 어떻게 대응하는지를 보여준다. 이 개별적인 데이터 포인트들을 전체로 보면, 최신 AI 기술 기회를 활용한 조직의 통합적인 전략을 세울 수 있다”며 “생성형 AI 시대의 핵심 전략은 광범위한 데이터 생태계에 펼쳐진 데이터소스를 오픈하고 공유해 데이터 사일로를 허무는 것이 중요하다”고 전했다.
