[디지털경제뉴스 박시현 기자] 데이터브릭스가 클라우드, 데이터 형식 및 데이터 플랫폼 전반의 데이터 및 AI 거버넌스용 통합 솔루션 ‘유니티 카탈로그’를 오픈소스로 제공한다고 발표했다.
데이터브릭스는 이번 발표로 상호 운용 가능한 도구, 데이터 및 AI 자산에 대한 범용 지원, 그리고 내장된 보안으로 구성된 생태계를 촉진하고 데이터 및 AI 거버넌스를 계속해서 이끌어 나갈 계획이다. 개방형 생태계를 통해 고객이 특정 벤더에 종속되지 않도록 유연성과 통제력을 제공하겠다는 것이다.
데이터브릭스 유니티 카탈로그 OSS는 모든 데이터 형식과 컴퓨팅 엔진을 지원하는 범용 인터페이스를 제공한다. 여기에는 델타 레이크, 아파치 아이스버그 및 아파치 후디 클라이언트를 통해 델타 레이크 유니폼으로 테이블을 읽을 수 있는 기능이 포함된다. 아이스버그 REST 카탈로그 및 하이브 메타스토어 인터페이스 표준도 지원된다.
유니티 카탈로그 OSS는 테이블 데이터, 비 테이블 데이터, 그리고 머신러닝 모델 및 생성형 AI 도구와 같은 AI 자산에 대한 통합 거버넌스를 제공해 조직이 대규모로 관리를 간소화할 수 있도록 한다.
조직은 데이터 및 AI 워크로드 처리를 위해 상호 운용 가능한 카탈로그를 필요로 한다. 데이터브릭스는 이러한 고객 수요를 충족하기 위해 2021년 유니티 카탈로그를 출시했다. 그동안 조직은 단일 목적을 가진 여러 개의 솔루션에 의존했다. 이에 따라 플랫폼 간, 그리고 데이터 및 AI 자산 간 사일로가 발생했으며, 다중 테이블 형식의 테이블 데이터, 비정형 데이터, ML 모델, 벡터 인덱스 및 AI 도구를 결합하는 현대적인 데이터 및 AI 애플리케이션을 구축하는 데 한계가 있었다. 조직은 메타데이터 사일로를 관리하기 위해 복잡한 웹을 만들고, 다양한 엔진에 접근하기 위해 데이터를 여러 장소나 형식으로 복사하거나, 카탈로그 간의 메타데이터를 동기화하기 위해 자체 솔루션을 유지해야 했다. 결과적으로 비용과 복잡성이 증가하고, 거버넌스가 약화됐으며, 접근 제어가 파편화됐다.
알리 고드시 데이터브릭스 공동창립자 겸 CEO는 “전 세계 데이터브릭스 고객이 유니티 카탈로그를 활용하고 있다. 유니티 카탈로그를 사용하면 여러 개의 단일 목적 솔루션을 조합할 필요 없이, 데이터브릭스 데이터 인텔리전스 플랫폼 내에서 테이블형 데이터, 비정형 데이터, AI 및 ML 자산 등 모든 데이터 개체를 신뢰할 수 있는 단일 솔루션으로 관리할 수 있다”며, “데이터브릭스의 플랫폼은 모든 데이터가 기본적으로 개방형 형식으로 제공되는 데이터 플랫폼이다. 메타데이터와 거버넌스를 오픈소스로 공개함에 따라, 데이터 및 AI 환경에서 기업이 필요로 하는 거버넌스 솔루션을 제공할 수 있게 됐다. 앞으로 파트너와의 긴밀한 협업으로 개방형 표준을 지속적으로 발전시켜 나갈 것”이라고 말했다.
