[디지털경제뉴스 박시현 기자] “모두를 만족시킬 하나의 AI 모델은 존재하지 않지만, 다행히 사용할 수 있는 오픈소스 모델이 다수 존재한다. 하지만 대부분 사용에 제약이 있고, 정보가 어떻게 처리되는지 확실하지 않다. 그동안 ‘기여'라는 오픈소스 가치를 갖춘 AI 모델이 없었는데, 레드햇은 이제 ‘레드햇 엔터프라이즈 리눅스 AI’와 ‘인스트럭트랩’이라는 개방형 접근 방식으로 AI 모델의 혁신을 이뤄나가겠다.”
◆레드햇이 지향하는 AI = 맷 힉스 레드햇 CEO는 7일(현지시간) 미국 덴버에서 열린 ‘레드햇 서밋 2024’에서 레드햇이 지향하는 AI에 대해 이렇게 밝혔다.
레드햇은 ‘레드햇 서밋 2024’에서 오픈소스 기반 생성형 AI 플랫폼 ‘레드햇 엔터프라이즈 리눅스 AI(RHEL AI)’와 오픈시프트 AI의 업데이트 내용을 공개했다.
RHEL AI는 오픈소스 라이선스 생성형 AI 모델을 엔터프라이즈에 도입할 수 있는 파운데이션 모델 플랫폼으로 오픈소스 커뮤니티 프로젝트 ‘인스트럭트랩’을 기반으로 한다. RHEL AI는 ‘그래니트’라는 오픈소스 코드와 IBM의 개발언어 모델, 그리고 인스트럭트랩 프로젝트와 레드햇 엔터프라이즈 리눅스 컨테이너를 결합한 솔루션이다.
인스트럭트랩은 생성형 AI를 위한 커뮤니티이며, LAB(Large-scale Alignment for chatBots)를 통해 AI 모델 학습을 시킬 수 있고, 또 커뮤니티에 학습 정보를 공유할 수 있다. 기업은 RHEL AI에 포함된 인스트럭트랩 프로젝트를 활용해 필요로 하는 정보를 직접 학습시키며 개발이 가능하다. 인스트럭트랩은 노트북에서도 사용이 가능할 정도로 가벼운 프로그램으로, 레드햇이 제시하는 하이브리드 접근 방식에 맞게 노트북이나, 엣지단, 데이터센터 등에서 학습을 시키면 이 정보를 취합, 처리할 수 있다.
AI 전략 구현을 위해서는 단순히 모델을 선택하는 것만으로는 부족하며, 특정 사용 사례에 맞게 주어진 모델을 조정하고 AI 구현에 드는 막대한 비용을 처리할 수 있는 전문 지식을 필요로 한다. 데이터 과학 기술의 부족은 ▲AI 인프라 조달 또는 AI 서비스 사용 ▲비즈니스 요구 사항에 맞도록 AI 모델을 조정하는 복잡한 프로세스 ▲엔터프라이즈 애플리케이션에 AI 통합 ▲애플리케이션과 모델 라이프사이클의 관리 등 여러 분야에 비용을 요구해 더욱 어려움을 겪을 수 있다. AI 혁신의 진입 장벽을 확실히 낮추기 위해서는 AI 이니셔티브 참여자의 범위를 넓히는 동시에 이러한 비용을 통제할 수 있어야 한다. 레드햇은 인스트럭트랩 정렬 도구, 그래니트 모델, RHEL AI를 통해 접근과 재사용이 자유롭고 완전히 투명하며 기여에 개방적인 진정한 오픈소스 프로젝트의 장점을 생성형 AI에 적용함으로써 이러한 장애물을 제거할 계획이다.
◆인스트럭트랩으로 개방형 AI 구축 = IBM리서치는 분류법 기반 합성 데이터 생성과 새로운 다단계 튜닝 프레임워크를 사용하는 모델 정렬 방식인 LAB 기술을 개발했다. 이 접근 방식은 비용이 많이 드는 사람의 주석이나 독점 모델에 대한 의존도를 줄임으로써 모든 사용자가 보다 개방적이고 접근하기 쉬운 AI 모델 개발을 가능하게 한다.
LAB 방식을 사용하면 분류법에 수반되는 기술과 지식을 특정하고, 해당 정보로부터 대규모로 합성 데이터를 생성해 모델에 영향을 주고, 생성된 데이터를 모델 학습에 사용함으로써 모델을 개선할 수 있다.
IBM과 레드햇은 LAB 방식과 IBM의 오픈소스 그래니트 모델을 중심으로 구축된 오픈소스 커뮤니티인 ‘인스트럭트랩’을 출범했다. 인스트럭트랩 프로젝트는 타 오픈소스 프로젝트에 기여하는 것만큼 간단하게 LLM을 구축하고 기여할 수 있도록 함으로써 개발자들의 LLM 개발을 돕는 것이 목표다.
IBM은 인스트럭트랩 출시의 일환으로 그래니트 영어 모델 및 코드 모델 제품군도 공개했다. 아파치 라이선스에 따라 출시된 이 모델들은 모델 학습에 사용된 데이터 세트에 대한 완전한 투명성을 갖췄다. 그래니트 7B 영어 모델은 인스트럭트랩 커뮤니티에 통합됐으며, 최종 사용자는 다른 오픈소스 프로젝트에 기여할 때와 마찬가지로 이 모델의 공동 개선을 위해 기술과 지식을 기여할 수 있다.
◆리눅스 기반의 오픈소스 AI 혁신 = RHEL AI는 AI 혁신에 대한 개방형 접근 방식을 기반으로 구축됐다. 하이브리드 인프라 환경 전반에서 배포를 간소화하기 위해 엔터프라이즈 리눅스 플랫폼과 결합된 인스트럭트랩 프로젝트 및 그래니트 언어 그리고 코드 모델의 엔터프라이즈 지원 버전을 통합한다. 이를 통해 오픈소스 라이선스 생성형 AI 모델을 엔터프라이즈에 도입할 수 있는 파운데이션 모델 플랫폼이 만들어졌다.
사용자는 RHEL AI에서 새로운 AI 모델을 실험하고 조정할 때, RHEL AI가 포함된 레드햇 오픈시프트 AI를 통해 이러한 워크플로우를 확장할 수 있는 준비된 진입로를 확보할 수 있다. 여기서 AI 모델의 대규모 학습을 위한 오픈시프트의 쿠버네티스 엔진과 모델 라이프사이클 관리를 위한 오픈시프트 AI의 통합 ML옵스 기능을 활용할 수 있다. 또한 오픈시프트 AI와 RHEL AI는 엔터프라이즈 AI 개발과 데이터 관리, 모델 거버넌스를 위한 추가 기능을 제공하는 IBM 왓슨엑스와 통합될 예정이다.
아셰시 바다니 레드햇 최고 제품 책임자 겸 수석 부사장은 "생성형 AI는 기업에게 혁신적인 도약을 제시하지만, 이는 기술 조직이 비즈니스 요구 사항에 맞는 방식으로 AI 모델을 실제로 배포하고 사용할 수 있을 때만 실현 가능하다. RHEL AI와 인스트럭트랩 프로젝트는 레드햇 오픈시프트 AI와 큰 규모로 결합돼 제한된 데이터 과학 기술부터 필요한 리소스에 이르기까지 하이브리드 클라우드 전반에서 생성형 AI가 직면한 많은 장벽을 낮추고 기업 배포와 업스트림 커뮤니티 모두에서 혁신을 촉진하도록 설계됐다"고 밝혔다.
