AI 데이터 인텔리전스 기업인 DDN이 그록(Grok) LLM의 AI 잠재력을 확장하는 xAI의 프로젝트 콜로서스(Project Colossus)를 위해 엔비디아와 협력한다고 발표했다.

처음에는 10만 개의 엔비디아 호퍼 GPU와 엔비디아 스펙트럼-X 이더넷 네트워킹 플랫폼의 조합으로 구동되던 이 솔루션은 대규모 AI 훈련 중에도 95%의 데이터 처리량 효율성을 유지한다. 콜로서스는 곧 20만 개의 GPU로 확장되어 세계에서 가장 강력한 AI 슈퍼컴퓨터 중 하나로서의 입지를 굳히고 AI가 달성할 수 있는 한계를 넓힐 예정이다.

여러 데이터 홀에 걸쳐 있는 진정한 데이터 메트로폴리스가 된 멤피스 시설은 속도, 규모, 순수 연산 능력에 대한 그록의 요구사항을 충족하도록 설계되었다. 이 인프라는 고층 건물을 세계에서 가장 강력한 AI 엔진 중 하나를 지원하도록 완전히 최적화된 번화한 허브로 전환하는 것이다.

그 핵심은 엔비디아 가속 컴퓨팅 플랫폼으로, 터보차지된 DDN의 첨단 AI 데이터 플랫폼이 DDN의 엑사스케일러(EXAScaler)와 인피니아(Infinia) 솔루션의 성능을 결합한다. 이 설정은 최첨단 AI가 요구하는 규모와 정밀도를 제공한다. 이는 극도의 효율성을 위해 미세 조정되고 집약적인 생성AI 워크로드를 처리하도록 설계됐다.

DDN의 플랫폼은 조직이 모델 훈련과 추론을 확장할 수 있도록 설계되었으며, 간소화된 데이터 패스(DataPath) 기술 덕분에 데이터가 원활하고 효율적으로 흐를 수 있다. 이 설정은 하드웨어, 전력, 냉각 또는 네트워크 자원에 대한 일반적인 부담 없이 데이터 이동을 최대화하여 xAI가 비용을 낮추고 환경 영향을 최소화하면서 콜로서스의 훈련 능력을 확장할 수 있게 한다.

우수한 훈련 능력과 효율성

DDN의 지원을 받는 프로젝트 콜로서스는 AI 모델 훈련 능력과 속도에서 크게 발전했다. 그록은 DDN의 엑사스케일러와 인피니아 솔루션이 원활하게 지원하는 10만 개 GPU의 연산 능력을 활용한다. DDN의 데이터 플랫폼은 훈련 시간을 크게 단축하여 신속한 모델 반복과 업데이트의 유연성을 높인다.

콜로서스와 DDN의 아키텍처를 통해 xAI는 더 큰 데이터세트와 점점 복잡해지는 모델 아키텍처를 처리하여, 이전에는 달성 불가능하다고 여겨진 규모로 자연어 처리와 대화형 AI와 같은 응용 분야에서 획기적인 성능을 이끌어낼 수 있다.

실제 세계 AI 추론 강화

DDN의 고효율 플랫폼은 훈련 외에도 콜로서스의 AI 추론 능력을 증폭시켜 xAI가 강력한 모델을 대규모로 배포할 수 있게 한다. DDN의 간소화된 데이터 경로는 실시간 응용 프로그램의 추론 속도를 높여 X와 같은 플랫폼 전반에서 사용자들이 그록의 영향을 직접 체감할 수 있도록 한다. DDN 솔루션을 활용하여 콜로서스가 달성한 향상된 성능은 그록이 상업적으로 이용 가능한 가장 진보된 AI 시스템 중 하나가 되도록 하여, AI 기반 사용자 경험을 새로운 차원으로 끌어올리고 실제 응용 분야에서 속도와 확장성을 개선한다.

DDN은 세 가지 중요한 수준에서 AI 성공을 가능하게 한다.

① 데이터센터 및 클라우드 최적화 : DDN 솔루션은 GPU 워크로드를 위해 컴퓨팅, 네트워크, 스토리지 전반에 걸쳐 엔드투엔드 최적화를 제공하여 다른 솔루션들에 비해 오버헤드와 비효율성을 75%까지 줄인다. 대규모 언어 모델(LLM)에서 DDN은 생성AI의 데이터 로딩, 체크포인팅, 추론을 최적화하여 10배의 비용 이점을 제공한다.

② AI 프레임워크/LLM/생성AI 가속화 : DDN은 AI 워크플로우의 분석 계층을 가속화하여 제한된 환경에서도 LLM 성능을 최대 10배까지 높인다. 이는 GPU 낭비를 줄이고, 훈련 속도를 높이며, AI 제품의 출시 시간을 단축한다.

③ 데이터 오케스트레이션 및 이동 최적화 : DDN 플랫폼은 에지, 데이터센터, 멀티클라우드 환경 전반에 걸쳐 효율적인 데이터 흐름을 보장한다. 지연 시간을 최소화하고 불필요한 데이터 전송을 줄임으로써 비용을 절감하고 확장성을 높여 AI 기반 혁신을 위한 유연하고 미래 지향적인 인프라를 구축한다.

DDN은 7년 이상 엔비디아와 협력하여 셀린(Selene) 슈퍼컴퓨터부터 시작하여 슈퍼컴퓨팅 혁신을 추진해 왔다. 이 협력은 이오스(Eos) 슈퍼컴퓨터에 대한 지원으로 확대되었으며, 현재는 엔비디아 블랙웰(Blackwell) 플랫폼까지 확장되었다.

DDN의 CEO이자 공동창업자인 알렉스 부자리(Alex Bouzari)는 “DDN의 플랫폼을 엔비디아의 가속 컴퓨팅 플랫폼으로 구동돼, xAI에 가장 야심찬 AI 프로젝트를 발전시키는 데 필요한 기술을 제공하고 있다. DDN의 솔루션은 대규모의 효율성을 높이도록 특별히 설계되었으며, xAI에서의 이번 구축은 고성능, AI 최적화 기술의 능력을 보여준다.”고 말했다.

▷ 원문보기 : https://www.gttkorea.com/news/articleView.html?idxno=14946