22일 가동을 시작한 멤피스 데이터 센터 (사진=xAI)
일론 머스크 xAI CEO가 알려진 것보다 1년 앞서 10만개의 GPU를 갖춘 슈퍼컴퓨터 클러스터를 구축, 22일(현지시간)부터 가동했다. 이를 통해 올해 12월까지 세계에서 가장 강력한 성능을 가진 인공지능(AI) 모델을 내놓겠다고 예고했다.
머스크 CEO는 22일 X(트위터)를 통해 "멤피스 슈퍼클러스터가 현지 시간 오전 4시20분부터 (AI 모델의) 훈련을 시작했다"라며 "xAI와 X, 엔비디아 및 지원 회사들에 감사를 전한다"라고 밝혔다.
이어 메피스 데이터 센터의 시설은 "단일 RDMA(원격 직접 메모리 액세스) 패브릭에 10만개의 액체 냉각 'H100'을 갖춰 세계에서 가장 강력한 AI 훈련 클러스터"라고 강조했다.
10만개의 GPU 클러스터를 구축, '그록 3'를 훈련한다고 예고한 것은 잘 알려진 사실이다.
그러나 디 인포메이션이나 불루버그 등은 소식통을 인용, 그 시기를 내년 하반기로 예상했다.
하지만 실제로는 1년이나 앞당겨진 셈이다.
이에 대해 톰스하드웨어는 기존 소식통의 정보가 잘못됐거나 잘못 이해됐을 가능성이 높다고 분석했다.
또 최근 엔비디아의 최신 GPU인 블랙웰을 수급할 때까지 기다리지 못하고 오라클과의 계약을 무산했다는 소식도 이해가 된다고 밝혔다. 즉, 멤피스 데이터 센터 가동이 눈앞에 닥쳤거나 이미 일부 가동 중이기 때문이라는 것이다.
xAI도 지난 16일 X에 머스크 CEO가 멤피스 서버를 둘러보는 사진을 올리기도 했다. 슈퍼컴퓨터 랙 구성을 도운 찰스 리앙 슈퍼마이크로 CEO도 머스크의 스레드에 댓글을 달며 관련 팀을 칭찬했다.
)사진=X, xAI)
후속 트윗에서 머스크 CEO는 "새로운 슈퍼클러스터는 올해 12월까지 모든 측면에서 세계에서 가장 강력한 AI를 훈련하는 데 있어 상당한 이점이 될 것"이라고 밝혔다.
올해 말까지 '그록 3'의 성능을 오픈AI 이상으로 끌어올리겠다는 예고다.
하드웨어 성능만 보면 이는 확실히 근거가 있다는 분석이다. 멤피스의 클러스터는 GPU 규모로는 세계 최고다.
세계 슈퍼컴퓨터 순위 1위인 미국 오크리지 국립연구소의 '프론티어'는 3만7888개의 AMD GPU를 갖췄으며, 2위인 미국 아르곤 국립연구소의 '오로라'는 6만개의 인텔 GPU를 장착했다.
빅테크 중에서는 메타가 GPU 2만4576개로 구성된 클러스터를 구축했으며, 마이크로소프트(MS)의 '이글'이 H100 1만4400개를 갖추고 있다.
▷ 원문보기 :https://www.aitimes.com/news/articleView.html?idxno=161855
