Hammerspace와 Parallel Works는 IT 인프라, 연구 컴퓨팅, AI 팀이 사이트와 클라우드에서 컴퓨팅, 스토리지, 데이터 워크로드를 조율하고 버스트 용량에 맞춰 클라우드 컴퓨팅 리소스를 확장할 수 있는 결합된 솔루션을 제공하기 위해 협업하고 있습니다.

Hammerspace 는 데이터 오케스트레이션 회사입니다. Global Data Platform(GDP)은 병렬 NFS 기반 파일 시스템 소프트웨어를 사용하여 SSD, 디스크 드라이브, 퍼블릭 클라우드 서비스(AWS, Google Cloud, Azure, Seagate Lyve Cloud) 및 테이프 라이브러리를 사용하여 파일(NFS) 및 개체 스토리지 모두에서 전 세계적으로 분산된 위치의 데이터를 관리합니다. 데이터는 글로벌 네임스페이스에 위치하며 마치 로컬인 것처럼 오케스트레이션, 배치 및 액세스할 수 있습니다.

Argonne National Laboratory에서 성장한 Parallel Works는 온프레미스 위치, 퍼블릭 클라우드 및 하이브리드 환경에서 HPC 및 AI IT 리소스를 프로비저닝, 관리 및 공유하기 위한 ACTIVATE 제어 평면 소프트웨어를 개발했습니다. 이는 클라우드 간 클러스터와 별도의 컴퓨팅 및 스토리지 프로비저닝을 지원합니다.

Hammerspace 설립자 겸 CEO인 데이비드 플린은 "위치와 클라우드 지역에서 컴퓨팅과 데이터를 원활하게 조율하는 것은 게임 체인저입니다. Parallel Works를 사용한 통합 솔루션은 데이터가 항상 필요한 위치에 있고 지연 시간이 최소화되도록 보장하여 운영을 간소화하고 오버헤드를 줄이며 혁신을 가속화합니다.

"혁신자는 다양한 컴퓨팅 클러스터 간에 전체 워크로드를 이동할 수 있는 민첩성이 필요합니다. 즉, 데이터 준비를 위해 CPU를 사용하고, 처리를 위해 GPU를 사용하거나, 추가 사이클이나 비용 효율적인 클라우드 지역을 위해 원격 클러스터에 액세스하는 유연성을 추가해야 합니다."

Parallel Works CEO Matthew Shaxted는 "HPC 및 AI 워크로드 오케스트레이션 분야의 전문성을 Hammerspace의 병렬 파일 시스템, 글로벌 네임스페이스 및 데이터 목표와 통합함으로써 애플리케이션 이식성을 가능하게 하고 민첩한 작업 배치를 달성하고 있습니다. 이러한 접근 방식을 통해 조직은 필요한 곳에 리소스를 효율적으로 할당하여 성과, 혁신 및 간소화된 하이브리드 인프라 관리를 추진할 수 있습니다."라고 말했습니다.

두 회사는 AI와 HPC 워크로드가 상당한 컴퓨팅 리소스와 대규모 데이터 세트에 대한 저지연 액세스를 요구할 수 있다고 말합니다. 이러한 데이터와 컴퓨팅 리소스는 종종 여러 위치에 분산됩니다. 컴퓨팅을 데이터로 옮기나요, 아니면 그 반대로 하나요?

또한 단기 버스트 컴퓨팅이 필요한 경우 대체 데이터 센터나 클라우드 인프라를 사용하면 확장 가능하고 탄력적인 옵션을 제공할 수 있지만 "특히 데이터가 컴퓨팅에서 멀리 떨어져 있는 경우 여러 지리적으로 분산된 클러스터에서 워크로드를 조정하는 것은 매우 복잡합니다."

두 사람은 이렇게 말합니다. "이러한 복잡성은 데이터 전송, 네트워크 지연 및 동기화를 관리하는 동안 애플리케이션을 재배치해야 하는 필요성에서 발생하며, 대부분 팀이 관리 부담을 떠안으려 하지 않는 오류가 발생하기 쉽고 시간이 많이 걸리는 설정으로 이어집니다."

Hammerspace의 GDP와 Parallel Works의 ACTIVATE를 결합하면 로컬 및 클라우드 컴퓨팅 리소스의 프로비저닝과 관리를 자동화하고 해당 리소스로의 데이터 흐름을 조정할 수 있습니다.

ACTIVATE는 분산 컴퓨팅 리소스를 생성, 프로비저닝 및 관리하는 통합 제어 평면입니다. Slurm 인스턴스를 스피닝하여 작업 스케줄링 및 관련 HPC 노드를 관리하는 것과 같은 워크플로를 자동화합니다.

Hammerspace의 GDP는 "고성능 파일 및 개체 스토리지를 제공하고, 사이트와 클라우드에 걸쳐 있는 글로벌 네임스페이스를 생성하고, Data Orchestration 서비스를 통해 해당 네임스페이스 내의 데이터 흐름을 자동화하는 데이터 오케스트레이션 제어 평면"으로 기능합니다. Hammerspace는 데이터가 어디에 있든 HPC 서버에 데이터를 전달하며, 공유, 디렉토리, 심지어 개별 파일 수준에서 오케스트레이션 정책이 설정됩니다.

두 회사는 고객이 완전 관리형 클라우드 서비스의 사용 편의성을 통해 인프라를 "적절한 크기"로 조정할 수 있지만 표준 클라우드 인프라 서비스 비용은 그대로 유지하여 관리형 Lustre 등에 비해 "상당한 클라우드 비용 절감"이 가능하다고 밝혔습니다. 

표준 클라우드 가상 머신에서 Hammerspace의 연간 비용을 관리형 Lustre와 비교하는 차트

클라우드 비용 비교 임원 브리핑은 여기에서 찾을 수 있으며 , 공동 솔루션 브리핑 문서는 여기에서 찾을 수 있습니다. Flynn과 Shaxted는 10월 24일에 The Register 에서 주최하는 웨비나에서 결합된 제안에 대해 논의할 예정입니다 .

▷ 원문보기 : https://blocksandfiles.com/2024/10/16/hammerspace-parallel-works/