인공지능(AI) 시대가 도래하면서 데이터 처리 속도와 전력 효율이 중요해진 가운데 '프로세스 인 메모리(PIM)' 기술이 주목받고 있다. 삼성전자와 SK하이닉스는 PIM을 '차세대 AI 솔루션'으로 삼고 기술 개발에 박차를 가하고 있다.
◆ PIM, 데이터 처리 속도와 전력 효율 극대화
25일 업계에 따르면 삼성전자와 SK하이닉스는 현재 PIM 기술을 AI, 데이터센터, 고성능컴퓨팅(HPC) 분야를 대상으로 시험적 적용을 실시하고 있다. 양사는 테스트를 통해 기술 안정성이 입증되면 본격적으로 상용화를 시작할 전망이다.
PIM은 데이터가 저장된 메모리 자체에서 데이터를 처리해, CPU와 메모리 간의 불필요한 데이터 이동을 줄이고 처리 속도를 높이는 기술이다. 즉, 메모리 내에 간단한 연산 유닛을 두고 데이터를 처리한 후에 그 결과만을 CPU에 전달하거나, 아예 필요한 연산을 메모리 내에서 끝내버리는 방식이다. 이렇게 하면 병목 현상을 줄이고, 전력 효율성을 크게 향상시킬 수 있다.
삼성전자와 SK하이닉스는 PIM을 '차세대 AI 솔루션'으로 삼고 기술 개발에 힘을 쏟고 있다. 사진은 MS코파일럿이 시각화한 PIM 솔루션의 모습
PIM은 특히 대량의 데이터를 빠르게 처리해야 하는 AI 연산, 딥러닝, 데이터베이스 처리 등의 분야에서 큰 이점을 가지고 있다. 이러한 응용 분야에서는 데이터의 이동보다 처리 자체가 중요한데, PIM은 이를 효율적으로 수행할 수 있다.
◆ HBM, GDDR6 등 다양한 제품군에 탑재…AI, HPC, 데이터센터 테스트 진행
삼성전자와 SK하이닉스는 PIM 기술 개발에서도 활발한 연구를 이어가고 있다.
삼성전자는 2021년 D램을 여러 겹으로 쌓는 AI가속기용 메모리 반도체인 고대역폭메모리(HBM)에 PIM을 결합한 HBM-PIM을 업계 최초로 개발했다.
HBM-PIM은 기존의 HBM 인터페이스와 호환성을 유지하면서, 연산 기능을 추가해 기존 시스템에 쉽게 통합될 수 있다는 장점이 있다. 이를 통해 다양한 시스템에서 쉽게 적용될 수 있다.
현재는 다양한 고객들과 협력해 HBM-PIM 기술을 시험하고, AI와 HPC 분야에서 실질적인 성능 향상을 확인하는 단계다.
또 2022년에는 HBM3 기반 PIM 개발을 마쳤다. 지난해에는 AMD의 GPU인 'MI-100' 가속기 카드에 HBM-PIM 메모리를 탑재하기도 했다.
또 LPDDR5 및 GDDR6 메모리에도 PIM 기능을 확장해 모바일 기기나 그래픽 처리 장치에서도 PIM 기술을 활용할 수 있도록 개발 중이다.
SK하이닉스는 2022년 처음으로 PIM 개발 성과와 해당 기술이 적용된 첫 제품인 'GDDR6-AiM'을 선보였다.
이 기술은 고속 메모리인 GDDR6에 PIM 기능을 추가해 메모리 내에서 연산을 처리함으로써 데이터 전송 병목을 줄이고 성능과 전력 효율성을 향상시키는 데 중점을 뒀다.
지난해엔 AI 연산 가속을 위한 메모리 솔루션 'AiMX'을 개발했다. 이는 AiMX는 GDDR6-AiM 여러 개를 탑재한 PCle 가속기 카드 형태의 솔루션으로 대규모언어모델(LLM)에 특화된 가속기 카드 제품이다.
회사는 이달 초 미국 캘리포니아주 새너제이에서 열린 'AI 하드웨어 & 엣지 AI 서밋 2024'에서 최신 LLM인 '라마(Llama)3 70B'를 활용해 AiMX의 성능을 시연하기도 했다.
