삼성전자 AI칩 '마하-1'

1. 삼성전자는 AI칩 대표주자 반열에 이름을 올리려 한다

삼성전자가 '마하-1' 개발에 성공한다면 엔비디아가 독주하던 AI칩 대표주자의 반열에 당당하게 이름을 올릴 수 있을 것으로 기대를 모으고 있습니다. 여기에 삼성전자의 D램까지 결합한다면 그 잠재력은 종전 '10만전자'를 훌쩍 넘을 것이라는 게 투자업계의 공통된 시각입니다. 

 

2. 엔비디아의 AI는 전기료를 먹고 자란다

'AI를 성장시키는 재료는 데이터가 아니라 전기료' 라는 말이 나올 정도로 엔비디아의 AI칩은 막대한 전기를 필요로 합니다. 

 

2.1. 엔비디아의 A100 GPU 최대 소비전력은 400와트, H100의 경우 700와트에 달합니다.

올해 출시되는 B100은 정확하게 공개되지는 않았지만 1K(1000)W 수준일 것으로 예상됩니다. 이는 대형 에어컨에 버금가는 수준입니다. 올해 H100의 소비전력량이 소규모 국가와 맞먹는 수준이 될 것이라는 전망도 나올 정도입니다. 

 

엔비디아는 지난해 150만개, 올해 200만개의 H100을 판매할 것으로 전망했습니다. 이렇게 되면 총 350만개의 H100이 연간 1만3091GWh의 전력을 소비하게 됩니다. 이는 리투아니아, 과테말라의 연간 소비전력량 1만3092GWh와 비슷한 수치입니다. 

 

2.2. 엔비디아의 AI칩이 막대한 전기 소모가 요구되는 이유중 하나는 데이터 병목현상이 발생하기 때문입니다. 

HBM(고대역메모리)과 GPU 사이 1000개의 연결통로가 있지만 방대한 데이터들이 이동하기엔 아직 턱없이 도로가 좁고 부족합니다. 이 때문에 발열과 전기 소모가 발생하고 발열을 잡기 위해 가동하는 냉각장치로 추가적인 전기도 더 소모합니다. 

 

때문에 AI 업계에서는 만약 GPU의 데이터 병목현상을 누군가 잡아낼 수 있다면 수 조원 이상의 연간 비용 지출을 절약해주는 막강한 엔비디아의 대항마가 되어줄 것으로 기대했습니다. 

[그림] PIM 기술 개념도 (자료: 삼성전자)

 

3. 메모리 사업부가 슈퍼칩을 만든 사연

3.1. 폰 노이만 구조

폰 노이만 구조는 대부분의 컴퓨터에서 사용하는 방식으로 CPU가 메모리로부터 명령어를 불러오고 실행하며 그 결과를 다시 기억장치에 저장하는 작업을 순차적으로 진행합니다. 이 과정에서 CPU와 메모리 간 주고받는 데이터가 많아지면 작업처리가 지연되는 현상이 생깁니다. 

3.2. PIM 구조

최근 AI의 응용 영역이 확대되고 기술이 고도화됨에 따라 고성능 메모리에 대한 요구가 지속적으로 커져 왔지만 기존의 메모리로는 폰 노이만 구조의 한계를 극복하기 어려웠습니다. 

 

PIM은 메모리 내부에 연산 작업에 필요한 프로세서 기능을 차세대 신개념 융합기술입니다. 쉽게 말하면 데이터 저장을 담당하는 메모리에 일부 시스템 반도체의 연산 기능을 더한 것이에요. 메모리 내부에서 연산 처리가 가능해 CPU와 메모리 간 데이터 이동이 줄어들어 AI 가속기 시스템의 에너지 효율을 높일 수 있습니다. 

 

3.3. 메모리와 시스템반도체 간 주고를 최적화시키는 삼성전자의 경험

이 연구를 진행하면서 삼성은 메모리와 시스템반도체 간 구조를 최적화시키는 경험을 쌓기 시작합니다. 데이터 병목현상을 풀어내기 위한 최적의 구조를 찾아냅니다. 이를 바탕으로 AI 가속기를 직접 만들 수 있다는 희망을 발견합니다. 만약 최적화된 인프라 안에서 데이터까지도 최적화할 수 있다면 효율성을 극도로 끌어올리는 것이 가능할거라는 확신을 합니다. 

 

4. 삼성전자와 네이버의 협업

네이버는 엔비디아의 GPU 기반 AI칩 구매 비요잉 너무 비싸고 전력 소모량 역시 부담이 되었습니다. 이에 삼성과 네이버는 전략적으로 손을 잡으며 반엔비디아 전선을 만들었습니다. SW 개발은 네이버가, 칩 디자인과 생산은 삼성전자가 맡기로 하였습니다. 

 

삼성전자와 네이버는 마하-1 개발에 반도체 엔지니어 40여명을 투입했습니다. 그 결과 지난해 말 FPGA 프로그래밍이 가능한 비메모리 반도체 를 활용해 마하-1 설계 효율성을 검증하는 데 성공했습니다. 현재 양산을 위한 반도체 설계 확정을 앞두고 있습니다. 

 

'마하-1'에 대한 양사의 기대감은 상당합니다. 

 

5. '마하-1'의 대략적인 스펙

메모리 처리량을 8분의 1로 줄이고, 8배의 파워 효율을 갖게 하는 것을 목표로 합니다. 더 나아가 HBM 보다 저전력 LP 메모리를 써도 AI 추론이 가능하다고 밝혔습니다. 이미 해당 솔루션을 활용해 네이버의 초거대 AI 모델 '하이퍼클로바X'를 구동하는 데 성공한 상태입니다. 

 

• 삼성전자가 네이버와 손잡고 AI 가속기 칩 '마하-1'을 개발 중
• 기존 엔비디아의 칩보다 전력 효율이 8배 뛰어나고 고가의 HBM 없이도 작동 가능
• 내년 초 양산 시작 예정, 후속작 마하-2 개발도 시작한 상태

 

 

 

* 이 콘텐츠는 2024년4월7일 기준으로 작성하였습니다. 

* 자료 출처: 매일경제