HBM, High Bandwidth Memory

1. HBM의 구조

 기존의 GDDR 계열 SGRAM을 대체하고, 보다 고대역폭의 메모리 성능을 달성하기 위해 제안되었으며, 2013년에 반도체 표준협회인 JEDEC에 의해 채택되었다. 메모리 다이를 적층 하여 실리콘을 관통하는 통로(TSV)를 통해 주 프로세서와 통신을 한다는 것으로, 이를 위해서 직접 인쇄 회로 기판 위에 올려지는 GDDR 계열 SGRAM과는 달리 인터포저라는 중간 단계를 필요로 한다.

 

 GDDR의 경우 32개의 핀을 구리 배선으로 연결하면 되므로, 따로 미세 공정이 필요 없었다. 그러나 HBM은 1024개나 되는 미세한 핀을 연결해야 하기 때문에 그대로 기판에 붙일 수 없다. 설령 그대로 붙인다고 하더라도 1024개나 되는 배선을 기판에 구현하여 GPU에 연결하는 것도 만만치 않은 일이라, 중간에 인터포저를 추가하여 여기에 GPU와 HBM을 가깝게 배치해서 연결하자는 아이디어가 나왔다. 2012년에 이종간 패키징이 가능한 TSMC CoWoS가 개발되고, 2014년에 AMD와 SK하이닉스가 협력하여 TSV(Through Silicon Via) HBM 제품 개발에 성공하면서, 이후 본격적으로 HBM을 활용한 제품이 나오게 되었다.

 

출처: https://www.hellot.net/news/article.html?no=90553

2. HBM의 역사

 SK하이닉스의 HBM 개발은 닌텐도의 제안에서 시작되었다. 닌텐도는 그래픽 성능 강화를 위해 메모리 대역폭(I/O)을 늘리는 방안을 제안했으며, 이에 따라 GPU를 제작하는 AMD도 함께 움직였고, SK하이닉스 역시 참여하게 되었다. 당시 SK하이닉스는 게임 시장의 성장 가능성을 높게 평가하고 있어, 그래픽 메모리에 집중하던 차에 이 프로젝트가 시작된 것이다.

 

 초기 HBM은 커스터마이징된 제품이었다. 콘솔 게임 업체나 GPU 업체의 요구에 맞춰 제작해야 했기 때문에 큰 수익을 기대하기 어려웠다. 특수 목적의 제품이다 보니 수요가 한정적이었다. 현재는 생성형 AI의 발전으로 인해 HBM 수요가 폭발적으로 증가하여 수조 원대 시장이 형성되었지만, 불과 몇 년 전만 해도 HBM은 전체 메모리 시장에서 1%도 채 안 되는 비중을 차지했고, 그 금액도 1조 원에 미치지 못했다.

 

 그럼에도 SK하이닉스는 커스터마이징 요구에 적극적으로 대응했다. 당시에는 틈새 시장에 불과했지만, 향후 초고속 대용량 데이터 처리 수요가 늘어날 것이라는 판단 하에 기술 개발을 이어갔고, 그 결과 2013년 세계 최초로 HBM을 개발하는 데 성공했다.

 

 한때 GDDR에 비해서 뚜렷하게 우세하지 못한 성능으로 인해 계륵 취급을 받은 적도 있었다. 초기 HBM 1세대가 개발되었을 때, 그래픽카드에 HBM 4개(4096 bit)를 배치한 것과 GDDR 12개(384 bit)를 배치한 것을 비교하면, 대역폭 및 용량 차이가 그리 크지 않은데 가격은 비쌌기 때문이다. 한편으로는 그래픽 메모리를 대용량으로 필요로 할만한 게임도 없었고, 대학 또는 기업의 인공지능 랩에서나 쓰이는 정도라, 일반 GDDR에 비해 수요가 적었다. 이런 이유로 2019년 삼성전자에서는 시장성이 없다고 판단하고 일시적으로 사업을 철수한 적도 있었다.

 

 그러나 시간이 흘러 성능 개선이 이루어지면서, GDDR과 HBM간의 기술 격차가 점점 크게 벌어지는 상황이다. 특히 GDDR의 경우 단층에 따른 구조적 한계로 개선이 더딘 반면, HBM의 경우 메모리 다이만 잘 쌓으면 용량과 대역폭이 배로 증가하니, 상대적으로 기술 발전이 빠른 편이다. 거기에 매개 변수가 많아 메모리를 많이 쓸 수밖에 없는 GPT나 Stable Diffusion과 같은 트랜스포머 기반 인공지능 분야에서는 수요가 급증했는데, 이들을 제대로 활용하려면 사실상 HBM 사용이 강제된다. 용량도 중요하지만, 많은 모델 데이터들을 빠른 시간 내 처리하기 위해서 메모리 대역폭도 중요하기 때문이다.

 

 근본적인 구조의 차이 때문에 GDDR과 비교를 하더라도 대역폭 면에서는 HBM이 월등하게 우수하다. 삼성은 스택당 최대 8-Hi, 최대 3.2 GT/s, 410g GB/s, 총 16GB를 지원하는 플래시볼트 HBM2E를 2020년 2월에 양산했다. SK하이닉스도 스택당 최대 8-Hi, 최대 3.5 GT/s, 460 GB/s, 총 16GB를 지원하는 HBM2E를 개발하여 2020년 7월 대량 생산에 돌입했다. 그리고 2020년 11월 16일, NVDIA가 3.2 Gbps와 총 2 TB/s 대역폭을 지니는 HBM2E로 업그레이드된 A100 80GB 연산 카드를 발표했다.