HBM의 다음은 HBF? — 샌디스크 특허와 NAND 기반 메모리 계층 논쟁

01핵심 개요

02왜 NAND인가 — HBM의 한계

AI 모델이 커질수록 모든 가중치를 비싼 HBM에 담는 것은 물리·비용 한계가 있고, 멀리 떨어진 SSD에서 매번 가져오면 GPU 대기시간이 길다. HBF는 HBM과 SSD 사이에 '용량은 NAND처럼 크고 대역폭은 메모리처럼 높은' 새 계층을 만들려는 시도. 샌디스크가 MRAM·ReRAM 대신 NAND를 고른 이유는 밀도·확장성·비용이 이미 검증됐고, NAND는 비휘발성(전원 꺼져도 데이터 유지)이라 HBM의 리프레시 전력이 불필요하기 때문 — 전력=비용인 추론 시대의 강점.

03어떻게 빠른가 — 극단적 병렬화

NAND 셀 하나를 빠르게 만드는 게 아니라 동시에 움직이는 NAND 수를 극단적으로 늘리는 방식. 컨트롤러가 여러 채널→여러 다이→다이 내 여러 플레인에 동시에 명령을 보낸다("차선을 수십 개로 늘리기"). 마이크론의 6플레인 NAND도 같은 원리. HBF는 여기에 다이 적층과 넓은 인터페이스, 로직 베이스 다이를 더해 병렬성을 극대화한다.

04NAND의 약점 = HBF의 한계

NAND는 오류가 없는 메모리가 아니라 컨트롤러가 웨어레벨링·ECC(LDPC 등)로 끊임없이 고치며 쓰는 메모리. HBF는 GPU 옆 고대역폭을 유지하며 ECC·불량다이 관리·데이터 보정까지 해야 해 로직 다이·시스템 SW 역할이 커진다.

05역할 분담 — 읽기 중심 vs 쓰기 중심

HBF는 한 번 학습하면 잘 바뀌지 않는 '읽기 중심 모델 가중치'에 먼저 맞고, 쓰기가 잦은 KV캐시는 HBM이나 별도 고성능 계층에 두는 것이 현실적. 엔비디아는 KV캐시용 전용 계층을 따로 만들었는데, 베라루빈 시스템의 블루필드 4 STX(스토리지 아키텍처) 위에 올라가는 CMS(Context Memory Storage)가 그것이며, 스펙트럼-X 고속 네트워크로 여러 GPU가 공유한다. 즉 NAND를 GPU에 붙이는 길(HBF)과 독립 스토리지 랙을 네트워크로 묶는 길(CMS)이 경쟁.

06기업별 포지션

07결론 — 대체가 아니라 공존

샌디스크 특허는 '제품이 아니라 특허'이며, 그 안에서도 HBM은 사라지지 않고 지연 시간이 중요한 작업을 맡는 역할로 이동할 뿐. SK하이닉스 시뮬레이션에서 HBM 8개+HBF 8개 하이브리드가 HBM 단독 대비 와트당 성능 최대 2.69배 향상 — 둘을 함께 쓰는 것이 가장 똑똑하다는 결론. 발표자는 HBF를 "해답이라기보다 아직 풀리지 않은 문제"로 평가하며, OCP 코리아 테크데이(8/21 코엑스)에서 인터페이스·ECC 위치·온도/수명 기준·교체 가능성 등을 관전 포인트로 제시.

08용어 사전