HBM 한계에 떠오른 낸드 적층…AI 메모리 축으로 부상한 HBF 작성일 09-02 6 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="UQVbFrRfWq"> <figure class="figure_frm origin_fig" contents-hash="a21dedbc4ea87989e6a071eed6c7a4257c5a5ed5cbb8db7d86f5846c6896cce7" dmcf-pid="uIDAdUlwWz" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202609/02/552796-pzfp7fF/20260902172945190izhs.jpg" data-org-width="640" dmcf-mid="poBuXc6byB" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202609/02/552796-pzfp7fF/20260902172945190izhs.jpg" width="658"></p> </figure> <p contents-hash="a32208ca95903a4937a1ae98a0d2bca99041b9cf91413042534938451cf8bc68" dmcf-pid="7CwcJuSrW7" dmcf-ptype="general">[디지털데일리 고성현기자] 인공지능(AI) 추론 시장이 확대되면서 낸드플래시를 고대역폭 메모리처럼 활용하는 HBF(High Bandwidth Flash)가 차세대 AI 인프라의 새로운 선택지로 떠오르고 있다. 고대역폭메모리(HBM)가 담당해온 초고속 데이터 처리 능력에 낸드의 대용량 강점을 결합해 AI 가속기의 메모리 병목을 완화하겠다는 구상이다.</p> <p contents-hash="f1d814a22947b555b184b0b6e70070387fe1d76c73f8e457f87ff47b5bf98299" dmcf-pid="zhrki7vmCu" dmcf-ptype="general">2일 반도체 업계에 따르면 최근 AI 인프라 최적화를 위한 메모리 활용 대안으로 HBF를 검토하는 움직임이 나오고 있다. AI 시장의 중심이 학습에서 추론으로 확대되면서 모델 파라미터와 KV캐시 등 처리해야 할 데이터가 빠르게 늘어난 반면, 모든 데이터를 고가의 HBM에 저장하기에는 용량과 비용 부담이 커지고 있어서다.</p> <p contents-hash="c971134fd6b50b834af4e34f3d6b7d659683fa59debcf08d7db3dd146f707776" dmcf-pid="qlmEnzTsWU" dmcf-ptype="general">실제로 SK하이닉스는 샌디스크와 HBF 표준화 작업을 추진하며 제품 생태계 구축에 나섰다. 구글과 AI 반도체 업체 텐스토렌트도 관련 논의에 참여하고 있으며, 첫 규격은 8단과 16단 적층을 기반으로 최대 512GB 용량과 TB/s급 대역폭을 지원하는 방향으로 제시됐다.</p> <p contents-hash="ea38dbd8ccf8a0163b2b77d67783a764e467dac673906635a1aba551157d23df" dmcf-pid="BSsDLqyOSp" dmcf-ptype="general">삼성전자 역시 최근 HBF에 대한 진입을 위한 초기 움직임을 보이고 있다. 지난달 유럽과 미국에서 순차적으로 'zHBF' 상표를 출원하면서다. 구체적인 제품 로드맵이나 개발 방향은 공개되지 않았으나, 최근 커스텀화되는 추세에 맞춰 HBF의 상용화 가능성을 가늠하는 수준으로 풀이된다.</p> <p contents-hash="fd62c44b8a7934f32ce28357818a1b6bc848b782f47731d1cd42dc678f8eae35" dmcf-pid="bvOwoBWIT0" dmcf-ptype="general">HBF는 낸드플래시 다이(Die)를 HBM처럼 수직으로 적층하고 다수의 수직 입출력단자(I/O)를 통해 대역폭을 높인 메모리다. 200~300단 이상의 셀(Cell)을 집적한 낸드 다이를 실리콘관통전극(TSV) 등으로 연결해 다시 8단, 16단으로 적층하는 형태다.</p> <p contents-hash="bf906c9008ea2b74238637bf2df2f301d2f514ae5f1072c4ffadaf58ead3875a" dmcf-pid="KOEjephDy3" dmcf-ptype="general">최근 AI 인프라는 데이터량의 급증과 연산 성능 향상으로 메모리 대역폭과 용량에 대한 요구가 함께 커지고 있다. GPU와 AI 가속기가 처리해야 할 데이터가 늘면서 연산 성능뿐 아니라 필요한 데이터를 얼마나 빠르게 공급하느냐가 전체 시스템 성능을 좌우하는 요소로 떠올랐기 때문이다.</p> <p contents-hash="8243d71a07771eb4f848bc65d42c8ee11f7b5601276cc5b1a9613a8b687e1937" dmcf-pid="9IDAdUlwSF" dmcf-ptype="general">이에 HBM은 AI 가속기와 가까운 위치에서 데이터를 빠르게 전달하는 핵심 메모리로 자리 잡았고, 세대가 바뀔 때마다 대역폭을 높이는 동시에 8단에서 12단, 향후 16단으로 적층 수를 늘려 용량을 확대하는 방향으로 발전해왔다.</p> <p contents-hash="ad82a0065514b78e1752ee6673a1862a40f521414d6392ceb9903a2255d81174" dmcf-pid="2CwcJuSrWt" dmcf-ptype="general">하지만 AI 모델이 커지고 추론 과정에서 처리해야 할 데이터가 빠르게 늘면서 HBM만으로 모든 메모리 수요를 감당하기에는 한계가 커지고 있다. HBM은 적층 단수를 높여 용량을 늘릴 수 있지만, 이 과정에서 제조 난도와 수율 부담이 커지고 가격과 전력, 발열 문제가 뒤따르기 쉬워서다. 특히 추론 과정에서 이전 문맥을 기억하기 위해 축적되는 KV캐시는 HBM 용량을 빠르게 소모하는 요인으로 꼽힌다.</p> <p contents-hash="ac2776459ca4ce4200c3d92d86cfa84700ec210e2c255df2e2ee81915c7e83c5" dmcf-pid="Vhrki7vmv1" dmcf-ptype="general">이에 업계에서는 모든 데이터를 HBM에 담기보다 KV캐시 등 일부 데이터를 별도의 메모리 계층으로 옮겨 전체 시스템의 메모리 부담을 낮추려는 방식도 검토하고 있다. HBM에는 연산 과정에서 반복적으로 사용하는 데이터를 두고, 상대적으로 접근 빈도가 낮은 데이터는 CXL 기반 확장 메모리나 SSD, 네트워크로 연결된 공유형 메모리·스토리지로 옮겨 전체 시스템의 메모리 비용을 낮추는 방식이 대표적이다. 엔비디아가 블루필드 기반 컨텍스트 메모리 스토리지(CMX, 초기 명칭 ICMS)를 통해 여러 GPU가 대규모 플래시 자원을 공유하도록 한 점도 이와 유사한 사례 중 하나다.</p> <p contents-hash="19ed7f43273a295033d7568379458b29b269edd148c18d61abb8725bb31cf34d" dmcf-pid="flmEnzTsC5" dmcf-ptype="general">HBF는 이 가운데 HBM과 기존 플래시 스토리지 사이의 성능·용량 격차를 메울 수 있는 대안으로 꼽힌다. 낸드플래시의 높은 집적도와 낮은 비트당 비용을 유지하면서 데이터 입출력 경로를 크게 늘려 기존 SSD보다 높은 대역폭을 확보하는 방식이다.</p> <p contents-hash="a856007ca701a46c74c97a6c7338c3aead0e536e6a0022661a0713552acd6bf4" dmcf-pid="4SsDLqyOlZ" dmcf-ptype="general">핵심은 KV캐시 등 대용량 데이터를 HBM 밖으로 옮기면서도 속도 저하를 최소화할 수 있다는 점이다. 기존처럼 시스템 메모리나 SSD를 활용하면 GPU와 데이터가 오가는 거리가 멀어져 지연시간과 전력 소모가 커질 수 있다. HBF는 대용량 낸드를 가속기와 HBM 가까이에 배치해 전력 소모와 지연시간 부담을 줄이는 역할을 한다.</p> <p contents-hash="aecf80cb6de63550ab984e70fed9c2e417e32c01a97f0d265099d2df537b4417" dmcf-pid="8vOwoBWIyX" dmcf-ptype="general">업계는 HBF를 활용하면 HBM의 부담을 크게 줄일 것으로 봤다. 연산 과정에서 계속 접근해야 하는 핫(Hot) 데이터는 HBM에 두고, 모델 매개변수나 웜(Warm) KV 캐시 등 상대적으로 접근 빈도가 낮고 용량이 많은 데이터를 HBF로 이동시키는 식으로다. 이를 활용하면 가속기와 HBM, HBF, 시스템 메모리(CPU D램), SSD 등 메모리 계층화 구조가 뚜렷해지게 된다.</p> <p contents-hash="f375c59707dbf178c6b2d37b561f336710f5b55bb3c3fb6eb55c7c8b654c2114" dmcf-pid="6TIrgbYCvH" dmcf-ptype="general">장기적으로는 HBF가 HBM의 용량 부담을 덜면서 HBM 설계의 선택지를 넓힐 수 있다는 전망도 나온다. HBM은 대역폭 확보에 집중하고, 대규모 데이터 저장공간을 HBF로 분산하는 식이다. 이 경우 HBM의 적층 단수를 무조건 높이지 않고도 시스템 전체 메모리 용량을 확보할 여지가 생긴다.</p> <p contents-hash="d9e040186fec6bfe6357fbd303b47b9293b4848c7a74ab9dca86b5b1438860b8" dmcf-pid="PWhsN9HlSG" dmcf-ptype="general">실제로 HBF가 AI 인프라에 도입되기까지는 여러 난제를 해결해야 한다는 관측도 있다. 패키지 대면적화로 인한 공정 부담과 발열 문제 해결, 시스템 복잡성 증가 등이 당면 과제다.</p> <p contents-hash="dc34cb2fe5e15463f3f5f5638fa8a4498604df2cf67957b49e1ab08f7df18ad1" dmcf-pid="QYlOj2XSlY" dmcf-ptype="general">현재 AI 가속기 등 주요 GPU 패키지는 GPU 주변에 여러 개 HBM을 배치하기 위해 커다란 인터포저와 기판을 사용하고 있다. 여기에 HBF가 추가되면 전체 크기가 증가하면서 제조 비용이 더욱 늘어날 수 있다.</p> <p contents-hash="009bff7129f6250aecf800d1b710355100b962280fffe31b82029281b9aa2b4a" dmcf-pid="xGSIAVZvyW" dmcf-ptype="general">또 HBF에 사용되는 낸드플래시가 열에 민감하다는 점도 부담이다. HBF는 고단 낸드 다이를 다시 여러 장 수직으로 쌓아 사용하는 만큼 내부에서 발생한 열을 효과적으로 빼내기 까다로워진다. 특히 여러 다이를 동시에 구동해 높은 대역폭을 구현할수록 발열이 늘어날 수 있어, 성능과 데이터 안정성을 함께 확보하는 열 관리 기술이 숙제가 될 것으로 보인다.</p> <p contents-hash="f12c038932daedbf2f57e0dfa38ec5200bb9dc09f2978bf9c42f96374ec4472c" dmcf-pid="ye6VUIiPSy" dmcf-ptype="general">한 반도체 업계 관계자는 "HBF는 국내 메모리 양사와 글로벌 SSD 업체들이 개발에 나서면서 점차 구체화되고 있지만, 실제 시스템 구조 내에서는 변화가 불가피해 시간이 필요한 상황"이라며 "결국 엔비디아나 AMD 등 가속기 개발 기업과 하이퍼스케일러가 시스템 구성의 주도권을 잡고 있는 만큼, 관련 논의가 성숙해지면서 방향이 뚜렷해질 것으로 예상된다"고 말했다.</p> </section> </div> <p class="" data-translation="true">Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.</p> 관련자료 이전 "AI 시대, 트래픽 5배 증가…네트워크 지원 필요" 09-02 다음 카카오, 멜론·택시 묶어 멤버십 내놓는다 09-02 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
