데이터센터 AI 메모리 부족 ‘걱정 던다’…SW로 유휴 메모리 활용 작성일 11-19 38 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">ETRI, 핵심 시스템 소프트웨어 ‘EMP’ 개발<br>남는 서버의 메모리 활용, 서버 용량 초과 해소<br>448GB 서버로 1.8TB 유전체 분석 실증 성공</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="WuQC1B5Tle"> <figure class="figure_frm origin_fig" contents-hash="7ce2f15f262fe1475aba98b1f2a27cea47d0594bc780b809145fe3fde0988b5e" dmcf-pid="Y7xhtb1yCR" dmcf-ptype="figure"> <p class="link_figure"><img alt="EMP 기반 메모리 확장 개념도. ETRI 제공." class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202611/19/dt/20261119105512244hhvq.png" data-org-width="640" dmcf-mid="xoiWu4UZCJ" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202611/19/dt/20261119105512244hhvq.png" width="658"></p> <figcaption class="txt_caption default_figure"> EMP 기반 메모리 확장 개념도. ETRI 제공. </figcaption> </figure> <p contents-hash="a9348a014577a2ff2892f334fcbadeaab46d8789e8240dab7f49e144daf37f23" dmcf-pid="GzMlFKtWTM" dmcf-ptype="general"><br> 인공지능(AI) 확산으로 메모리 공급 부족 현상이 가중되는 가운데 국내 연구진이 데이터센터 서버의 유휴 메모리를 모아 쓸 수 있는 기술이 개발됐다.</p> <p contents-hash="073a9c91a501137956efbb59422a972a52bd73796dc659901c78d8079757bb49" dmcf-pid="HqRS39FYlx" dmcf-ptype="general">대규모 AI 학습과 과학계산에 필요한 메모리 자원을 효율적으로 활용해 메모리 부족 해소에 기여할 전망이다.</p> <p contents-hash="c2480192421413860575a758661b45e4ad3c37be7280604e4d7b2347a8212540" dmcf-pid="XBev023GlQ" dmcf-ptype="general">한국전자통신연구원(ETRI)은 데이터센터 내 여러 서버의 유휴 메모리를 모아 필요한 서버에 제공하는 메모리 시스템 소프트웨어 ‘EMP’(Elastic Memory Platform)’를 개발했다고 19일 밝혔다.</p> <p contents-hash="b9c3a076684a47a99e02e7648b710eb43fc421462104fcf6605c75acc875a2a5" dmcf-pid="ZbdTpV0HCP" dmcf-ptype="general">최근 생성형 AI서비스가 확산되면서 학습과 추론에 필요한 서버 메모리 수요가 폭발적으로 늘고 있다. 빠르게 늘어나는 메모리 수요를 따라가지 못해 공급 부족과 함께 가격 상승까지 이어지고 있다.</p> <p contents-hash="172034da77ec72b8c26fe7d83b049ded90b185ff61d22f73236a7af694ddc697" dmcf-pid="5KJyUfpXT6" dmcf-ptype="general">이로 인해 데이터센터 운영기업은 추가 구매나 고가의 대용량 서버 추가 구축 등으로 막대한 비용 부담을 안고 있다.</p> <p contents-hash="6bc5be116fd8a4570472e4b41e3f3b8702a09ea99a31a14170a01c43d288e198" dmcf-pid="19iWu4UZC8" dmcf-ptype="general">EMP 기술은 서버마다 고정돼 있는 메모리를 데이터센터가 공유하는 자원으로 활용하는 것으로, 메모리가 부족한 서버가 다른 서버의 남는 메모리를 가져와 대규모 AI 연산 작업을 수행한다.</p> <p contents-hash="d1210e2181e0b468143b2650bd241c73d96ad3e793c67898460e0704fd7b6ae1" dmcf-pid="t2nY78u5v4" dmcf-ptype="general">즉, 여러 서버에 분산돼 있는 메모리를 초고속 네트워크로 연결해 필요한 기존 서버의 물리적 용량을 초과하는 서버에 확장 메모리로 제공한다.</p> <p contents-hash="cc39b34bec78e9b8eaf621b30a00f76a1a479eb4d852fbde4bccb93628e260aa" dmcf-pid="FVLGz671Sf" dmcf-ptype="general">연구팀은 EMP를 미국 서던캘리포니아대학교(USC) 첨단연구컴퓨팅센터(CARC)의 500노드 규모 고성능컴퓨팅(HPC) 클러스터에 적용해 성능을 검증했다.</p> <p contents-hash="6866be4e91bea684bf931b7e855bf68671ec04c2789e2199a63bb1f24eb43142" dmcf-pid="3UPI5qZvvV" dmcf-ptype="general">성능 시험에서는 기존 시스템 대비 단위 메모리당 최대 2.3배 높은 성능을 달성했다. 이를 토대로 약 1.8테라바이트(TB)의 메모리가 필요한 유전체 분석 작업을 448기가바이트(GB) 용량의 메모리를 갖춘 서버에서 실행하는 데 성공했다.</p> <p contents-hash="42ccd545e3fab04223f7934aa406e8d8ad6fc03e9f857797623bd9d7464538c9" dmcf-pid="0uQC1B5TT2" dmcf-ptype="general">서버 자체 메모리는 전체 용량의 25%에 불과했지만, 초고속 네트워크로 연결된 다른 서버의 메모리를 활용해 부족한 용량을 확보, 유전체 분석 작업을 진행한 것이라고 연구팀은 설명했다.</p> <p contents-hash="ba3570d240d7c4219fa6fbc8ed1e5454ac11782b3ba73f7708b2fe9d65e558b8" dmcf-pid="p7xhtb1yC9" dmcf-ptype="general">기존 서버와 데이터센터의 유휴 자원을 활용해 대규모 연산을 수행할 수 있음을 보여준 것이다.</p> <figure class="figure_frm origin_fig" contents-hash="4f5ad29639654f0f73d47f3f1effb4c81e89f1ce30026ce0f1d7a8a348397675" dmcf-pid="UzMlFKtWTK" dmcf-ptype="figure"> <p class="link_figure"><img alt="ETRI 연구진이 EMP가 적용된 서버의 메모리 사용 현황을 점검하고 있다. ETRI 제공." class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202611/19/dt/20261119105513500ktqa.jpg" data-org-width="640" dmcf-mid="yT3irywavd" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202611/19/dt/20261119105513500ktqa.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> ETRI 연구진이 EMP가 적용된 서버의 메모리 사용 현황을 점검하고 있다. ETRI 제공. </figcaption> </figure> <p contents-hash="b3d7c7b5aa34e5b6f3580b3df3d38b6e2d2bf5713e8a26a71e11b185b8b6853e" dmcf-pid="uqRS39FYhb" dmcf-ptype="general"><br> EMP는 기존 응용 프로그램의 소스코드를 수정하지 않고도 적용할 수 있다.</p> <p contents-hash="18eac49bc758dec588e77a1c21b10f45e5064c03bf762a3c1ac7cf94af111e6e" dmcf-pid="7Bev023GlB" dmcf-ptype="general">연구팀은 HPC 분야의 표준 작업 스케줄러 ‘슬럼’(SLURM)과 EMP의 연동을 완료해 연구자들은 기존 방식으로 연산 작업을 수행하면서 필요에 따라 확장된 메모리를 활용할 수 있다.</p> <p contents-hash="dd259a3ecf6d77b191f4c142ac9363a1dbeb4416768876c50acdc530f46e24d8" dmcf-pid="zbdTpV0HSq" dmcf-ptype="general">웹 기반 HPC 사용자 인터페이스인 ‘오픈온디맨드’(Open OnDemand)와의 연동도 추진하고 있다.</p> <p contents-hash="8ac0bd00ec6c2679428a5a8f9f734f0ad8444a8fae17e3f36c41a6a8da4ea64b" dmcf-pid="qKJyUfpXCz" dmcf-ptype="general">연구팀은 USC CARC에서 메타유전체 데이터 분석, 단백질 분석, 기상 예측 등 대규모 과학계산에 대한 기술 성능과 활용성을 추가 검증할 계획이다.</p> <p contents-hash="2eb513d99914abb3385e3752997c6ac820269c20ab26fb3a502bf61c523ffa76" dmcf-pid="B9iWu4UZv7" dmcf-ptype="general">아울러 국내 HPC센터와 대학·연구기관으로 기술 활용을 확대하고 사업화도 추진할 방침이다.</p> <p contents-hash="9f004d6629abba8de9b61db2e7be312aed8d85758bf70d58c697cdc51728a371" dmcf-pid="b2nY78u5yu" dmcf-ptype="general">고광원 ETRI AIDC연구본부장은 “EMP는 기존 서버의 유휴 메모리를 공유해 개별 서버의 메모리 용량 한계를 극복하고 대규모 연산을 수행할 수 있도록 하는 기술”이라며 “AI 데이터센터의 메모리를 새로 증설하지 않고 보유한 메모리 자원을 효율적으로 활용하는 핵심 시스템 소프트웨어로 발전시키겠다”고 말했다.</p> <p contents-hash="e442b7ea727e9142cf677b24f067bdf6fe9a8661b505eda051c15292192810d7" dmcf-pid="KVLGz671TU" dmcf-ptype="general">이준기 기자 bongchu@dt.co.kr</p> </section> </div> <p class="" data-translation="true">Copyright © 디지털타임스. 무단전재 및 재배포 금지.</p> 관련자료 이전 가트너 “내년 AI 인프라 지출 53% 증가한 3200조원 전망” 11-19 다음 반도체 고장 원인 '전기이동', 탄소 소재 성장에 활용 11-19 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.