AI 추론 중 데이터 어떻게 보호하나… 엔비디아의 GPU 기밀 컴퓨팅 [보안 아웃룩] 작성일 07-06 44 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">“성능 최대 98% 유지” 자체 벤치마크 제시</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="tIiropd8Rp"> <p contents-hash="fd00ebbb0b5ba8edfce3ecb709e650c80aa634fcfc64a1d74604c4e0f6fd59bd" dmcf-pid="FCnmgUJ6R0" dmcf-ptype="general">사이버 공격은 날로 정교해지고, 단편적 사건을 넘어 산업과 기술 환경 전반에 영향을 미치고 있다. 변화하는 위협 속에서 보안 시장과 기업 대응 체계는 재편의 기로에 놓였다. '보안 아웃룩'에서는 사이버 보안 위협과 주요 트렌드를 짚고, 보안 시장과 환경이 향하는 방향을 조망한다. [편집자 주]</p> <p contents-hash="8dbee69821ed95abe3b67db192a80795fae41ae560fcc0ef3150a655a1580e44" dmcf-pid="3ZwYs4Eod3" dmcf-ptype="general">기업이 인공지능(AI)을 업무에 활용할수록 데이터 보호에 대한 새로운 고민이 생겨난다. 문서나 데이터베이스에 저장된 정보는 암호화할 수 있다. 네트워크를 오가는 정보도 전송 구간 암호화를 적용할 수 있다. 문제는 AI 모델이 데이터를 읽고 답을 계산하는 순간이다. 이때 기업 데이터와 모델 가중치는 그래픽처리장치(GPU) 메모리와 실행 환경 위에서 처리된다.</p> <div contents-hash="f7c62c9e727ff8a656c82551f4ccc75dc8aee296ed02b346793daf0aa89f8e7f" dmcf-pid="05rGO8DgeF" dmcf-ptype="general"> 엔비디아가 최근 강조한 '기밀 컴퓨팅(Confidential Computing·CC)'은 이 지점을 보호한다. 기밀 컴퓨팅은 AI가 고객 정보, 내부 문서, 소스코드, 연구자료 같은 민감 데이터를 받아 추론을 수행할 때 해당 작업이 신뢰할 수 있는 GPU와 실행 환경에서 이뤄지는지 확인하는 기술이다. 검증되지 않은 환경에서는 모델 복호화 키나 민감 데이터를 쓰지 못하게 한다. </div> <figure class="figure_frm origin_fig" contents-hash="530d7a9fa6e5e8210d79aefdebd3a2b90666d90ad8cd2ee314f9b5d4530b7cad" data-idxno="446839" data-type="photo" dmcf-pid="p1mHI6waet" dmcf-ptype="figure"> <p class="link_figure"><img alt="기밀 컴퓨팅은 데이터와 코드의 무결성 및 기밀성을 보장한다. / 엔비디아 블로그 갈무리" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202607/06/552810-SDi8XcZ/20260706063023202tarh.png" data-org-width="600" dmcf-mid="5rcvD9jJeu" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202607/06/552810-SDi8XcZ/20260706063023202tarh.png" width="658"></p> <figcaption class="txt_caption default_figure"> 기밀 컴퓨팅은 데이터와 코드의 무결성 및 기밀성을 보장한다. / 엔비디아 블로그 갈무리 </figcaption> </figure> <p contents-hash="7d38ec4fbdc6577b8da97cf973bbc35dadc1eeb9ab1881ab97362d401bd235dd" dmcf-pid="UtsXCPrNL1" dmcf-ptype="general">엔비디아는 최근 기술 블로그를 통해 블랙웰 GPU 기반 CC 기술을 소개하고 단순한 접근권한 관리나 네트워크 암호화 단계가 아닌, 실제 GPU에서 연산이 이뤄지는 보다 근본적인 단위에서부터 AI 인프라 보안을 언급했다. 회사 측 설명에 따르면 CC 기술은 추론 중인 기업 데이터, 독점 모델 가중치, 모델 자체를 보호한다. </p> <p contents-hash="dce8a6f09064f912b77bf1782bdc171571186d5a7f4de9c14a536f199d5dc385" dmcf-pid="uFOZhQmjJ5" dmcf-ptype="general">다만 이 기술이 AI의 오답이나 환각을 막는 것은 아니다. 프롬프트 인젝션, 잘못된 문서 참조, 권한 밖 도구 호출 같은 문제는 모델과 애플리케이션 계층에서 다뤄야 한다. 엔비디아 CC의 초점은 AI가 돌아가는 인프라를 검증하고, 데이터와 모델이 GPU에서 계산되는 동안 외부 노출이나 임의 조작 가능성을 줄이는 데 있다.</p> <p contents-hash="0ba4b6a0e160542b6223f399005d6e7756fbd3bdf6e79a0e12e2cf09a709b57b" dmcf-pid="73I5lxsARZ" dmcf-ptype="general">엔비디아에 따르면 CC는 GPU 칩, GPU 간 연결, 시스템 소프트웨어에 걸쳐 적용된다. 'RTX 프로 6000', 'HGX B200', 'HGX B300' 등 블랙웰 GPU에는 CC 기능이 하드웨어에 내장됐다. HGX B200과 HGX B300은 최대 8개 GPU를 연결한 환경에서도 '엔비디아 NV링크(NVIDIA NVLink)' 단에서 암호화를 지원한다.</p> <p contents-hash="66d47e8e9cd7e8de11047f84c1c449cb8174ba4a52a1ef6518d3c3bfa60019e3" dmcf-pid="z0C1SMOcRX" dmcf-ptype="general">검증 과정에는 '엔비디아 원격 검증 서비스(NRAS·NVIDIA Remote Attestation Service)'가 쓰인다. NRAS는 AI 작업이 실행될 GPU와 가상머신(VM)이 정상 상태인지 확인한다. GPU가 제출한 하드웨어 보고서와 CPU 신뢰 실행 환경(TEE) 측정값을 엔비디아가 보유한 정상 기준값과 대조한다. 이 기준값은 참조 무결성 매니페스트(RIM·Reference Integrity Manifest)로 불린다.</p> <p contents-hash="13e15be8748fc4a042beb13690288934a963df1eca69e72d962f6ae97929bf34" dmcf-pid="qphtvRIkiH" dmcf-ptype="general">이 절차를 통과해야 모델 복호화 키 같은 민감 정보가 기밀 가상머신(CVM)에 전달된다. 엔비디아는 GPU 제조 단계에서 심은 비공개 서명키를 활용해 하드웨어 상태를 확인한다고 설명했다. 이 키는 소프트웨어나 펌웨어, 호스트 시스템에 노출되지 않는다.</p> <p contents-hash="844b77d214e4635369889edc2e4e7403a390cd52812b5258caaa581197d27f7c" dmcf-pid="BUlFTeCEiG" dmcf-ptype="general">엔비디아에 따르면 이러한 검증은 보통 AI 워크로드 시작 시 한 번 이뤄진다. 작업이 실행된 뒤에는 개별 추론 요청마다 검증 절차를 반복하지 않는다. 회사 측은 이 방식으로 사용자 요청 처리 지연을 늘리지 않는다고 설명했다.</p> <p contents-hash="4f66885e83a5f6ee7483b550ec9bb5f9369fd73fba61d0c112660bac7cba679d" dmcf-pid="buS3ydhDJY" dmcf-ptype="general">엔비디아가 성능을 강조한 이유도 여기에 있다. 보안 기능을 켰을 때 AI 추론 속도가 크게 떨어지면 기업 서비스에 적용하기 어렵다. 대규모 언어모델(LLM)은 GPU 여러 대가 동시에 작동하고, 사용자 요청이 몰리면 토큰 생성 지연이 서비스 품질 문제로 이어질 수 있다.</p> <div contents-hash="e4388645ba7b2c71222f3c2803f3500f7ac2e19dccb96237af4950737fa6fbd1" dmcf-pid="K7v0WJlwdW" dmcf-ptype="general"> 엔비디아는 HGX B300 블랙웰 울트라 환경에서 CC 성능을 시험한 결과를 제시했다. '큐웬(Qwen) 3.5 397B-A17B FP8' 모델을 대상으로 CC 적용 전후를 비교했다. 회사는 CC를 적용한 AI 추론 성능이 CC를 적용하지 않은 경우와 비교해 최대 98% 수준을 유지했다고 밝혔다. </div> <figure class="figure_frm origin_fig" contents-hash="bb126b41ef32c741236893e9baaf284cf7b91a382af3df323611268fc4ff4d54" data-idxno="446840" data-type="photo" dmcf-pid="9zTpYiSrJy" dmcf-ptype="figure"> <p class="link_figure"><img alt="원격 검증 서비스는 신뢰 실행 환경의 신원, 구성, 무결성을 원격으로 검증하고 암호학적 증명을 발급한다. / 엔비디아 블로그 갈무리" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202607/06/552810-SDi8XcZ/20260706063024503ipgn.png" data-org-width="600" dmcf-mid="1S4oPYV7MU" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202607/06/552810-SDi8XcZ/20260706063024503ipgn.png" width="658"></p> <figcaption class="txt_caption default_figure"> 원격 검증 서비스는 신뢰 실행 환경의 신원, 구성, 무결성을 원격으로 검증하고 암호학적 증명을 발급한다. / 엔비디아 블로그 갈무리 </figcaption> </figure> <p contents-hash="b25fc6ff9f3b2a4728be6554f55b4f57cc0b8f17cdd5d9f5a8b0105e9f2a45ea" dmcf-pid="2qyUGnvmJT" dmcf-ptype="general">엔비디아가 이 기술을 강조한 배경에는 AI 인프라 사용 방식의 변화가 있다. 기업 AI는 자체 서버뿐 아니라 클라우드, 외부 데이터센터, GPU 공유 환경에서 운영된다. 민감 데이터를 AI에 넣으려면 서버에 누가 접근했는지뿐 아니라 실제 연산이 이뤄지는 하드웨어와 실행 환경을 믿을 수 있는지도 확인해야 한다. 엔비디아는 블랙웰 GPU의 CC를 통해 이 문제를 하드웨어 단계에서 다루겠다는 메시지를 냈다.</p> <p contents-hash="43d1f80aca41d4d96c36e13d59b7fcee8c19c5856996416cc1813408e9a6c5b4" dmcf-pid="VBWuHLTsJv" dmcf-ptype="general">국내 기업에도 시사점은 있다. 금융, 공공, 제조, 의료처럼 민감 데이터를 다루는 산업에서는 AI 서비스를 어느 클라우드에 올릴지, 어떤 서버에서 돌릴지와 함께 추론 중 데이터와 모델이 어떻게 보호되는지도 살펴야 한다. 생성형 AI가 내부 문서와 고객 데이터, 소스코드 같은 정보를 처리할수록 하드웨어 실행 환경에 대한 보안 검토도 중요해질 수 있다.</p> <p contents-hash="670e06d3f36d7483ca30b72914314d2083a4e0cadc7783c9ae5edbecbb2aa3d6" dmcf-pid="fuS3ydhDnS" dmcf-ptype="general">정종길 기자<br>jk2@chosunbiz.com</p> </section> </div> <p class="" data-translation="true">Copyright © IT조선. 무단전재 및 재배포 금지.</p> 관련자료 이전 노박 조코비치, 남자 단식 역대 최다인 윔블던 106승 기록하며 8강 진출 07-06 다음 오사카의 파워, 세계 1위 사발렌카를 잠재우다 07-06 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
