마이크로소프트 365 장애, 7월부터 숨은 버그가 원인…원인 파악까지 15시간 작성일 11-17 25 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="5rqdwWrNCO"> <figure class="figure_frm origin_fig" contents-hash="cf0bc757c607dc9e46cf6b7974d8d5656bb620d1b44fc8b75b2714623d67f4a7" dmcf-pid="1mBJrYmjWs" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202611/17/552796-pzfp7fF/20261117060314648ltsx.png" data-org-width="640" dmcf-mid="XOnI1KtWSC" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202611/17/552796-pzfp7fF/20261117060314648ltsx.png" width="658"></p> </figure> <p contents-hash="ae080447bfd32ce91f8fe8ba6015a7eb3a9017f96c025184cdf5972d3e39a2be" dmcf-pid="tsbimGsAym" dmcf-ptype="general">[디지털데일리 이상일기자] 11월12일 마이크로소프트(Microsoft) 업무용 소프트웨어를 멈춘 장애는 7월부터 배포된 네트워크 게이트웨이 버그가 원인이었다. 마이크로소프트는 15일 늦게 고객에게 예비 보고서를 배포했다. 마이크로소프트 업무용 소프트웨어를 총괄하는 찰스 라마나(Charles Lamanna) 부사장은 16일 엑스(X)에 글을 올려 "모든 고객에게 미친 영향에 대해 깊이 사과드린다"고 밝혔다. 자세한 근본 원인은 마이크로소프트 365(Microsoft 365) 관리 센터에 공개됐다.</p> <p contents-hash="937d241769ca192004569037eebe4155c74a8bfd39707b9a3be1dc4739052747" dmcf-pid="FOKnsHOcvr" dmcf-ptype="general">라마나 부사장은 장애 요인을 세 가지로 설명했다. 첫째는 잠복 결함이다. 내부 프로세스의 락 경합(lock contention)으로 특정 부하 조건에서 서버가 응답 불능에 빠진다. 이 결함은 마이크로소프트 365 네트워크 게이트웨이 서버용으로 따로 만든 수정에서 생겼다. 일반 윈도(Windows) 배포와는 관계가 없다. 해당 변경은 7월부터 몇 주에 걸쳐 전 세계에 배포됐고 3개월 넘게 문제를 일으키지 않았다.</p> <p contents-hash="3f1f9097710847fd4a29b80e1ae180225350d51f5a5a1b65c77ff5027012d158" dmcf-pid="3I9LOXIkyw" dmcf-ptype="general">둘째는 부하 급증이다. 마이크로소프트 365는 가용성을 높이려고 서로 독립된 네트워크 게이트웨이 2개를 운영한다. 장애 약 15시간 전 팀즈(Teams)가 익스체인지 온라인(Exchange Online)을 지원하는 기본 게이트웨이로 장애 전환했다. 게이트웨이 부하가 늘고 트래픽 패턴이 바뀌었다. 이런 장애 전환은 서비스 안정성을 위한 정상 운영 절차다. 셋째는 용량 감소다. 당시 게이트웨이 서버 용량의 약 14%가 별개 문제로 서비스에서 빠져 있었다. 여유 용량이 충분해 용량 감소만으로는 영향이 없었다. 세 요인이 겹치면서 미국 트래픽이 정점일 때 요청이 쌓이며 서버가 응답을 멈췄다.</p> <div contents-hash="5c244f1b86d25072646415838f8e8e2e24fb5bba14f6b106c6eda819dc37343b" dmcf-pid="0C2oIZCESD" dmcf-ptype="general"> 장애는 연쇄적으로 번졌다. 트래픽 관리 시스템이 사용자를 정상 서버로 자동 우회시키자 남은 서버의 부하가 커졌다. 2시간 안에 전체 서버에서 같은 결함이 나타났다. 최악의 시점에는 서버의 80% 이상이 응답하지 않았다. 지역별 용량 단위 사이의 격벽도 별도 문제로 작동하지 않았다. 아웃룩(Outlook), 코파일럿(Copilot) 등 여러 서비스가 전 세계에서 중단됐다. </div> <figure class="figure_frm origin_fig" contents-hash="ff61366adf91b80f17a85c767ec79022684dc5937567191af532195f8fdf1186" dmcf-pid="phVgC5hDTE" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202611/17/552796-pzfp7fF/20261117060315997hhkx.png" data-org-width="640" dmcf-mid="ZUgl3V0HyI" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202611/17/552796-pzfp7fF/20261117060315997hhkx.png" width="658"></p> </figure> <p contents-hash="5c704c01ec19eb2be99bd6977b6786f28c28045acabee27a665005c1129191e7" dmcf-pid="Ulfah1lwSk" dmcf-ptype="general">블룸버그 보도에 따르면 마이크로소프트는 문제 파악에 약 15시간, 수정 착수에 다시 15시간이 걸렸다. 그동안 기업·정부 고객사에서 이메일 수신함이 열리지 않았다. 팀즈 초대장이 사라지기도 했다. 직원들은 전화와 펜, 종이로 업무를 처리했다.</p> <p contents-hash="89f7515b468e062d46ebaddb58022bb070f07752295547ae52012b8b780ced75" dmcf-pid="u5JsZB5TTc" dmcf-ptype="general">서비스별 복구 속도는 달랐다. 팀즈, 원드라이브(OneDrive), 셰어포인트(SharePoint), 오피스(Office) 앱은 문제 게이트웨이를 우회해 먼저 복구됐다. 익스체인지 온라인은 우회가 불가능했다. 복구가 길어진 이유도 있다. 서버가 복귀하자마자 대기 트래픽에 다시 과부하가 걸렸다. 자동 복구 프로세스는 이런 대규모 장애를 전제로 설계되지 않았다. 몇 달 전 버그여서 롤백이나 기능 플래그로 빠르게 되돌릴 수도 없었다.</p> <p contents-hash="056b6823bed1b072eabddad2eb236d3b3257f63dce5c6421acc1da83d4c028df" dmcf-pid="71iO5b1yvA" dmcf-ptype="general">버그를 놓친 이유는 테스트 환경이다. 마이크로소프트의 부하 테스트는 코어가 적은 저사양 하드웨어에 집중했다. 이번 결함은 코어가 많은 최신 하드웨어에서 더 심해졌다. 마이크로소프트는 코드를 이전 상태로 되돌리는 업데이트를 개발했다. 서버 그룹을 서비스에서 빼고 수정 적용 후 재시작해 복귀시켰다. 한 번에 지역 인프라의 50% 이상에 적용하는 방식이었다. 이후 서비스가 완전히 복구됐다고 밝혔다. 이번 사태는 단일 기술 공급업체에 크게 의존할 때의 위험을 다시 드러냈다. 16일 오후 2시29분(미국 동부시간) 기준 마이크로소프트 주가는 약 1% 하락했다.</p> </section> </div> <p class="" data-translation="true">Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.</p> 관련자료 이전 [비즈톡톡] 네이버는 왜 물류 자회사를 만드나… 쿠팡과 다른 승부법 11-17 다음 “아이 초등학교 가니 절반은 주말부부”…김천 10년이 광주 반도체에 묻는 것 11-17 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.