KT 인터넷 먹통에 대처하는 네떡쟁이의 자세

2021년 10월 25일(월) 11시 19분

한 통의 전화가 걸려 옵니다.

 

따르르르르릉

 

지금 인터넷이 다 안되는 거 같습니다.
유.무선 다 안되는데요.

 

제가 근무하는 곳은 약 400대의 네트워크 장비를 항시 모니터링하고 있습니다.

그리고 한 대라도 통신이 안되면 바로 알람이 발생하는데요.

전화가 오기 전까지만 해도 잠잠했습니다.

NMS (What'sUp Gold) Topology

 

전화한 사람 혼자만 안되는거 아냐?

 

네트워크 운영 업무를 하다보면, 항상 평정심을 유지해야 합니다.

상대방의 말을 100% 믿어서도, 믿지 않아서도 안됩니다.

 

내가 사실을 확인하기 전까지...

 

일반적인 사용자는 혼자 안되도 주변에 모든 사람이 안된다고 얘길하고,

특정 사이트 접속이 안되어도 모든 인터넷이 다 안된다고 부풀려 말하는 경향이 있습니다.

하지만, 전화했던 사람은 같은 일을 하는 후임이었기에 일단 믿고 시작합니다.

 

사실 제가 해당 고객사 내부에 근무를 하고 있었다면 간단한데,

저는 원격지에서 근무를 하고 있기 때문에 내부 상황을 확인하기까지 시간이 소요됩니다.

 

인터넷이 안되니 원격접속으로 확인할 수도 없는 노릇이고..

 

 

내부 서버에 접속합니다.

원래 해당 서버는 외부와의 통신이 단절되어 있지만, 통신 확인을 위해 임시로 방화벽 정책을 수정합니다.

 

구글 DNS(8.8.8.8) 와 KT DNS(168.126.63.1) 로 ping 테스트를 먼저 시도

응답이 없습니다.

 

목적지까지의 경로 중 어디까지 통신이 되는지 확인하기 위해 tracert 실행

참고화면으로 당시 화면은 아님

 

내부 서버팜스위치 - 백본 - 방화벽 - 라우터 등을 거쳐 외부로까지 통신이 나갑니다.

외부 공인 IP 까지 통신이 된다는 건 내부 문제는 아니라는 결론을 내립니다.

 

기업 전용회선 인터넷을 사용하고 있기에 기업 고객센터 대표번호로 장애를 접수하고,

전용회선 번호를 얘기해 줍니다.

 

그리고 회사 포털사이트에 공지글을 올리고,

장애 보고 시스템을 통해 오랜만에 1등급 장애 발생 보고를 합니다.

보고를 하고 몇 초 뒤 문자가 들어옵니다.

띵동띵동

사무실 곳곳에서 울려 퍼지는 장애 보고 안내 문자들..

그 사이 벤더 유지보수 업체에서도 다른 고객사 장애로 문의 전화가 오고,

상황이 심상치 않다는 느낌이 들었습니다.

 

http://news.heraldcorp.com/view.php?ud=20211025000513 

“초유의 사태 발생” KT 전산망 먹통…대혼란

 

전국망 장애라는 소식을 듣고 누군가는 식은땀을 흘렸겠지만,

저는 오히려 다행이라 생각했습니다.

 

나만 아니면 돼!~~

 

매번 내부 장애 발생될 때마다 장애 원인 상세 보고서부터 시작해서...

신경쓸 게 한 두가지가 아닙니다.

최근 장애도 많았던 터라, KT 측 장애라는 소식에 한숨 돌리게 되었네요.

어차피 제가 앉아 있어봐야 할 수 있는 것도 아무것도 없기에..

가벼운 마음으로 점심 식사를 하러 갔습니다.

 

다행히 점심 먹고 돌아오니 장애는 복구가 되었네요. 

대략 11:15 ~ 11:55 까지 40분 정도 외부 트래픽이 사라진 걸로 확인됩니다.

지역에 따라 발생/완료 시점은 조금씩 차이가 있는 거 같아요.

 

장애 원인은 대량의 디도스 공격이라고 하지만 사실 알 수 없죠.

내부적인 실수였는지, 외부의 공격이었는지는...

(급 마무리...)

 

 

오늘의 일기 끝!

 

 

 

♥읽어주셔서 감사합니다♥
티스토리 댓글과 공감♥은 로그인이 필요 없습니다.
로그인하시면 구독 가능합니다.