Cisco ISE & CIMC 이중화(HA) 환경 업그레이드 가이드

[Cisco] Cisco ISE & CIMC 이중화(HA) 환경 업그레이드 완벽 가이드

Cisco ISE(Identity Services Engine)와 CIMC(Cisco Integrated Management Controller) 업그레이드는 엔터프라이즈 네트워크 보안의 핵심 인프라를 만지는 작업인 만큼 리스크가 크고 시간도 오래 걸린다. 특히 장비가 멈춘 것인지 백그라운드에서 작업이 돌고 있는 것인지 분간이 안 가 답답할 때가 많다.
 
 

Cisco ISE Upgrade

이 글에서는 서비스 중단을 최소화하고 안정적으로 작업을 마칠 수 있도록 이중화(HA) 환경 기준의 사전 준비, 장비별 업그레이드 순서, 실무 팁 및 소요 시간을 상세히 정리해 본다.

---

1. 사전 준비 및 필수 체크리스트 (The Ultimate Checklist)

업그레이드의 성패는 사전 준비에서 90% 이상 결정된다. 작업 전 아래 항목을 반드시 수행하고 검증해야 한다.

1) 호환성 매트릭스(Compatibility Matrix) 교차 검증

• 하드웨어 & CIMC 호환성: 현재 사용 중인 UCS 서버 모델이 타겟 CIMC 버전 및 타겟 ISE 버전을 지원하는지 Cisco 공식 문서에서 반드시 교차 확인한다.
• 버전 점프(Stepping) 확인: 현재 버전에서 타겟 버전으로 한 번에 직행할 수 있는지, 아니면 중간 버전을 거쳐야 하는지 릴리즈 노트를 확인한다.

2) 데이터 백업 (가장 중요)

• Configuration & Operational 백업: 업그레이드 시작 직전, PAN(Policy Administration Node)에서 설정 DB와 운영 DB를 모두 백업하여 외부 SFTP/FTP 리포지토리에 안전하게 저장한다.
• 인증서 및 프라이빗 키: 시스템 인증서와 신뢰할 수 있는 인증서 목록을 백업해 둔다.

3) URT (Upgrade Readiness Tool) 실행

• 타겟 ISE 버전에 맞는 URT 번들 파일을 다운로드하여 Primary PAN에서 사전에 실행한다.
• URT는 DB 정합성 오류, 디스크 여유 공간, 시스템 리소스를 체크하고 예상 소요 시간까지 계산해 주므로 멈춤 사고를 막는 핵심 필수 과정이다. 에러나 워닝이 뜨면 모두 해결한 뒤 진행해야 한다.

4) 인프라 환경 점검

• DNS/NTP 정합성: 모든 ISE 노드가 동일한 NTP 서버를 바라보고 시간이 일치하는지, DNS 정방향/역방향 조회가 정상인지 확인한다.
• 스마트 라이선스: 업그레이드 후 라이선스 상태가 깨질 수 있으므로 CSSM(Cisco Smart Software Manager) 계정 및 토큰 상태를 점검한다.

---

2. Phase 1: CIMC (UCS 하드웨어) 이중화 업그레이드

CIMC 업그레이드는 서버 재부팅이 동반되므로, 서비스 영향을 없애기 위해 Secondary 노드에서 Primary 노드 순서로 교차 진행한다. 펌웨어 업그레이드는 HUU (Host Upgrade Utility) ISO 파일을 사용하는 것이 가장 안전하다.

💡 이중화 환경 작업 순서

1. Standby(Secondary) 서버 작업: 서비스 비중이 없거나 보조 역할을 하는 노드(Secondary PAN, 보조 PSN 등)의 CIMC를 먼저 올린다.
2. 복구 및 헬스 체크: 해당 장비의 업그레이드가 끝나고 완전히 부팅되어 ISE 서비스가 정상 가동되는지 확인한다.
3. Active(Primary) 서버 작업: 보조 노드가 안정화된 것을 확인한 후, 메인 노드(Primary PAN 등)의 CIMC 업그레이드를 진행한다.

🛠️ 상세 작업 절차

1. HUU ISO 다운로드: UCS 모델에 맞는 HUU 파일을 받아 둔다.
2. vMedia 마운트: CIMC 웹 인터페이스의 KVM 콘솔을 열고 Virtual Media 기능을 통해 HUU ISO를 마운트한다.
3. 서버 재부팅: 서버를 reboot 하고 부팅 화면에서 F6을 눌러 부팅 메뉴(Boot Menu)로 진입한 뒤, 마운트한 가상 DVD(vMedia)를 선택한다.
4. Update All 실행: HUU 유틸리티 화면이 로드되면 'Update All'을 선택하여 BIOS, CIMC, RAID, NIC 펌웨어를 일괄 업데이트한다.
5. 완료 및 확인: 업데이트가 끝나면 정상 부팅 후 CIMC 웹에 접속하여 펌웨어 버전을 확인한다.

⚠️ 주의사항 및 소요 시간

• 소요 시간: 서버 1대당 약 1시간 ~ 2시간 소요 (KVM을 통한 ISO 이미지 로딩 속도에 따라 가변적).
• 전원 무중단: 펌웨어 라이팅 중 전원이 차단되면 메인보드 교체 레이드가 열리므로 듀얼 파워 전원 공급을 더블 체크한다.
• 화면 깨짐: 업그레이드 후 CIMC 웹페이지 메뉴가 이상하게 보이면 브라우저 캐시를 완전히 삭제(Ctrl + F5)하면 해결된다.

---

3. Phase 2: Cisco ISE 어플리케이션 이중화 업그레이드

ISE 분산/이중화 환경 업그레이드는 GUI(Administration > System > Upgrade)에서 가이드하는 순서대로 진행된다. 새 버전 클러스터가 생성되면서 노드가 하나씩 이관되는 구조다.

🔄 이중화 클러스터 필수 업그레이드 순서 (중요)

업그레이드가 시작되면 시스템은 아래 순서대로 노드를 하나씩 격리하고 업그레이드를 수행한다.

[1. Secondary PAN] ──> [2. Primary MnT] ──> [3. PSN 그룹별 순차] ──> [4. Secondary MnT] ──> [5. Primary PAN]

1. Secondary PAN (가장 먼저)
   • 업그레이드가 완료되면 이 노드는 자동으로 '새로운 버전의 Primary PAN' 역할을 맡으며 새 클러스터의 대장이 된다.
2. Primary MnT (모니터링/로그 노드)
   • 새 버전 클러스터의 로그 및 상태 수집을 위해 메인 MnT 노드를 먼저 올린다.
3. PSN (Policy Service Node) 그룹별 순차 업그레이드
   • 단말 인증 트래픽을 처리하는 핵심 노드다. 절대 전체를 한 번에 올리면 안 된다.
   • L4 로드밸런서가 있다면 작업할 PSN 그룹을 세션 드레인(Drain)하여 트래픽을 차단한 뒤 순차적으로 올린다 (예: Group A 진행 완료 후 -> Group B 진행).
4. Secondary MnT
   • 보조 로그 노드를 새 버전 클러스터에 합류시킨다.
5. Primary PAN (가장 마지막)
   • 기존 구버전 환경의 대장이었던 Primary PAN을 마지막에 올린다.
   • 업그레이드가 끝나면 새 버전 클러스터의 'Secondary PAN'으로 편입되며 전체 이중화 동기화가 완료된다.

---

4. 실무자를 위한 '진행 상태 확인' 및 트러블슈팅 팁

ISE 업그레이드는 대용량 DB 마이그레이션이 수반되므로 GUI 창이나 콘솔 창이 오랜 시간 멈춰 있는 경우가 허다하다. 이때 멈춘 것인지 진행 중인지 확인하는 방법이 매우 중요하다.

🔍 "멈춘 걸까?" 확인하는 모니터링 명령어

답답하다고 장비를 강제로 끄거나 재부팅하면 DB 깨짐으로 인해 전체 복구(Rollback) 절차를 밟아야 하므로 아래 CLI 명령어로 백그라운드 상태를 먼저 봐야 한다.

• 어플리케이션 상태 확인:

  show application status ise

  • 각 데몬들이 initializing 상태인지, running 상태인지 주기적으로 체크한다. DB 마이그레이션 중에는 특정 서비스가 오래 멈춰 있을 수 있다.
• 실시간 업그레이드 로그 모니터링:

  show logging application ade.log tail

  • 백그라운드에서 인스톨러가 어떤 테이블을 마이그레이션하고 있는지 실시간 로그 덤프를 보며 작동 여부를 판별한다. 로그가 계속 갱신되고 있다면 정상 진행 중인 것이다.

⚠️ 실무 핵심 주의사항

• 스플릿 브레인(Split-Brain) 현상: 업그레이드 과중 중에는 구버전 노드들과 신버전 노드들이 서로 다른 버전을 쓰기 때문에 일시적으로 통신이 단절되거나 이중화가 깨진 것처럼 보인다. 가이드 순서대로 모든 노드가 새 버전으로 올라가면 자연스럽게 해결되니 안심해도 된다.
• 패치(Patch) 작업 연계: 업그레이드가 완전히 성공적으로 끝나면, 해당 버전의 최신 안정화 패치(Patch)까지 한 번에 이어서 작업하는 동선을 잡는 것이 보안 및 안정성 측면에서 유리하다.

 

Cisco ISE 3615 Appliance

---

5. 총 소요 시간 및 작업 윈도우(Downtime) 산정

이중화 환경의 전체 업그레이드는 노드가 순차적으로 진행되므로 단일 노드 대비 시간이 대폭 늘어난다.

• CIMC 업그레이드: 노드당 1.5시간 × 노드 수
• ISE 어플리케이션 업그레이드: 노드당 최소 2시간 ~ 4시간 (DB 용량에 비례, MnT 노드는 데이터 양에 따라 더 오래 걸림)
• 권장 작업 윈도우: 소규모(노드 2~4대) 기준 최소 6시간 ~ 8시간, 대규모 분산 환경의 경우 12시간 이상 또는 무박 2일 수준의 유지보수 윈도우를 확보하고 트래픽이 가장 적은 주말 야간 시간에 작업을 배치해야 한다.

---

📝 요약

Cisco ISE & CIMC 이중화 업그레이드는 결코 만만한 작업이 아니다. 하지만 ① 철저한 사전 URT 시뮬레이션, ② 철저한 순서 준수(Secondary PAN부터), ③ 대기 중 ade.log를 통한 실시간 상태 확인이라는 삼박자만 잘 맞추면 리스크를 최소화하고 안전하게 성공할 수 있다. 작업 전 백업본 확보는 영혼의 단짝임을 절대 잊지 말자!
 
 
 
♥읽어주셔서 감사합니다♥
티스토리 댓글과 공감♥은 로그인이 필요 없습니다.
로그인하시면 구독 가능합니다.