EP20
NO WAY BACK
클러스터 업그레이드는 되돌릴 수 없다
토요일 새벽 1시 반, 운영 EKS 클러스터 정기 업그레이드 중. 컨트롤 플레인은 끝났고 노드 교체가 40% 지났는데, ALB가 트래픽을 보내는 대상이 24개에서 9개로 줄었다. 쿠버네티스는 파드 24개가 전부 Ready라고 한다. 노드 교체는 지금도 돌고, 07:00부터 아침 트래픽이 들어온다. 출장 중인 CTO는 되돌리면 되지 않느냐고 묻는다. 무엇을 멈추고 무엇을 고칠지 정해야 한다.
에피소드 정보
- 장애 발생 시각
- 01:30
- 플레이 시간
- ~14분
- 선택지
- 52개
- 조사할 단서
- 11개
- 엔딩
- 7개
함께 대응하는 동료
- 배지호 · 플랫폼팀 SRE
비용 최적화 작업을 맡고 있다. 실수를 숨기지 않는다 - 윤서진 · 플랫폼팀 리드
쿠버네티스 클러스터 운영 책임자. 차분하게 질문을 던지는 편이다 - 최현우 · 주문팀 백엔드 개발자
오늘 밤 order-api 배포를 진행했다 - 신가온 · CTO
출장 중 화상으로 합류한다. 빠른 결단을 원한다
플레이하려면 회원가입과 로그인이 필요합니다.