OpenAI ChatGPT 장애, 새로운 텔레메트리 서비스 도입이 원인으로 밝혀져

OpenAI가 역사상 가장 긴 서비스 중단 사태를 겪었습니다. 12월 13일 태평양 시간 오후 3시경부터 ChatGPT, Sora, API 등 주요 서비스가 약 3시간 동안 중단되었으며, 새로 도입한 텔레메트리 서비스의 문제가 원인으로 확인되었습니다.

ChatGPT 서비스 중단의 기술적 원인 분석

OpenAI는 Kubernetes 메트릭 수집을 위해 새로운 텔레메트리 서비스를 배포했습니다. 하지만 이 서비스의 설정이 의도치 않게 리소스 집약적인 Kubernetes API 작업을 유발했고, 결과적으로 대부분의 Kubernetes 클러스터에서 컨트롤 플레인이 중단되는 사태가 발생했습니다.

DNS 해석 문제와 시스템 복구 과정

DNS 캐싱으로 인해 문제 발견이 지연되었고, 이는 텔레메트리 서비스 롤아웃이 계속되도록 만들었습니다. OpenAI 엔지니어링 팀은 문제를 조기에 감지했으나, Kubernetes 서버 접근이 제한되어 신속한 해결이 어려웠습니다.

향후 예방 대책과 시스템 개선 방안

OpenAI는 이번 사태를 교훈 삼아 다음과 같은 개선 방안을 발표했습니다:

• 인프라 변경에 대한 단계적 롤아웃 강화
• 모니터링 시스템 개선
• Kubernetes API 서버 접근성 보장 메커니즘 구축

전문가 인사이트

1. 클라우드 네이티브 아키텍처의 복잡성이 증가하면서 모니터링의 중요성이 더욱 부각됨
2. 텔레메트리 데이터 수집은 필수적이나 신중한 구현이 요구됨
3. DNS 캐싱 전략의 재검토 필요성 제기
4. 장애 복구 시간 단축을 위한 비상 접근 체계 마련 중요
5. 시스템 변경 사항에 대한 더욱 엄격한 테스트 프로세스 필요
6. 분산 시스템에서의 장애 전파 방지 메커니즘 강화 필요
7. 서비스 종속성 관리의 중요성 재확인
8. 실시간 모니터링과 알림 시스템의 개선 필요
9. 장애 상황에서의 커뮤니케이션 전략 수립 중요
10. 시스템 복원력 향상을 위한 아키텍처 검토 필요

참고문헌

• OpenAI Status Page
• Kubernetes 공식 문서
• CNCF Survey 2023