2025년 11월 18일 Cloudflare Global Network 오류(비교)

11:20 이전의 수치는 네트워크 전반에서 관찰된 5xx 오류의 정상 기준선입니다. 이후 급증과 변동은 잘못된 feature file을 로드하면서 시스템이 실패한 것을 보여줍니다. 흥미로운 점은 시스템이 잠시 회복되기도 했다는 것으로, 내부 오류에서는 매우 드문 현상이었습니다.

설명하자면, 이 파일은 ClickHouse 데이터베이스 클러스터에서 5분마다 쿼리를 통해 생성되었고, 권한 관리를 개선하기 위해 점진적으로 업데이트되고 있었습니다. 잘못된 데이터는 업데이트된 클러스터 일부에서 쿼리가 실행될 때만 생성되었습니다. 따라서 매 5분마다 정상 또는 잘못된 구성 파일 세트가 생성되어 빠르게 네트워크 전체에 전파될 가능성이 있었던 것입니다.

이런 변동 때문에 정확히 무슨 일이 일어나고 있는지 파악하기 어려웠습니다. 시스템이 때로는 정상 구성 파일을, 때로는 잘못된 구성 파일을 네트워크에 배포하면서 회복했다가 다시 실패했기 때문입니다. 처음에는 공격 때문일 수 있다고 생각했지만, 결국 모든 ClickHouse 노드가 잘못된 구성 파일을 생성하게 되었고, 변동은 실패 상태로 안정화되었습니다.

오류는 근본 원인이 확인되고 해결되기 시작한 14:30까지 계속되었습니다. 문제는 잘못된 feature file의 생성과 전파를 중단하고, 알려진 정상 파일을 feature file 배포 큐에 수동으로 삽입한 후, 핵심 프록시를 강제로 재시작함으로써 해결했습니다.

위 차트에서 남아 있는 긴 꼬리는, 문제가 발생한 나머지 서비스들을 팀이 재시작하는 과정이며, 17:06에 5xx 오류량이 정상으로 돌아왔습니다.

영향을 받은 서비스는 다음과 같습니다:

틀(나중에 만들 예정).

HTTP 5xx 오류가 발생한 것뿐만 아니라, 장애 기간 동안 CDN 응답 지연(latency)도 크게 증가했습니다. 이는 디버깅 및 모니터링 시스템이 많은 CPU를 사용했기 때문인데, 이 시스템들은 잡히지 않은 오류를 자동으로 추가 디버깅 정보와 함께 처리하도록 설계되어 있습니다.