2025년 11월 18일 Cloudflare Global Network 오류(비교)

[[파일:클플 오류1.png]]

2025년 11월 18일 11:20 UTC에(이 블로그의 모든 시간은 UTC 기준), Cloudflare 네트워크에서 핵심 트래픽 전달에 심각한 장애가 발생하기 시작했습니다. 이로 인해 인터넷 사용자가 고객 사이트에 접속하려고 하면, Cloudflare 네트워크 내부에서 문제가 발생했다는 오류 페이지가 표시되었습니다.

[[파일:클플 오류2.png]]

'''이 문제는 사이버 공격이나 악의적 활동과는 직접적·간접적으로도 관련이 없었습니다.''' 대신, 데이터베이스 시스템 중 하나의 권한 변경으로 인해, Bot Management 시스템에서 사용하는 “feature file”에 여러 항목이 출력되면서 문제가 발생했습니다. 그 결과, 해당 feature file의 크기가 두 배로 늘어났고, 이 커진 파일이 네트워크를 구성하는 모든 머신에 전파되었습니다.

이 머신들에서 트래픽을 라우팅하는 소프트웨어는 Bot Management 시스템을 최신 위협에 맞게 유지하기 위해 이 feature file을 읽습니다. 그런데 이 소프트웨어에는 파일 크기에 제한이 있었고, 두 배로 커진 파일 크기가 그 한계를 초과하면서 소프트웨어가 실패하게 된 것입니다.

처음에는 우리가 관찰한 증상이 대규모 DDoS 공격 때문이라고 잘못 의심했지만, 이후 핵심 원인을 정확히 파악하여 예상보다 커진 feature file의 전파를 중단하고 이전 버전으로 교체할 수 있었습니다. 14:30경에는 핵심 트래픽이 대부분 정상적으로 흐르기 시작했고, 그 후 몇 시간 동안 네트워크 각 부분에 급격히 몰린 트래픽을 완화하는 작업을 진행했습니다. 17:06에는 Cloudflare의 모든 시스템이 정상적으로 작동했습니다.

고객과 인터넷 전반에 끼친 영향에 대해 사과드립니다. Cloudflare가 인터넷 생태계에서 중요한 역할을 하는 만큼, 시스템 장애는 용납될 수 없습니다. 네트워크가 일정 시간 동안 트래픽을 라우팅할 수 없었던 상황은 팀의 모든 구성원에게 깊은 고통이었습니다. 오늘 여러분을 실망시킨 것을 알고 있습니다.

이 글은 정확히 어떤 일이 일어났고, 어떤 시스템과 프로세스가 실패했는지를 자세히 설명하는 내용입니다. 또한 이번과 같은 장애가 다시 발생하지 않도록 하기 위한 계획의 시작점이기도 하지만, 끝은 아닙니다.

=== 장애 상황 ===

아래 차트는 Cloudflare 네트워크에서 발생한 5xx HTTP 상태 코드의 양을 보여줍니다. 정상적으로는 이 수치가 매우 낮아야 하는데, 장애가 시작되기 전까지는 정상적으로 낮은 상태였습니다.

[[파일:클플 오류3.png]]