더시드위키
최근 변경최근 토론
특수 기능

2025년 11월 18일 Cloudflare Global Network 오류(r38 Blame)

보기RAWBlame되돌리기비교
r38
r2
Aidenk
1[[분류:Aidenk]]
r3
Aidenk
2[include(틀:사건사고)]
r5
Aidenk
3[목차]
r2
Aidenk
4== 개요 ==
52025년 11월 18일 Cloudflare Global Network 오류로 인하여 전세계의 Cloudflare을 쓰는 웹 및 앱이 사용 불능이 된 사태.
r24
Aidenk
6
7== 이유 ==
r27
Aidenk
8[[https://blog.cloudflare.com/18-november-2025-outage/|원본.]]
r24
Aidenk
9
r28
Aidenk
10[[파일:클플 오류1.png]]
11
122025년 11월 18일 11:20 UTC에(이 블로그의 모든 시간은 UTC 기준), Cloudflare 네트워크에서 핵심 트래픽 전달에 심각한 장애가 발생하기 시작했습니다. 이로 인해 인터넷 사용자가 고객 사이트에 접속하려고 하면, Cloudflare 네트워크 내부에서 문제가 발생했다는 오류 페이지가 표시되었습니다.
13
14[[파일:클플 오류2.png]]
15
16'''이 문제는 사이버 공격이나 악의적 활동과는 직접적·간접적으로도 관련이 없었습니다.''' 대신, 데이터베이스 시스템 중 하나의 권한 변경으로 인해, Bot Management 시스템에서 사용하는 “feature file”에 여러 항목이 출력되면서 문제가 발생했습니다. 그 결과, 해당 feature file의 크기가 두 배로 늘어났고, 이 커진 파일이 네트워크를 구성하는 모든 머신에 전파되었습니다.
17
18이 머신들에서 트래픽을 라우팅하는 소프트웨어는 Bot Management 시스템을 최신 위협에 맞게 유지하기 위해 이 feature file을 읽습니다. 그런데 이 소프트웨어에는 파일 크기에 제한이 있었고, 두 배로 커진 파일 크기가 그 한계를 초과하면서 소프트웨어가 실패하게 된 것입니다.
19
20처음에는 우리가 관찰한 증상이 대규모 DDoS 공격 때문이라고 잘못 의심했지만, 이후 핵심 원인을 정확히 파악하여 예상보다 커진 feature file의 전파를 중단하고 이전 버전으로 교체할 수 있었습니다. 14:30경에는 핵심 트래픽이 대부분 정상적으로 흐르기 시작했고, 그 후 몇 시간 동안 네트워크 각 부분에 급격히 몰린 트래픽을 완화하는 작업을 진행했습니다. 17:06에는 Cloudflare의 모든 시스템이 정상적으로 작동했습니다.
21
22고객과 인터넷 전반에 끼친 영향에 대해 사과드립니다. Cloudflare가 인터넷 생태계에서 중요한 역할을 하는 만큼, 시스템 장애는 용납될 수 없습니다. 네트워크가 일정 시간 동안 트래픽을 라우팅할 수 없었던 상황은 팀의 모든 구성원에게 깊은 고통이었습니다. 오늘 여러분을 실망시킨 것을 알고 있습니다.
23
24이 글은 정확히 어떤 일이 일어났고, 어떤 시스템과 프로세스가 실패했는지를 자세히 설명하는 내용입니다. 또한 이번과 같은 장애가 다시 발생하지 않도록 하기 위한 계획의 시작점이기도 하지만, 끝은 아닙니다.
25
r30
Aidenk
26'''{{{+5 장애 상황}}}'''
r28
Aidenk
27아래 차트는 Cloudflare 네트워크에서 발생한 5xx HTTP 상태 코드의 양을 보여줍니다. 정상적으로는 이 수치가 매우 낮아야 하는데, 장애가 시작되기 전까지는 정상적으로 낮은 상태였습니다.
28
29[[파일:클플 오류3.png]]
30
r31
Aidenk
3111:20 이전의 수치는 네트워크 전반에서 관찰된 5xx 오류의 정상 기준선입니다. 이후 급증과 변동은 잘못된 feature file을 로드하면서 시스템이 실패한 것을 보여줍니다. 흥미로운 점은 시스템이 잠시 회복되기도 했다는 것으로, 내부 오류에서는 매우 드문 현상이었습니다.
r28
Aidenk
32
r31
Aidenk
33설명하자면, 이 파일은 ClickHouse 데이터베이스 클러스터에서 5분마다 쿼리를 통해 생성되었고, 권한 관리를 개선하기 위해 점진적으로 업데이트되고 있었습니다. 잘못된 데이터는 업데이트된 클러스터 일부에서 쿼리가 실행될 때만 생성되었습니다. 따라서 매 5분마다 정상 또는 잘못된 구성 파일 세트가 생성되어 빠르게 네트워크 전체에 전파될 가능성이 있었던 것입니다.
r28
Aidenk
34
r31
Aidenk
35이런 변동 때문에 정확히 무슨 일이 일어나고 있는지 파악하기 어려웠습니다. 시스템이 때로는 정상 구성 파일을, 때로는 잘못된 구성 파일을 네트워크에 배포하면서 회복했다가 다시 실패했기 때문입니다. 처음에는 공격 때문일 수 있다고 생각했지만, 결국 모든 ClickHouse 노드가 잘못된 구성 파일을 생성하게 되었고, 변동은 실패 상태로 안정화되었습니다.
r28
Aidenk
36
r31
Aidenk
37오류는 근본 원인이 확인되고 해결되기 시작한 14:30까지 계속되었습니다. 문제는 잘못된 feature file의 생성과 전파를 중단하고, 알려진 정상 파일을 feature file 배포 큐에 수동으로 삽입한 후, 핵심 프록시를 강제로 재시작함으로써 해결했습니다.
38
39위 차트에서 남아 있는 긴 꼬리는, 문제가 발생한 나머지 서비스들을 팀이 재시작하는 과정이며, 17:06에 5xx 오류량이 정상으로 돌아왔습니다.
40
41영향을 받은 서비스는 다음과 같습니다:
42
43틀(나중에 만들 예정).
44
45HTTP 5xx 오류가 발생한 것뿐만 아니라, 장애 기간 동안 CDN 응답 지연(latency)도 크게 증가했습니다. 이는 디버깅 및 모니터링 시스템이 많은 CPU를 사용했기 때문인데, 이 시스템들은 잡히지 않은 오류를 자동으로 추가 디버깅 정보와 함께 처리하도록 설계되어 있습니다.
46
r32
Aidenk
47'''{{{+5 Cloudflare가 요청을 처리하는 방식과, 오늘 이 과정에서 무엇이 잘못되었는지에 대한 내용.}}}'''
r31
Aidenk
48
r32
Aidenk
49Cloudflare로 들어오는 모든 요청은 네트워크에서 정해진 경로를 거칩니다. 요청은 브라우저에서 웹페이지를 불러오거나, 모바일 앱이 API를 호출하거나, 다른 서비스에서 자동으로 들어오는 트래픽일 수 있습니다.
r31
Aidenk
50
r32
Aidenk
51이 요청들은 먼저 HTTP와 TLS 계층에서 처리되고, 그다음 핵심 프록시 시스템(“Frontline”, 줄여서 FL)을 통과하며, 필요하면 Pingora를 통해 캐시를 조회하거나 원본 서버에서 데이터를 가져옵니다.
r31
Aidenk
52
r32
Aidenk
53핵심 프록시가 작동하는 방식에 대해서는 [[https://blog.cloudflare.com/20-percent-internet-upgrade/|여기서]] 이전에 더 자세히 공유한 바 있습니다.
54
55[[파일:클플 오류4.png]]
56
57요청이 핵심 프록시를 통과하는 동안, Cloudflare는 네트워크에서 제공하는 다양한 보안 및 성능 기능을 실행합니다. 프록시는 각 고객의 고유한 구성과 설정을 적용하며, WAF 규칙 적용, DDoS 방어, 트래픽을 Developer Platform이나 R2로 라우팅하는 작업 등을 수행합니다. 이는 도메인별 모듈을 통해 이루어지며, 모듈이 프록시를 통과하는 트래픽에 구성과 정책 규칙을 적용합니다.
58
59그 모듈 중 하나인 Bot Management가 오늘 장애의 원인이었습니다.
r33
Aidenk
60
61Cloudflare의 [[https://www.cloudflare.com/ko-kr/application-services/products/bot-management/|Bot Management]]에는, 그 외 여러 시스템과 함께, 네트워크를 통과하는 모든 요청에 대해 봇 점수(bot score)를 생성하는 머신러닝 모델이 포함되어 있습니다. 고객들은 이 봇 점수를 사용해 어떤 봇이 사이트에 접근할 수 있는지 제어합니다.
62
63이 모델은 “feature” 구성 파일을 입력으로 사용합니다. 여기서 feature란 요청이 자동화된 것인지 아닌지를 판단하기 위해 머신러닝 모델이 사용하는 개별 특성을 말하며, feature 구성 파일은 이러한 개별 feature들의 모음입니다.
64
65이 feature 파일은 몇 분마다 갱신되어 전체 네트워크에 배포되며, 인터넷 트래픽의 변동에 신속히 대응할 수 있게 해줍니다. 새로운 유형의 봇이나 공격에 빠르게 대응해야 하기 때문에, 이 파일은 자주 그리고 빠르게 배포되는 것이 매우 중요합니다.
66
67그런데 이 파일을 생성하는 기반 ClickHouse 쿼리 동작이 변경되면서, feature 행이 중복되어 파일 크기가 증가했습니다. 이전에는 고정 크기였던 feature 파일이 커지면서, 봇 모듈에서 오류가 발생하게 된 것입니다.
68
r34
Aidenk
69그 결과, 봇 모듈에 의존하는 모든 트래픽에 대해 고객 트래픽을 처리하는 핵심 프록시 시스템에서 HTTP 5xx 오류가 반환되었습니다. 이 영향은 또한 핵심 프록시에 의존하는 Workers KV와 Access에도 미쳤습니다.
r33
Aidenk
70
r34
Aidenk
71이번 사건과 관련은 없지만, 현재 고객 트래픽을 내부적으로 FL2라고 부르는 새로운 프록시 서비스로 이전하고 있었습니다. 두 버전 모두 문제의 영향을 받았지만, 관찰된 영향은 달랐습니다.
r33
Aidenk
72
r34
Aidenk
73새로운 FL2 프록시 엔진을 사용하는 고객은 HTTP 5xx 오류를 경험했습니다. 기존 FL 프록시 엔진을 사용하는 고객은 오류는 없었지만, 봇 점수가 올바르게 생성되지 않아 모든 트래픽이 봇 점수 0으로 처리되었습니다. 봇 차단 규칙을 적용한 고객은 많은 오탐(false positive)을 경험했을 것입니다. 봇 점수를 규칙에서 사용하지 않은 고객은 영향을 받지 않았습니다.
r33
Aidenk
74
r34
Aidenk
75또한 우리를 혼란스럽게 하고 이번 사건이 공격일 수 있다고 생각하게 만든 증상 중 하나는 Cloudflare 상태 페이지가 다운된 것이었습니다. 상태 페이지는 Cloudflare 인프라와 전혀 의존성이 없는 외부에서 호스팅되고 있었습니다. 우연의 일치였지만, 일부 팀은 공격자가 시스템과 상태 페이지를 동시에 대상으로 하고 있다고 오인하게 되었습니다. 당시 상태 페이지를 방문한 사용자는 오류 메시지를 보게 되었습니다.
r33
Aidenk
76
77[[파일:클플 오류5.png]]
78
79내부 사고 채팅방에서는, 이번 문제가 최근 발생한 대규모 [[https://blog.cloudflare.com/defending-the-internet-how-cloudflare-blocked-a-monumental-7-3-tbps-ddos/|Aisuru DDoS]] 공격의 연장일 수 있다는 우려가 있었습니다.
80
81[[파일:클플 오류6.png]]
82
83{{{+5 쿼리 동작 변경}}}
84
85앞서 언급했듯, 기본 쿼리 동작 변경으로 인해 feature 파일에 중복된 행이 많이 포함되게 되었습니다. 문제의 데이터베이스 시스템은 ClickHouse 소프트웨어를 사용합니다.
86
87참고로, ClickHouse 분산 쿼리가 어떻게 작동하는지 이해하면 도움이 됩니다. ClickHouse 클러스터는 여러 샤드(shard)로 구성됩니다. 모든 샤드에서 데이터를 쿼리하려면, default라는 데이터베이스에 있는 “Distributed” 엔진 기반의 분산 테이블을 사용합니다. Distributed 엔진은 r0 데이터베이스의 기본 테이블을 쿼리하는데, 이 기본 테이블이 각 ClickHouse 샤드에 데이터가 실제로 저장되는 곳입니다.
88
89Distributed 테이블에 대한 쿼리는 공유 시스템 계정을 통해 실행됩니다. 분산 쿼리의 보안과 신뢰성을 개선하기 위한 노력의 일환으로, 향후에는 초기 사용자 계정으로 쿼리를 실행하도록 작업이 진행되고 있습니다.
90
91오늘 이전에는, ClickHouse 사용자가 시스템 테이블(system.tables, system.columns 등)을 통해 테이블 메타데이터를 쿼리할 때 default 데이터베이스의 테이블만 볼 수 있었습니다.
92
93사용자들이 이미 r0 기본 테이블에 암묵적으로 접근할 수 있었기 때문에, 11:05에 이 접근을 명시적으로 허용하도록 변경했습니다. 이를 통해 사용자가 해당 테이블의 메타데이터도 볼 수 있게 되었고, 모든 분산 서브쿼리가 초기 사용자 계정에서 실행되도록 하여, 쿼리 제한과 접근 권한을 더 세밀하게 평가할 수 있게 되었습니다. 이렇게 하면 한 사용자의 잘못된 서브쿼리가 다른 사용자에게 영향을 미치는 것을 방지할 수 있습니다.
94
95하지만 이 변경으로 인해, 이전에는 “default” 데이터베이스만 포함될 것이라고 가정했던 쿼리 결과가 이제 모든 사용자가 접근할 수 있는 정확한 테이블 메타데이터를 반환하게 되었습니다.
96
97{{{SELECT
98 name,
99 type
100FROM system.columns
101WHERE
102 table = 'http_requests_features'
103order by name;}}}
104
105쿼리가 데이터베이스 이름을 필터링하지 않는 점에 주목해야 합니다. ClickHouse 클러스터 사용자들에게 명시적 권한을 점진적으로 적용하는 과정에서, 11:05 변경 이후 위 쿼리는 r0 데이터베이스에 저장된 기본 테이블 때문에 컬럼이 “중복”되어 반환되기 시작했습니다.
106
107안타깝게도, 이 쿼리는 Bot Management의 feature file 생성 로직에서 각 입력 “feature”를 구성하는 데 사용되는 쿼리 유형이었습니다.
108
109위 쿼리는 (단순화한 예시처럼) 컬럼 테이블을 반환하게 됩니다.
110
111[[파일:클플 오류7.png]]
112
113하지만 사용자에게 추가 권한을 부여한 결과, 이제 쿼리 응답에는 r0 스키마의 모든 메타데이터가 포함되게 되었고, 그로 인해 응답 행 수가 사실상 두 배 이상 늘어나 최종 파일 출력에서 feature 수에도 영향을 미쳤습니다.
114
r35
Aidenk
115{{{+5 메모리 사전 할당}}}
116
117프록시 서비스에서 실행되는 각 모듈에는 메모리 사용을 무한대로 늘어나지 않도록 제한하고, 성능 최적화를 위해 메모리를 사전 할당(preallocation) 하는 여러 제한이 설정되어 있습니다.
118
119이번 경우, Bot Management 시스템에는 런타임에 사용할 수 있는 머신러닝 feature 수에 제한이 있었는데, 현재 이 제한은 200으로 설정되어 있으며, 실제 사용 중인 feature 수는 약 60개였습니다. 이 제한은 성능을 위해 feature에 대해 메모리를 미리 할당하기 때문에 존재합니다.
120
121그런데 잘못된 파일에 200개 이상의 feature가 포함되어 서버에 배포되면서, 이 제한을 초과하게 되었고, 시스템이 panic 상태에 빠지게 되었습니다. 이 확인을 수행하고 처리되지 않은 오류의 원인이 된 FL2 Rust 코드가 아래에 표시됩니다.
122
123[[파일:클플 오류8.png]]
124
125이로 인해 다음과 같은 panic이 발생했고, 결국 HTTP 5xx 오류로 이어졌습니다.
126
127{{{thread fl2_worker_thread panicked: called Result::unwrap() on an Err value}}}
128
129{{{+5 사건 발생 동안의 기타 영향}}}
130
131사건 발생 동안 핵심 프록시에 의존하는 다른 시스템들도 영향을 받았습니다. 여기에는 Workers KV와 Cloudflare Access가 포함됩니다. 팀은 13:04에 Workers KV를 패치하여 핵심 프록시를 우회하도록 했고, 이후 이들 시스템과 Workers KV에 의존하는 모든 하위 시스템(예: Access)에서 오류율이 줄어들었습니다.
132
133또한 Cloudflare Dashboard도 영향을 받았는데, 내부적으로 Workers KV를 사용하고 로그인 과정에 Cloudflare Turnstile이 포함되어 있었기 때문입니다.
134
135이번 장애로 Turnstile도 영향을 받아, 활성 대시보드 세션이 없는 고객은 로그인할 수 없었습니다. 이로 인해 11:30 ~ 13:10과 14:30 ~ 15:30 두 시간대에 가용성이 감소했습니다.
136
137[[파일:클플 오류9.png]]
138
139첫 번째 기간인 11:30~13:10은 Workers KV에 대한 영향 때문이었으며, 일부 제어 플레인 및 대시보드 기능이 이에 의존하고 있었습니다. 13:10에 Workers KV가 핵심 프록시 시스템을 우회하도록 설정되면서 복구되었습니다.
140
141대시보드에 대한 두 번째 영향 기간은 feature configuration 데이터를 복원한 후 발생했습니다. 로그인 시도의 누적(backlog)이 대시보드를 압도하기 시작했고, 이 누적과 재시도 시도가 결합되면서 지연(latency)이 증가하고 대시보드 가용성이 감소했습니다. 제어 플레인 동시성(concurrency)을 확장하여 약 15:30에 가용성이 회복되었습니다.
r36
Aidenk
142
143{{{+5 복구 조치 및 후속 조치 단계}}}
144시스템이 정상적으로 온라인 상태로 복구된 지금, 앞으로 이런 장애에 대비해 시스템을 강화하는 작업이 이미 시작되었습니다. 특히 다음과 같은 조치를 진행 중입니다:
145
146 * Cloudflare가 생성한 구성 파일도, 사용자 입력처럼 엄격하게 검증하고 처리하도록 강화하고 있습니다.
147 * 기능별로 더 많은 글로벌 킬 스위치를 활성화하여, 문제가 발생했을 때 신속히 시스템을 차단할 수 있도록 하고 있습니다.
148 * 코어 덤프나 기타 오류 보고가 시스템 자원을 과도하게 사용하지 않도록 제한하고 있습니다.
149 * 모든 핵심 프록시 모듈에서 오류 조건에 대한 실패 방식(failure mode)을 검토하고 있습니다.
150
151오늘은 [[https://blog.cloudflare.com/details-of-the-cloudflare-outage-on-july-2-2019/|2019년 이후]] Cloudflare의 최악의 장애였습니다. 이전에도 [[https://blog.cloudflare.com/post-mortem-on-cloudflare-control-plane-and-analytics-outage/|대시보드가 사용 불가능]]해지거나, [[https://blog.cloudflare.com/cloudflare-service-outage-june-12-2025/|새로운 기능이 잠시 제공되지 못한 장애]]는 있었지만, 지난 6년 이상 동안 핵심 트래픽 대부분이 네트워크를 통해 흐르지 못한 장애는 이번이 처음입니다.
152
153오늘과 같은 장애는 용납될 수 없습니다. Cloudflare는 항상 트래픽이 계속 흐르도록 시스템을 높은 수준으로 내결함성(resilience)을 갖추도록 설계해왔습니다. 과거의 장애에서도 항상 더 견고한 시스템을 구축하는 계기가 되었습니다.
154
155Cloudflare 전체 팀을 대표하여, 오늘 인터넷에 끼친 불편과 혼란에 대해 사과드립니다.
156
r37
Aidenk
157틀(나중에 생성 예정).
158
r38
Aidenk
159Cloudflare의 Connectivity Cloud는 [[https://www.cloudflare.com/ko-kr/network-services/|기업 전체 네트워크]]를 보호하고, [[https://workers.cloudflare.com/|고객이 인터넷 규모의 애플리케이션을 효율적으로 구축하도록]] 돕습니다. 또한 [[https://www.cloudflare.com/performance/accelerate-internet-applications/|모든 웹사이트나 인터넷 애플리케이션 속도를 가속화]]하고, [[https://www.cloudflare.com/ko-kr/ddos/|DDoS 공격을 막으며]], [[https://www.cloudflare.com/application-services/products/|해커로부터 보호]]하고, [[https://www.cloudflare.com/products/zero-trust/|Zero Trust 환경 구축에도 도움]]을 줍니다.
r37
Aidenk
160
r38
Aidenk
161어떤 기기에서든 [[https://one.one.one.one/|1.1.1.1]]에 접속하면 인터넷 속도를 빠르고 안전하게 만들어주는 무료 앱을 이용할 수 있습니다.
r37
Aidenk
162
r38
Aidenk
163더 나은 인터넷을 구축하는 Cloudflare의 미션에 대해 알고 싶다면 [[https://www.cloudflare.com/learning/what-is-cloudflare/|여기]]에서 시작하고, 새로운 경력 기회를 찾고 있다면 [[http://www.cloudflare.com/careers|채용 공고]]를 확인할 수 있습니다.
r2
Aidenk
164== 에러 상황 ==
r1
Aidenk
165{{{#!wiki style="border: 1px solid gray; border-top: 5px solid crimson; padding: 12px"
166'''{{{+1 Cloudflare Global Network experiencing issues}}}'''
167
r20
Aidenk
168'''Resolved''' - This incident has been resolved.
r21
Aidenk
169{{{-2 {{{#gray Nov 18, 2025 - 19:28 UTC}}}}}}
r20
Aidenk
170
171'''Update''' - Cloudflare services are currently operating normally. We are no longer observing elevated errors or latency across the network.
172
173Our engineering teams continue to closely monitor the platform and perform a deeper investigation into the earlier disruption, but no configuration changes are being made at this time.
174
175At this point, it is considered safe to re-enable any Cloudflare services that were temporarily disabled during the incident. We will provide a final update once our investigation is complete.
176{{{-2 {{{#gray Nov 18, 2025 - 17:44 UTC}}}}}}
177
178'''Update''' - We continue to monitor the system through recovery and we are seeing errors and latency return to normal levels. A full post-incident investigation and details about the incident will be made available asap.
179{{{-2 {{{#gray Nov 18, 2025 - 17:14 UTC}}}}}}
180
181'''Update''' - We continue to see errors drop as we work through services globally and clearing remaining errors and latency.
182{{{-2 {{{#gray Nov 18, 2025 - 16:46 UTC}}}}}}
183
184'''Update''' - We continue to see errors and latency improve but still have reports of intermittent errors. The team continues to monitor the situation as it improves, and looking for ways to accelerate full recovery.
185{{{-2 {{{#gray Nov 18, 2025 - 16:27 UTC}}}}}}
186
r14
Aidenk
187'''Update''' - Bot scores will be impacted intermittently while we undergo global recovery. We will update once we believe bot scores are fully recovered.
188{{{-2 {{{#gray Nov 18, 2025 - 16:04 UTC}}}}}}
189
r7
Aidenk
190'''Update''' - The team is continuing to focus on restoring service post-fix. We are mitigating several issues that remain post-deployment.
191{{{-2 {{{#gray Nov 18, 2025 - 15:40 UTC}}}}}}
192
r1
Aidenk
193'''Update''' - We are continuing to monitor for any further issues.
194{{{-2 {{{#gray Nov 18, 2025 - 15:23 UTC}}}}}}
195
196'''Update''' - Some customers may be still experiencing issues logging into or using the Cloudflare dashboard. We are working on a fix to resolve this, and continuing to monitor for any further issues.
197{{{-2 {{{#gray Nov 18, 2025 - 14:57 UTC}}}}}}
198
199'''Monitoring''' - A fix has been implemented and we believe the incident is now resolved. We are continuing to monitor for errors to ensure all services are back to normal.
200{{{-2 {{{#gray Nov 18, 2025 - 14:42 UTC}}}}}}
201
202'''Update''' - We've deployed a change which has restored dashboard services. We are still working to remediate broad application services impact
203{{{-2 {{{#gray Nov 18, 2025 - 14:34 UTC}}}}}}
204
205'''Update''' - We are continuing to work on a fix for this issue.
206{{{-2 {{{#gray Nov 18, 2025 - 14:22 UTC}}}}}}
207
208'''Update''' - We are continuing working on restoring service for application services customers.
209{{{-2 {{{#gray Nov 18, 2025 - 13:58 UTC}}}}}}
210
211'''Update''' - We are continuing working on restoring service for application services customers.
212{{{-2 {{{#gray Nov 18, 2025 - 13:35 UTC}}}}}}
213
214'''Update''' - We have made changes that have allowed Cloudflare Access and WARP to recover. Error levels for Access and WARP users have returned to pre-incident rates.
215We have re-enabled WARP access in London.
216
217We are continuing to work towards restoring other services.
218{{{-2 {{{#gray Nov 18, 2025 - 13:13 UTC}}}}}}
219
220'''Identified''' - The issue has been identified and a fix is being implemented.
221{{{-2 {{{#gray Nov 18, 2025 - 13:09 UTC}}}}}}
222
223'''Update''' - During our attempts to remediate, we have disabled WARP access in London. Users in London trying to access the Internet via WARP will see a failure to connect.
224{{{-2 {{{#gray Nov 18, 2025 - 13:04 UTC}}}}}}
225
226'''Update''' - We are continuing to investigate this issue.
227{{{-2 {{{#gray Nov 18, 2025 - 12:53 UTC}}}}}}
228
229'''Update''' - We are continuing to investigate this issue.
230{{{-2 {{{#gray Nov 18, 2025 - 12:37 UTC}}}}}}
231
232'''Update''' - We are seeing services recover, but customers may continue to observe higher-than-normal error rates as we continue remediation efforts.
233{{{-2 {{{#gray Nov 18, 2025 - 12:21 UTC}}}}}}
234
235'''Update''' - We are continuing to investigate this issue.
236{{{-2 {{{#gray Nov 18, 2025 - 12:03 UTC}}}}}}
237
238'''Investigating''' - Cloudflare is experiencing an internal service degradation. Some services may be intermittently impacted. We are focused on restoring service. We will update as we are able to remediate. More updates to follow shortly.
239{{{-2 {{{#gray Nov 18, 2025 - 11:48 UTC}}}}}}}}}
240
241{{{#!wiki style="border: 1px solid gray; border-top: 5px solid navy; padding: 12px"
242'''{{{+1 SYD (Sydney) on 2025-11-18}}}'''
243
244'''In progress''' - Scheduled maintenance is currently in progress. We will provide updates as necessary.
245{{{-2 {{{#gray Nov 18, 2025 - 15:01 UTC}}}}}}
246
247'''Scheduled''' - We will be performing scheduled maintenance in SYD (Sydney) datacenter on 2025-11-18 between 15:00 and 19:00 UTC.
248
249Traffic might be re-routed from this location, hence there is a possibility of a slight increase in latency during this maintenance window for end-users in the affected region. For PNI / CNI customers connecting with us in this location, please make sure you are expecting this traffic to fail over elsewhere during this maintenance window as network interfaces in this datacentre may become temporarily unavailable.
250
251You can now subscribe to these notifications via Cloudflare dashboard and receive these updates directly via email, PagerDuty and webhooks (based on your plan): https://developers.cloudflare.com/notifications/notification-available/#cloudflare-status.
252{{{-2 {{{#gray Nov 18, 2025 15:00-19:00 UTC}}}}}}}}}
253
254{{{#!wiki style="border: 1px solid gray; border-top: 5px solid navy; padding: 12px"
255'''{{{+1 PPT (Tahiti) on 2025-11-18}}}'''
256
257'''In progress''' - Scheduled maintenance is currently in progress. We will provide updates as necessary.
258{{{-2 {{{#gray Nov 18, 2025 - 12:00 UTC}}}}}}
259
260'''Scheduled''' - We will be performing scheduled maintenance in PPT (Tahiti) datacenter on 2025-11-18 between 12:00 and 16:00 UTC.
261
262Traffic might be re-routed from this location, hence there is a possibility of a slight increase in latency during this maintenance window for end-users in the affected region. For PNI / CNI customers connecting with us in this location, please make sure you are expecting this traffic to fail over elsewhere during this maintenance window as network interfaces in this datacentre may become temporarily unavailable.
263
264You can now subscribe to these notifications via Cloudflare dashboard and receive these updates directly via email, PagerDuty and webhooks (based on your plan): https://developers.cloudflare.com/notifications/notification-available/#cloudflare-status.
265{{{-2 {{{#gray Nov 18, 2025 12:00-16:00 UTC}}}}}}}}}
266
267{{{#!wiki style="border: 1px solid gray; border-top: 5px solid navy; padding: 12px"
268'''{{{+1 ATL (Atlanta) on 2025-11-18}}}'''
269
270'''In progress''' - Scheduled maintenance is currently in progress. We will provide updates as necessary.
271{{{-2 {{{#gray Nov 18, 2025 - 07:02 UTC}}}}}}
272
273'''Scheduled''' - We will be performing scheduled maintenance in ATL (Atlanta) datacenter between 2025-11-18 07:00 and 2025-11-19 22:00 UTC.
274
275Traffic might be re-routed from this location, hence there is a possibility of a slight increase in latency during this maintenance window for end-users in the affected region. For PNI / CNI customers connecting with us in this location, please make sure you are expecting this traffic to fail over elsewhere during this maintenance window as network interfaces in this datacentre may become temporarily unavailable.
276
277You can now subscribe to these notifications via Cloudflare dashboard and receive these updates directly via email, PagerDuty and webhooks (based on your plan): https://developers.cloudflare.com/notifications/notification-available/#cloudflare-status.
278{{{-2 {{{#gray Nov 18, 2025 07:00 - Nov 19, 2025 22:00 UTC}}}}}}}}}
279
280{{{#!wiki style="border: 1px solid gray; border-top: 5px solid orange; padding: 12px"
281'''{{{+1 Support Portal Availability Issues}}}'''
282
283'''Update''' - We are continuing to investigate this issue.
r7
Aidenk
284{{{-2 {{{#gray Nov 18, 2025 - 15:16 UTC}}}}}}
r1
Aidenk
285
r7
Aidenk
286'''Investigating''' - Our support portal is currently experiencing issues, and as such customers might encounter errors viewing or responding to support cases. Responses on customer inquiries are not affected, and customers can still reach us via live chat (Business and Enterprise) through the Cloudflare Dashboard, or via the emergency telephone line (Enterprise).
287We are working to understand the full impact and mitigate this problem.
r22
Aidenk
288{{{-2 {{{#gray Nov 18, 2025 - 11:17 UTC}}}}}}}}}
r7
Aidenk
289
r2
Aidenk
290== 피해 상황 ==
r4
Aidenk
291=== 위키 ===
r10
Aidenk
292 * [[나무위키]]: 간혈적으로 편집, 삭제, 이동, 댓글 작성, ip에 한하여 게시글 작성 불가.
r9
Aidenk
293 * [[더시드위키]]: 접속불가.
294 * [[더시드?위키]]: 편집, 삭제, 이동, 댓글 작성 불가.
295 * [[알파위키]]: 접속 불가.
296 * [[위브위키]]: 접속 불가.
297 * [[테스트위키]](the tree): 접속 불가.
r4
Aidenk
298
299=== 커뮤니티 ===
r11
Aidenk
300 * 아카라이브: 로그인 불가.
r12
Aidenk
301 * X: 전반적인 시스템 이용 불가.
r19
Aidenk
302
r6
Aidenk
303=== 게임 ===
r13
Aidenk
304 * 리그 오브 레전드: 접속 불가.
305 * Geometry Dash: 온라인 서버 이용 불가.
r15
Aidenk
306 * 던전앤파이터: 접속 불가.
r19
Aidenk
307
r4
Aidenk
308=== 정부 기관 ===
309
310=== 대기업 ===
r16
Aidenk
311 * 맥도날드: 키오스크 이용 불가.
r18
Aidenk
312 * Chat GPT: 웹사이트에 한하여 이용 불가.
313 * Canva: 웹사이트, 앱 이용 불가.
r23
Aidenk
314 * Spotify
r19
Aidenk
315
r6
Aidenk
316=== 기타 ===
r19
Aidenk
317 * 불법 OTT 사이트: 접속 불가.
318
319== 대응 ==