AI 크롤러나 검색 봇이 이름과 운영 주체를 증명했다고 해서 계속 믿을 수 있는 것은 아닙니다. Cloudflare는 2026년 10월 16일 Verified bot의 실제 행동을 반복해서 측정하고 신뢰 수준을 갱신하는 체계를 공개했습니다.
웹사이트 운영자가 알아둘 평가 기준과 아직 확정되지 않은 제공 범위를 나눠 살펴보겠습니다.
3줄 핵심 요약
- Cloudflare는 한 번 신원을 확인한 Verified bot도 이후 행동을 계속 평가하는 시스템을 공개했습니다.
- 초기 평가는 robots.txt 같은 사이트 지침을 반복해서 존중하는지, HTTP 429나 직접 피드백에 맞춰 속도를 조절하는지를 봅니다.
- 현재는 Cloudflare 내부 평가 단계이며, 향후 Radar 신뢰 구간 공개와 고객별 처리 기준 제공을 계획하고 있습니다.
신원 확인은 시작일 뿐, 신뢰는 행동으로 다시 계산한다
Cloudflare의 Verified Bot 기준은 봇이 자신을 정확하고 안전하게 식별하고, 밝힌 목적에 맞는 동작만 하며, 악의적이거나 남용적인 행동을 하지 않는 것입니다. Web Bot Auth는 요청 주체의 신원을 암호학적으로 확인하고 BotBase는 알려진 봇 정보를 정리하지만, 새 시스템은 인증 이후에도 행동이 이 기준에서 벗어나는지 계속 평가합니다.
첫 번째 신호는 robots.txt와 사이트 지침을 반복해서 지키는가
평가의 첫 축은 사이트가 표시한 접근 선호를 크롤러가 얼마나 일관되게 존중하는지입니다. robots.
txt는 핵심 신호로 사용되지만 Cloudflare는 한 번의 실수보다 반복적인 무시 패턴을 보겠다고 설명합니다. 또한 robots.
txt에 규칙이 없다는 사실이 곧 모든 접근을 허용한다는 뜻은 아니라고 강조합니다.
두 번째 신호는 HTTP 429와 직접 피드백에 적응하는가
사이트가 HTTP 429 응답으로 요청 속도를 낮추라고 알려도 계속 같은 속도로 접근한다면 신뢰가 떨어질 수 있습니다. 반대로 봇이 속도를 줄이거나 잠시 멈추고 운영자의 피드백에 맞춰 행동을 바꾸면 긍정적인 기록이 쌓입니다.
핵심은 정적인 허용 목록보다 피드백 이후의 반복 행동입니다.
과거에는 Perplexity 봇을 Verified 목록에서 제외한 사례도 있다
Cloudflare는 2025년 사이트의 접근 거부 의사를 우회한 것으로 판단한 Perplexity 관련 봇을 Verified 목록에서 제외한 사례를 소개했습니다. 이번 체계는 이런 결정을 개별 사건에 의존하지 않고 지속적인 행동 데이터와 설명 가능한 기준으로 만들려는 시도입니다.
특정 회사만을 겨냥한 규칙이라기보다 모든 Verified bot에 같은 평가 원칙을 적용하는 방향입니다.
신뢰 점수는 공개 숫자보다 설명 가능한 구간으로 제시할 계획이다
Cloudflare는 향후 Radar에서 신뢰 수준을 점수나 구간 형태로 공개하고, 어떤 행동 때문에 평가가 달라졌는지 설명하는 방식을 계획하고 있습니다. 영구적인 낙인보다는 최근 행동에 따라 회복하거나 하락할 수 있는 동적 평가를 지향합니다.
다만 구체적인 계산식과 일반 공개 시점은 이번 발표에서 확정하지 않았습니다.
사이트 운영자는 지금 무엇을 준비하면 될까
현재 할 수 있는 일은 robots. txt와 크롤러 정책을 최신 상태로 유지하고, 과도한 요청에는 적절한 HTTP 상태 코드와 속도 제한을 적용하며, 로그에서 동일 봇의 반복 패턴을 확인하는 것입니다.
향후 기능이 일반 고객에게 제공되면 운영자는 허용할 신뢰 기준을 직접 선택할 수 있을 전망입니다. 그전까지는 이번 발표를 즉시 적용되는 범용 차단 기능으로 받아들이지 않는 편이 안전합니다.
사용자와 업계에 미치는 영향
AI 학습과 검색을 위한 크롤링이 늘면서 '누가 요청했는가'뿐 아니라 '운영자의 의사를 계속 존중하는가'가 중요한 기준이 되고 있습니다. 이번 접근이 실제 제품으로 확대되면 사이트 운영자는 봇 이름만 보고 허용하는 대신 장기간의 행동 기록을 바탕으로 접근을 다르게 처리할 수 있습니다.
봇 운영자 역시 인증 후에도 robots. txt, 속도 제한과 직접 피드백에 일관되게 대응해야 신뢰를 유지할 수 있습니다.
확인할 점
이 글은 2026년 10월 16일 Cloudflare 공식 발표를 기준으로 정리했습니다. 지속 평가 시스템은 현재 Cloudflare 내부에서 사용 중이며 Radar 신뢰 구간 공개와 모든 고객 대상 기능은 향후 계획입니다.
Cloudflare의 신뢰 평가는 인터넷 표준이나 법적 허가를 대신하지 않으며, robots. txt 역시 법률·계약상의 권리를 자동으로 결정하지 않습니다.
Cloudflare는 고립된 한 번의 위반보다 반복 패턴을 보겠다고 밝혔지만 오탐 가능성과 이의 제기 절차 등 세부 운영 방식은 추가 공개가 필요합니다.
출처
함께 읽을 글
- 8GB PC도 덜 버벅이게: Windows 11 메모리·검색·업데이트에서 달라지는 것
- 메일 속 할 일·마감일을 Gmail이 먼저 정리한다: AI Inbox 기능과 한국 사용자가 알아둘 점
- Arm 윈도우 노트북에서도 Python이 기본 네이티브로: Python 3.15에서 달라지는 것
'수수께끼연구소' 카테고리의 다른 글
| Edge 업데이트 재시작 줄이는 방법: '유휴 시 자동 적용' 설정과 무중단 업데이트 차이 (0) | 2026.10.18 |
|---|---|
| 암호화 PDF, 이제 내려받지 않고 확인: Google Drive CSE 미리보기 정식 제공 (0) | 2026.10.18 |
| 8GB PC도 덜 버벅이게: Windows 11 메모리·검색·업데이트에서 달라지는 것 (0) | 2026.10.17 |
| 메일 속 할 일·마감일을 Gmail이 먼저 정리한다: AI Inbox 기능과 한국 사용자가 알아둘 점 (0) | 2026.10.16 |
| GitHub 별 기록 API 2,511번→24번: 개인정보를 덜 모으고 DB도 가볍게 만든 설계 (0) | 2026.10.16 |