AI 크롤러: GPTBot·ClaudeBot 방문 실측과 robots.txt·nginx 차단 설정
AI 크롤러는 AI 회사가 모델 학습과 AI 검색, 사용자 질문에 대한 답변을 위해 웹 페이지를 수집하는 봇입니다. Nginx + Apache 구성 서버에 이 봇들이 얼마나 방문하는지 확인하기 위해 원본 서버 액세스 로그 14일 치의 UA를 각 회사가 공개한 IP 대역과 대조한 결과 공식 대역의 요청은 1만 8,605건이었으며, robots.txt와 nginx에서 막거나 허용하는 설정을 공식…