AI 크롤러: GPTBot·ClaudeBot 방문 실측과 robots.txt·nginx 차단 설정
테스트 환경 RHEL 계열|AlmaLinux 9.8|Nginx 1.28 + Apache 2.4|2026-10-18 확인 AI 크롤러는 AI 회사가 모델 학습과 AI 검색, 사용자 질문에 대한 답변을 위해 웹 페이지를 수집하는 봇입니다. Nginx + Apache 구성 서버에 이 봇들이 얼마나 방문하는지 확인하기 위해 원본 서버 액세스 로그 14일 치의 UA를 각 회사가 공개한 IP 대역과 대조한 결과 공식…