ครอว์เลอร์ AI: วัดการเข้ามาของ GPTBot และ ClaudeBot และตั้งค่าบล็อกด้วย robots.txt และ nginx

ประกาศแอฟฟิลิเอต Ver 3.1
ประกาศแอฟฟิลิเอต Ver 3.2 (เฉพาะมือถือ)
สภาพแวดล้อมทดสอบ ตระกูล RHELAlmaLinux 9.8Nginx 1.28 + Apache 2.4ตรวจสอบ 2026-10-18

ครอว์เลอร์ AI คือบอตที่บริษัท AI ใช้เก็บหน้าเว็บเพื่อฝึกโมเดล ค้นหาด้วย AI และตอบคำถามของผู้ใช้ เพื่อดูว่าบอตเหล่านี้เข้ามาที่เซิร์ฟเวอร์ Nginx + Apache บ่อยแค่ไหน จึงนำ UA ในบันทึกการเข้าถึงของเซิร์ฟเวอร์ต้นทาง 14 วันมาเทียบกับช่วง IP ที่แต่ละบริษัทประกาศ พบว่าคำขอจากช่วงทางการมีทั้งหมด 18,605 ครั้ง และสรุปการตั้งค่าบล็อกหรืออนุญาตใน robots.txt และ nginx ตามเอกสารทางการ

ช่วงเวลาคือ 4–17 ตุลาคม 2026 คำขอที่แคชด้านหน้าตอบไปแล้วจนไม่ถึงเซิร์ฟเวอร์ต้นทาง และคำขอที่ไม่ได้บันทึก IP จริงไว้ ไม่ได้รวมอยู่ในตัวเลข

1️⃣ แยกครอว์เลอร์ AI: UA ในบันทึกการเข้าถึงและช่วง IP ที่ประกาศ

คำขอที่บันทึกว่าเป็น GPTBot ในล็อกไม่ได้มาจาก OpenAI ทั้งหมด UA เป็นข้อความที่ฝั่งผู้ขอเขียนส่งมาเอง ใครก็ใส่ชื่อ GPTBot หรือ ClaudeBot มาขอได้

จึงนับจำนวนคำขอตามชื่อบอตจาก UA ก่อน แล้วค่อยเทียบกับช่วง IP ที่แต่ละบริษัทประกาศ ข้างล่างคือผลการนับชื่อบอต AI ในล็อกหนึ่งวัน

grep -oiE '(GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|Bytespider|CCBot|Amazonbot|meta-externalagent)/' access.log-20261018 | sort | uniq -c | sort -rn
   2968 GPTBot/
   2084 ClaudeBot/
    622 meta-externalagent/
    535 Amazonbot/
    167 PerplexityBot/
     99 OAI-SearchBot/
     30 ChatGPT-User/
     21 Claude-User/
     17 Claude-SearchBot/
     12 Meta-ExternalAgent/
     10 Perplexity-User/
      7 CCBot/

ถ้านับโดยใส่ [/] ต่อท้ายชื่อ ข้อความที่ไม่ใช่ชื่อ เช่นที่อยู่ติดต่อ claudebot@ ใน UA ของ Claude-SearchBot จะไม่ถูกนับ และชื่อที่บันทึกด้วยตัวพิมพ์เล็กใหญ่ต่างกันจะนับแยกกัน ต่อไปจึงดูจากคอลัมน์แรกว่าคำขอ GPTBot มาจาก IP ใดบ้าง

grep 'GPTBot/' access.log-20261018 | awk '{print $1}' | sort | uniq -c | sort -rn | head -5
   2524 74.7.x.x
    428 185.152.x.x
     12 34.53.x.x
      1 74.7.x.x
      1 172.182.x.x

คำขอที่ผ่าน CDN หรือพร็อกซีจะมีที่อยู่ของเซิร์ฟเวอร์ตัวกลางในคอลัมน์แรก บรรทัดแบบนั้นจึงเทียบด้วยที่อยู่ในคอลัมน์ X-Forwarded-For ท้ายบรรทัดล็อก OpenAI ประกาศช่วง IP ของ GPTBot เป็นไฟล์ JSON

curl -s https://openai.com/gptbot.json -o gptbot.json

ตรวจได้ว่า IP อยู่ในไฟล์ช่วงที่ดาวน์โหลดมาหรือไม่ด้วย ipaddress ซึ่งเป็นโมดูลพื้นฐานของ Python

# inrange.py — ตรวจว่า IP อยู่ในไฟล์ช่วง JSON หรือไม่
import json, sys, ipaddress
nets = [ipaddress.ip_network(p.get('ipv4Prefix') or p.get('ipv6Prefix')) for p in json.load(open(sys.argv[1]))['prefixes']]
for a in sys.argv[2:]:
    ip = ipaddress.ip_address(a)
    print(a, 'IN' if any(ip in n for n in nets) else 'OUT')

ใส่ IP ที่จะตรวจต่อท้ายชื่อไฟล์ช่วง

python3 inrange.py gptbot.json 74.7.x.x 34.53.x.x
74.7.x.x IN
34.53.x.x OUT

IP ที่ส่งคำขอ 2,524 ครั้งอยู่ในช่วงที่ประกาศ ส่วน IP ที่ส่ง 12 ครั้งอยู่นอกช่วง Anthropic, Perplexity, Apple, Common Crawl, Google และ Bing ก็ประกาศไฟล์ช่วงในรูปแบบเดียวกัน ส่วน Amazonbot ตรวจจาก DNS ย้อนกลับว่าลงท้ายด้วย crawl.amazonbot.amazon หรือไม่ เหมือนการตรวจคนเข้าเมืองที่สนามบินซึ่งดูหนังสือเดินทาง ไม่ใช่ชื่อบนบัตรขึ้นเครื่อง

เมื่อเทียบ 14 วันแบบนี้ พบว่า IP 70 รายการสลับใช้ชื่อบอต 23 ชื่อ เช่น GPTBot, ClaudeBot และ Googlebot ส่งคำขอ 48,041 ครั้ง และ 57% ในนั้นเป็นที่อยู่ที่หาช่องโหว่อย่าง .php หรือ .env คำขอที่ใช้ชื่อ Google-Extended ทั้ง 809 ครั้งก็มาจากกลุ่มนี้ ตามเอกสารของ Google, Google-Extended เป็นโทเค็นสำหรับ robots.txt เท่านั้นและไม่มี UA ที่ใช้ในคำขอ HTTP

2️⃣ จำนวนการเข้ามาตาม UA: วัดจริง 14 วันและแนวโน้มรายสัปดาห์

ตารางข้างล่างคือจำนวนคำขอใน 14 วัน ตั้งแต่ 4 ถึง 17 ตุลาคม บอตที่มีช่วงที่ประกาศนับเฉพาะคำขอจากในช่วง ส่วนบอตที่ไม่ได้เทียบช่วงนับตาม UA โดยตัดกลุ่มที่แอบอ้างออก

บอตบริษัทคำขอ 14 วันวิธีตรวจสอบกลุ่มที่แอบอ้าง
ClaudeBotAnthropic10,305ช่วง IP ที่ประกาศ2,387
PerplexityBotPerplexity3,406ช่วง IP ที่ประกาศ2,262
GPTBotOpenAI2,546ช่วง IP ที่ประกาศ2,328
OAI-SearchBotOpenAI1,399ช่วง IP ที่ประกาศ2,347
ChatGPT-UserOpenAI334ช่วง IP ที่ประกาศ2,409
ApplebotApple330ช่วง IP ที่ประกาศ2,372
CCBotCommon Crawl275ช่วง IP ที่ประกาศ2,275
Claude-UserAnthropic10ช่วง IP ที่ประกาศ2,192
Claude-SearchBotAnthropic0ช่วง IP ที่ประกาศ2,297
Perplexity-UserPerplexity0ช่วง IP ที่ประกาศ2,235
Meta-ExternalAgentMeta14,384UA2,339
BytespiderByteDance6,569UA2,336
AmazonbotAmazon3,493UA · DNS ย้อนกลับ2,379
Googlebot (เปรียบเทียบ)Google10,545ช่วง IP ที่ประกาศ3,951
bingbot (เปรียบเทียบ)Microsoft13,477ช่วง IP ที่ประกาศ1,551

ในบรรดาครอว์เลอร์ AI ที่ยืนยันจากช่วงที่ประกาศ ClaudeBot มากที่สุดที่ 10,305 ครั้ง ตามด้วย PerplexityBot 3,406 ครั้ง และ GPTBot 2,546 ครั้ง ส่วน Claude-SearchBot และ Perplexity-User ไม่มีคำขอจากช่วงที่ประกาศเลย คำขอที่ใช้ชื่อเหล่านี้มาจากกลุ่มที่แอบอ้างทั้งหมด

ปัญหาที่เหลือหลังกรองผู้แอบอ้างออกแล้วคือบอตที่ไม่ได้เทียบช่วง Meta-ExternalAgent มากที่สุดตาม UA ที่ 14,384 ครั้ง แต่เอกสารครอว์เลอร์ของ Meta ที่ตรวจไม่มีรายการช่วง IP จึงนับจาก UA อย่างเดียว

📊จำนวนคำขอรายสัปดาห์ของครอว์เลอร์ AIรายสัปดาห์ · นับจากล็อก
GPTBot
OpenAI · เก็บข้อมูลฝึกโมเดล
08461,6922,5373,383
9/143,3837 วัน
9/211907 วัน
9/283567 วัน
10/5127 วัน
10/122,9596 วัน (ถึง 17/10)
ClaudeBot
Anthropic · เก็บข้อมูลฝึกโมเดล
02,5545,1087,66310,217
9/146,9767 วัน
9/2110,2177 วัน
9/287,7097 วัน
10/56,9307 วัน
10/127,2896 วัน (ถึง 17/10)
PerplexityBot
Perplexity · ค้นหา
05531,1061,6592,212
9/141,0847 วัน
9/212,1527 วัน
9/285337 วัน
10/52,2127 วัน
10/121,4836 วัน (ถึง 17/10)
ตัวเลขเป็นค่าตาม UA จากบันทึกการเข้าถึงของเซิร์ฟเวอร์ต้นทาง ตั้งแต่สัปดาห์ 14 กันยายนถึงสัปดาห์ 12 ตุลาคม โดยตัดคำขอจาก IP ของกลุ่มที่แอบอ้าง คำขอไปยังที่อยู่ที่หาช่องโหว่ และคำขอที่รหัสตอบกลับเป็นข้อผิดพลาดอย่าง 403 หรือ 429 ออก

เมื่อดูรายสัปดาห์ GPTBot ขึ้นลงระหว่าง 12 ถึง 3,383 ครั้ง ส่วน ClaudeBot อยู่ในช่วง 6,930–10,217 ครั้งตลอดทั้งห้าสัปดาห์

3️⃣ ดึงที่อยู่แบบไหนไป: รูปแบบ URL และรหัสตอบกลับ

ครอว์เลอร์ AI ไม่ได้ดึงแค่เนื้อหาบทความ ใน 14 วัน คำขอของ Meta-ExternalAgent 21% เป็นรูปภาพ ส่วน GPTBot จากช่วงที่ประกาศขอฟีด RSS 476 ครั้ง และ ClaudeBot ขอแผนผังเว็บไซต์ 314 ครั้ง

ที่อยู่ของฉบับภาษาอื่นก็ถูกเก็บด้วย ตามช่วงที่ประกาศ คำขอ ClaudeBot 1,111 ครั้งและคำขอ GPTBot 436 ครั้งเป็นบทความฉบับภาษาอื่น รหัสตอบกลับนับได้ทันทีจากล็อกหนึ่งวัน

grep 'ClaudeBot/' access.log-20261018 | awk '{print $9}' | sort | uniq -c | sort -rn | head -4
   1357 200
    665 301
     31 304
     21 404

แม้ในหนึ่งวัน 301 ก็เกือบหนึ่งในสาม และใน 14 วัน คำขอ ClaudeBot จากช่วงที่ประกาศ 10,305 ครั้งเป็น 301 อยู่ 5,915 ครั้ง (57%) ในจำนวนนั้น 4,736 ครั้งเป็นคำขอที่ไม่มี [/] ท้ายที่อยู่ WordPress จึงตอบ 301 ไปยังที่อยู่ที่เติม [/] แล้วบทความเดียวกันก็ถูกขออีกครั้ง

4️⃣ ตั้งค่า robots.txt: โทเค็นสำหรับการฝึกและสำหรับการค้นหา

robots.txt เหมาะกับบอตสำหรับการฝึกและการค้นหาที่เก็บข้อมูลอัตโนมัติ แต่ไม่เหมาะกับบอตที่ดึงหน้าเว็บตอนผู้ใช้ถามคำถาม เอกสารของ OpenAI และ Perplexity ระบุว่ากฎ robots.txt อาจไม่มีผลกับคำขอของ ChatGPT-User และ Perplexity-User

แต่ละบริษัทแบ่งโทเค็นตามการใช้งาน และตามเอกสารของ OpenAI การบล็อกโทเค็นหนึ่งไม่กระทบการตั้งค่าของโทเค็นอื่น ข้างล่างคือโทเค็นที่ตรวจจากเอกสารทางการของแต่ละบริษัท

โทเค็น robots.txtบริษัทการใช้งานถ้าบล็อก (เอกสารทางการ)
GPTBotOpenAIเก็บข้อมูลฝึกโมเดลสัญญาณว่าห้ามใช้ฝึก
OAI-SearchBotOpenAIการค้นหาของ ChatGPTไม่อยู่ในคำตอบการค้นหาของ ChatGPT (ยังอาจแสดงเป็นลิงก์นำทาง)
ChatGPT-UserOpenAIคำขอของผู้ใช้กฎ robots.txt อาจไม่มีผล
ClaudeBotAnthropicเก็บข้อมูลฝึกโมเดลข้อมูลหลังจากนั้นไม่ถูกใช้เป็นข้อมูลฝึก
Claude-SearchBotAnthropicปรับปรุงคุณภาพการค้นหาการแสดงในผลการค้นหาอาจลดลง
Claude-UserAnthropicคำขอของผู้ใช้ไม่ดึงหน้าเว็บเพื่อตอบคำถามผู้ใช้
PerplexityBotPerplexityค้นหา (ไม่ใช่การฝึก)ไม่อยู่ในผลการค้นหา
Perplexity-UserPerplexityคำขอของผู้ใช้โดยทั่วไปไม่ทำตาม robots.txt
Google-ExtendedGoogleฝึก · grounding ของ Geminiไม่กระทบการแสดงผลและอันดับใน Google Search
Applebot-ExtendedAppleฝึกโมเดลพื้นฐานไม่กระทบการแสดงในการค้นหาของ Apple
meta-externalagentMetaฝึกโมเดล AI เป็นต้นบล็อกด้วย Disallow (ตัวอย่างในเอกสาร)

Google-Extended และ Applebot-Extended ไม่ใช่บอตเก็บข้อมูลแยกต่างหาก แต่เป็นโทเค็นที่ใช้ใน robots.txt เท่านั้น การเก็บข้อมูลยังทำโดยครอว์เลอร์เดิมของ Google และ Apple และโทเค็นนี้กำหนดแค่ว่าจะนำเนื้อหาที่เก็บไปฝึกโมเดล AI หรือไม่

robots.txt ที่ปฏิเสธเฉพาะการเก็บข้อมูลเพื่อฝึกแต่ยังคงการแสดงในการค้นหา AI ไว้เป็นดังข้างล่าง เอกสารของ OpenAI, Perplexity และ Meta ระบุว่าการเปลี่ยนแปลงอาจใช้เวลาถึง 24 ชั่วโมงจึงจะมีผล

# ปฏิเสธการเก็บข้อมูลเพื่อฝึก
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

# อนุญาตบอตค้นหา AI
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

robots.txt ปัจจุบันของเซิร์ฟเวอร์ Nginx + Apache ไม่มีบรรทัดที่ระบุบอต AI

curl -s https://example.com/robots.txt
# ใช้กับบอตของเครื่องมือค้นหาทุกตัว
User-agent: *

# บล็อกหน้าผู้ดูแล (ความปลอดภัย)
Disallow: /wp-admin/

# อนุญาตการสื่อสาร ajax ในฟังก์ชันผู้ดูแล (จำเป็นต่อการทำงานปกติ)
Allow: /wp-admin/admin-ajax.php

# เพิ่ม: บล็อกผลการค้นหาสแปม (ป้องกัน SEO)
Disallow: /search/
Disallow: /?s=

# แจ้งตำแหน่งแผนผังเว็บไซต์ (เร่งการทำดัชนี)
Sitemap: https://example.com/sitemap_index.xml

ในสภาพที่ไม่มีบรรทัดบอต AI นี้ คำขอ GPTBot จากช่วงที่ประกาศ 2,546 ครั้งใน 14 วันได้รับคำตอบโดยไม่มี 403 เป็น 200 จำนวน 2,090 ครั้ง และ 301 จำนวน 432 ครั้ง ในช่วงเดียวกัน คำขอ robots.txt ที่บันทึกในล็อกต้นทางตามช่วงที่ประกาศมี Googlebot 36 ครั้ง ClaudeBot 8 ครั้ง และ OAI-SearchBot 6 ครั้ง ส่วน GPTBot และ PerplexityBot เป็น 0 ครั้ง robots.txt ก็เช่นกัน ถ้าแคชด้านหน้าตอบไปแล้วจะไม่เหลือในล็อกต้นทาง

5️⃣ บล็อกครอว์เลอร์ AI ใน nginx และข้อจำกัด

แม้บล็อกด้วย robots.txt คำขอที่ไม่อ่านกฎก็ยังเข้ามาถึงเซิร์ฟเวอร์ ใน nginx ใช้ [map] ใส่ 1 ลงในตัวแปรเมื่อ UA มีชื่อบอต

# ในบล็อก http — เป็น 1 ถ้าชื่อบอตสำหรับการฝึกอยู่ใน UA
map $http_user_agent $ai_train_bot {
    default        0;
    ~*GPTBot/      1;
    ~*ClaudeBot/   1;
    ~*Bytespider   1;
    ~*CCBot/       1;
}

ในบล็อก server ให้คืน 403 เมื่อตัวแปรนั้นเป็น 1

# ในบล็อก server
location / {
    if ($fake_searchbot) {
        return 403;
    }
    if ($ai_train_bot) {
        return 403;
    }
    # การตั้งค่าเดิมต่อจากนี้
}

วิธีบล็อกด้วย UA ดูแค่ชื่อ คำขอแอบอ้างที่ใช้ชื่อเดียวกันจึงถูกบล็อกไปด้วย และถ้าเปลี่ยนชื่อก็ผ่านได้ คำขอที่ยืมชื่อบอตค้นหาที่อนุญาตจะกรองออกได้ก็ต่อเมื่อเทียบกับช่วง IP ที่ประกาศ

🧭 เส้นทางของคำขอจากครอว์เลอร์ AI
แผนภาพอธิบาย
📌 คำขอ
📥 คำขอ
📜 robots.txt
กฎที่ครอว์เลอร์อัตโนมัติอ่านก่อน
GPTBot · ClaudeBotถ้า Disallow จะหยุดเก็บข้อมูล
OAI-SearchBot · PerplexityBotถ้า Disallow จะไม่อยู่ในคำตอบการค้นหา
ChatGPT-User · Perplexity-Userกฎอาจไม่มีผล
คำขอที่ยืมแค่ชื่อบอตไม่รับประกันว่าทำตามกฎ
คำขอ→
🖥️ nginx
UA map · เทียบช่วง IP ที่ประกาศ
มีชื่อใน UA map403 ด้วย UA
ไม่มีใน UA mapผ่านถ้าอยู่ในช่วงที่ประกาศ
ไม่มีใน UA mapผ่าน
ชื่อบอตที่อนุญาต + นอกช่วง403 ด้วยการเทียบช่วง
การตอบกลับ→
📤 การตอบกลับ
รหัสสถานะ
403ปฏิเสธการเก็บข้อมูลเพื่อฝึก
200แสดงในการค้นหา AI
200ตอบคำถามผู้ใช้
403เปลี่ยนชื่อแล้วการบล็อก UA ก็ผ่าน
ครอว์เลอร์สำหรับการฝึกทำตาม Disallow ใน robots.txt และถ้าใส่ชื่อไว้ใน UA map ของ nginx คำขอที่ไม่อ่านกฎก็จะถูกปฏิเสธด้วย 403 ด้วย ใน 14 วัน มีคำขอ GPTBot จากช่วงที่ประกาศ 2,546 ครั้ง
ครอว์เลอร์สำหรับการค้นหาตั้งค่าแยกจากโทเค็นสำหรับการฝึก ถ้าไม่บล็อก หน้าเว็บอาจแสดงในคำตอบการค้นหาของ ChatGPT และ Perplexity (ตามเอกสารทางการ) ใน nginx ให้ผ่านเฉพาะคำขอจากในช่วงที่ประกาศ
บอตคำขอของผู้ใช้คือคำขอที่ดึงหน้าเว็บตอนผู้ใช้ถามคำถาม เอกสารของ OpenAI และ Perplexity ระบุว่ากฎ robots.txt อาจไม่มีผล ถ้าจะบล็อกให้ปฏิเสธด้วยชื่อใน nginx
คำขอแอบอ้างยืมแค่ชื่อบอต การบล็อก UA จึงปฏิเสธได้เฉพาะเมื่อชื่อตรงกัน และถ้าใช้ชื่อบอตค้นหาที่อนุญาต ก็กรองได้ด้วยการเทียบช่วงที่ประกาศเท่านั้น ใน 14 วัน IP 70 รายการสลับใช้ชื่อบอต 23 ชื่อ

ถ้าจะอนุญาต OAI-SearchBot แต่ปฏิเสธเฉพาะคำขอชื่อเดียวกันที่มาจากนอกช่วง ให้ใช้ [geo] ทำช่วงที่ประกาศเป็นตัวแปร แล้วเทียบคู่กับ UA

# ในบล็อก http — ช่วงที่ประกาศของ OAI-SearchBot (ใส่ searchbot.json ทั้งหมด ข้างล่างแสดงแค่สองบรรทัด)
geo $oai_search_net {
    default              0;
    104.210.140.128/28   1;
    135.234.64.0/24      1;
}

map $http_user_agent:$oai_search_net $fake_searchbot {
    default                  0;
    ~*OAI-SearchBot/.*:0$    1;
}

ถ้ามี CDN หรือพร็อกซีอยู่ด้านหน้า ที่อยู่ที่ [geo] เห็นจะเป็นเซิร์ฟเวอร์ตัวกลาง จึงต้องกู้ IP จริงด้วย real_ip ก่อนเทียบ เอกสารของ Anthropic ระบุว่าการบล็อกด้วยที่อยู่ IP ทำให้บอตอ่าน robots.txt ไม่ได้ไปด้วย สัญญาณปฏิเสธจึงอาจส่งไปไม่ถึง

ไม่ได้ใส่การตั้งค่านี้ในเซิร์ฟเวอร์ที่ใช้งานจริง ตรวจแค่ไวยากรณ์ด้วยไฟล์ตั้งค่าทดสอบ

nginx -t -p ./ -c nginx-test/nginx.conf
nginx: the configuration file ./nginx-test/nginx.conf syntax is ok
nginx: configuration file ./nginx-test/nginx.conf test is successful

ตัวอย่างการตั้งค่าตรวจแค่ไวยากรณ์ จึงไม่ได้ยืนยันการตอบ 403 ตามล็อก 14 วัน คำขอที่ใช้ชื่อ OAI-SearchBot 3,937 ครั้ง มี 2,347 ครั้งมาจากกลุ่มที่แอบอ้างนอกช่วงที่ประกาศ

6️⃣ วิธีเก็บค่าตอบแทนจากครอว์เลอร์ AI: Pay per crawl และ Web Bot Auth

Pay per crawl เป็นฟีเจอร์ของ Cloudflare AI Crawl Control ที่ให้เจ้าของเว็บไซต์ตั้งราคาตามโซนและเก็บค่าบริการทุกคำขอของครอว์เลอร์ AI ตามเอกสารทางการที่ตรวจเมื่อ 18 ตุลาคม 2026 ยังเป็นเบต้าแบบปิด และ Cloudflare ดำเนินการชำระเงินในฐานะ Merchant of Record

ครอว์เลอร์ที่ส่งเจตนาจ่ายเงินมาทางเฮดเดอร์คำขอจะได้คำตอบ 200 ส่วนครอว์เลอร์อื่นจะได้คำตอบ [402 Payment Required] ที่มีราคา ถ้าบล็อกครอว์เลอร์เดียวกันด้วย WAF หรือ Bot Management กฎบล็อกจะมีผลก่อนการเก็บเงิน

ครอว์เลอร์ที่จะจ่ายเงินต้องพิสูจน์ตัวตนด้วย Web Bot Auth ใน Web Bot Auth บอตจะลงลายเซ็นคำขอด้วยคีย์ Ed25519 และวางคีย์สาธารณะไว้ที่ [/.well-known/http-message-signatures-directory] ให้ฝั่งรับตรวจลายเซ็นได้

ลายเซ็นส่งผ่านเฮดเดอร์สามตัว คือ [Signature-Agent], [Signature-Input] และ [Signature] และยืนยันบอตด้วยลายเซ็นเข้ารหัสแทนช่วง IP รูปแบบบันทึกการเข้าถึงพื้นฐานของเซิร์ฟเวอร์ต้นทางไม่บันทึกเฮดเดอร์คำขอ จึงไม่ได้ตรวจว่าคำขอของครอว์เลอร์ AI ใน 14 วันมีลายเซ็นหรือไม่

คำขอจากครอว์เลอร์ AI ที่ยืนยันจากช่วง IP ที่ประกาศใน 14 วัน 18,605 ครั้ง เท่ากับ 77% ของคำขอ Googlebot และ bingbot จากช่วงที่ประกาศในช่วงเดียวกัน 24,022 ครั้ง การจะใส่โทเค็นสำหรับการฝึกใน robots.txt หรือไม่ ตัดสินจากตัวเลขที่ตัดผู้แอบอ้างออกแล้ว และถ้าเพิ่มการเทียบช่วงที่ประกาศในการนับล็อกรายสัปดาห์ ก็ติดตามแนวโน้มได้

🔢 FAQ & เนื้อหาแนะนำ

เอกสารของ Anthropic ระบุว่ารองรับส่วนขยายที่ไม่เป็นมาตรฐานอย่าง [Crawl-delay] โดยเขียนเป็น [Crawl-delay: 1] ใต้ [User-agent: ClaudeBot] ส่วนเอกสารของ Apple ระบุว่า Applebot ไม่ทำตาม crawl-delay แต่จะปรับความเร็วการเก็บข้อมูลเองเมื่อเว็บไซต์ช้าลงหรือตอบกลับด้วยข้อผิดพลาด

ตามเอกสารของ Apple หน้าที่มีเมตาแท็ก nosnippet จะไม่ถูกใช้เป็นบริบทเพิ่มเติมเมื่อโมเดล AI ในผลิตภัณฑ์ Apple สร้างคำตอบ และในคำแนะนำการค้นหาจะแสดงแค่หัวข้อ ไฟล์ที่ใส่เมตาแท็กไม่ได้ เช่น PDF หรือรูปภาพ ให้ส่งคำสั่งเดียวกันด้วยเฮดเดอร์ตอบกลับ [X-Robots-Tag: applebot: nosnippet]

เอกสารของ Perplexity แนะนำให้สร้างกฎที่อนุญาตเฉพาะคำขอที่ UA มี PerplexityBot หรือ Perplexity-User และ IP ต้นทางอยู่ในช่วง JSON ที่ประกาศ แล้วให้กฎนี้มีผลก่อนกฎบล็อกอื่น เพราะช่วงเปลี่ยนอยู่เรื่อย ๆ จึงแนะนำให้ดาวน์โหลดจากที่อยู่ JSON เป็นระยะแล้วอัปเดตกฎ

🤖 เนื้อหาครอว์เลอร์ AI แนะนำ 5 บทความ · 8 อ้างอิง
🗂️ WEB
📋 การค้นหาแบบไม่คลิก 📄 ปัจจัยจัดอันดับของอัลกอริทึม Google 📄 SEO สำหรับ JavaScript
📄 เช็ค IP ของฉัน 📄 ตั้งค่า CDN ของ Cloudflare
📡 ครอว์เลอร์ของ OpenAI 📡 ครอว์เลอร์ของ Anthropic 📡 ครอว์เลอร์ของ Perplexity 📡 ครอว์เลอร์ทั่วไปของ Google 📡 Applebot 📡 ครอว์เลอร์เว็บของ Meta 📡 Pay per crawl 📡 Web Bot Auth
ไม่พบผลการค้นหา
สัดส่วนการค้นหาแบบไม่คลิกปี 2025
WEB · การค้นหา AI
การค้นหาแบบไม่คลิก: การเปลี่ยนแปลงครั้งใหญ่ทางการตลาดในโลกที่ไม่มีคลิกยุค AI ปี 2025
บทความสรุปสัดส่วนการค้นหาที่จบโดยไม่มีคลิกในหน้าผลการค้นหาและคำตอบ AI และผลของการเปลี่ยนแปลงนั้นต่อการตลาด
อ่านบทความ →เนื้อหาปัจจุบัน
กราฟปัจจัยจัดอันดับของอัลกอริทึม Google ปี 2024
WEB · SEO
SEO: ปัจจัยจัดอันดับของอัลกอริทึม Google
บทความสรุปปัจจัยที่สะท้อนในอันดับการค้นหาของ Google พร้อมกราฟน้ำหนัก
อ่านบทความ →เนื้อหาปัจจุบัน
SEO (Search Engine Optimization)
WEB · SEO
SEO สำหรับ JavaScript: กระบวนการและวิธีที่ Google และ Naver จัดการ JS
บทความสรุปกระบวนการที่ครอว์เลอร์ค้นหาดึง เรนเดอร์ และทำดัชนีหน้าเว็บที่สร้างด้วย JavaScript แยกระหว่าง Google กับ Naver
อ่านบทความ →เนื้อหาปัจจุบัน
เอกสารทางการครอว์เลอร์ของ OpenAI (ลิงก์ภายนอก)
เอกสารทางการ · OpenAI
Overview of OpenAI Crawlers
เอกสารทางการที่อธิบายการใช้งานของ GPTBot, OAI-SearchBot และ ChatGPT-User โทเค็น robots.txt และที่อยู่ JSON ของช่วง IP ที่ประกาศ
อ่านบทความ →เนื้อหาปัจจุบัน
เอกสารทางการครอว์เลอร์ของ Anthropic (ลิงก์ภายนอก)
เอกสารทางการ · Anthropic
Does Anthropic crawl data from the web, and how can site owners block the crawler?
เอกสารทางการที่อธิบายการใช้งานของ ClaudeBot, Claude-User และ Claude-SearchBot ผลเมื่อบล็อก และการรองรับ Crawl-delay
อ่านบทความ →เนื้อหาปัจจุบัน
เอกสารทางการครอว์เลอร์ของ Perplexity (ลิงก์ภายนอก)
เอกสารทางการ · Perplexity
Perplexity Crawlers
เอกสารทางการที่อธิบายการใช้งานของ PerplexityBot และ Perplexity-User ช่วง IP ที่ประกาศ และการตั้งค่าอนุญาตในไฟร์วอลล์
อ่านบทความ →เนื้อหาปัจจุบัน
เอกสารทางการครอว์เลอร์ทั่วไปของ Google (ลิงก์ภายนอก)
เอกสารทางการ · Google
Google’s common crawlers
เอกสารทางการที่อธิบายเหตุผลที่โทเค็น Google-Extended ใช้ใน robots.txt เท่านั้นโดยไม่มี UA ของคำขอ HTTP และขอบเขตผลกระทบ
อ่านบทความ →เนื้อหาปัจจุบัน
เอกสารทางการ Applebot (ลิงก์ภายนอก)
เอกสารทางการ · Apple
About Applebot
เอกสารทางการที่อธิบายความต่างระหว่าง Applebot กับ Applebot-Extended การตรวจ DNS ย้อนกลับ และการจัดการ nosnippet
อ่านบทความ →เนื้อหาปัจจุบัน
เอกสารทางการครอว์เลอร์เว็บของ Meta (ลิงก์ภายนอก)
เอกสารทางการ · Meta
ครอว์เลอร์เว็บของ Meta
เอกสารทางการที่อธิบายการใช้งานของ Meta-ExternalAgent, Meta-WebIndexer และ Meta-ExternalFetcher และการตั้งค่า robots.txt
อ่านบทความ →เนื้อหาปัจจุบัน
เอกสารทางการ Cloudflare Pay per crawl (ลิงก์ภายนอก)
เอกสารทางการ · Cloudflare
What is Pay Per Crawl?
เอกสารทางการของฟีเจอร์ที่ส่งคำตอบ 402 และเฮดเดอร์ราคาไปยังคำขอของครอว์เลอร์ AI และตอบ 200 เฉพาะคำขอที่ตั้งใจจ่ายเงิน
อ่านบทความ →เนื้อหาปัจจุบัน
เอกสารทางการ Cloudflare Web Bot Auth (ลิงก์ภายนอก)
เอกสารทางการ · Cloudflare
Web Bot Auth
เอกสารทางการเรื่องวิธีที่บอตพิสูจน์ตัวตนด้วยการแนบลายเซ็น Ed25519 ในเฮดเดอร์คำขอ และขั้นตอนลงทะเบียนไดเรกทอรีคีย์
อ่านบทความ →เนื้อหาปัจจุบัน

ℹ️ ประกาศเรื่องลิงก์แอฟฟิลิเอต
เนื้อหาของเว็บไซต์นี้มีลิงก์แอฟฟิลิเอต หากผู้เข้าชมซื้อสินค้าหรือบริการผ่านลิงก์เหล่านี้ เว็บไซต์นี้จะได้รับค่าคอมมิชชันจากผู้ขาย ในกระบวนการนี้ ราคาที่ผู้ซื้อจ่าย(ราคาจะลดลงเมื่อมีโปรโมชัน↓)จะไม่สูงขึ้นแต่อย่างใด ราคา ส่วนลด และข้อมูลสต็อกที่แสดงเป็นข้อมูล ณ เวลาที่เขียนและอาจต่างจากความเป็นจริง โปรดตรวจสอบกับผู้ขายอีกครั้งก่อนซื้อ การเลือกและการประเมินสินค้าเขียนตามเกณฑ์ของเราเอง และการได้รับค่าคอมมิชชันหรือไม่ไม่มีผลต่อลำดับการแนะนำหรือเนื้อหาการประเมิน

ใส่ความเห็น

อีเมลของคุณจะไม่แสดงให้คนอื่นเห็น ช่องข้อมูลจำเป็นถูกทำเครื่องหมาย *

Prove your humanity: 4   +   8   =