Công cụ miễn phí · GEO

Website của bạn có đang chặn nhầm ChatGPT, Claude, Perplexity?

Dán domain, công cụ đọc robots.txt và cho biết 15 bot AI quan trọng - GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended, Bingbot... - đang được phép hay bị chặn. Chặn nhầm một dòng là thương hiệu biến mất khỏi câu trả lời AI.

Hỏi đáp nhanh - Câu hỏi thường gặp

Công cụ kiểm tra AI crawler hoạt động thế nào?

Tóm tắt nhanh: Công cụ tải file robots.txt của website rồi đối chiếu với 15 bot AI và search quan trọng nhất - nhóm bot trả lời có trích dẫn (OAI-SearchBot, ChatGPT-User, PerplexityBot), nhóm bot huấn luyện model (GPTBot, ClaudeBot, CCBot, Bytespider) và nhóm search truyền thống (Googlebot, Bingbot). Kết quả cho biết bot nào bị chặn toàn bộ, chặn một phần hay được phép, kèm kiểm tra website đã có llms.txt và sitemap.xml chưa. Miễn phí, chạy trong 2-3 giây, không cần đăng ký.

Chặn AI crawler thì được gì, mất gì?

Được: nội dung không bị dùng huấn luyện model. Mất: website biến mất khỏi câu trả lời của ChatGPT, Perplexity, Meta AI - tức mất kênh khách hàng đang tăng nhanh nhất. Với doanh nghiệp muốn được AI giới thiệu (GEO), lời khuyên thường là mở bot trả lời - trích dẫn (OAI-SearchBot, PerplexityBot) và cân nhắc riêng nhóm bot chỉ dùng huấn luyện (GPTBot, CCBot, Bytespider).

Google-Extended là gì, chặn có mất SEO không?

Google-Extended là token điều khiển việc Google dùng nội dung cho Gemini, không phải bot thu thập riêng. Chặn Google-Extended không ảnh hưởng thứ hạng tìm kiếm và AI Overviews - hai thứ này dùng Googlebot. Ngược lại, chặn Googlebot mới làm mất SEO.

Website chưa có robots.txt thì bot AI có vào được không?

Có. Không có robots.txt nghĩa là mọi bot được phép vào mặc định. Nếu muốn kiểm soát, tạo file robots.txt ở thư mục gốc và khai báo từng User-agent; nếu muốn được AI trích dẫn tốt hơn, bổ sung thêm file llms.txt tóm tắt nội dung quan trọng của website.