關於AI 爬蟲訪問檢測
AI 公司抓取網頁，一是訓練模型，二是在回答問題時實時引用，AI 爬蟲訪問檢測幫你查清哪些 AI 爬蟲能訪問你的網站。想禁止 AI 訓練、發現 CDN 或外掛替你加了 AI 規則、網站從沒出現在 AI 搜尋回答裡時，都可以查一查。輸入網站地址，點“開始檢測”。
工具按 robots.txt 判斷 25 個 AI 爬蟲能否訪問，包括 GPTBot、ClaudeBot、Google-Extended，以及 Perplexity、位元組跳動、Meta、亞馬遜、華為盤古等公司的爬蟲。每個爬蟲都標明用途（AI 訓練、AI 搜尋或替使用者抓取）、放行還是禁止、起作用的規則，以及檔案裡有沒有單獨寫它。還會查詢 llms.txt 和 llms-full.txt，並檢查首頁的 noai 標記。遮蔽了 AI 搜尋爬蟲時會提醒你：網站可能從 AI 搜尋的回答裡消失。規則和 llms.txt 可以分別用 Robots.txt 生成器和 llms.txt 生成器來寫。
AI 爬蟲訪問檢測怎麼用
- 1輸入網站
填域名或網站上任意一個網址。
- 2點“開始檢測”
讀取 robots.txt、llms.txt、llms-full.txt 和首頁。
- 3看結果表
每個 AI 爬蟲的用途、是否放行和起作用的規則。
- 4決定並調整
可以只禁 AI 訓練；想被 AI 搜尋引用，就放行 AI 搜尋爬蟲。
為什麼用熊仔工匠
- 25 個 AI 爬蟲
OpenAI、Anthropic、谷歌、蘋果、Perplexity、Meta、亞馬遜、位元組跳動等。
- 標明用途
AI 訓練、AI 搜尋、替使用者抓取，分得清清楚楚。
- llms.txt 檢查
查詢 llms.txt 和 llms-full.txt，顯示開頭內容。
- noai 標記
檢查 meta robots 和 X-Robots-Tag 裡的 noai、noimageai。