免費註冊

Robots.txt 生成器

逐個設定要放行和遮蔽的蜘蛛，填好目錄和網站地圖，馬上得到可以上傳的 robots.txt。

關於Robots.txt 生成器

用 Robots.txt 生成器寫好的 robots.txt 放在網站根目錄，告訴各家蜘蛛哪些目錄可以抓、哪些不要抓。新站上線、後臺目錄不想被抓取、測試站不希望蜘蛛來訪，或者不想讓文章被拿去訓練 AI，都用得上它。先選對所有爬蟲的預設規則：全部放行或全部遮蔽；再把要遮蔽的目錄一行一個填進去，比如 /admin/、/cart/；加上 Sitemap 地址，需要時再設抓取間隔。生成結果隨填隨變。還沒有 sitemap 的話，可以先用網站地圖 Sitemap 生成器生成一個。

每個爬蟲都有單獨的開關：搜尋引擎有百度、谷歌、必應、360、搜狗、神馬、Yandex 和 DuckDuckGo 八家的蜘蛛；AI 爬蟲有 GPTBot、ClaudeBot、Google-Extended、位元組跳動的 Bytespider 等 9 個，另有一鍵遮蔽 AI 訓練爬蟲的預設。複製或下載 robots.txt，上傳到網站根目錄，再用 Robots.txt 檢測試試具體網址對各家蜘蛛是否放行。全程在瀏覽器裡完成，不上傳任何內容。

Robots.txt 生成器怎麼用

  1. 1
    選預設規則

    先決定對所有爬蟲預設全部放行，還是全部遮蔽。

  2. 2
    填目錄和網站地圖

    要遮蔽的目錄一行一個，再填 Sitemap 地址，需要時加上抓取間隔。

  3. 3
    逐個設定蜘蛛

    按需開關百度、谷歌等搜尋引擎和各家 AI 爬蟲，也可以一鍵遮蔽 AI 訓練爬蟲。

  4. 4
    下載並上傳

    複製或下載 robots.txt，放到網站根目錄，再用 Robots.txt 檢測驗證。

為什麼用熊仔工匠

  • 國內蜘蛛都有

    百度、360、搜狗、神馬，以及谷歌、必應、Yandex、DuckDuckGo 的爬蟲都能單獨設定。

  • 9 個 AI 爬蟲

    GPTBot、ClaudeBot、Google-Extended、CCBot、PerplexityBot、Bytespider 等逐個開關。

  • 一鍵遮蔽 AI 訓練

    不用自己寫規則，點一下就遮蔽收集訓練資料的 AI 爬蟲。

  • 本地實時生成

    在瀏覽器裡隨填隨生成，不上傳、不佔次數，頁面開啟後斷網也能用。

常見問題

Robots.txt 生成器常見問題

robots.txt 應該放在哪裡？
放在網站根目錄，能透過 https://你的域名/robots.txt 開啟。蜘蛛不會去子目錄裡找，每個子域名（比如 m. 開頭的手機站）也要單獨放一份。
用 robots.txt 遮蔽了，頁面就不會被收錄嗎？
不一定。robots.txt 管的是抓取，在谷歌裡，如果別的網頁連結到這個網址，它仍可能只以網址的形式出現在搜尋結果裡。想讓頁面不被收錄，應該允許抓取，並在頁面上加 noindex 標籤。noindex 標籤可以用 Meta 標籤生成器生成。
怎麼遮蔽 GPTBot 等 AI 爬蟲？
在 AI 爬蟲裡關掉不想放行的，或者用一鍵遮蔽 AI 訓練爬蟲的預設。遮蔽 Google-Extended 不影響網站在谷歌搜尋裡的收錄和排名。
Crawl-delay 對百度和谷歌有用嗎？
谷歌不認 Crawl-delay，百度一般也不按它執行，必應會遵守。伺服器沒有被抓取拖慢的話，留空就好。
Robots.txt 生成器要收費嗎？
免費，不用註冊，也不佔每日次數。整個過程在瀏覽器裡完成，頁面開啟後斷網也能用。
把Robots.txt 生成器分享給朋友開啟瀏覽器就能用，對方不註冊也能先試。

相關工具

XML 網站地圖 Sitemap 生成器自動抓取網站或貼上網址列表，生成 XML 網站地圖。
HTML Meta 標籤生成器編寫標題、描述和 robots 標籤，實時檢查長度並預覽。
JSON 結構化資料生成器生成常見問題、文章、商品、組織等型別的 JSON-LD 結構化資料。
HTML 社交分享標籤生成器生成 Open Graph 和 Twitter Card 標籤，並預覽分享卡片。
CONF 301 重定向程式碼生成器生成 Apache、Nginx、IIS、PHP 和 HTML 的跳轉規則。
URL UTM 連結生成器給連結加上 UTM 引數，在統計工具裡區分推廣渠道。
HTML hreflang 多語言標籤生成器為網頁的各個語言版本生成 hreflang 標籤。
CONF Htpasswd 密碼檔案生成器生成 Apache、Nginx 基本認證用的 .htpasswd 內容。