关于网站地图 Sitemap 生成器
Sitemap 生成器做出的网站地图 sitemap.xml，把你希望被收录的网页列给搜索引擎，新站、大站和内链少的深层页面最需要它。选自动抓取网站，输入首页地址，我们的服务器沿同一主机下的内链逐页抓取：默认“遵守 robots.txt”并“跳过 noindex 页面”，遇到跳转或 canonical 改用目标网址，出错的页面不收入，PDF、CSS、JS 等文件也不收入。lastmod 取自服务器返回的修改时间，优先级按离起始页的点击层级递减。每次抓取访客最多 100 个网页，免费会员 500 个，VIP 5000 个，最长 8 分钟，算 1 次任务。抓取只认 HTML 里的链接，靠 JS 加载或只能站内搜索到的页面可能漏掉。
在“不收录的网址”里每行填一个片段，最多 50 个，比如 /tag/ 或 ?sort=，网址里包含它就不收录，跳转或 canonical 指向这些网址的页面也一并排除。勾选“同时列出每页的图片”，每页最多 10 张图片会按 Google 图片网站地图的格式写进文件。除了“下载 sitemap.xml”，还可以单独下载 sitemap.txt 和 sitemap.html：前者一行一个网址，是百度等搜索引擎提交网址时接受的纯文本列表；后者是列出全站网页、给访客浏览的页面。抓取统计会显示排除了多少个网址、列出了多少张图片。只想用现成的网址，可以选粘贴网址列表：在浏览器里生成 sitemap.xml，数量不限，不算次数，可选 lastmod、更新频率和优先级。生成后上传到网站根目录，提交到百度搜索资源平台和 Google Search Console，也可以先用 网站地图检测检查。
网站地图 Sitemap 生成器怎么用
- 1选抓取方式
“自动抓取网站”帮你找出网页，“粘贴网址列表”用你手上已有的网址。
- 2设置并开始抓取
输入首页地址，保持勾选“遵守 robots.txt”和“跳过 noindex 页面”，按需填写不收录的网址、勾选列出图片，再点“开始抓取”。
- 3下载网站地图
看一遍抓取到的网页列表（可导出 CSV），再下载 sitemap.xml，需要时把 sitemap.txt 和 sitemap.html 也下载下来。
- 4上传并提交
放到网站根目录，在 robots.txt 里写上 Sitemap 地址，并提交到百度搜索资源平台和 Google Search Console。
为什么用熊仔工匠
- 真实抓取
从起始页沿内链抓取，遵守 robots.txt，跳过 noindex，按 canonical 取规范网址，日期取自 Last-Modified。
- 排除指定网址
每行一个片段，最多 50 个，* 代表任意字符（如 /page/*），跳转或 canonical 指向它们的页面也一并排除。
- 图片网站地图
可选列出每页的图片，每页最多 10 张，采用 Google 图片网站地图格式，统计里显示图片数量。
- XML、TXT、HTML 三种格式
sitemap.txt 一行一个网址，方便提交百度；sitemap.html 给访客浏览；各有单独的下载按钮。