关于网页可收录检测
页面迟迟不出现在搜索结果里,先要用网页可收录检测弄清:搜索引擎到底能不能收录它。新页面没流量、网站改版迁移之后、百度搜索资源平台或 Google Search Console 提示页面被排除时,都可以用网页可收录检测查一下。输入网址,点“开始检测”。
工具以谷歌蜘蛛和百度蜘蛛两个身份抓取页面并读取 robots.txt,分别给出谷歌和百度的结论。不能收录时,所有原因都会列出来:发生跳转、状态码不是 200、被 robots.txt 禁止或 robots.txt 返回服务器错误、meta 标签或 X-Robots-Tag 响应头里有 noindex、canonical 指向其他页面、不是 HTML、软 404。页面上的按钮可以直接到百度和谷歌做 site: 查询。它不能告诉你页面现在是否已被收录,这只有搜索引擎知道,请用 site: 查询或到百度搜索资源平台查看。要细查规则,用 Robots.txt 检测。
网页可收录检测怎么用
- 1输入网址
填希望被收录的完整网址。
- 2点“开始检测”
以谷歌蜘蛛和百度蜘蛛身份抓取,并读取 robots.txt。
- 3看两个结论
谷歌、百度各自给出可以收录或无法收录,以及原因。
- 4到搜索引擎核对
用 site: 查询按钮核对,改完原因再检测一次。
为什么用熊仔工匠
- 百度谷歌分开判断
规则和蜘蛛可能不同,所以给出两个结论。
- 原因全列出
跳转、状态码、robots.txt、noindex、canonical、软 404 等。
- 响应头也检查
X-Robots-Tag 和针对某个蜘蛛的 meta 标签都会读。
- site: 快捷查询
一键到百度或谷歌搜索这个网址。