怎样创建自己的博客 - 核对抓取限制的协作交付方法
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /04287c547a34.html
📄
怎样创建自己的博客 - 核对抓取限制的协作交付方法
核对抓取限制，就是确认搜索引擎能否正常访问你博客的页面、资源与栏目结构，并把结论写成多人可复核的记录。在多人协作的博客项目里，这一步最容易返工：有人改了 robots 文件，有人加了登录门槛，有人调了 CDN 规则，最后没人说得清页面到底还能不能被抓取。把核对拆成准备、实施、验证、维护四段，每段都有明确的交付物，才能减少扯皮。
准备阶段：先固定核对范围和责任人
抓取限制不是一个开关，而是多条规则的叠加。开始核对前，先列出博客里需要被抓取的对象：文章页、列表页、标签页、图片与样式脚本等静态资源、站点地图。再明确每一项由谁负责、改动前是否需要记录。
- 确认 robots.txt 的当前内容，保存一份带日期的副本。
- 确认服务器或 CDN 是否对特定 User-Agent 返回不同于普通访客的状态码。
- 确认文章页、列表页有没有被 meta robots 或 HTTP 响应头设置了 noindex、nofollow。
- 确认站点地图地址是否写在 robots.txt 中，且地图内链接可访问。
准备阶段最关键的一步是把“谁改了哪条规则”变成可追溯的文本记录。多人协作时，口头约定几乎必然失效。建议在项目仓库里放一份抓取配置说明，每次改动附上改动人、改动时间、改动原因。
实施阶段：逐层检查可能拦截抓取的规则
核对时从外到内逐层看，不要跳步。第一层是 robots.txt：它是否禁止了整站或某个目录。第二层是页面级指令：文章页的 HTML 头部是否有阻止索引的标签。第三层是服务端：是否对搜索引擎的访问返回 403、429 或跳转到登录页。第四层是资源：图片、CSS、JS 是否也被禁止抓取，因为资源被拦会影响页面理解。
这里要区分“可能原因”和“已经定位的原因”。例如某篇文章没有被抓取，可能原因包括 robots 禁止、服务端限流、内链太少、页面刚发布还没被发现，不能只凭一个现象就断言是某条规则造成的。核对的价值在于逐项排除，而不是猜一个结论。
如果使用命令行核对，可以借助 curl -I 查看响应头，确认返回状态码和 X-Robots-Tag。注意这只是核对手段之一，不同搜索引擎和不同抓取工具的请求方式可能不同，结论要以实际返回内容为准。
验证阶段：用可复核的证据代替口头确认
验证的核心是留下证据。每次核对后，记录以下检查项和判断结果：
- 请求某个文章页，返回状态码是 200 还是 403、404、301。200 表示可正常访问，403 表示被拒绝，需要查服务端规则。
- 查看响应头中是否出现
X-Robots-Tag: noindex。出现则说明该页被明确要求不索引。 - 查看页面 HTML 中是否有
<meta name="robots" content="noindex">。有则说明页面级指令在起作用。 - 检查 robots.txt 中是否有
Disallow: /或针对具体目录的禁止行。有则说明抓取被规则限制。 - 检查站点地图中的 URL 是否都能返回 200，且与当前栏目结构一致。
假设一个场景：团队把博客从测试域名切到正式域名后，发现部分文章迟迟没有出现在搜索结果里。核对时先看 robots.txt 是否还写着禁止测试目录的规则，再看服务端是否对旧域名的跳转做了限制。这里只是假设示例，实际结论必须来自你自己的检查记录。验证阶段还要注意，一次改动前后比较要考虑季节、搜索需求变化和数据采集差异，不能把短期波动直接归因于某次修改。
维护阶段：把核对变成固定交付项
抓取限制会随着栏目调整、插件更新、CDN 策略变化而改变。维护的做法不是每天重查一遍，而是在以下时点强制核对：上线新栏目、更换域名或服务器、调整 robots.txt、安装或更新可能影响输出的插件、批量修改文章模板。每次核对后更新同一份记录，旧记录保留，便于对比。
多人协作时，建议把抓取核对列为发布清单的一项，并指定一人做最终确认。确认内容包括：robots.txt 内容、代表性文章页状态码、站点地图可访问性、是否存在 noindex 指令。确认完成后，把记录链接发给协作者，而不是只在聊天里说一句“没问题”。
下一步，你可以打开自己博客的 robots.txt 和任意一篇已发布文章，按上面的检查项逐条记录当前状态，形成第一份基线。之后每次改动配置，都拿新结果与这份基线对比，返工和扯皮会明显减少。
