内链外链 - 日志中应该核对哪些字段
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /a603cac5ec4f.html
📄
内链外链 - 日志中应该核对哪些字段
日志中应优先核对能区分“谁抓了、抓了什么、结果如何、是否继续”的字段：请求时间、客户端IP或反向解析主机名、请求方法、完整URL、状态码、响应字节数、User-Agent、Referer，以及抓取耗时。内链和外链排查的关键，是把这些字段与页面上的链接路径对应起来，判断搜索引擎是否发现了链接、是否抓取了目标URL、抓取是否成功。
准备：先确认日志格式与字段位置
不同服务器和CDN输出的字段顺序不同。常见组合日志格式大致为：
客户端IP - - [时间] "请求方法 完整URL 协议" 状态码 响应字节数 "Referer" "User-Agent"
先找到字段分隔方式，再决定用哪几列筛选。若日志经过CDN或负载均衡，客户端IP可能显示为节点IP，真实访客IP在额外头部字段中。此时不能只用第一列IP判断搜索引擎抓取。
- 时间：用于把抓取行为与内容更新时间、链接上线时间对照。
- 完整URL：核对内链指向的路径是否被请求，外链落地页是否被访问。
- User-Agent：识别抓取来源，但要结合IP和状态码判断，不能只凭UA下结论。
- Referer：辅助判断外链来源或站内跳转路径，缺失不代表链接无效。
实施：内链排查要核对哪些字段
内链问题通常表现为目标页长期不被抓取，或抓取到错误URL。核对时按以下顺序看：
- 用完整URL筛选目标页路径，确认日志中是否出现过该URL。
- 看状态码：200表示正常返回；301或302表示发生了跳转；404表示链接指向了不存在的地址；5xx表示服务器端失败。
- 看请求方法：GET通常是正常抓取；HEAD只取头部，不加载正文。
- 看响应字节数：若状态码为200但字节数极小，可能是空页面、错误模板或软404。
- 看Referer：若来自站内页面，可辅助判断内链路径是否被跟随。
如果目标URL从未出现在日志中，可能原因包括：链接未被发现、链接位于需要交互才加载的区域、robots.txt限制了抓取、页面本身未被抓取。robots.txt的抓取限制不等于可靠的索引移除，它只约束抓取行为，不能替代noindex或删除操作。判断时先看目标URL是否被请求，再看是否被允许抓取。
实施：外链排查要核对哪些字段
外链排查关注的是外部来源是否把抓取引到目标页，以及目标页返回了什么。核对字段包括：
- Referer：是否出现外部域名，用于判断外链是否带来访问或抓取。
- 完整URL：确认落地页是目标地址，而不是重定向后的其他地址。
- 状态码：外链指向的URL若返回404或5xx，说明链接目标已失效或服务异常。
- User-Agent：区分普通浏览器访问与搜索引擎抓取。
- 响应字节数：辅助判断返回内容是否完整。
外链的Referer可能因隐私策略、跳转方式或HTTPS到HTTP的降级而被省略。没有Referer不等于外链不存在。更可靠的判断是：在日志中查目标URL是否被外部来源请求，再结合状态码和响应内容确认。
验证：把日志字段与页面链接对照
取一个具体页面，列出它包含的内链和外链目标URL，然后在日志中逐个搜索。判断规则如下：
- 目标URL出现且状态码为200：抓取成功，继续看响应字节数和内容是否正常。
- 目标URL出现但状态码为301或302：确认跳转终点是否是期望页面。
- 目标URL出现但状态码为404：链接地址写错或页面已删除。
- 目标URL未出现：可能未被发现、被robots.txt限制、或页面本身未被抓取。
站点地图不保证收录，它只是提交URL的方式之一。日志中未出现某URL，不能直接推断站点地图无效，应先确认该URL是否被允许抓取、是否有内链指向、是否返回正常状态码。
维护：建立可重复的核对清单
把核对动作固定为短清单，每次内容更新或链接调整后执行：
- 导出目标时间段日志，按完整URL筛选新增或修改的链接目标。
- 记录状态码、响应字节数、User-Agent和Referer。
- 对未出现的URL，检查robots.txt、页面可访问性和内链位置。
- 对外链目标，检查是否返回404、5xx或异常跳转。
- 把确认结果与页面链接清单对照，标记需要修复的条目。
下一步：选一个当前最关心的目标页，从日志中筛出它的全部请求记录，按状态码和User-Agent分组，确认内链和外链是否真正把抓取引到了正确地址。
