可抓取性是不是指机器人规则、状态码和抓取路径能否让爬虫到达页面？

定义

可抓取性是指机器人规则、状态码和抓取路径允许爬虫到达该页。如果其中某个信号挡住了路径，这项检查里的页面就不可抓取。

短答

可抓取性问的是机器人规则、状态码和抓取路径是否允许爬虫到达页面。这里的可达性说的是路径，不是未来的位置。

要检查什么

• 查看该网址的机器人规则
• 查看该网址返回的状态码
• 追踪抓取路径能否到达
• 这三项信号都要检查

它不声称什么

一个可抓取的网址不保证会被索引，也不保证获得搜索名次。Mika 不保证合格的机器人规则、状态码和抓取路径就会把页面放进结果。

一个结构示例

假设机器人规则允许该网址，状态码没有挡住页面，内部抓取路径也能通向它。这三项信号就是可抓取性的含义，其中任何一项被挡住，都意味着爬虫可能到不了该页。