网页抓取

蜘蛛抓取是搜索引擎收集数据的过程，这个过程也被称为爬行和访问页面。搜索引擎的蜘蛛程序访问网站类似于我们浏览网站，服务器会返回HTML代码，蜘蛛程序会把代码存入原始页面数据库。 这个过程也可以理解为蜘蛛爬行就像司令部放出去的收集情报员一样。 谷歌和其他搜索引擎用来扫描网页的软件就被称为爬行器或蜘蛛。 网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 谷歌官方解释是——“抓取”是指找出新网页或更新后的网页以将其添加到谷歌中的过程。

百度抓取模式是指搜索引擎蜘蛛在爬取网站时，对网站内容的理解和处理方式。具体来说，搜索引擎蜘蛛会先与网站的首页进行交互，拿到网站首页之后会对页面进行理解，理解包含(类型、价值计算),其次会把网站首页的所有超链接提取出来。

“百度快照”是百度在抓取网站数据时，对收录页面进行拍照并存储形成的数据副本，是一种网页缓存处理方式。当用户遇到服务器故障或网络堵塞时，可以通过此功能快速浏览页面文本内容。即使网页链接被删除或者域名失效，通过百度的历史快照仍然可以找到相关内容。