蜘蛛搜索，全称为搜索引擎蜘蛛，是搜索引擎的一个自动程序，这个名称源于它将互联网比喻成蜘蛛网，将机器人比喻成了在网上爬行的蜘蛛，它的主要任务是访问互联网上的网页、图片、视频等内容，建立索引数据库，使用户能在搜索引擎中搜索到相关网站的内容，当蜘蛛程序发出页面访问请求后，服务器会返回HTML代码，蜘蛛程序会把收到的代……
