网络课堂

ARTICLE

网站爬行策略

2021/9/8 20:30:01 阅读()

       网站爬行策略。全互联网是由相互链接的网站及页面组成的。从理论上说,爬虫从任何一个页面出发,沿着链接都可爬完网上的所有页面。由于网站及页面具有非常复杂的链接结构,爬虫需要采取一定的爬行策略才能爬完网上所有页面。实现一个完善的爬虫系统,爬行策略至关重要。

       爬行策略有如下几种:深度优先爬行策略是爬虫沿着发现的链接先爬取一个网页,然后一直往前爬行,爬行到前面再也没有其他链接为止,然后在返回到第一个页面,沿着另一个链接再一直往前爬行。如图1所示,爬取的顺序是A→D→E→B→C→F→G;广度优先爬行策略:是指爬虫在一个页面上发现多个网络链接时,不是沿着一个网络链接一直向前爬行,而是先把页面上同一层次链接都爬一遍,然后再沿着第二层页面上发现的链接爬向第三层页面。

       爬取的顺序是A→B→C→D→E→F→G;大站优先爬行策略是对于准备抓取地址队列中的所有网页,把其根据所属的网站进行分类,优先爬取网站的网页数量比其他多的网站。反链爬行策略是指的是一个网页被其他网页链接指向的数量,当某个网页的内容受到其他人的推荐的程度高,这种网页被优先爬取。

    济南网站制作 青岛网站制作 潍坊网站制作 聊城网站制作 济宁网站制作 临沂网站制作 威海网站制作 德州网站制作 东营网站制作 烟台网站制作 荷泽网站制作 枣庄网站制作 淄博网站制作 滨州网站制作 日照网站制作 泰安网站制作 莱芜网站制作
    网站首页 产品介绍 网站模版 网络课堂 联系我们 网站地图
    Copyright © 2011-2024 图韵网络
    鲁ICP备13019265号-5 鲁公网安备 37021302000920号

    在线客服

    Online Service

    在线咨询

    QQ 咨询

    微信客服