您的位置: liesouyun.com > 常见问题 >

网站优化外包必知网络爬虫抓取策略

来源:liesouyun.com 发布时间: 2019-07-25 15:19

互联网信息大爆炸,人们不满足于仅仅依靠开放目录等传统方式在网络上寻找一些东西,为了满足不同的人的不同需求,于是出现了网络爬虫。网络爬虫,是指按照一定的规则、自动抓取互联网上信息的程序组件或脚本程序。在搜索引擎中,网络爬虫就是搜索引擎发现和抓取文档的自动化程序。网络爬虫是百度seo优化公司人员应该学习的基础知识之一,认识和理解网络爬虫有助于更好地优化网站。


我们知道搜索引擎架构的两个目标是效果和效率,这同样也是对网络爬虫提出的要求。面对亿级网页数量,重复内容很高,在SEO行业重复率可能在50%以上,网络爬虫面临的问题是为了提高效率和效果,就需要在一定的时间内获得更多有高质量页面,摒弃那些原创度低、复制内容、拼接内容等页面。

一般来讲,网络爬虫抓取策略分为三种:a、广度优先:搜索完当前页面所有链接,才开始进入下一层;b、最佳优先,根据一定的网页分析算法,比如链接算法和页面加权算法等,优先抓取更具有价值的页面;c、深度优先,顺着一个链接一直爬行,直到某一页面再也没有链接,再开始爬行另外一条。但是一般都是从种子网站开始抓取,如果采用这种形式可能会造成抓取的页面质量越来越低,所以这种策略使用较少。网络爬虫有很多种类,下面百度seo优化公司小编简单介绍常见几种:

1)通用网络爬虫

通用网络爬虫,又称为“全网爬虫”,从一些种子网站开始爬行,逐步扩展到整个互联网。

通用网络爬虫策略:深度优先策略和广度优先策略。

2)聚焦网络爬虫

聚焦网络爬虫,又称为“主题网络爬虫”,预先选择一个(或几个)相关主题,仅爬行并抓取这一类的相关页面。

聚焦网络爬虫策略:聚焦网络爬虫增加了链接和内容评价???,所以其爬行策略的关键是评价页面的链接和内容后再进行爬行。

3)增量式网络爬虫

增量式网络爬虫,是指对已经收录的页面进行更新、爬行新页面和发生变化的页面。

增量式网络爬虫策略:广度优先策略和PageRank优先策略等。

4)Deep Web爬虫

搜索引擎蜘蛛可以爬行并抓取的页面称之为“表层网页”,某些不能通过静态链接获得的页面称之为“深层网页”,Deep Web爬虫就是抓取深层网页的爬虫体系。


                                        1. 药品集中采购患者得到哪些实惠 价低质优是常态 2020-02-21
                                        2. 药品带量采购重塑行业格局 大批医药代表面临淘汰 2020-02-21
                                        3. 药农不种,药商囤货……中药快吃不起了 2020-02-21
                                        4. 药企纷纷出售资产“避寒” 2020-02-21
                                        5. 药价降了,负担轻了(健康焦点) 2020-02-21
                                        6. 药价分厘必争,彰显为民情怀(人民时评) 2020-02-21
                                        7. 药丸掰开吃、换季洗血管这些用药误区得当心!  2020-02-21
                                        8. 荣获年度塞萨尔奖精品酒店的魅力 2020-02-21
                                        9. 荣膺全国爱国主义教育示范基地br中国侨博馆举行揭牌仪式暨“侨爱中华”故事会 2020-02-21
                                        10. 荣耀指数级创新凸显手机跳级进化变迁 2020-02-21
                                        11. 荣耀V10发布会看点汇总:这些亮点不容错过! 2020-02-21
                                        12. 荣耀2019共赢2020 2019年年会暨下半年度贝壳英雄大会·常州站圆满落幕新闻中心中国常州网 常州第一门户网 常州龙网 常州日报 常州晚报 2020-02-21
                                        13. 理念层面讨论多 具体业务应用少 金融科技原始创新还需加把劲 2020-02-19
                                        14. 理上网来·理论新境界 2020-02-19
                                        15. 理上网来·奋进新时代 2020-02-19