西安做网站公司|西安网站设计制作|西安网站建设|古月建站
当前位置:古月建站 > 新闻资讯 > 网站优化 >

网络爬虫的分类和策略

发表日期:2019-06-18文章编辑:admin浏览次数: 标签: 西安网站建设西安网站设计西安网站制作    

  网络爬虫是SEO人员应该学习的基础知识之一,认识和理解网络爬虫有助于更好地优化网站。今天,SEO百科网带来的是《网络爬虫的分类和策略分别是什么-什么是搜索引擎》。希望对大家有所帮助。
  
  一、网络爬虫是什么?
  
  网络爬虫,是指按照一定的规则、自动抓取互联网上信息的程序组件或脚本程序。在搜索引擎中,网络爬虫就是搜索引擎发现和抓取文档的自动化程序。
  
  二、网络爬虫产生的背景
  
  互联网信息大爆炸,人们不满足于仅仅依靠开放目录等传统方式在网络上寻找一些东西,为了满足不同的人的不同需求,于是出现了网络爬虫。
  
  三、网络爬虫面临的问题
  
  在上一篇文章《搜索引擎的基本架构》中提到的,搜索引擎架构的两个目标是效果和效率,这同样也是对网络爬虫提出的要求。面对亿级网页数量,重复内容很高,在SEO行业重复率可能在50%以上,网络爬虫面临的问题是为了提高效率
  
  和效果,就需要在一定的时间内获得更多有高质量页面,摒弃那些原创度低、复制内容、拼接内容等页面。
  
  PS:当然,在大网站发布出来的文章,尤其大站效应,尽管不是首发,但依然排名很好,甚至比首发站排名还好。
  
  四、网络爬虫的分类和策略
  
  网络爬虫有很多种类,错误君简单介绍以下几种:
  
  1)通用网络爬虫
  
  通用网络爬虫,又称为“全网爬虫”,从一些种子网站开始爬行,逐步扩展到整个互联网。
  
  通用网络爬虫策略:深度优先策略和广度优先策略。
  
  2)聚焦网络爬虫
  
  聚焦网络爬虫,又称为“主题网络爬虫”,预先选择一个(或几个)相关主题,仅爬行并抓取这一类的相关页面。
  
  聚焦网络爬虫策略:聚焦网络爬虫增加了链接和内容评价模块,所以其爬行策略的关键是评价页面的链接和内容后再进行爬行。
  
  3)增量式网络爬虫
  
  增量式网络爬虫,是指对已经收录的页面进行更新、爬行新页面和发生变化的页面。
  
  增量式网络爬虫策略:广度优先策略和PageRank优先策略等。
  
  4)Deep Web爬虫
  
  搜索引擎蜘蛛可以爬行并抓取的页面称之为“表层网页”,某些不能通过静态链接获得的页面称之为“深层网页”,Deep Web爬虫就是抓取深层网页的爬虫体系。
  
  小结:一般来讲,网络爬虫抓取策略分为三种:
  
  a、广度优先
  
  搜索完当前页面所有链接,才开始进入下一层。
  
  b、最佳优先
  
  根据一定的网页分析算法,比如链接算法和页面加权算法等,优先抓取更具有价值的页面。
  
  c、深度优先
  
  顺着一个链接一直爬行,直到某一页面再也没有链接,再开始爬行另外一条。但是一般都是从种子网站开始抓取,如果采用这种形式可能会造成抓取的页面质量越来越低,所以这种策略使用较少。
更多相关信息:    
在百度搜索网络爬虫的分类和策略的信息    在360搜索网络爬虫的分类和策略的信息
在搜搜搜网络爬虫的分类和策略的信息    在搜狗搜索网络爬虫的分类和策略的信息
在必应搜索网络爬虫的分类和策略的信息    在雅虎搜索网络爬虫的分类和策略的信息
相关新闻

更改页面URL,对SEO有什么鲜为人知的影响?

链接对于网站排名而言,仍然是一个非常重要的影响指标,它包括:外链与内链,而其中,对...

日期:2019-09-16 浏览次数:186

浅谈百度SEO快排是什么、原理、如何判断及应对

前言:以前我说过不准备写这个快排,一是我自己的网站没有操作过所谓的快排 ,二是我并不...

日期:2019-09-16 浏览次数:67

seo不可或缺的诊断分析

1.是否有站内搜索 站内搜索对于一个内容丰富的网站是不可或缺的,便于用户流量网站快捷查...

日期:2019-09-16 浏览次数:199

SEO优化将网站做到首页 需要多少外链支持?

对于SEO而言,网站页面排名第一,是每个SEO人员的终极目标,我们每天花费大量的心思,绞尽...

日期:2019-09-16 浏览次数:55

百度只收录网站首页不收录内页的解决方案

相信很多站长都遇到这个问题了吧,百度只收录首页不收录其他页面,特别是新站开始推广的...

日期:2019-09-16 浏览次数:111

做网络推广该如何分析并解决常遇到的问题

今天然然给大家说说优化人员会遇到的SEO相关问题。 一、为什么网站的排名上不去? 当网站的...

日期:2019-09-16 浏览次数:54