• 奔驰R级优惠10.7万元 少量现车火热促销 2019-07-10
  • 侯晓春会见岳剑利一行 2019-07-10
  • 辽宁:电商成为精准扶贫的“利器” 2019-07-04
  • 人人都能享用绿豆汤吗 关于绿豆汤的禁忌你得知道 2019-07-04
  • 早晨空腹饮水有利健康?正确饮水你需要知道这些 2019-07-01
  • 微博大数据:海信强势领跑世界杯“中国赞助队” 2019-06-29
  • 新疆各族群众体验端午传统文化 2019-06-28
  • 感恩消防员 “小志”成获救婴儿新小名(图) 2019-06-28
  • 5G标准出炉!与4G有啥不一样? 或1秒内下载1G电影 2019-06-26
  • 【克山天气】最新克山今天天气,实时提供克山气温、空气质量、24小时天气预报、生活指数查询 2019-06-26
  • 不管怎么讲幸福,老百姓的愿望并不奢望,就是看病不难,不贵,不需要没钱就从手术台赶 下来,只能住医院过道,房子并不要太大,能避风挡雨,子女并不要万贯家财,能有一份 2019-06-24
  • 南岸开展“幸福邻里 粽情端午”志愿服务活动 2019-06-24
  • 一语惊坛(5月9日):推动中朝友谊,造福两国人民。 2019-06-23
  • 网红主播直播违法屡屡发生 法律意识淡薄是主因 2019-06-22
  • “119”消防日大型特别节目《中国骄傲》11月9日播出 2019-06-22
  • 浅谈所谓的提权蜘蛛和降权蜘蛛  

    青海快三中奖号码 www.yhxn.net 2019-06-01 16:50 发布

    2486 0 0
      浅谈所谓的提权蜘蛛和降权蜘蛛?之前在SEO深度解析中有看到过降权蜘蛛和提权蜘蛛,即如果抓取你网站的蜘蛛IP是降权蜘蛛的IP,那你的网站就是被降权了;反之,抓取你网站的蜘蛛IP为提权蜘蛛的IP,那你的网站权重较高。
      
      该书作者痞子瑞对此问题也表示不能肯定,然而百度LEE团队官方曾经在百度站长平台公开回答过该问题,并明确的否认了。当然,百度还不承认有百度权重,然而确实有,呵呵。
      官方的答复不可不信,也不可全信。今天又看《走进搜索引擎》,发现可能真的有所谓的提权蜘蛛和降权蜘蛛。
      搜索引擎工作过程中,在抓取环节,有一个重要性网页优先抓取的策略,其实很好理解,搜索引擎需要抓取的新网页和每天重访的网页规模都是巨大的,为保证更重要的网页能够优先抓取,使得在时效性和权威性上获得满意的效果,就需要对重要性网页进行优先抓取。(这不就是百度权重高的网站吗?)
      同时,在抓取环节,还有一个抓取提速策略,通过增加同时工作的爬虫(即蜘蛛)数量。在多个蜘蛛抓取的情况下,需要按照域名来分解任务,使特定的爬虫抓取特定的域名下的网页。
      在域名分配的同时,要保证每个蜘蛛的工作量相等;如默认正常网站的规模为普通水准,抓取工作量一般;而重要性高的网站,通常其网站规模庞大,内容丰富,抓取工作量较大;但是网站被降权的网站通常使用大量垃圾内容作弊来获取排名,其网站规??隙ㄒ步洗?,抓取工作量也较大。
      假设:1*重要性网站=2*普通网站=1*作弊网站,那么蜘蛛抓取工作量体系结构类似于:
      spider1抓取重要性高的域名A
      spider2抓取普通网站B和C
      spider3抓取作弊网站的域名D
      则spider1为提权蜘蛛,spider3为降权蜘蛛。
      因为蜘蛛不光要抓取,还要返回抓取的网页结果和新的URL,而URL的重要度会影响URL的抓取优先度,所以高权重网站上的URL是不能和普通网站、作弊网站上的URL放在一起的,因此为提高蜘蛛的工作效率,同一个蜘蛛肯定不会同时抓取不同重要度的网站。
      至于考核蜘蛛(即沙盒蜘蛛)、劣质文章蜘蛛等什么乱七八糟的蜘蛛,应该是不存在的。
      谷歌的沙盒期是会对新网站正常抓取,只是不会放出或者不会给予好的排名罢了,不关人家蜘蛛的事情。
      至于劣质文章蜘蛛,蜘蛛是按照域名来划分工作,那可能就是降权了,要不就是想多了。
      对了,如果百度真的存在提权蜘蛛和降权蜘蛛的话,谷歌应该也有,毕竟搜索引擎工作原理是一样的。


    *滑块验证:
    您需要登录后才可以回帖 登录 | 网贷社区—注册

    本版积分规则

    kbyphkbyph
    优秀作品:18 作者粉丝:0 关注数量:0 拥有金豆:0 荣誉值数:0
    • 售后服务
    • 关注我们
    • 社区新手
    关闭

    站长推荐上一条 /1 下一条

    快速回复 青海快三中奖号码 返回列表
  • 奔驰R级优惠10.7万元 少量现车火热促销 2019-07-10
  • 侯晓春会见岳剑利一行 2019-07-10
  • 辽宁:电商成为精准扶贫的“利器” 2019-07-04
  • 人人都能享用绿豆汤吗 关于绿豆汤的禁忌你得知道 2019-07-04
  • 早晨空腹饮水有利健康?正确饮水你需要知道这些 2019-07-01
  • 微博大数据:海信强势领跑世界杯“中国赞助队” 2019-06-29
  • 新疆各族群众体验端午传统文化 2019-06-28
  • 感恩消防员 “小志”成获救婴儿新小名(图) 2019-06-28
  • 5G标准出炉!与4G有啥不一样? 或1秒内下载1G电影 2019-06-26
  • 【克山天气】最新克山今天天气,实时提供克山气温、空气质量、24小时天气预报、生活指数查询 2019-06-26
  • 不管怎么讲幸福,老百姓的愿望并不奢望,就是看病不难,不贵,不需要没钱就从手术台赶 下来,只能住医院过道,房子并不要太大,能避风挡雨,子女并不要万贯家财,能有一份 2019-06-24
  • 南岸开展“幸福邻里 粽情端午”志愿服务活动 2019-06-24
  • 一语惊坛(5月9日):推动中朝友谊,造福两国人民。 2019-06-23
  • 网红主播直播违法屡屡发生 法律意识淡薄是主因 2019-06-22
  • “119”消防日大型特别节目《中国骄傲》11月9日播出 2019-06-22
  • 七乐彩走势图1 双色球基本走势图删除 捕鱼机遥控器视频 彩客网双色球推荐号 双色球带坐标连线表图 3d村中国福利彩票3 体彩顶呱刮中奖彩票 广西快3彩经网 广东新11选5直播 平特精版料资料 重庆幸运农场历史开奖记录查询表 体彩河南11选5 福彩黑龙江p62 吉林省彩票中心电话 4399诈金花