当前您的位置:济南网站优化 > 新闻资讯 > robots协议_小塞SEO术语解析

robots协议_小塞SEO术语解析

  • 文章来源:robots协议
  • 文章作者:seo术语竞价排名
  • 2019-10-09

  • 118

      前面的文章中我们了解了搜索引擎的概念和蜘蛛程序的运行原理,我们了解了搜索引擎是通过蜘蛛程序抓取我们的网站页面,继而筛选收录和排名的。那么当我们的网站有些页面不想被搜索引擎抓取收录那该怎么办呢?今天济南网站排名优化就跟大家讲一讲robots协议。

  Robots协议是什么?

  Robots协议是搜索引擎蜘蛛抓取网站时,第一个访问的文件,因此robots协议可以告诉蜘蛛程序我的网站上哪些文件是可以被查看的,哪些文件是不希望被查看。当蜘蛛程序访问网站时,首先检查该网站根目录下是否存在robots协议,如果存在,搜索引擎蜘蛛会按照协议要求来对网站内容进行抓取;如果不存在,搜索蜘蛛的访问将不受限制。

百度robots生成

  Robots协议的原则

  Robots协议是国际互联网界通行的道德规范,基于以下原则建立:

  1、网站管理者有义务保护用户的个人信息和隐私不被侵犯。

  2、搜索技术应服务于人类,同时尊重信息提供者的意愿,并维护其隐私权;

  注意:

  robots协议限制搜索引擎机器人(Robots)抓取站点内容的办法只是一种规则,需要搜索引擎机器人的配合才行,并不是每个搜索引擎都遵守的,2012年360搜索就曾出现过违反robots协议的案例。不过,目前看来,绝大多数的搜索引擎机器人都遵守robots.txt规则。

相关教程文章:SEO是什么 | SEO术语 | SEO基础知识 | SEO工具 | 发外链 | 伪原创 | 百度统计 | 百度站长平台 | 百度算法 | | 白帽SEO | 灰帽SEO | 黑帽SEO | 快排技术 | 站长工具| 数据分析 | SEO工作流程  | SEO书籍 | SEO博客推荐 | SEO案例分析 |