解读robots文件与优化的关系
文章来源：周口中原传媒有限公司 浏览次数：1641次 发布日期：2012.12.19
首先我们要明白什么是robots是什么？其实说白了robot文件和浏览者没有任何的关系，这个文件时放在网站程序的根目录的，是针对蜘蛛而做的一个文件，在这个文件里设置的有蜘蛛可以抓取的页面，可以访问的页面，不可以访问的页面，等等都是在这个文件里面设置的，比如说，Disallow: /目录名1/ 这就是不允许爬行蜘蛛不能访问目录名1文件夹面的所有文件，在这文件夹里面所有的文件都不会被百度蜘蛛抓取，同样的我们也可以设置多个这样的文件，比如说：Disallow: /目录名1/ ，Disallow: /目录名1/ ，Disallow: /目录名2/ ，Disallow: /目录名3/ 这里的设置就是说不允许蜘蛛抓取目录名1、目录名2、目录名3、等等，我们这里设置了不能抓取一个文件夹的内容，那么我们怎么设置不让他抓取一个网站的内容呢？那么我们可以设置百度蜘蛛不能访问，比如说：User-agent: Baiduspider，这里的设置就是说不允许百度蜘蛛抓取网站的所有内容，除了这样的设置以外我们换可以设置网站只能访问那个根目录,比如说：Allow：/目录名/运行访问“目录名”，以上就是robot与优化的关系
下一篇: 关于召开2013年周口中原传媒有限公司乒乓球比赛的通知上一篇: 公司业务新拓展，服务拓展至省外
