客服
利用robots.txt禁止百度蜘蛛Baidusppider抓取
User-agent: *Disallow: /Allow: /complain/Allow: /media_partners/Allow: /about/Allow: /user_agreement/User-agent: ByteSpiderAllow: /User-agent: ToutiaoSpiderAllow: /
以上是今日头条的robots.txt，禁止所有搜索引擎收录，同时又允许字节蜘蛛、头条蜘蛛抓取。比较牛，不依靠其他搜索引擎，和淘宝一样！
robots协议文件屏蔽百度蜘蛛抓取
robots协议是一个放在网站根目录下协议文件，可以通过URL地址：http://你的域名/robots.txt进行访问。当百度蜘蛛抓取我们网站时，会先访问这个文件。因为里面告诉了蜘蛛哪些可以抓取，哪些不可以抓取。
robots协议文件的设置比较简单，可以通过User-Agent、Disallow、Allow这三个参数进行设置。
User-Agent：对不同搜索引擎的声明；
Disallow：不允许抓取的目录或页面；
Allow：允许抓取的目录或页面，一般可以省略不写，因为你不写什么是不可以抓的那就都是可以抓的；
下面我们来看一个示例，场景是我不希望百度抓取我网站所有的css文件，data目录、seo-tag.html页面
User-Agent: Baidusppider
Disallow: /*.css
Disallow: /data/
Disallow: /seo/seo-tag.html
如上，user-agent声明的蜘蛛名称，这个意思也就是说，针对百度蜘蛛。下面不能抓取”/*.css”，首先前面的/指的是根目录，也就是你的域名。*是通配符，代表任意内容。其意思就是所有文件，以.css结尾的都不能抓取。下面两个你自己体会吧。逻辑是一样的。
相关文章：
-
帝国CMS是什么程序 帝国CMS是一套开源的静态页面程序，凭借超高的扩展性，很多知名的新闻站点、行业站点都是应用的帝国CMS后端。因为帝国CMS和dedecms一样都是生成静态页面的，所以非常利于...
-
域名解析DNS分为显性URL和隐形URL，显性URL和隐形URL有什么区别？隐形URL和显性URL哪个更有利于SEO？显性URL相当于域名了302重定向，隐形URL使用iframe框架技术隐藏真实目标地址，显性URL更有利于...
-
在常见的CMS系统中，我对dedecms算是比较熟悉的，自己网站用的也是这个系统。系统功能强大使用灵活，相信这也是它受到大多数中小站长青睐的原因。 再好的系统也有照顾不周的地方，很多站...
-
这篇文章主要为大家详细介绍了dedecms后台增加php导出excel功能实现办法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下,有需要的朋友可以收藏方便以后借鉴。 不少朋友希望织梦的后台...
-
第一次使用的插件是 pdfobject.js 百度网盘下载地址：http://pan.baidu.com/s/1kUPhYdT 加载 script src=/style/js/pdfobject.js /script script type=text/javascript window.onload = function (){ var success = new PDFObject({ url: pdf文件地...
-
网上有一种方法是copy+unlink来移动文件，但是遇到大文件时会消耗大量时间，对性能不怎么友好，可以使用rename()来移动文件，速度非常快 关于rename()函数 bool rename ( string $oldname , string $newname...
-
基于我们公司可选的几种推广方式： 一、关键词优化排名推广（推荐） 指定关键词推广，按天付费，推广我们业务中最重要的一些关键词，达到百度首页才收费，大概一个关键词10元/天左右。...
-
插件介绍 wordpress程序网站在发布文章时可以给每一片文章添加与之相关的TAG标签，对于TAG标签可以生成很多页面，增加搜索引擎对内容的抓取量。 WP Auto Keywords插件就是一款能自动给文章添加...
-
5.7 生成列表页 改动 include/arc.listview.class.php 1.先设置 关闭副栏目（在系统----系统基本参数性能选项里） 2.一般网站不需要 栏目交叉 交叉 所以 找到94行注释掉： //获得交叉栏目ID /*if($this-Type...
-
使用preg_replace将删除所有空白(包括制表符等) $string = user na me $string = preg_replace(/\s+/, , $string); echo $string; // username preg_replace(/\s/u, ,$string) u (PCRE8) 此修正符打开一个与perl不兼容的附加功能. 模式...