客服
谷歌针对智能手机推出的新型Googlebot
来自谷歌博客消息：原来谷歌抓取移动设备的蜘蛛统称为Googlebot移动版，谷歌分析称受此项更新影响的网址不到0.001%，而此项更新可让站长更好地控制对其内容的抓取和编入索引操作。
由于功能手机和智能手机的功能存在很大差异，站长一旦屏蔽了Googlebot那么移动版的则全部屏蔽。而这次谷歌称：谷歌将针对智能手机的新型Googlebot用户代理。绵阳网站建设推荐阅读>>> robots是什么？---探测器，
这个蜘蛛大概是未来3、4周后开始工作，且不再将针对智能手机的“Googlebot-Mobile”用作用户代理。之后，针对智能手机的用户代理将直接使用“Googlebot”进行标识。这样即使屏蔽了功能手机的收录，但针对智能手机的优化不会有影响。
针对智能手机的新型Googlebot用户代理：
Mozilla/5.0 （iPhone; CPU iPhone OS 6_0 like Mac OS X） AppleWebKit/536.26 （KHTML, like Gecko） Version/6.0 Mobile/10A5376e Safari/8536.25 （compatible; Googlebot/2.1; +http://www.google.com/bot.html）
针对智能手机的Googlebot-Mobile用户代理（即将停止使用）：绵阳做网站推荐阅读>>> robots.txt文件的重要作用意义，
Mozilla/5.0 （iPhone; CPU iPhone OS 6_0 like Mac OS X） AppleWebKit/536.26 （KHTML, like Gecko） Version/6.0 Mobile/10A5376e Safari/8536.25 （compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html）
请注意此项用户代理更新带来的以下重大影响：针对智能手机的新型Googlebot抓取工具将遵从Googlebot（而非Googlebot-Mobile）的robots.txt指令、robots元标记指令和HTTP header指令。例如，使用新型抓取工具后，以下robots.txt指令将屏蔽针对智能手机的新型Googlebot用户代理以及常规Googlebot执行的所有抓取操作：
User-agent: Googlebot
Disallow: /
以下robots.txt指令将屏蔽Google的功能手机抓取工具执行的抓取操作：
User-agent: Googlebot-Mobile
Disallow: /
作者：卢松松（微信LuSongSong），转载请保留出处！
相关文章：
-
User-agent: * Disallow: / Allow: /complain/ Allow: /media_partners/ Allow: /about/ Allow: /user_agreement/ User-agent: ByteSpider Allow: / User-agent: ToutiaoSpider Allow: / 以上是今日头条的robots.txt，禁止所有搜索引擎收录，同时又...
-
有同学问百度站长学院一个关于robots的问题：我们有个站点的目录结构使用的是中文，这样式儿的：www.a.com/冒险岛/123.html，那在制作robots文件和sitemap文件的时候，可以直接使用中文吗？百度能...
-
robots文件是搜索生态中很重要的一个环节，同时也是一个很细节的环节。很多站长同学在网站运营过程中，很容易忽视robots文件的存在，进行错误覆盖或者全部封禁robots，造成不必要损失！ 那...
-
目前百度图片搜索也使用了与百度网页搜索相同的spider，如果想禁止Baiduspider抓取网站上所有图片、禁止或允许Baiduspider抓取网站上的某种特定格式的图片文件可以通过设置robots实现：绵阳广告...
-
对于百度搜索引擎来说，蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多、内容类同但url不同的动态URL ，就像一个无限循环的黑洞，将spider困住。spider浪费了大量资源抓取的却是无效网...
-
robots是站点与spider沟通的重要渠道，站点通过robots文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意，仅当您的网站包含不希望被搜索引擎收录的内容...
-
亲爱的网站管理员， 很高兴的告诉大家，百度站长平台 robots 工具全新升级，升级后能够实时查看网站在百度中已生效的的robots文件，并支持对robots进行语法及逻辑校验，有助于站长更清晰的...
-
资料一 1.robots.txt文件是什么 robots.txt是一个纯文本文件，是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。每个站点最好建立...
-
robots.txt文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示： field:optional spacevalueoptionalspace 在该文件中可以使用#进行注解，具体使...
-
搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信 息。您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot 访问的部分，这...
- 上一篇：搜索引擎统一Robots文件标准
- 下一篇：Robots.txt文件