WordPress Robots.txt怎么写

robots.txt是一个放在网站根目录的文本协议,它是搜索引擎进入网站的必经之路,robots文件能告知进入网站的搜索引擎spider,网站中哪些网站是允许爬取,哪些禁止爬取。

robots的语法很丰富,最常用的两个命令有两个:User-Agent和Disallow。

User-Agent:适用下列规则的漫游器,一般常写为:

User-agent:*

星号*表示面对所有搜索引擎爬虫spider程序,比如Google的“Googlebot”,百度的“Baiduspider”。

Disallow:要拦截的网页,即不允许搜索引擎访问和索引的目录。robots文件中至少要有一个Disallow,如果都允许收录,则写:
Disallow: ,如果都不允许收录,则写:Disallow: / (注:只是差一个斜杆)。Disallow的用法非常多,具体如下:

1、屏蔽spider捉取程序文件,同时也节约了搜索引擎蜘蛛资源。

Disallow:/wp-admin/

Disallow:/wp-content/

Disallow:/wp-includes/

2、每个默认的文章页面代码里,都有一段trackback的链接,如果不屏蔽让蜘蛛去捉取,网站会出现重复页面内容问题。

Disallow:/*/trackback

3、头部代码里的feed链接主要是提示浏览器用户可以订阅本站,而一般的站点都有RSS输出和网站地图,故屏蔽搜索引擎捉取这些链接,节约蜘蛛资源。

Disallow:/feed

Disallow:/*/feed

Disallow:/comments/feed

4、屏蔽捉取站内搜索结果。站内没出现这些链接不代表站外没有,如果收录了会造成和TAG等页面的内容相近。

Disallow:/?s=*

Disallow:/*/?s=*

5、屏蔽留言链接插件留下的变形留言链接。(没安装相关插件当然不用这条指令)

Disallow:/?r=*

6、屏蔽捉取任何图片文件,在这里主要是想节约点宽带,不同的网站管理员可以按照喜好和需要设置这几条指令。

Disallow:/*.jpg$

Disallow:/*.jpeg$

Disallow:/*.gif$

Disallow:/*.png$

Disallow:/*.bmp$

7、屏蔽捉取短链接。默认头部里的短链接,百度等搜索引擎蜘蛛会试图捉取,虽然最终短链接会301重定向到固定链接,但这样依然造成蜘蛛资源的浪费。

Disallow:/?p=*

8、屏蔽捉取留言信息链接。一般不会收录到这样的链接,但为了节约蜘蛛资源,也要屏蔽。

Disallow:/*/comment-page-*Disallow:/*?replytocom*

9、屏蔽其他的一些形形色色的链接,避免造成重复内容和隐私问题。

Disallow:/a/date/

Disallow:/a/author/

Disallow:/a/category/

Disallow:/?p=*&preview=true

Disallow:/?page_id=*&preview=true

Disallow:/wp-login.php

Sitemap:如果说sitemap是给搜索引擎爬虫指路的地图,那么robots则是看守网站的一道门。

sitemap在robots文件的写法如下:

Sitemap:http://***.com/sitemap.txt

切记S是大写的!

以上介绍的Disallow和Sitemap并非都必须要,可以按您网站的具体情况写,再用google管理工具测试robots.txt是否合乎规范。

2

发表回复