文件地址：http://sheawey.com/robots.txt
User-agent: *
Disallow: /blog/wp-admin/
说明：后台登陆页面，理所当然不要索引。
Disallow: /wp-login.php
说明：同上。
Disallow: /blog/page/
说明：首页的博客文章分页，搜索引擎请到按月份存档里面去索引，这个只是为了用户方便，没必要去索引，不想大量title一样的页面出现在serp中。
Disallow: /blog/wp-content/
说明：上传文件、模板文件、图片不要被索引
Disallow: /blog/feed/
说明：避免用户搜索出来的结果是个xml文件，可能对博客搜索引擎很不友好，管它呢，博客搜索引擎用的人很少。

在抓虾里订阅的独立博客中，很多人采用了wordpress，郁闷的是，有些RSS只能看到摘要，无法看到原文，如“点石博客”。原因我知道，点石是一个SEO的社区，这样做是为了避免“内容复制”。这其实是显示摘要信息的原因之一。