wordpress中如何正确书写robots.txt

首先我们来查看一个朋友的robots.txt,显然他的是不曾修改的,用的还是Wordpress默认的。 这种缺陷是巨大的,因为没有屏蔽/wp-content/和/wp-includes/等诸多文件,假以时日,会有很多后台文件都被收录的,像这样   所以我们需要更加完整的robots.txt内容,防止百度蜘蛛乱抓取收录。下面我们欣赏两个网友的robots.txt,大家都可以参考。 其一
  1. User-agent: *
  2. Disallow: /wp-admin/
  3. Disallow: /wp-content/
  4. Disallow: /wp-includes/
  5. Disallow: /*/comment-page-*
  6. Disallow: /*?replytocom=*
  7. Disallow: /category/*/page/
  8. Disallow: /tag/*/page/
  9. Disallow: /*/trackback
  10. Disallow: /feed
  11. Disallow: /*/feed
  12. Disallow: /comments/feed
  13. Disallow: /?s=*
  14. Disallow: /*/?s=*\
  15. Disallow: /*?*
  16. Disallow: /attachment/
其二
  1. User-agent: *
  2. Disallow: /wp-*
  3. Disallow: /qiuye-*
  4. Disallow: /*replytocom=
  5. Disallow: /*?iapolo_co*
  6. Disallow: /page/*?iapolo_co*
  7. Disallow: /page/?iapolo_co*
  8. Disallow: /?iapolo_co*
  9. Disallow: /?ad=da
  10. Disallow: /?iapolo.com
  11. Disallow: /daohang/
  12. Disallow: /wp-login.php?*
  13. Disallow: /?_=*
  14. Disallow: /?p=*
  15. Disallow: /api/*
  16. Disallow: /*.js$
  17. Disallow: /*.css$
  18. Disallow: /*.eot$
  19. Disallow: /*.svg$
  20. Disallow: /*.ttf$
  21. Disallow: /*.woff$
  22. Disallow: /*.json$
  23. Disallow: /page/1
  24. Disallow: /shuoshuo/
  25. Disallow: /jiayi
我们都可以作为参考,大家可以根据上面的删除不要的,然后上传到网站根目录,然后去百度站长平台,进行检测,如下图,js文件百度蜘蛛将不再抓取   更多文章:http://liuyanzhao.com/2207.html 本文地址:http://liuyanzhao.com/3275.html 转载请注明

发表评论

目前评论:1