WordPress – robots.txt
原创文章,作者:StubbornHuang,如若转载,请注明出处:《WordPress – robots.txt》https://www.stubbornhuang.com/678/
1 robots.txt
robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不能被搜索引擎的漫游器获取的,哪些是可以被(漫游器)获取的。
2 WordPress类型站的robots.txt参考
新建robots.txt文件,设置为UTF-8编码,并往该文件中添加以下内容:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-
Disallow: /feed/
Disallow: /comments/feed
Disallow: /trackback
Disallow: /comments
Sitemap: http://stubbornhuang.com/sitemap.xml
Sitemap: http://stubbornhuang.com/sitemap.xml
User-agent: * :允许博客被所有引擎收录。
Disallow: /cgi-bin
Disallow: /wp-
:不允许蜘蛛访问cgi-bin文件夹以及wp开头的文件,这主要是为了博客的安全。
Disallow: /feed/
Disallow: /comments/feed
:不允许搜索引擎蜘蛛访问feed及comments的feed文件,主要是为了避免重复内容,这一点百度尤其重视,将wordpress 的很多页面视为重复内容,这也是wordpress博客在百度中排名不高的原因之一。事实上,在禁用了feed文件之后,我的博客来自百度的流量由之前的几乎为0增长到现在的每天300-500IP。
Disallow: /trackback
Disallow: /comments
:禁止访问trackback和comments是为了避免垃圾评论和垃圾引用。
Sitemap:表明站点地图文件路径。
当前分类随机文章推荐
- WordPress - 插件WP Editor.md 在网站更换为https后无法正确加载
- WordPress - 在文章被复制时弹出弹窗提示转载注明原创
- WordPress - 通过Server酱发送微信通知给微信
- WordPress - WordPress后台登录设置验证码,防止恶意爆破网站
- WordPress - PhpStudy本地环境修改固定链接打不开网页404错误
- WordPress - 增加百度统计代码
- WordPress - 添加网页三角网粒子背景 Canvas-nest.js
- WordPress - 利用Revolvermaps在首页实时显示访客3D地球
- WordPress - 插件OSS Upload与WP Editor.md/WP Githuber MD插件冲突,导致katex公式不正确显示的问题
- WordPress - 应对暴力破解登录和规避DDOS的几种方法