WordPress – robots.txt
原创文章,作者:StubbornHuang,如若转载,请注明出处:《WordPress – robots.txt》https://www.stubbornhuang.com/678/
1 robots.txt
robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不能被搜索引擎的漫游器获取的,哪些是可以被(漫游器)获取的。
2 WordPress类型站的robots.txt参考
新建robots.txt文件,设置为UTF-8编码,并往该文件中添加以下内容:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-
Disallow: /feed/
Disallow: /comments/feed
Disallow: /trackback
Disallow: /comments
Sitemap: http://stubbornhuang.com/sitemap.xml
Sitemap: http://stubbornhuang.com/sitemap.xml
User-agent: * :允许博客被所有引擎收录。
Disallow: /cgi-bin
Disallow: /wp-
:不允许蜘蛛访问cgi-bin文件夹以及wp开头的文件,这主要是为了博客的安全。
Disallow: /feed/
Disallow: /comments/feed
:不允许搜索引擎蜘蛛访问feed及comments的feed文件,主要是为了避免重复内容,这一点百度尤其重视,将wordpress 的很多页面视为重复内容,这也是wordpress博客在百度中排名不高的原因之一。事实上,在禁用了feed文件之后,我的博客来自百度的流量由之前的几乎为0增长到现在的每天300-500IP。
Disallow: /trackback
Disallow: /comments
:禁止访问trackback和comments是为了避免垃圾评论和垃圾引用。
Sitemap:表明站点地图文件路径。
如果您觉得对您有帮助,可以请站长喝一杯咖啡哦!
用支付宝或者微信扫描二维码
对站长进行赞助
![]() 支付宝扫一扫 |
![]() 微信扫一扫 |
金额随意,礼清义重
当前分类随机文章推荐
- WordPress - 使用插件的方式作出类似向主题function.php中添加代码的功能
- WordPress - 插件WP Editor.md 在网站更换为https后无法正确加载
- WordPress - WordPress后台登录设置验证码,防止恶意爆破网站
- WordPress - 为文章增加评论才可查看相关隐藏内容的代码
- WordPress - 后台登录成功/失败发送邮件给网站管理员
- 网站个性化 - 添加人形时钟 honehone_clock.js
- WordPress - 在文章被复制时弹出弹窗提示转载注明原创
- WordPress - 增加百度统计代码
- WordPress - 站点底部显示站点运行时间
- WordPress - robots.txt
全站随机文章推荐
- C++ - int转string方法总结
- Duilib - 设置窗体阴影
- WordPress - 在编辑文章发布时弹出是否发布提醒框
- C++ - 获取当前进程内存使用情况
- C++ - std::string输出双引号到字符串
- WordPress - 插件WP Editor.md 在网站更换为https后无法正确加载
- 资源分享 - Vector Field Processing on Triangle Meshes高清PDF下载
- Python3爬虫 - requests库
- WordPress - 使用插件的方式作出类似向主题function.php中添加代码的功能
- 资源分享 - TCP/IP网络编程(韩 尹圣雨著 金国哲译)PDF下载