本文作者:StubbornHuang
版权声明:本文为站长原创文章,如果转载请注明原文链接!
原文标题:WordPress – robots.txt
原文链接:https://www.stubbornhuang.com/678/
发布于:2020年01月18日 18:30:11
修改于:2020年03月07日 16:25:57

1 robots.txt
robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不能被搜索引擎的漫游器获取的,哪些是可以被(漫游器)获取的。
2 WordPress类型站的robots.txt参考
新建robots.txt文件,设置为UTF-8编码,并往该文件中添加以下内容:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-
Disallow: /feed/
Disallow: /comments/feed
Disallow: /trackback
Disallow: /comments
Sitemap: http://stubbornhuang.com/sitemap.xml
Sitemap: http://stubbornhuang.com/sitemap.xml
User-agent: * :允许博客被所有引擎收录。
Disallow: /cgi-bin
Disallow: /wp-
:不允许蜘蛛访问cgi-bin文件夹以及wp开头的文件,这主要是为了博客的安全。
Disallow: /feed/
Disallow: /comments/feed
:不允许搜索引擎蜘蛛访问feed及comments的feed文件,主要是为了避免重复内容,这一点百度尤其重视,将wordpress 的很多页面视为重复内容,这也是wordpress博客在百度中排名不高的原因之一。事实上,在禁用了feed文件之后,我的博客来自百度的流量由之前的几乎为0增长到现在的每天300-500IP。
Disallow: /trackback
Disallow: /comments
:禁止访问trackback和comments是为了避免垃圾评论和垃圾引用。
Sitemap:表明站点地图文件路径。
当前分类随机文章推荐
- WordPress - 站点底部显示站点运行时间 阅读4442次,点赞2次
- WordPress - 纯代码在文章内容末尾添加当前文章同一分类下的随机推荐文章 阅读2359次,点赞0次
- WordPress - 后台登录成功/失败发送邮件给网站管理员 阅读2878次,点赞0次
- WordPress - WordPress后台登录设置验证码,防止恶意爆破网站 阅读3782次,点赞0次
- WordPress - 禁用XML-RPC接口,禁止访问xmlrpc.php,避免DDOS攻击,防止暴力破解 阅读2689次,点赞0次
- WordPress - 在文章被复制时弹出弹窗提示转载注明原创 阅读3034次,点赞2次
- WordPress - get_footer函数,加载主题底部页脚footer模板 阅读753次,点赞0次
- WordPress - 在erphpdown插件中增加在隐藏文章指定位置之后文章内容的付费查看功能 阅读863次,点赞0次
- WordPress - get_post_type():获取当前文章或者给定文章类型 阅读2006次,点赞0次
- WordPress - admin_url()函数,获取网站管理后台url链接 阅读817次,点赞0次
全站随机文章推荐
- Duilib - 在同一台电脑上限制只能运行一个程序,防止软件多开 阅读1759次,点赞0次
- UnrealEngine4 - 关于UObject被自动GC垃圾回收的巨坑 阅读3922次,点赞0次
- 三维旋转 - 欧拉角和旋转矩阵的基本概念以及相互转换 阅读1505次,点赞2次
- C++ - C++实现Python numpy的矩阵维度转置算法,例如(N,H,W,C)转换为(N,C,H,W) 阅读3696次,点赞3次
- TensorRT - workspace的作用 阅读331次,点赞0次
- 资源分享 - Advanced High Dynamic Range Imaging, Second Edition 英文高清PDF下载 阅读1334次,点赞0次
- C++ – 字节数组byte[]或者unsigned char[]与long long的相互转换 阅读1465次,点赞0次
- UnrealEngine4 - 将TextureRenderTarget2D保存为图片 阅读1966次,点赞0次
- 计算几何 - C++计算两个二维向量的夹角 阅读3860次,点赞3次
- WordPress - 添加网页三角网粒子背景 Canvas-nest.js 阅读3346次,点赞0次
评论
167