robots.txt文件的作用主要是为了告诉搜索引擎蜘蛛,什么内容可以抓取,什么内容不允许抓取?很多新手站长要么懒惰,要么不会设置,下面富贵网的小编给大家讲讲如何正确设置robots文件。
zblog博客的robots.txt文件在设置之前,我们先要知道每个文件到底是做什么的,有没有必要让搜索引擎蜘蛛抓取内容:
feed.php : RSS Feed 入口文件
index.php : 前端页面入口文件
search.php : 搜索入口文件
zb_install 文件夹:zblog 初始化安装文件夹,安装完毕会自动删除,或手动删除
zb_system 文件夹:为 zblog 框架的主要文件,需要屏蔽搜索蜘蛛去它以及它所包含的内容抓取
zb_users 文件夹:为 zblog 为用户文件夹,里面包含了主题文件夹,插件文件夹,以及附件存放文件夹。
avatar :用户头像文件夹
cache :缓存文件夹
data :数据文件夹(屏蔽蜘蛛)
emotion :表情文件夹
language :语言包文件夹(屏蔽蜘蛛)
logs :目志文件夹,里面文件是记录错误的(屏蔽蜘蛛)
plugin :插件文件夹
theme :主题文件夹
upload :附件文件夹(图片或其它类型文件)
zblog博客的robots文件的正确写法(案例)
User-agent: *
Disallow: /zb_system/
Disallow: search.php
Disallow: /zb_users/data/
Disallow: /zb_users/language/
Disallow: /zb_users/logs/
Sitemap:https://www.liugui.cn/sitemap.xml
备注:关于sitemap.xml地图文件可以去zblog博客应用中心下载,属于免费的!
zblog博客的robots文件安装方法
1、本地新建‘文本文档’并命名为 'robots.txt' 把上面的内容复制,保存即可
2、把 'robots.txt'文件上传到服务器的网站根目录即可
robots文件正确性校验
打开百度站长平台,点击robots检测
如果可以调用信息说明,robots.txt文件正常,如果无法调用数据说明文件内容实质是有问题的。