收藏本站 | RSS订阅一个互联网博客
你现在的位置:网站首页 - 知识学习 - 如何正确写网站的robots文件
08月22日

如何正确写网站的robots文件

作者 : alert | 分类 : 知识学习 | 超过 人围观

我们在网站操作过程中是不是有些网页是不需要蜘蛛进行抓取,是不是不让搜索引擎来抓取网站的内容,这里就要使用robot.txt,因为是蜘蛛访问网站的第一个文件,robots的好处就是告诉搜索引擎,网站哪些页面可以抓取哪些,哪些页面不可以抓取,是网站和搜索引擎之间的一个协议。不过决定权还在于搜索引擎,因为我们之间是一个协议。Robots.txt是一个文本形式以txt格式,放在空间根目录下命名为:Robots.txt。

2.jpg

一、Robots文件里面如何写出正确写法如下:
1、这个robots文件必须命名为:robots.txt格式
2、如何你站点不需要屏蔽内容,对搜索引擎公开抓取,那么可以不用写robos文件或者是文件里面是空白。
3、Robots.txt必须放在网站的根目录下。
4、robots文件 设置的格式:
User-agent: 定义搜索引擎的类型
Disallow:定义禁止搜索引擎收录的地址
Allow: 定义允许搜索引擎收录的地址
*:代表所有搜索引擎
$:代表结束符
(注:1、空格 2、第一个字母要大写)
5、在robots.txt文件里要放你网站地图路径地址,这要有利于蜘蛛抓取,获得好的收录。因为蜘蛛访问的一个文件就是robots.txt

二、蜘蛛类型 :
1、Baiduspider 百度蜘蛛
2、Googlebot 谷歌蜘蛛
3、Yahoo Slurp 雅虎蜘蛛
4、Sosospider 搜搜蜘蛛
5、sogou spider 搜狗蜘蛛

经过上面的说明,robots.txt文件会写了吗?还有在这里燕子博客提醒大家:因为大家都接触seo时间不长,对robots不是很了解,刚搭建的网站不要搜索引擎来抓取,就用robots屏蔽的全站,大家有想过这个问题吗?你拒绝搜索引擎来抓取网站一次又一次的,你觉得蜘蛛还会来吗?所以大家在搭建网站最好在本地搭建,不要在线上搭建用robots屏蔽这样会影响你网站的收录。(本文来源:seo研究中心)

« 上一篇下一篇 »
这是一个广告位!

相关文章:

已有 0 条评论了

日历
本月最热文章
最近发表
Tags列表