如何正确写网站的robots文件

我们在网站操作过程中是不是有些网页是不需要蜘蛛进行抓取,是不是不让搜索引擎来抓取网站的内容,这里就要使用robot.txt,因为是蜘蛛访问网站的第一个文件,robots的好处就是告诉搜索引擎,网站哪些页面可以抓取哪些,哪些页面不可以抓取,是网站和搜索引擎之间的一个协议。不过决定权还在于搜索引擎,因为我们之间是一个协议。Robots.txt是一个文本形式以txt格式,放在空间根目录下命名为:Robots.txt。

2.jpg

一、Robots文件里面如何写出正确写法如下:
1、这个robots文件必须命名为:robots.txt格式
2、如何你站点不需要屏蔽内容,对搜索引擎公开抓取,那么可以不用写robos文件或者是文件里面是空白。
3、Robots.txt必须放在网站的根目录下。
4、robots文件 设置的格式:
User-agent: 定义搜索引擎的类型
Disallow:定义禁止搜索引擎收录的地址
Allow: 定义允许搜索引擎收录的地址
*:代表所有搜索引擎
$:代表结束符
(注:1、空格 2、第一个字母要大写)
5、在robots.txt文件里要放你网站地图路径地址,这要有利于蜘蛛抓取,获得好的收录。因为蜘蛛访问的一个文件就是robots.txt

二、蜘蛛类型 :
1、Baiduspider 百度蜘蛛
2、Googlebot 谷歌蜘蛛
3、Yahoo Slurp 雅虎蜘蛛
4、Sosospider 搜搜蜘蛛
5、sogou spider 搜狗蜘蛛

经过上面的说明,robots.txt文件会写了吗?还有在这里燕子博客提醒大家:因为大家都接触seo时间不长,对robots不是很了解,刚搭建的网站不要搜索引擎来抓取,就用robots屏蔽的全站,大家有想过这个问题吗?你拒绝搜索引擎来抓取网站一次又一次的,你觉得蜘蛛还会来吗?所以大家在搭建网站最好在本地搭建,不要在线上搭建用robots屏蔽这样会影响你网站的收录。(本文来源:seo研究中心)

相关文章

发表评论 取消回复

电子邮件地址不会被公开。 必填项已用*标注