欢迎访问畅维网络官网,我们将为您提供专业的网站建设服务!
咨询电话:0531-88162305 QQ:点击这里给我发消息
当前位置:首页 > 网站学院 > SEO

网站优化中robots及nofollow写法注意点

robots里面内容的大小写不可更改,Disallow后面的冒号必须为英文状态的。

Sitemap: http://www.***.com/sitemap.xml

(此处请填写XML地图的绝对路径,即完整URL,如果按习惯填写Sitemap: /sitemap.xml,提交后会提示:检测到无效的 Sitemap 网址;语法错误。XML地图必须在网站根目录下才有效。)

robots.txt使用什么字符编码,并没有相关规定,都是各搜索引擎自已定义的。虽然google和其它搜索引擎建议大家使用 utf-8 字符编码格式的robots.txt,但几乎所有的搜索引擎都支持 ANSI 编码格式,而google自已对 utf-8 编码格式的robots.txt,会出现首字乱码。所以为了达到最大的兼容性,建议大家使用 ANSI 格式编码,或者使用 utf-8 编码格式,但需要空出首行。

还有一个建议就是robots.txt中最好不要出现中文,即使是注释也要使用英文。

robots.txt文件一般生效时间为7-15天,即1-2周。如果新网站源码中包含robots.txt文件,那样蜘蛛进行爬行时就会生效,如果是后来添加的,那样蜘蛛需要对数据进行更新,时间一般在7-15天。

仅允许Baiduspider访问的写法:

User-agent: Baiduspider

Allow: /

参考资料:http://www.baidu.com/search/robots.html

如果在"robots.txt"文件中,加入"User- agent:SomeBot"和若干Disallow、Allow行,那么名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。

注意$的用法;

robots写在前面的越有优先权;



<meta name="robots" content="noindex,nofollow">(不区分大小写,一般用大写)

<meta name="Baiduspider" content="nofollow">

content值还可以是:

noindex:不要收录此页面,但是页面上的链接还是可以传递权重的,因为搜索引擎可以不收录,但是还是会爬行此页面,跟踪链接;

nofollow:不要跟踪本页面上的链接;

nosnippet:不要在搜索结果页中显示文字说明;

noarchive:不要显示快照;

noodp:不要使用开放目录中的标题和说明;

链接中的nofllow是针对垃圾链接而产生的。而也可以实用于内链中。但谷歌权重算法的改变,使用noffllow属性后,反而浪费了网站部分权重。



我们常用的搜索引擎类型有:(User-agent区分大小写)

*:代表所有搜索引擎种类;在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。

google蜘蛛:Googlebot

百度蜘蛛:Baiduspider

360蜘蛛:360Spider

sogou蜘蛛:Sogou Web Spider

yahoo蜘蛛:Yahoo!slurp

alexa蜘蛛:ia_archiver

bing蜘蛛:MSNbot

altavista蜘蛛:scooter

lycos蜘蛛:lycos_spider_(t-rex)

alltheweb蜘蛛:fast-webcrawler

inktomi蜘蛛:slurp

Soso蜘蛛:Sosospider

Google Adsense蜘蛛:Mediapartners-Google

有道蜘蛛:YoudaoBot

泽许蜘蛛: Zexuwhte

百度无线搜索:Baiduspider-mobile

图片搜索:Baiduspider-image

视频搜索:Baiduspider-video

新闻搜索:Baiduspider-news

百度搜藏:Baiduspider-favo

百度联盟:Baiduspider-cpro

商务搜索:Baiduspider-ads

网页以及其他搜索:Baiduspider(编辑:济南网站建设、济南网站建设公司:畅维网络)

鲁公网安备 37010502000788号

  • 扫一扫,关注微信公众号