robots可以用来优化网站吗? Unknown 2009/05/14

| |

今天看了一篇文章,是关于robots用来优化网站的内容,当时我看到标题就很是不解,robots是用来对搜索引擎抓取网站范围界定的文件,用他结合 SEO来优化网站,怎么能实现呢,我的第一反应就是不相信,但是好奇心又让我看完了这篇文章,看完之后我才恍然大悟,不禁感叹SEO真是无处不在,那么如何用robots来优化网站呢?

首先我想说的是搜索引擎来到网站首先会看网站有没有robots.txt这个文件,如果有就会按照上面的要求来抓取网站内容,如果没有这个文件的话,就会按照顺序抓取,不管是什么内容都会去抓取,这样势必会影响搜索引擎蜘蛛爬行的效率,这样我们就可以把对SEO没有影响的内容不让搜索引擎去抓取,比如说 admin是管理员登陆入口不需要搜索引擎抓取,plugin是插件目录页,不需要搜索引擎来抓取,以此类推,只要是对SEO没有什么帮助、对收录没有影响的就可以设置成disallow,但是今天最大的发现不是这个,这个一般做SEO的人都知道,下面说说我的最大发现。

第二:把网站地图的 URL(绝对路径)放在robots.txt文件中,明白了吧?这样的话只要搜索引擎进入网站就会沿着网站地图爬行网站的内容了,因为网站地图可以到达网站的任何地方,这也符合重要的内容前置的原则,再加上第一条中的界定可以大大节省搜索引擎的抓取效率,从SEO的角度来讲的话是有好处的。

第三:可以通过设置robots防止搜索引擎抓取垃圾留言,可以避免对网站降权。

请给这篇日志评个分吧~!

本文评分: 4.8/10 (33 votes)    提示:您还未对本文评分,您可以进行评分并发表您的意见!

加入收藏!

Tags: , , ,
发表评论

昵称

网址

电邮

打开HTML 打开UBB 打开表情 隐藏 记住我 [注册]