蜘蛛程序的设计对网站优化的好处

很多SEO可能会忽略一个细节,那就是对于蜘蛛程序都会熟悉,但是很少的应用。因为蜘蛛程序的设计是为了不让蜘蛛访问某个网页,很少人知道他还可以规定蜘蛛访问的路径。本人就是在分析其他网站优化者的网站分析得出的。
我在查看网站代码的时候发现这样一段很容易被人忽视的代码:< content=”follow” name=”robots” /> 当然要查看他的蜘蛛程序是怎么写的了,你可以输入www.xxxx.com/robots.txt 这样你就可以看到他的蜘蛛程序了:
Sitemap: http://www.xxxx.com/sitemap.xml
User-agent: *
Disallow:
这样一段蜘蛛程序没有禁止蜘蛛访问的页面,而是规定了蜘蛛首先访问的页面,那就是网站地图。蜘蛛来访问网站的时候首页看到的是蜘蛛程序,根据蜘蛛程序爬行并抓取网页内容。蜘蛛根据程序跳转到txt文件,然后首先访问网站地图,这样就有利于收录网站地图内的网页了,增加网页的收录数量这个做网站优化的都会知道他的意义所在了。

发表回复