认识了很多站长，大多数会使用robots.txt文件，只有40%左右的站长不知道robots.txt文件的重要性，
站长不要忽视robots.txt的存在
。当然了，如果你的网站完全没有让搜索...认识了很多站长，大多数会使用robots.txt文件，只有40%左右的站长不知道robots.txt文件的重要性。当然了，如果你的网站完全没有让搜索引擎禁止的内容，可以不用robots.txt文件。
到底robots.txt是何许人也?
robots.txt是一个纯文本文件，它就像网站地图一样，给搜索引擎指明道路。。当搜索引擎蜘蛛爬取网站的时候，一般会确实你网站的目录下是否有robots.txt这个文件。如果有的话，会按照文件的内容来爬取该爬的网站内容。如果没有这个文件，蜘蛛就会跟着链接直接爬取。
下面大家看看淘宝的robots.txt文件：
可以看到，淘宝再一次屏弊了百度蜘蛛的爬取工作，我们再来看看下面这个收录图：
只见二级域名或三级以后的页面了，
电脑资料
《站长不要忽视robots.txt的存在》(https://www.unjs.com)。robots.txt究竟有什么好处呢?
1、可以禁止对私密文件的爬取工作。比如说你的网站后台、数据库，管理程序。如果没有配置好robots.txt文件，搜索引擎很有可能会索引那些所谓的“临时文件”。
2、方便搜索引擎爬取工作。比如说你的网站很大，我看到过一个网站，整个网站有50多G，打开比腾讯还要慢。如果不配置好robots.txt文件，蜘蛛爬取工作就会很费力，另外，太多的蜘蛛访问，甚至会影响你网站的正常访问。
3、减少带宽。robots.txt可以制止不必要爬取工作，如果你的是图片站或美女站的话，没设置好robots.txt文件，就会浪费大量的带宽了。]
4、保证网站排名不受影响。这时主要说说网站内容重复性问题，可能这个问题不大，但一旦存在有重复内容，就会受到搜索引擎惩罚了，特别是百度。所以配置好robots.txt很重要!
厚诚集智 成长无限 www.51hlht.com