当我们网站上有一些文件不想被搜索引擎蜘蛛抓取时，我们需要写个robots.txt文件，以此来告诉蜘蛛，这些文件不能被抓取，但是有的企业认为自己网站上没有不想蜘蛛抓取的内容，所以就忽略了robots.txt文件，那么，这样是不对的。 随着...
61
