对一个质量高的网站进行爬取肯定能获得更多的优质资源，能节省很多时间。百度对于新浪和对小网站的抓取程度肯定是不一样的，因此要对网站的质量进行评级，通过级别来判断网站需要抓取的程度，从而提高蜘蛛效率。这就相当于一个企业去招聘人才，不可能一个人一...
46
