chedong最近的一篇blog分析了各大spider是否遵循robots协议,据他称,baidu spider是非匿名抓取的,但是我在仔细分析了日志后发现,Baidu Spider是真名与匿名同时抓取,并且匿名抓取的数量是真名抓...