标签为 ‘baidu_spider’

29
Nov

匿名盗抓的Baidu Spider

shunz 于 2006-11-29,22:52 Comments (7) 783 views

chedong最近的一篇blog分析了各大spider是否遵循robots协议，据他称，baidu spider是非匿名抓取的，但是我在仔细分析了日志后发现，Baidu Spider是真名与匿名同时抓取，并且匿名抓取的数量是真名抓...

归类于：学习笔记  Tags： , , , , , , , , .

    关于

      我，shunz，在这里默默记录自己的所学所思以及所关注的事情...
      Blog del.icio.us Flickr Furl Gmail/Google Talk Google Reader Google Shared Stuff Picasa Web Albums Twitter YouTube Zooomr douban

    订阅

    页面

    广告

    分类