标签为 ‘搜索引擎’
29
Nov
chedong最近的一篇blog分析了各大spider是否遵循robots协议,据他称,baidu spider是非匿名抓取的,但是我在仔细分析了日志后发现,Baidu Spider是真名与匿名同时抓取,并且匿名抓取的数量是真名抓...
14
Jun
04
Jan
04
Jan
1、网页使用框架:框架内的内容通常不在搜索引擎抓取的范围之内。
2、图片太多,文本太少。
3、提交页面转向另一网站:搜索引擎可能完全跳过这个页面。
...
04
Jan
17
Mar












