如何用Log Parser确认百度蜘蛛占用大量服务器带宽

这两天一个服务器带宽流量一直大幅增长，但网站流量就是没有增长，同样的流量，之前用2M的时候不卡，后来升级到7M带宽还一直卡着。

查询两天的IIS日志

发现结果如下:

流量基本上都是index.php占用，其它网页基本不占用任何流量，也无其它文件有异常流量，再使用IP雷达查看网络连接

发现百度蜘蛛的IP异常多，再用Log Parser查询两天的日志，发现如下图：

C:Program Files (x86)Log Parser 2.2>LogParser -i:IISW3C -o:CSV "select SUM(sc-bytes) from c:log*.log where cs(User-Agent) like '%Baiduspider%'"

查询结果为：29197152897

换算一下发现：29197152897/1024/1024/1024=27.19196760747582 GB

也就是说，百度蜘蛛两天就消耗掉了27G的流量。

再看百度统计上蜘蛛的抓取频率：

从11月11号起，百度蜘蛛爬行的频率就大幅增长。

由此可判断，服务器带宽异常占用，是百度蜘蛛的爬行异常的原因。

解决办法就是去百度站长平台那里调整一下百度蜘蛛的爬行频率，过些时间即可恢复正常。

http://zhanzhang.baidu.com/pressure/index

技术支持QQ：57219882

附：LogParser下载地址：http://soft.huweishen.com/soft/406.html

    IP雷达下载地址：http://soft.huweishen.com/soft/405.html