相关文章
外贸网站建设和规范设计解决方案
网站设计产品页面的搜索引擎优化技巧
北京网站设计从利诱到威逼，Google一直在“教导”我们
网页设计301永久重定向实现方式及302重定向
北京网站建设如何评估网页的链接流行度
网页设计英文站五天200IP攻略
北京网站制作常用网站推广方法 提升企业网站宣传效果
北京网页设计操作一个英文SEO案例的一些体会
北京网页设计SEO不是用户体验的干妈
企通互联大型商务网站的SEO误区
品牌理念
北京网站建设最佳合作伙伴
北京网站建设专家企通互联
竭诚为您提供网站建设服务!
友好连接
文章搜索
你的位置：首页 >> 网站优化 >> 网站建设从一分钟的蜘蛛抓取看搜索引擎
网站建设从一分钟的蜘蛛抓取看搜索引擎
作者： 北京网站建设 日期：2008-03-27 06:01:48 来源： http://www.qt-net.com
资深北京网站建设公司企通互联,专业致力于北京网站建设,北京网站制作,北京网站设计, 北京网站制作北京网页设计领域,千余网站建设案例，公司拥有国内一流的网站建设、网站制作、网页设计团队，如果您已经有网站的,看看我们精美的网站建设案例也无妨.北京网站建设网址：http://www.qt-net.com
=======================================================================================
2007-03-05 23:59:59 218.104.*.* GET /type/l-haikou-98.html - 80 - 202.160.179.90 Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html) 200 0 0网页设计
2007-03-06 00:00:06 218.104.*.* GET /lend/721.html - 80 - 202.160.178.131 Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html) 200 0 0北京网站制作
2007-03-06 00:00:09 218.104.*.* GET /lend/10172.html - 80 - 60.12.227.58 Mozilla/5.0+(compatible;+YodaoBot/1.0;+http://www.yodao.com/help/webmaster/spider/;+) 200 0 0网站建设
2007-03-06 00:00:16 218.104.*.* GET /lend/6921.html - 80 - 60.12.227.58 Mozilla/5.0+(compatible;+YodaoBot/1.0;+http://www.yodao.com/help/webmaster/spider/;+) 200 0 0www.qt-net.com
2007-03-06 00:00:17 218.104.*.* HEAD /lend/27870.html - 80 - 202.108.22.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0北京网站建设
2007-03-06 00:00:17 218.104.*.* GET /smalltype/s-xiamen-4-22.html - 80 - 202.160.178.190 Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html) 200 0 0北京网站设计
2007-03-06 00:00:19 218.104.*.* GET /lend/9956.html - 80 - 202.160.178.92 Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html) 200 0 0北京网站建设
2007-03-06 00:00:20 218.104.*.* HEAD /type/s-nanjing-146.html - 80 - 202.108.22.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0北京网站制作
2007-03-06 00:00:25 218.104.*.* GET /lend/30849.html - 80 - 66.249.72.101 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) 200 0 0企通互联
2007-03-06 00:00:26 218.104.*.* GET /lend/9794.html - 80 - 202.160.179.132 Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html) 200 0 0北京网站制作
2007-03-06 00:00:30 218.104.*.* GET /lend/9184.html - 80 - 202.160.178.91 Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html) 200 0 0网页设计
2007-03-06 00:00:31 218.104.*.* GET /sale/28890.html - 80 - 60.12.227.58 Mozilla/5.0+(compatible;+YodaoBot/1.0;+http://www.yodao.com/help/webmaster/spider/;+) 200 0 0www.qt-net.com
2007-03-06 00:00:32 218.104.*.* HEAD /sale/6169.html - 80 - 202.108.22.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0www.qt-net.com
2007-03-06 00:00:34 218.104.*.* GET /smalltype/l-nanjing-1-27.html - 80 - 202.160.179.121 Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html) 200 0 0企通互联
2007-03-06 00:00:34 218.104.*.* HEAD /sale/4886.html - 80 - 202.108.22.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0北京网站制作
2007-03-06 00:00:35 218.104.*.* GET /lend/9986.html - 80 - 202.160.178.230 Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html) 200 0 0网站建设
2007-03-06 00:00:37 218.104.*.* HEAD /lend/1418.html - 80 - 202.108.22.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0网站设计
2007-03-06 00:00:40 218.104.*.* HEAD /sale/1331.html - 80 - 202.108.22.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0网站设计
2007-03-06 00:00:43 218.104.*.* HEAD /lend/347.html - 80 - 202.108.22.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0网站设计
2007-03-06 00:00:43 218.104.*.* GET /smalltype/l-guangzhou-2-9.html - 80 - 202.160.178.150 Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html) 200 0 0网站设计
2007-03-06 00:00:44 218.104.*.* GET /lend/2076.html - 80 - 202.160.180.65 Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html) 200 0 0网站建设 北京网页设计
2007-03-06 00:00:45 218.104.*.* HEAD /lend/516.html - 80 - 202.108.22.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0网页设计
2007-03-06 00:00:47 218.104.*.* HEAD /lend/8841.html - 80 - 202.108.22.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0网站设计
2007-03-06 00:00:49 218.104.*.* HEAD /lend/12985.html - 80 - 202.108.22.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0北京网站建设
2007-03-06 00:00:52 218.104.*.* GET /sale/12149.html - 80 - 60.12.227.58 Mozilla/5.0+(compatible;+YodaoBot/1.0;+http://www.yodao.com/help/webmaster/spider/;+) 200 0 0北京网站设计
2007-03-06 00:00:53 218.104.*.* HEAD /sale/31397.html - 80 - 202.108.22.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0北京网站建设
2007-03-06 00:00:55 218.104.*.* HEAD /lend/32143.html - 80 - 202.108.22.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0www.qt-net.com
这是早上零点1分钟内的蜘蛛来访记录,从里面我们可以看出一下几个问题:网站制作
1.百度仍是国内最大的蜘蛛来源,也是国内抓取页面最多的搜索引擎.(12次)网页设计
2.google抓取页面的频率相对比较低(1次,在零点这一小时内最多的一分钟(0点9分)抓了6次)网站建设
3.yahoo抓取页面也很多,基本和百度持平 北京网站设计(10次 网站制作)企通互联
4.出现了一个相对较新的蜘蛛YodaoBot(以前把它当作yahoo了),抓取频率也较高网站建设
5.没有出现iask和TencentTraveler, 企通互联他们抓取频率相对较低(在零点开始的前2个小时,iask只抓取了十几次,TencentTraveler 网站建设抓取了一百多次),这也和他们的市场份额相符北京网站制作
6.所有蜘蛛都抓取js页面,不过yahoo好像喜欢js文件,基本见一个抓一个,百度相对抓的少一些.网站制作
7.百度和yahoo对参数类型的页面也是照抓不误,google好像不是很感冒.www.qt-net.com
(数据按照早上零点到5 www.qt-net.com点35分 网页设计1万零18次的抓取数据分析) 北京网站建设
2007-03-06 00:00:06 218.104.*.* GET /lend/721.html - 80 - 202.160.178.131 Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html) 200 0 0北京网站制作
2007-03-06 00:00:09 218.104.*.* GET /lend/10172.html - 80 - 60.12.227.58 Mozilla/5.0+(compatible;+YodaoBot/1.0;+http://www.yodao.com/help/webmaster/spider/;+) 200 0 0网站建设
2007-03-06 00:00:16 218.104.*.* GET /lend/6921.html - 80 - 60.12.227.58 Mozilla/5.0+(compatible;+YodaoBot/1.0;+http://www.yodao.com/help/webmaster/spider/;+) 200 0 0www.qt-net.com
2007-03-06 00:00:17 218.104.*.* HEAD /lend/27870.html - 80 - 202.108.22.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0北京网站建设
2007-03-06 00:00:17 218.104.*.* GET /smalltype/s-xiamen-4-22.html - 80 - 202.160.178.190 Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html) 200 0 0北京网站设计
2007-03-06 00:00:19 218.104.*.* GET /lend/9956.html - 80 - 202.160.178.92 Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html) 200 0 0北京网站建设
2007-03-06 00:00:20 218.104.*.* HEAD /type/s-nanjing-146.html - 80 - 202.108.22.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0北京网站制作
2007-03-06 00:00:25 218.104.*.* GET /lend/30849.html - 80 - 66.249.72.101 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) 200 0 0企通互联
2007-03-06 00:00:26 218.104.*.* GET /lend/9794.html - 80 - 202.160.179.132 Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html) 200 0 0北京网站制作
2007-03-06 00:00:30 218.104.*.* GET /lend/9184.html - 80 - 202.160.178.91 Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html) 200 0 0网页设计
2007-03-06 00:00:31 218.104.*.* GET /sale/28890.html - 80 - 60.12.227.58 Mozilla/5.0+(compatible;+YodaoBot/1.0;+http://www.yodao.com/help/webmaster/spider/;+) 200 0 0www.qt-net.com
2007-03-06 00:00:32 218.104.*.* HEAD /sale/6169.html - 80 - 202.108.22.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0www.qt-net.com
2007-03-06 00:00:34 218.104.*.* GET /smalltype/l-nanjing-1-27.html - 80 - 202.160.179.121 Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html) 200 0 0企通互联
2007-03-06 00:00:34 218.104.*.* HEAD /sale/4886.html - 80 - 202.108.22.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0北京网站制作
2007-03-06 00:00:35 218.104.*.* GET /lend/9986.html - 80 - 202.160.178.230 Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html) 200 0 0网站建设
2007-03-06 00:00:37 218.104.*.* HEAD /lend/1418.html - 80 - 202.108.22.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0网站设计
2007-03-06 00:00:40 218.104.*.* HEAD /sale/1331.html - 80 - 202.108.22.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0网站设计
2007-03-06 00:00:43 218.104.*.* HEAD /lend/347.html - 80 - 202.108.22.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0网站设计
2007-03-06 00:00:43 218.104.*.* GET /smalltype/l-guangzhou-2-9.html - 80 - 202.160.178.150 Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html) 200 0 0网站设计
2007-03-06 00:00:44 218.104.*.* GET /lend/2076.html - 80 - 202.160.180.65 Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html) 200 0 0网站建设 北京网页设计
2007-03-06 00:00:45 218.104.*.* HEAD /lend/516.html - 80 - 202.108.22.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0网页设计
2007-03-06 00:00:47 218.104.*.* HEAD /lend/8841.html - 80 - 202.108.22.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0网站设计
2007-03-06 00:00:49 218.104.*.* HEAD /lend/12985.html - 80 - 202.108.22.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0北京网站建设
2007-03-06 00:00:52 218.104.*.* GET /sale/12149.html - 80 - 60.12.227.58 Mozilla/5.0+(compatible;+YodaoBot/1.0;+http://www.yodao.com/help/webmaster/spider/;+) 200 0 0北京网站设计
2007-03-06 00:00:53 218.104.*.* HEAD /sale/31397.html - 80 - 202.108.22.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0北京网站建设
2007-03-06 00:00:55 218.104.*.* HEAD /lend/32143.html - 80 - 202.108.22.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0www.qt-net.com
这是早上零点1分钟内的蜘蛛来访记录,从里面我们可以看出一下几个问题:网站制作
1.百度仍是国内最大的蜘蛛来源,也是国内抓取页面最多的搜索引擎.(12次)网页设计
2.google抓取页面的频率相对比较低(1次,在零点这一小时内最多的一分钟(0点9分)抓了6次)网站建设
3.yahoo抓取页面也很多,基本和百度持平 北京网站设计(10次 网站制作)企通互联
4.出现了一个相对较新的蜘蛛YodaoBot(以前把它当作yahoo了),抓取频率也较高网站建设
5.没有出现iask和TencentTraveler, 企通互联他们抓取频率相对较低(在零点开始的前2个小时,iask只抓取了十几次,TencentTraveler 网站建设抓取了一百多次),这也和他们的市场份额相符北京网站制作
6.所有蜘蛛都抓取js页面,不过yahoo好像喜欢js文件,基本见一个抓一个,百度相对抓的少一些.网站制作
7.百度和yahoo对参数类型的页面也是照抓不误,google好像不是很感冒.www.qt-net.com
(数据按照早上零点到5 www.qt-net.com点35分 网页设计1万零18次的抓取数据分析) 北京网站建设