Top Menu

AF淘宝店铺数据抓取完成

上次说到要尝试下延长抓取间隔,后来还是不行。碰巧今天发现了电信的光猫保存设置会自动重新连接这个特性,可以比较方便的重新获取IP,绕过淘宝的屏蔽机制。

这次成功的抓取到了179家店铺的所有商品信息,用时大约半小时,不设抓取间隔时间,完全根据网速,其中大约被屏蔽10几次,平均获取一次IP能够抓取15至20家店铺的信息,取决于店铺的分页大小。

2014-04-13_13-56-12

数据库大小6.8MB,商品数据共15,296条。

2014-04-13_13-59-57

 

There are no comments yet

  • Hello, guest

Powered by WordPress. Designed by WooThemes