AF淘宝店铺数据抓取完成 By minirplus on 2014-04-13 in DEV 上次说到要尝试下延长抓取间隔,后来还是不行。碰巧今天发现了电信的光猫保存设置会自动重新连接这个特性,可以比较方便的重新获取IP,绕过淘宝的屏蔽机制。 这次成功的抓取到了179家店铺的所有商品信息,用时大约半小时,不设抓取间隔时间,完全根据网速,其中大约被屏蔽10几次,平均获取一次IP能够抓取15至20家店铺的信息,取决于店铺的分页大小。 数据库大小6.8MB,商品数据共15,296条。 aftools
There are no comments yet