AF TOOLS 更新 By minirplus on 2014-04-12 in ANFtools 由于最近淘宝屏蔽得厉害,原本可以实时搜索的,现在基本都不行了。只能想办法把商品信息存入数据库,然后搜索缓存数据了。原本实时搜索只抓取一页的搜索结果,这次更新了下代码,使得能够自动判断分页,然后抓取所有搜索结果了。根据以往得测试结果,在间隔10秒情况下,抓取第50次的时候会被屏蔽,然后计算了下,如果要抓取179个店铺的第一页结果也要好几个小时,只能放在晚上跑,看看是否能通过延长抓取间隔避免被屏蔽。
There are no comments yet