Top Menu

AF TOOLS 更新

由于最近淘宝屏蔽得厉害,原本可以实时搜索的,现在基本都不行了。只能想办法把商品信息存入数据库,然后搜索缓存数据了。原本实时搜索只抓取一页的搜索结果,这次更新了下代码,使得能够自动判断分页,然后抓取所有搜索结果了。根据以往得测试结果,在间隔10秒情况下,抓取第50次的时候会被屏蔽,然后计算了下,如果要抓取179个店铺的第一页结果也要好几个小时,只能放在晚上跑,看看是否能通过延长抓取间隔避免被屏蔽。

There are no comments yet

  • Hello, guest

Powered by WordPress. Designed by WooThemes