Archive | ANFtools

今天完成了搜索页面的代码，实现了搜索特定关键词、限定查找商品的价格区间、按价格排序等功能。在下一个小幅更新中，将会加入关键词输入框、价格区间选择框、排序选择等功能。在下一个重大更新中，将会逐步进行店铺信息的完善，将店铺的信息与商品对应。

由于最近淘宝屏蔽得厉害，原本可以实时搜索的，现在基本都不行了。只能想办法把商品信息存入数据库，然后搜索缓存数据了。原本实时搜索只抓取一页的搜索结果，这次更新了下代码，使得能够自动判断分页，然后抓取所有搜索结果了。根据以往得测试结果，在间隔10秒情况下，抓取第50次的时候会被屏蔽，然后计算了下，如果要抓取179个店铺的第一页结果也要好几个小时，只能放在晚上跑，看看是否能通过延长抓取间隔避免被屏蔽。

今天在更新店铺的时候发现一个问题，就是抓取到的店铺其实已经没有了，在获取店铺id的时候报错，遂加入判断，没有找到指定div就跳过循环。

另外更新了数据表，增加了更新数量和添加数量

名称：

淘宝AF论坛正品店铺全网搜索和比价工具