Author Archive | minirplus

由于最近淘宝屏蔽得厉害，原本可以实时搜索的，现在基本都不行了。只能想办法把商品信息存入数据库，然后搜索缓存数据了。原本实时搜索只抓取一页的搜索结果，这次更新了下代码，使得能够自动判断分页，然后抓取所有搜索结果了。根据以往得测试结果，在间隔10秒情况下，抓取第50次的时候会被屏蔽，然后计算了下，如果要抓取179个店铺的第一页结果也要好几个小时，只能放在晚上跑，看看是否能通过延长抓取间隔避免被屏蔽。