Top Menu

Archive | DEV

AF Tools update to V1.2

今天在更新店铺的时候发现一个问题,就是抓取到的店铺其实已经没有了,在获取店铺id的时候报错,遂加入判断,没有找到指定div就跳过循环。

另外更新了数据表,增加了更新数量和添加数量

Continue Reading 0

关于淘宝抓取限制

今天又对程序做了些调试,发现淘宝对商品列表页没有限制,但是对商品详细页有访问限制,看来只能将商品内容想些办法,或者存进数据库不用频繁的获取网页,要么采用异步方式,减少循环获取的频率。

Continue Reading 0

Powered by WordPress. Designed by WooThemes