Top Menu

Archive | DEV

简单的API请求试验

今天在查看订阅的时候发现一个网站,汇总了至今为止所有被黑客攻击过的网站泄露的帐号,提供查询,试了一下,发现自己的帐号也在Adobe泄密事件的帐号中。另外发现这个网站也提供API,遂比较好奇想尝试下API的用法

Continue Reading 0

AF Tools update to V1.2

今天在更新店铺的时候发现一个问题,就是抓取到的店铺其实已经没有了,在获取店铺id的时候报错,遂加入判断,没有找到指定div就跳过循环。

另外更新了数据表,增加了更新数量和添加数量

Continue Reading 0

关于淘宝抓取限制

今天又对程序做了些调试,发现淘宝对商品列表页没有限制,但是对商品详细页有访问限制,看来只能将商品内容想些办法,或者存进数据库不用频繁的获取网页,要么采用异步方式,减少循环获取的频率。

Continue Reading 0

Powered by WordPress. Designed by WooThemes