这次双十一之后,发现淘宝更改了屏蔽策略,直接抓取店铺会被跳转到登陆页面。
Archive | DEV
ANFtools V2 开发笔记
上次4月份更新到V1版本后,已经很久没有更新了,期间小范围优化了部分代码,但是因为坚持能用就行的原则,一直没有更新结构,这次下决心要重写一下代码,因为数据库越来越大,搜索也变得很困难。
批量对网页进行抓取的小程序
需求:曾经买过一款考试软件,附送了一些网校的视频,而这些视频是放在他们自己的网盘上的,但是这个网盘是需要密码的,但是经过分析发现密码都是存在不同的html文件里的,并且还发现这些html文件的命名都是有规律的。所以准备些个小程序,来抓取这些网盘的密码。
AF Tools V1.5 Update
更新内容
1.搜索界面,搜索参数中添加指定店铺搜索
AF Tools V1.4 Update
因为在抓取了大量数据后,发现无法区分那些刚加入和已经下架的商品,所以这次更新主要是解决这个问题。