Archive | DEV

对后台程序又做了点调整，增加了抓取商品尺码和库存的代码，这样不用再点进淘宝页面就能看到是否有想要的尺寸了。

由于涉及大量的后台循环操作，所以学习了一下进度条的结构。首先，需要有一个进度条对象，可以是隐藏的也可以是可见的，但是一定要有一个唯一的id，以便js获取属性。然后需要一个能够计算出总步骤和确定的步骤数的操作来应用进度条，一般这个操作是for循环，每个循环的开始需要初始化进度条的步进，并在循环中通过flush函数加载js来更新进度条，在每次循环中间也需要同循环一样累加步进。最后，在循环结束后，需要复位进度条，并通过js隐藏需要隐藏的进度条。

今天在调试的时候发现，网页在运行的时候突然中断，并且中断后无法再次运行，需要等待一会后才能再次运行。尝试了几次以后发现原来是淘宝的访问频率限制，导致程序无法正常抓取导致的运行失败。这下终于解释了为什么在本机运行时没问题的，但是放到主机上就出现运行中断，原因应该是在本机运行的时候，CPU的限制导致抓取频率不会非常快，不会被淘宝屏蔽，但是主机的CPU使得抓取的频率超过了淘宝的上限，导致在网页读取中断。这样只有一种解决办法，就是在php抓取的循环中添加sleep，不过这样使得搜索的时间变得非常的长。而且在网上搜了下，没有找到淘宝对访问频率的限制到底是多少，也就只能靠不断的尝试和加大每次访问的间隙来避免被屏蔽。