上次说到要尝试下延长抓取间隔，后来还是不行。碰巧今天发现了电信的光猫保存设置会自动重新连接这个特性，可以比较方便的重新获取IP，绕过淘宝的屏蔽机制。
JSON API
试着尝试了一下用PHP来制作json API
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 |
<?php header('Content-type:text/json'); /** * Created by PhpStorm. * User: Jason * Date: 14-3-21 * Time: 下午9:58 */ //加载数据库类 include_once('../Add-ons/PHP-MySQL-Class-master/class.MySQL.php'); //定义数据库对象 $oMySQL = new MySQL('aftools', 'root', 'tEGMxuY6hTCdQSQL', 'localhost'); $rel = $oMySQL->ExecuteSQL('SELECT COUNT(*) FROM `shops`'); if($rel) $sql_status = 'success'; if(!$rel) $sql_status = 'error'; $rel = array( 'sql-status' => $sql_status, 'total-num' => $rel['COUNT(*)'] ); $json = json_encode($rel); echo $json; |
XAMPP phpMyAdmin中文显示乱码问题
XAMPP的数据库默认是 latin1 字符编码，虽然不影响写入和读取数据，但是在phpMyAdmin里查看都是乱码。网上查了下，通过 show variables like "%char%"; 查看数据库编码
采集AF官网数据
今天尝试了一下采集AF官网的商品数据，因为AF没有采取屏蔽采集的措施，所以整个流程还算比较简单，不需要加入检查功能。
测试淘宝的防抓取屏蔽功能
测试1：抓取淘宝店铺信息