由于最近淘宝屏蔽得厉害,原本可以实时搜索的,现在基本都不行了。只能想办法把商品信息存入数据库,然后搜索缓存数据了。原本实时搜索只抓取一页的搜索结果,这次更新了下代码,使得能够自动判断分页,然后抓取所有搜索结果了。根据以往得测试结果,在间隔10秒情况下,抓取第50次的时候会被屏蔽,然后计算了下,如果要抓取179个店铺的第一页结果也要好几个小时,只能放在晚上跑,看看是否能通过延长抓取间隔避免被屏蔽。
Archive | DEV
JSON API
试着尝试了一下用PHP来制作json API
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 |
<?php header('Content-type:text/json'); /** * Created by PhpStorm. * User: Jason * Date: 14-3-21 * Time: 下午9:58 */ //加载数据库类 include_once('../Add-ons/PHP-MySQL-Class-master/class.MySQL.php'); //定义数据库对象 $oMySQL = new MySQL('aftools', 'root', 'tEGMxuY6hTCdQSQL', 'localhost'); $rel = $oMySQL->ExecuteSQL('SELECT COUNT(*) FROM `shops`'); if($rel) $sql_status = 'success'; if(!$rel) $sql_status = 'error'; $rel = array( 'sql-status' => $sql_status, 'total-num' => $rel['COUNT(*)'] ); $json = json_encode($rel); echo $json; |
XAMPP phpMyAdmin中文显示乱码问题
XAMPP的数据库默认是 latin1 字符编码,虽然不影响写入和读取数据,但是在phpMyAdmin里查看都是乱码。网上查了下,通过 show variables like "%char%"; 查看数据库编码
采集AF官网数据
今天尝试了一下采集AF官网的商品数据,因为AF没有采取屏蔽采集的措施,所以整个流程还算比较简单,不需要加入检查功能。
如何在WordPress文章编辑区域插入内容
在插件里如果需要通过直接在文章内插入内容,可以用JavaScript,但因为WordPress编辑区域采用的是框架结构,所以采用下面的代码才能定位到输入区域
1 |
document.getElementById('content_ifr').contentWindow.document.getElementById('tinymce') |
如果要插入内容,可以这样写
1 2 3 |
x=document.getElementById('content_ifr').contentWindow.document.getElementById('tinymce'); x.innerHTML = x.innerHTML + '<span>123</span>'; x.innerHTML = x.innerHTML + '<img src="http://img3.douban.com/mpic/s4360361.jpg" title="点击看大图" alt="极端的人群" rel="v:photo">'; |
这样的话就能在文章编辑区域通过用户点击按钮来进行插件返回内容的插入了。