Top Menu

SHGA database was leaked

关于这个事件,来源于6月30号的一篇帖子,不过可能是之前没有提供demo数据的关系,直到7月3号才开始大范围传播。

从开放下载的demo数据来看,打包日期为2022-7-3的凌晨1:46,也就是之前大家其实都不太相信,直到提供了demo数据下载,这下大家才相信。

这个demo数据一共提供了3个数据源,其中,每个数据源的数据条数均为25w条

  • address_merge_with_mobile_data.json:这个感觉像是通过大数据平台获取的第三方个人信息,因为有些数据可以明显看到是来自于某些购物app
  • case_data_index.json:历史110报案数据,截至到2019年12月,最早日期为1995年7月,后面或更早的数据可能没有包含在demo数据里,也可能数据集仅截至到2019年。不过看起来是乱序数据,所以猜测应该就是从1995-2019的数据。
  • person_info.json:应该是重点人员数据库,有些人员有备注,有些则没有

下面分析下case_data_index.json的数据结构

{ "_id":"null", "_index":"null", "_score":null, "_source":{ "ADDR_DETL":"{ "CASE":{ "BRIEF_CASE":"null", "CASE_TYPE":null, "CASE_STATE":null }, "ORGANIZER_POLICE_TYPE":null, "ORGANIZER":{ "ORGANIZER_NAME":null, "ORGANIZER_AREA":null } "TIME":{ "ACCEPTANCE_TIME":null, "REGISTER_TIME":null, "CLOSING_TIME":null, "PUNISH_TIME":null, "CASE_TIME":null, "REPORT_TIME":null } "ACCEPTANCE_UNIT_JSON":{ "ACCEPTANCE_UNIT_NUMBER":null, "ACCEPTANCE_UNIT_NAME":null }, "TABLE_SOURCE":"null", "CASE_ADDRESS":"null" } "ADDR_TYPE":"null", "BLOCK_L4":"null", "CASE_NUMBER":"null", "CITY_L2":"null", "COUNTY_L3":"null", "LOC_SOURCE":"null", "MCS_ID":"null", "NUMBER_L7":"null", "PROVINCE_L1":"null", "STD_ADDRESS":"null" }, "_type":"null", "sort":[null] }

Continue Reading 0

enable http2 and keepalive

突然发现这个服务器的apache没有开启h2和keepalive,难怪总觉得打开页面特别慢

其实影响最大的还是keepalive,keepalive的核心就是复用连接,相当于是proxy里的多路复用,省去了重复tls握手的时间。

另外发现Cache-Control设置是no-cache,顺便把这个也改了

最后看了一眼,发现并没有真正开启http2,响应头里的h2是因为开启了mod http2后,http2的mod自带的config里自动设置的header所以看起来开了h2,实际在Protocol里就可以看到还是http/1.1,真正的h2在响应头里是没有这个upgrade字段的,主要是因为mpm_prefork不兼容http2,需要改成mpm_event+php-fpm,但是修改mpm_prefork又需要先禁用mod php,又是一个大工程。

加载时间对比

  • http/1.1 no-cache:20.75 s
  • http/1.1 + keepalive no-cache:5.52 s
  • http/2 no-cache:5.85 s
  • http/2 cached:667 s
  • http/1.1 + keepalive cached:681 ms

发现h2和keepalive其实并不能共存,突然醒悟,h2的tcp复用不就是keepalive么。。。并且从实际测试结果来看,http/2和http/1.1 + keepalive的加载时间非常接近。虽然h2宣称从本质上解决了拥塞问题,但是实际并没看出区别。

know more

enable http2

a2dismod php7.4 mpm_prefork a2enmod mpm_event apt install php-fpm libapache2-mod-fcgid -y a2enmod proxy_fcgi setenvif && a2enconf php7.3-fpm a2enmod http2 apachectl configtest service apache2 restart

Continue Reading 0

关于Postman无法post rawdata

在postman发现一个神奇的现象,同一段代码,两个入口,一个可以用php://input 接收到rawdata,另一个怎么都是null,$_POST[‘name’] 也是null,然而,$_GET[‘name’] 却可以收到内容,感觉就像是rawdata被故意丢弃了。

Continue Reading 0

Powered by WordPress. Designed by WooThemes