整合营销服务商

电脑端+手机端+微信端=数据同步管理

免费咨询热线:

mysql巡检脚本分享-一键生成mysql数据库html报告

分享一个我平时用来做mysql数据库巡检的脚本,该脚本主要用于大致诊断MYSQL主机和数据库配置及性能收集,然后会生成一个html报告,通过html来直观获得数据库相关信息。

下面介绍下脚本内容,文末附领取方式。

参考:https://blog.51cto.com/wyzwl/2425514


巡检脚本

脚本部分截图如下:


输出结果

html界面展示如下:


领取方式

这份实用的mysql巡检脚本怎么领取呢?

1.请在评论区评论+点赞+转发

2.点击关注,关注本头条号

3.进入头条号主页面,右上角有私信功能,私信小编:mysql巡检

同时希望大家多多转发分享给更多的朋友哦!

源:计量经济学服务中心
本文约4900字,建议阅读15分钟。本文汇总了社会科学数据的资源。

目前中国社区、家庭、个人层面的微观数据库,分别有北大中国社会科学调查中心,中山大学社会科学调查中心、中国人民大学中国调查与数据中心、清华大学中国经济社会数据中心、上海大学上海科学调查中心、西南财经大学中国家庭金融调查与研究中心、复旦大学社会科学数据研究中心、中国社科院调查与数据信息中心等。

下面就一起来看看微观经济数据库。

目录:

  1. 中国综合社会调查(CGSS)
  2. 中国社会状况综合调查(CSS)
  3. 中国劳动力动态调查(CLDS)
  4. 中国家庭收入项目(CHIP)
  5. 中国家庭追踪调查(CFPS)
  6. 中国健康与养老追踪调查(CHARLS)
  7. 中国家庭金融调查数据CHFS
  8. 全国老年人口健康状况调查研究(CLHLS)
  9. 中国健康与营养调查(CHNS)

其他数据库欢迎大家补充

调查中心(排名不分先后):

北京大学中国社会科学调查中心(Institute of Social Science Survey, ISSS)成立于2006年9月,是北京大学社会科学的数据调查平台,也是北京大学开展中国社会问题实证研究的跨学科平台。中心目前承担两个大型社会调查项目——中国家庭动态跟踪调查和中国健康养老追踪调查。两个项目的目的均是收集反映我国民生状况的高质量微观数据,用以分析社会民生方面的问题,为政策制定提供依据,同时推动社会、经济、教育等跨学科研究工作。

中国人民大学-中国调查与数据中心(National Survey Research Center at Renmin University of China, NSRC)是中国人民大学直属的跨学科、跨院系的综合性研究机构。中心的宗旨为科学、系统、全面地采集、整理、存储与开发中国经济与社会调查数据,进行调查方法与相关技术的研究开发,实施具有重大科学与现实意义的大型科研项目,为科学研究和政府决策提供数据支持。中国调查与数据中心(NSRC)围绕着中国的经济和社会数据,以数据采集、数据存储、数据开发为主要方向。中国调查与数据中心(NSRC)联合全国53所高校组成了“中国社会调查网络(CSSN)”,组织实施中国综合社会调查(CGSS)、中国教育追踪调查(CEPS)、中国宗教调查(CRS)、中国老年社会追踪调查(CLASS)、大学生成长追踪调查(CSDS)、千人百村调查等大型长期追踪调查项目,建成了大规模、全国性、全方位、多层次、连续性与自主性的社会科学基础数据采集平台。中国调查与数据中心(NSRC)受国家自然科学基金委托,建成了中国第一个社会科学调查数据资料库——中国国家调查数据库(CNSDA),开创了我国社会科学数据开放与共享的先河。

中国社科院-社会学研究所、清华大学、中山大学、复旦大学、上海大学等也有各自的调查中心。

中国综合社会调查数据CGSS

中国综合社会调查(Chinese General Social Survey,CGSS)始于2003年,是我国最早的全国性、综合性、连续性学术调查项目。CGSS系统、全面地收集社会、社区、家庭、个人多个层次的数据,总结社会变迁的趋势,探讨具有重大科学和现实意义的议题,推动国内科学研究的开放与共享,为国际比较研究提供数据资料,充当多学科的经济与社会数据采集平台。目前,CGSS数据已成为研究中国社会最主要的数据来源,广泛地应用于科研、教学、政府决策之中。

2003-2008年是CGSS项目的第一期,共完成5次年度调查(2007年没有执行),生产出5套高质量的年度数据。除2004年的调查数据,剩下的年度数据都已在中国国家调查数据库(China National Survey Data Archive,CNSDA)的网站(cnsda.ruc.edu.cn)上发布,到目前为止,用户可免费申请使用。

执行机构丨中国人民大学中国调查与数据中心

数据网址丨http://www.cnsda.org/index.php?r=site/datarecommendation

开放数据年份丨2003、2005、2006、2008、2010、2011、2012、2013

时间跨度丨分两期,第一期:2003年—2008年2008年,每年一次;第二期:2010年—2019年,每两年一次。最新公开数据:CGSS2013。

数据类型丨截面数据

分析单位丨个人、家庭

覆盖区域丨中国28个省市

核心问题丨中国社会变迁(文化、健康、家庭、劳动力、就业、消费、教育、心理、个性等)

应用主题丨人口健康分析、劳动就业分析、消费储蓄分析、空间规划分析\社会流动、幸福感、社会信任、教育回报、宗教信仰、政治参与等。

中国社会状况综合调查(CSS)

“中国社会状况综合调查”(Chinese Social Survey,简称CSS)是中国社会科学院社会学研究所于2005年发起的一项全国范围内的大型连续性抽样调查项目,目的是通过对全国公众的劳动就业、家庭及社会生活、社会态度等方面的长期纵贯调查,来获取转型时期中国社会变迁的数据资料,从而为社会科学研究和政府决策提供翔实而科学的基础信息。

该调查是双年度的纵贯调查,采用概率抽样的入户访问方式,调查区域覆盖了全国31个省/自治区/直辖市,包括了151个区市县,604个村/居委会,每次调查访问7000到10000余个家庭。此调查有助于获取转型时期中国社会变迁的数据资料,其研究结果可推论全国年满18-69周岁的住户人口。

为了兼顾纵贯调查的连续性和社会议题的现实性, CSS的调查问卷在设计上分为基础模块、更替模块和热点模块三个部分。其中基础模块固定不变,包含了个人基础信息、劳动与就业、家庭结构、家庭经济状况等内容;更替模块如社会阶层地位流动、社会保障、休闲消费、社会价值观等,隔一定周期后重复调查;热点模块则与时俱进,目前已进行了社会群体利益关系、民生问题、城镇化等主题的研究。

数据下载方式

http://css.cssn.cn/css_sy/

中国劳动力动态调查数据CLDS

执行机构丨中山大学社会科学调查中心

数据下载丨可下载spss、stata格式的数据,下载的数据格式由数据原始格式决定。http://css.sysu.edu.cn/

数据网址丨http://css.sysu.edu.cn/Data和http://cus.sysu.edu.cn/sjku.asp?id=887

开放数据年份丨2011、2012、2014

数据类型丨面板数据

分析单位与调查规模丨社区、家庭、劳动;调查对象为样本家庭户中的全部劳动力(年龄15至64岁的家庭成员)。

覆盖区域丨中国29个省市(港澳台、西藏、海南除外)

核心问题丨系统地监测社区社会结构和家庭、劳动力个体的变化与相互影响

应用主题丨人口健康分析、劳动就业分析、消费储蓄分析、空间规划分析

中国家庭收入调查(CHIP)

网址

http://www.ciidbnu.org/chip/index.asp

为了追踪中国收入分配的动态情况,中国家庭收入调查(CHIP)已经相继在1989年、1996年、2003年、2008年和2014年进行了五次入户调查。它们分别收集了1988、1995、2002、2007和2013年的收支信息,以及其他家庭和个人信息,分别编号为CHIP1988、CHIP1995、CHIP2002、CHIP2007和CHIP2013。这几次调查是由中外研究者共同组织的、关于“中国收入和不平等研究”的组成部分,并且在国家统计局的协助下完成。CHIP项目的参与者和其他学者分析了这四次调查数据,并且发表了涉及很多领域的文章、报告和学术书籍。

所有的CHIP数据均包含针对城镇和农村住户的调查。鉴于农村向城镇迁移的日渐重要的现实意义,以及城镇和农村住户的子样本并不完全覆盖所有流动人口,2002年的调查增加了对流动人口的调查。因此,2002年CHIP调查包含了三个子样本。2007年的调查也采用了同样的方法,因此也由三个部分组成:城镇住户调查、农村住户调查和流动人口调查。这一结构反映了中国的城乡分割和近20年中不断增加的迁移到城镇地区的农村个体数量。

中国家庭追踪调查数据CFPS

执行机构丨北京大学中国社会科学调查中心数据

网址丨http://www.isss.edu.cn/cfps/

“中国家庭追踪调查“(CFPS)重点关注中国居民的经济与非经济福利,以及包括经济活动、教育成果、家庭关系与家庭动态、人口迁移、健康等在内的诸多研究主题,是一项全国性、大规模、多学科的社会跟踪调查项目。CFPS样本覆盖25个省/市/自治区,目标样本规模为16000户,调查对象包含样本家户中的全部家庭成员。CFPS在2008、2009两年在北京、上海、广东三地分别开展了初访与追访的测试调查,并于2010年正式开展访问。经2010年基线调查界定出来的所有基线家庭成员及其今后的血缘/领养子女将作为CFPS的基因成员,成为永久追踪对象。

开放数据年份丨2008、2009(测试性调查,北京、上海、广东);2010(基线调查);2011(维护调查);2012年以后每年一次跟踪调查。最新公开数据:CFPS2016(追访)调查数据。

数据类型丨面板数据

分析单位与调查规模丨社区、家庭、个人(成人、少儿);基线调查为16000户。CFPS调查问卷共有社区问卷、家庭问卷、成人问卷和少儿问卷四种主体问卷类型,并在此基础上不断发展出针对不同性质家庭成员的长问卷、短问卷、代答问卷、电访问卷等多种问卷类型。

覆盖区域丨中国25个省市,2010年在全国(西藏、青海、新疆、宁夏、内蒙古、海南、香港、澳门、台湾不在其列)正式实施。
核心问题丨中国社会、经济、人口、教育和健康的变迁
应用主题丨人口健康分析、劳动就业分析、消费储蓄分析、空间规划分析、质量管理

主要调查项目:

家庭:生活条件、家户各类收入与支出、住房、金融资产等。

成人:基本信息、教育、婚姻、工作、健康、退休与养老、认知、宗教等。

少儿:基本信息、日常生活、健康、教育、培训辅导、认知能力等。

其中,村/居问卷的调查内容包括:村/居基础设施概况、人口和劳动力资源概况、自身及周边环境、基层选举、财政收入与支出,以及日常消费品价格等。

家庭问卷的调查内容包括:家庭成员结构、日常生活基本设施、社会交往、住房、家庭经济、农业生产与销售等。
成人问卷的调查内容包括:教育、婚姻、职业、日常生活、健康、养老、社会保障、社会交往、价值观、以及基准测试等。

少儿问卷的调查内容包括:学业情况、日常生活、健康、职业期望、与父母关系、成长环境、社会交往、价值观、以及基准测试等。

中国健康与养老追踪调查(CHARLS)

执行机构丨北京大学中国社会科学调查中心数据

网址丨http://charls.pku.edu.cn/zh-CN

开放数据年份丨2008、2012(两省),2011、2013、2014(全国)

2011年(基线调查);以后每两年追踪一次,调查结束1年后,数据对外界公开。2013年(追踪调查);2014年(“中国中老年生命历程调查”专项)。最新公开数据:2015年CHARLS全国追踪调查数据。

数据类型丨面板数据

分析单位丨个人、家庭

覆盖区域丨基线调查在全国28个省的150个县区的450个村、居展开。浙江、甘肃两省(2008、2012),中国28个省市(2011、2013、2014)

核心问题丨我国人口老龄化问题

应用主题丨人口健康分析、消费储蓄分析

分析单位与调查规模丨家户、个人(45岁及以上);2015年全国追访时,其样本已覆盖总计1.24万户家庭中的2.3万名受访者。

主要调查项目丨个人基本信息,家庭结构和经济支持,健康状况,体格测量,医疗服务利用和医疗保险,工作、退休和养老金、收入、消费、资产,以及社区基本情况等。

研究主题丨人口老龄化问题、劳动经济学(婚姻、彩礼等)、社会保障、人口经济学、卫生经济学等。

中国家庭金融调查数据CHFS

执行机构丨西南财经大学

数据网址丨http://chfs.swufe.edu.cn/

开放数据年份丨2011年开始首轮调查,每两年进行一次追踪调查。目前可利用数据CHFS2011、CHFS2013、CHFS2015。

数据类型丨截面数据

分析单位丨家庭

覆盖区域丨25个省市(2011),29个省市(2013)

以CFPS2013为例,除追访2011年访问的8438户家庭、29000个个体外,样本进行首次扩展,最终共计调查来自全国29个省市、自治区(新疆、西藏除外)262个县区的28241个家庭,93000个个体。

核心问题丨家庭金融状况、收入支出、社会保障、商业保险等

应用主题丨人口健康分析、劳动就业分析、消费储蓄分析、金融与投资分析

全国老年人口健康状况调查研究(CLHLS)

全国老年人口健康状况调查研究(CLHLS),是由北京大学健康老龄与发展研究中心/国家发展研究院组织的老年人追踪调查,调查范围覆盖全国23个省区市,调查对象为65岁及以上老年人和35-64岁成年子女,调查问卷分为存活被访者问卷和死亡老人家属问卷两种。存活被访者问卷的调查内容包括老人及家庭基本状况、社会经济背景及家庭结构、经济来源和经济状况、健康和生活质量自评、认知功能、性格心理特征、日常活动能力、生活方 式、生活照料、疾病治疗和医疗费承担;死亡老人家属问卷的调查内容包括死亡时间、死因等内容。

中国健康与营养调查(CHNS)

中国健康与营养调查(China Health and Nutrition Survey, CHNS)是由北卡罗来纳大学人口研究中心(The Carolina Population Center at the University of North Carolina at Chapel Hill)﹑美国国家营养与食物安全研究所(The National Institute of Nutrition and Food Safety)和中国疾病与预防控制中心(The Chinese Center for Disease Control and Prevention)合作开展的调查项目。该调查旨在检验健康﹑营养和计划生育政策的影响以及研究中国社会经济的转变如何作用于整个人口健康和营养状况。到目前为止,该调查一共进行了7次,分别是1989﹑1991﹑1993﹑1997﹑2000﹑2004和2006年。该调查采用多阶段整群抽样的方法,其中有几年因为一些原因,调查的省份发生了变化,最新的2006年的调查范围涉及辽宁﹑黑龙江﹑江苏﹑山东﹑河南﹑湖北﹑湖南﹑广西和贵州9个省(自治区),调查内容涉及住户、营养、健康、成人、儿童、社区等。

编辑:王菁

校对:林亦霖

——END—

想要获得更多数据科学领域相关动态,诚邀关注清华-青岛数据科学研究院官方微信公众平台“ 数据派THU ”。

码关注公众号「政采云前端团队」,获取更多不掺水的原创好文~

IndexedDB 是什么

在现代浏览器的本地存储方案中,indexedDB 是一项重要的能力组成, 它是可以在浏览器端使用的本地数据库,可以存储大量数据,提供接口来查询,还可以建立索引,这些都是其他存储方案 Cookie 或者 LocalStorage 无法提供的能力。单从数据库类型来看,IndexedDB 是一个非关系型数据库(不支持通过 SQL 语句操作)。

IndexedDB 的主要概念

IndexedDB 是一个比较复杂的 API 组合,学习它的过程就相当于学习它的各个对象 API 接口,包括以下这些( IDB 指当前操作的数据库实例 ):

  • 数据库:IDBDatabase 对象
  • 仓库对象: IDBObjectStore 对象
  • 索引:IDBIndex 对象
  • 事务:IDBTransaction 对象
  • 操作请求:IDBRequest 对象
  • 指针:IDBCursor 对象
  • 主键:IDBKeyRange 对象

在这些 API 中包含一些主要概念:

  • 数据库:数据库是所有相关数据的基本容器。在同源策略( 协议 + 域名 + 端口 )的前提下,每个域名下可以新建任意多的数据库。IndexedDB 中有版本概念,这就规定了同一时刻下只有一个版本的数据库存在。
  • 对象仓库:对象仓库 ObjectStore 在 IndexedDB 中对应的是 MYSQL 中的表 Table。
  • 数据:对象仓库中记录的是若干条数据,数据只有主键和数据体两个部分,主键不能重复,可以为自增的整数编号或者数据中指定的一个属性。数据体可以是任意数据类型,不限于对象。
  • 索引:为不同的属性建立索引可以加快数据的检索。
  • 事务:数据的 CURD (增删查改) 都要通过事务来完成。

通过简单的对比图来理解 IndexedDB 的概念:

快速起步 IndexedDB

在介绍了 IndexedDB 的主要概念之后,可以通过一个简单实用的 CURD 例子来学习在日常开发中我们是怎么使用 IndexedDB 的,各个 API 细节日后可以慢慢深入学习。

1、必不可少的浏览器支持检查:

 if(!('indexedDB' in window))
 	{  
   	console.log('当前浏览器支持 IndexedDB');
   	return;
 	} else {  
    console.log('您的浏览器不支持 IndexedDB')  
    // todo 建议升级或者更换其他浏览器
  }

2、连接数据库

// 数据库实例
 let db;
// 数据库打开操作,第一个参数是数据库名称, 第二个参数是数据库版本
 let DBRequestLink = window.indexedDB.open('dataBaseName', 1)
 DBRequestLink.onsuccess = function(event) {
   // 获取数据库实例
   db = DBRequestLink.result;
   // 其他操作
 };
 // 这个监听回调触发于数据库首次新建、open数据库时传递新版本(只能比之前传递的版本高)
 DBRequestLink.onupgradeneeded = function(event) {};

3、创建数据库的主键和字段

DBOpenRequest.onupgradeneeded = function(event) {
   let db = event.target.result;
 
   // 创建一个数据库存储对象,并指定主键
   let objectStore = db.createObjectStore('person', { 
     keyPath: 'id',
     autoIncrement: true
   });
    /* 定义存储对象的数据项 
     * 第一个参数是创建的索引名称,可以为空
     * 第二个参数是索引使用的关键名称,可以为空
     * 第三个参数是可选配置参数,可以不传,常用参数之一就是 unique ,表示该字段是否唯一,不能重复
     */ 
   objectStore.createIndex('id', 'id', {
     unique: true    
   });
   objectStore.createIndex('name', 'name');
   objectStore.createIndex('age', 'age');
   objectStore.createIndex('sex', 'sex');
 };

在上述操作中,我们先定义了上文中提到的 IDBObjectStore 对象,并指定主键为 id ,随后又通过 createIndex 来创建字段。值得注意的是虽然创建了四个字段,但在 IndexedDb 中数据还是分为主键 id 和数据主体两个部分,并不会像 MYSQL 中在 Table 中呈现四列。

4、向数据库中添加数据

// 这里的 db 就是第二步中的 db 对象, 
// transaction api 的第一个参数是数据库名称,第二个参数是操作类型
let newItem = {
  id: 1,
  name: '徐嘻嘻',
  age: 3,
  sex: 'female'
};
 let transaction = db.transaction('dataBaseName', "readwrite");
 // 找到对应的存储对象
 let objectStore = transaction.objectStore('person');
 // 添加到数据对象中, 传入javascript对象
 objectStore.add(newItem);

新建操作是在新建了一个 事务( IDBTransaction 对象)的前提下完成的,传入的数据不需要做任何转换,可以无缝传入 Javascript 对象。

5、修改数据库中的数据

// 这里的 db 就是第二步中的 db 对象, 
// 新建事务
let transaction = db.transaction('dataBaseName', "readwrite");
// 新数据主体
let newRecord = {
  id: 1,
  name: '徐嘎嘎',
  age: 5,
  sex: 'male'
};
// 打开已经存储的数据对象
let objectStore = transaction.objectStore('person');
// 获取存储的对应键的存储对象, 传入主键 id,值为 1  
let objectStoreRequest = objectStore.get(1);
// 获取成功后替换当前数据
objectStoreRequest.onsuccess = function(event) {
  // 数据
  var record = objectStoreRequest.result;
  // 遍历替换
  for (let key in newRecord) {
    if (typeof record[key] != 'undefined' || key !== 'id') {
      record[key] = newRecord[key];
    }
  }
  // 更新数据库存储数据             
  objectStore.put(record);
};

基本思路是创建一个事务,先找到想要修改的数据主体,然后在更新该数据主体内容。 事务创建逻辑相同,并在创建之后调用事务的 get 和 put 操作。

6、删除数据库中的数据

// 这里的 db 就是第二步中的 db 对象, 
// 新建事务
let transaction = db.transaction('dataBaseName', "readwrite");
// 打开已经存储的数据对象
let objectStore = transaction.objectStore('person');
// 获取存储的对应键的存储对象, 传入主键 id,值为 1  
let objectStoreRequest = objectStore.delete(1);

调用 delete 接口,传入指定的 id 即可。

可以提效的类库

​ 从上面的例子中可以看出,每一次操作需要至少三行代码才能完成,而且需要一直维护 DB 的对象引用,避免它被回收,这样子开发代码膨胀得太厉害,所以我们在业务中引入其他类库来减少代码量

  • LocalForage 可以指定数据存储方案,默认依次为 IndexedDB、WebSQL、LocalStorage,意味着当前 IndexedDB 失效可以有兜底措施。API 简化为 CRUD ( getItem、removeItem、setItem、clear )库大小为 475b
  • Pouchdb API 简化为 put、get、remove,基于 promise 来检查回收错误有较好的错误日志机制, 如失败,冲突等等,方便调试库大小为 255b

这两个类库比较符合我们的开发要求,我们当前使用的是 LocalForage。

结束语

在业务开发中,我们都会碰到或多或少的本地存储需求,本文介绍了其中一种存储方案 IndexedDB 的简单实践。就我们的应用场景来看,IndexedDB 的适用面还是很广的。考虑到 IE10 也可以支持,把它实践在实际项目中应该是没有问题的。

文章内容较长,如果表达有误在所难免,欢迎交流指出。

招贤纳士

政采云前端团队(ZooTeam),一个年轻富有激情和创造力的前端团队,隶属于政采云产品研发部,Base 在风景如画的杭州。团队现有 50 余个前端小伙伴,平均年龄 27 岁,近 3 成是全栈工程师,妥妥的青年风暴团。成员构成既有来自于阿里、网易的“老”兵,也有浙大、中科大、杭电等校的应届新人。团队在日常的业务对接之外,还在物料体系、工程平台、搭建平台、性能体验、云端应用、数据分析及可视化等方向进行技术探索和实战,推动并落地了一系列的内部技术产品,持续探索前端技术体系的新边界。

如果你想改变一直被事折腾,希望开始能折腾事;如果你想改变一直被告诫需要多些想法,却无从破局;如果你想改变你有能力去做成那个结果,却不需要你;如果你想改变你想做成的事需要一个团队去支撑,但没你带人的位置;如果你想改变既定的节奏,将会是“5 年工作时间 3 年工作经验”;如果你想改变本来悟性不错,但总是有那一层窗户纸的模糊… 如果你相信相信的力量,相信平凡人能成就非凡事,相信能遇到更好的自己。如果你希望参与到随着业务腾飞的过程,亲手推动一个有着深入的业务理解、完善的技术体系、技术创造价值、影响力外溢的前端团队的成长历程,我觉得我们该聊聊。任何时间,等着你写点什么,发给 ZooTeam@cai-inc.com