文链接：https://mp.weixin.qq.com/s/uZVCzpFkmEoh0hUdzw3qAw

原作者：JavaGuide

今天分享一个好用的数据库文档生成工具。

在项目中，我们经常需要整理数据库表结构文档。

一般情况下，我们都是手动整理数据库表结构文档，当表结构有变动的时候，自己手动进行维护。

数据库表少的时候还好，数据库表多了之后，手动整理和维护数据库表结构文档简直不要太麻烦，而且，还非常容易出错！

有没有什么好用的工具帮助我们自动生成数据库表结构文档呢？

当然有！Github 上就有一位朋友开源了一款数据库表结构文档自动生成工具—— screw 。

项目地址：https://github.com/pingfangushi/screw 。

screw 翻译过来的意思就是螺丝钉，作者希望这个工具能够像螺丝钉一样切实地帮助到我们的开发工作。

目前的话，screw 已经支持市面上大部分常见的数据库比如 MySQL、MariaDB、Oracle、SqlServer、PostgreSQL、TiDB。

另外，screw 使用起来也非常简单，根据官网提示，不用 10 分钟就能成功在本地使用起来！

快速入门

为了验证 screw 自动生成数据库表结构文档的效果，我们首先创建一个简单的存放博客数据的数据库表。

CREATE TABLE `blog` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键',
  `title` varchar(255) NOT NULL COMMENT '博客标题',
  `content` longtext NOT NULL COMMENT '博客内容',
  `description` varchar(255) DEFAULT NULL COMMENT '博客简介',
  `cover` varchar(255) DEFAULT NULL COMMENT '博客封面图片地址',
  `views` int(11) NOT NULL DEFAULT '0' COMMENT '博客阅读次数',
  `user_id` bigint(20) DEFAULT '0' COMMENT '发表博客的用户ID',
  `channel_id` bigint(20) NOT NULL COMMENT '博客分类ID',
  `recommend` bit(1) NOT NULL DEFAULT b'0' COMMENT '是否推荐',
  `top` bit(1) NOT NULL DEFAULT b'0' COMMENT '是否置顶',
  `comment` bit(1) NOT NULL DEFAULT b'1' COMMENT '是否开启评论',
  `created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  `updated_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '更新时间',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=16 DEFAULT CHARSET=utf8mb4 COMMENT='博客';

基于 Java 代码

引入依赖

创建一个普通的 Maven 项目即可！然后引入 screw、HikariCP、MySQL 这 3 个依赖。

<!--screw-->
<dependency>
    <groupId>cn.smallbun.screw</groupId>
    <artifactId>screw-core</artifactId>
    <version>1.0.5</version>
</dependency>
<!-- HikariCP -->
<dependency>
    <groupId>com.zaxxer</groupId>
    <artifactId>HikariCP</artifactId>
    <version>3.4.5</version>
</dependency>
<!--MySQL-->
<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>8.0.20</version>
</dependency>

你可以通过下面的地址在 mvnrepository 获取最新版本的 screw。

https://mvnrepository.com/artifact/cn.smallbun.screw/screw-core

编写代码

生成数据库文档的代码的整个代码逻辑还是比较简单的，我们只需要经过下面 5 步即可：

// 1.获取数据源
DataSource dataSource=getDataSource();
// 2.获取数据库文档生成配置（文件路径、文件类型）
EngineConfig engineConfig=getEngineConfig();
// 3.获取数据库表的处理配置，可忽略
ProcessConfig processConfig=getProcessConfig();
// 4.Screw 完整配置
Configuration config=getScrewConfig(dataSource, engineConfig, processConfig);
// 5.执行生成数据库文档
new DocumentationExecute(config).execute();

1、获取数据库源

对数据库以及数据库连接池进行相关配置。务必将数据库相关的配置修改成你自己的。

/**
 * 获取数据库源
 */
private static DataSource getDataSource() {
    //数据源
    HikariConfig hikariConfig=new HikariConfig();
    hikariConfig.setDriverClassName("com.mysql.cj.jdbc.Driver");
    hikariConfig.setJdbcUrl("jdbc:mysql://127.0.0.1:3306/javaguide-blog");
    hikariConfig.setUsername("root");
    hikariConfig.setPassword("123456");
    //设置可以获取tables remarks信息
    hikariConfig.addDataSourceProperty("useInformationSchema", "true");
    hikariConfig.setMinimumIdle(2);
    hikariConfig.setMaximumPoolSize(5);
    return new HikariDataSource(hikariConfig);
}

2、获取文件生成配置

这一步会指定数据库文档生成的位置、文件类型以及文件名称。

/**
 * 获取文件生成配置
 */
private static EngineConfig getEngineConfig() {
    //生成配置
    return EngineConfig.builder()
            //生成文件路径
            .fileOutputDir("/Users/guide/Documents/代码示例/screw-demo/doc")
            //打开目录
            .openOutputDir(true)
            //文件类型
            .fileType(EngineFileType.HTML)
            //生成模板实现
            .produceType(EngineTemplateType.freemarker)
            //自定义文件名称
            .fileName("数据库结构文档").build();
}

如果不配置生成文件路径的话，默认也会存放在项目的 doc 目录下。

另外，我们这里指定生成的文件格式为 HTML。除了 HTML 之外，screw 还支持 Word 、Markdown 这两种文件格式。

不太建议生成 Word 格式,比较推荐 Markdown 格式。

3、获取数据库表的处理配置

这一步你可以指定忽略生成哪些表。

/**
 * 获取数据库表的处理配置，可忽略
 */
private static ProcessConfig getProcessConfig() {
    return ProcessConfig.builder()
      // 指定只生成 blog 表
      .designatedTableName(new ArrayList<>(Collections.singletonList("blog")))
      .build();
}

还可以指定只生成哪些表。

private static ProcessConfig getProcessConfig() {
    ArrayList<String> ignoreTableName=new ArrayList<>();
    ignoreTableName.add("test_user");
    ignoreTableName.add("test_group");
    ArrayList<String> ignorePrefix=new ArrayList<>();
    ignorePrefix.add("test_");
    ArrayList<String> ignoreSuffix=new ArrayList<>();
    ignoreSuffix.add("_test");
    return ProcessConfig.builder()
            //忽略表名
            .ignoreTableName(ignoreTableName)
            //忽略表前缀
            .ignoreTablePrefix(ignorePrefix)
            //忽略表后缀
            .ignoreTableSuffix(ignoreSuffix)
            .build();
}

这一步也可以省略。如果不指定 ProcessConfig 的话，就会按照默认配置来！

4、生成 screw 完整配置

根据前面 3 步，生成 screw 完整配置。

private static Configuration getScrewConfig(DataSource dataSource, EngineConfig engineConfig, ProcessConfig processConfig) {
    return Configuration.builder()
            //版本
            .version("1.0.0")
            //描述
            .description("数据库设计文档生成")
            //数据源
            .dataSource(dataSource)
            //生成配置
            .engineConfig(engineConfig)
            //生成配置
            .produceConfig(processConfig)
            .build();
}

5、执行生成数据库文档

下图就是生成的 HTML 格式的数据库设计文档。

基于 Maven 插件

除了基于 Java 代码这种方式之外，你还可以通过 screw 提供的 Maven 插件来生成数据库文档。方法也非常简单！

1、配置 Maven 插件

务必将数据库相关的配置修改成你自己的。

<build>
    <plugins>
        <plugin>
            <groupId>cn.smallbun.screw</groupId>
            <artifactId>screw-maven-plugin</artifactId>
            <version>1.0.5</version>
            <dependencies>
                <!-- HikariCP -->
                <dependency>
                    <groupId>com.zaxxer</groupId>
                    <artifactId>HikariCP</artifactId>
                    <version>3.4.5</version>
                </dependency>
                <!--mysql driver-->
                <dependency>
                    <groupId>mysql</groupId>
                    <artifactId>mysql-connector-java</artifactId>
                    <version>8.0.20</version>
                </dependency>
            </dependencies>
            <configuration>
                <!--username-->
                <username>root</username>
                <!--password-->
                <password>123456</password>
                <!--driver-->
                <driverClassName>com.mysql.cj.jdbc.Driver</driverClassName>
                <!--jdbc url-->
                <jdbcUrl>jdbc:mysql://127.0.0.1:3306/javaguide-blog</jdbcUrl>
                <!--生成文件类型-->
                <fileType>MD</fileType>
                <!--打开文件输出目录-->
                <openOutputDir>true</openOutputDir>
                <!--生成模板-->
                <produceType>freemarker</produceType>
                <!--文档名称 为空时:将采用[数据库名称-描述-版本号]作为文档名称-->
                <fileName>数据库结构文档</fileName>
                <!--描述-->
                <description>数据库设计文档生成</description>
                <!--版本-->
                <version>${project.version}</version>
                <!--标题-->
                <title>数据库文档</title>
            </configuration>
            <executions>
                <execution>
                    <phase>compile</phase>
                    <goals>
                        <goal>run</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>

2、手动执行生成数据库文档

我们这里指定生成的是 Markdown 格式。

下图就是生成的 Markdown 格式的数据库设计文档，效果还是非常不错的！

一篇文章我给大家说明了如何从零开始搭建一个node的服务端框架，我们用到了Egg框架。Egg框架我不再过多介绍，如果有小伙伴想了解，可以回去看我以前写的文章，会有相关的介绍。这次我将在上次搭建的框架上进行延伸，讲一下如果用Egg框架连接数据库，并且实现对数据的增删查改。接下来我们直接进入主题。

安装数据库插件

我本次选用的数据库是MySQL。所以我们安装Egg官方的数据库插件即可，首先我们安装插件 egg-mysql 。我们在项目根目录打开命令提示符，输入命令行：npm i --save egg-mysql 。回车等待插件下载安装完成。

npm i --save egg-mysql

配置插件

命令行下载安装插件完成后，我们下一步的工作就是在项目中开启并配置egg-mysql插件。具体操作如下：

首先我们要在项目中开启数据库。找到项目中的/config/plugin.js文件我们需要在里面添加几行代码，如下所示。

//开启数据库插件
  mysql : {
    enable: true,
    package: 'egg-mysql',
  }

然后我们还要在 config/config.default.js 中配置各个环境的数据库连接信息。具体配置如下。

//添加数据库连接信息
  config.mysql={
    // 单数据库信息配置
    client: {
      // host
      host: 'localhost',
      // 端口号
      port: '3306',
      // 用户名
      user: 'root',
      // 密码
      password: '123456',
      // 数据库名
      database: 'testdb',
    },
    // 是否加载到 app 上，默认开启
    app: true,
    // 是否加载到 agent 上，默认关闭
    agent: false,
  };

到此步骤我们的数据库插件已经安装完成并且配置好了。那我们怎么实现数据的增删查改呢？大家请继续往下看。

数据操作-新增用户

首先我们看一下怎么新增数据。我们在mysql的testdb实例中新建一个user空表。如下图所示。

我们的egg框架也遵循MVC的架构所以我们一般会在service层里面写我们逻辑处理的代码，而controller层则是获取前端数据，回传数据的控制层。所以我们操作数据库的代码是写在service文件夹里面的。

我们在app/service文件夹里面新建一个user.js文件。在里面写个新增用户的方法，该方法就是把数据存到数据库中。具体代码如下。

const Service=require('egg').Service;

class UserService extends Service {

  //新增用户data是有controller层传递过来的数据记录。
  async addUser(data) {

    const {ctx, app}=this;
    let result={};
    try {
      data.id=0;//定义id=0，因为数据库已经设置id为主键，并且自增。所以只需要赋值0即可。
      // 在 user 表中，插入前端提交上来的数据记录
      const info=await app.mysql.insert('user', data); 
  
      //插入成功后。
      if(info.affectedRows===1){
        //给前端返回一个Json的对象
        result={
          state: 0, //自定义的状态码
          msg: "添加成功", //返回的消息
          data: info.insertId, //新增的记录的id
        }
      }

    } catch (err) {
      //插入数据失败的返回结果
      result={
        state: 1, 
        msg: err,
        data: null,
      }
    }
    
    return result
  }
};
module.exports=UserService;

然后我们在app/controller文件夹里新建一个user.js文件。在这里我们需要获取前端提交上来的数据，并且将数据处理的结果返回给前端。具体代码如下。

'use strict';

const Controller=require('egg').Controller;
/**
 * @Controller 用户管理
 */
class UserController extends Controller {

  /**
  * @summary 新增用户
  * @router post /user/add
  * @request body userAddRequest 
  * @response 200 
  */
  async addUser() {
    const { ctx }=this;

    //通过ctx.request.body的方式，可以获取到前端post方式提交上来的数据
    const data=ctx.request.body;

    //调用service层的addUser方法。并且返回相应的结果
    const userInfo=await ctx.service.user.addUser(data);
    
    //向前端接口响应数据。
    ctx.body=userInfo;
  }

}

module.exports=UserController;

最后我们定义一个路由，让前端请求访问此路由。框架会监听路由是否被访问，如果被访问了则会调用我们定义在controller层的新增用户的方法。我们在app/router.js文件中添加如下代码，即可完成路由的定义。

//新增用户路由
  router.post('/user/add', controller.user.addUser);

完成这步骤后，我们一个新增用户的功能就已经完成了。接下里我们就测试一下它的实际效果。我们运行命令：npm run dev。启动项目，然后打开网页http://127.0.0.1:7001，可以直接在swagger-ui.html页面中进行测试。结果如下图所示。

经过测试，数据已经添加完成。所以数据库连接也是正常的。

本次分享暂时先告一段落。请各位小伙伴抬起你们发财的小手，点个赞呗。下次我将会进行和大家分享对数据查改删的方法。关注我！！！更多精彩分享不迷路。

IOBE编程排行榜作为衡量编程语言流行度的权威指标，每年都会吸引众多开发者和企业的关注。近日，TIOBE发布了2023年最新编程语言排行榜，展示了各种编程语言的市场份额和流行度。本文将介绍如何从TIOBE排行榜抓取数据，并将这些数据写入数据库的过程。

read_html函数是最简单的爬虫，可爬取静态网页表格数据，但只适合于爬取table 表格型数据，不是所有表格都可以用read_html爬取，有的网站表面上看起来是表格，但在网页源代码中不是table格式，而是list列表格式，这种表格就不适用read_html爬取。

1. read_html抓取数据

下面先学习一下read_html() 函数的参数，在代码行中写入

import pandas as pd
df=pd.read_html()

在括号中使用Shift+Tab组合键调用代码提示功能，可以看到read_html都包含以下参数。

这里例举常用的一些参数。

• io：url、html文本、本地文件等
• header：标题行
• flavor：解析器
• skiprows：跳过的行
• attrs：属性，例如：attrs={'id':'table'}
• parse_dates:解析日期

下面我们使用代码实际爬取网页表格数据，比如下面的TIOBE编程排行榜排名数据。

https://www.tiobe.com/tiobe-index/

使用read_html爬取网页数据，返回的结果是DataFrame组成的list ，在最后加上一个索引[0]即可得到爬取的表格数据，爬取的数据如下。

import pandas as pd

df=pd.read_html('https://www.tiobe.com/tiobe-index/')[0]
df.head(10)

数据有冗余，我们筛选自己需要的数据字段，多余的数据字段进行剔除，如下选取第1列、第2列、第5列、第6列、第7列的数据字段。

df_select=df.iloc[:,[0,1,4,5,6,]]
df_select.head(10)

2. 保存至数据库

使用Python写一个脚本，用于将上面的数据字段批量的存储为.sql格式数据，如下为生成的.sql格式数据，借助特定的SQL软件可以打开。

sql=[] # 使用列表来保存所有的 SQL 语句  
  
for i, r in df_select.iterrows():  
    columns="`, `".join(r.index)  # 获取所有列名，并用逗号和空格分隔它们  
    values="`, `".join([f"'{r[col]}'" for col in r.index])  # 为每一列生成一个带单引号的值，并用逗号和空格分隔它们  
    sql_row=f"INSERT INTO `TIOBE` (`{columns}`) VALUES ({values}) ;"  # 生成完整的 SQL 插入语句  
    sql.append(sql_row)  # 将 SQL 插入语句添加到列表中  
    
# 将所有的 SQL 语句保存到一个文件中，例如 "output.sql"  
with open('output.sql', 'w') as f:  
    for s in sql:  
        f.write(s + '\n')  # 在每个 SQL 语句后添加一个换行符

除此之外，还可以使用 f'' 函数批量生成SQL插入语句，这部分SQL语句是可以直接复制粘贴在SQL软件中实际运行的，更快捷地写插入SQL语句的代码，代码生成如下。

sql=''
for i,r in df_select.iterrows():
    r_sql=f"INSERT INTO `TIOBE` (`Dec 2023`,`Dec 2022`,`Programming Language.1`,`Ratings`,`Change.1`)\nVALUES('{r['Dec 2023']}','{r['Dec 2022']}','{r['Programming Language.1']}','{r['Ratings']}','{r['Change.1']}',)"
    sql=sql + r_sql + ';' + '\n'
print(sql)

通过使用适当的方法，从TIOBE排行榜抓取数据并将其写入数据库是一个相对简单的过程，并且可以定期更新数据库，以确保数据的实时性和准确性，如果有任何其他问题或需要进一步的帮助，可在评论区留言~