转换csv文件为插入的sql脚本web端实现方案

景：

上一篇文章分享了一个本地的实现方案，但是这个尽管打包成exe的完整包的方式，由于实现方式是使用python，打包出来后的文件里包含了使用到的库和python运行程序，启动时内部会需要解压出来，所以启动会比较慢，大概3~5秒启动，对于追求性能的优秀人才就会觉得这个效率太低了，那能不能实现一个web方案，这样web端提供一个传入需要转换的文件，然后返回一个转换好的文件，这样就不需要每个人的包都那么大，运行还慢，而且还没法实时更新。

解决方案：

1.通过web前端进行文件上传到服务器上，设置一个提交页面模板文件uploader.html

<html>
<head>
    <meta charset="UTF-8">
  <title>文件上传</title>
</head>
<body>
    <form action="/uploadfile" method="POST" enctype="multipart/form-data">
        <input type="file" name="uploadfile"  />
        <input type="submit" value="提交" />
    </form>
</body>
</html>

2.创建一个接口进行文件的上传，利用flask进行接口生成

from flask import Flask

from biz.openapi.com_api_webres import blue_webres_mgr

webapp=Flask(__name__, template_folder='../biz/templates')
webapp.register_blueprint(blueprint=blue_webres_mgr)

if __name__=='__main__':
    webapp.run(port=8083)


blue_webres_mgr=Blueprint('webres_mgr', __name__, template_folder='../templates')
webconfig={}
webconfig['UPLOAD_FOLDER']='../upload/'

@blue_webres_mgr.route('/upload')
def upload_file():
    return render_template('uploader.html')

@blue_webres_mgr.route('/uploadfile',methods=['GET','POST'])
def uploader_File():
    if request.method=='POST':
        f=request.files['uploadfile']
        basefilepath=os.path.join(webconfig['UPLOAD_FOLDER']) + f.filename
        newfilename=''
        if os.path.exists(basefilepath):

            fileext=os.path.splitext(f.filename)[-1]
            filename=os.path.basename(f.filename).split(fileext)[0]
            newfilename="{}_{}{}".format(filename, int(time.time()), fileext)
            basefilepath="{}{}".format(os.path.join(webconfig['UPLOAD_FOLDER']),newfilename)

        f.save(basefilepath)
        transcsv=TransCSVDataToSql(basefilepath)
        filepath, webdir, sqlfile=transcsv.TransFile()
        linkurl='http://127.0.0.1/{}/{}'.format(webdir, sqlfile)
        return render_template('downloadsql.html',transfile=f.filename,respath=filepath,linkurl=linkurl, sqlfile=sqlfile)
    else:
        return render_template('uploader.html')

3.利用nginx建立一个web网站服务，可以直接使用phpstudy一键部署

启动nginx就可以了，当然如果需要配置不同的端口，还有地址的，自行通过配置按钮进行配置

4.调用上一篇文章中的文件读取，转换的实现类进行文件的转换和存储

转换后的文件直接存放到web网站的www下的工程目录下

首先配置好自己的目录地址

def __init__(self, csvFile:str):
    self.CSVFile=csvFile
    # 保存的文件名
    self.SaveFile='trans_{}.sql'.format(time.time())
    # 项目保存的目录
    self.WebDir='softfiles'
    # phpstudy指定的www所在目录+项目的目录
    self.WebbasePath='D:/phpstudy_pro/WWW/softfiles/'

配置的是WWW就是网站下的softfiles目录下

5.输出网站可以访问到的页面下载地址

配置web可以访问的到的地址

linkurl='http://127.0.0.1/{}/{}'.format(webdir, sqlfile)

如果发布在公网或者内网上，则把127.0.0.1的IP更改为部署好的服务器域名或IP即可

配置下载页面的html模板downloadsql.html

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>转换好的sql</title>
</head>
<body>
<table border="1">
    <tr>
        <th>文件所在路径</th>
        <th>需要转换的csv文件</th>
        <th>转换完成的sql文件</th>
        <th>下载地址</th>
    </tr>
    <tr>
        <td>{{respath}}</td>
        <td>{{transfile}}</td>
        <td>{{sqlfile}}</td>
        <td><a href={{linkurl}}>下载地址</a></td>
    </tr>
</table>

</body>
</html>

6.来看看最终的效果吧

启动服务端，

启动Nginx，在浏览器中输入

127.0.0.1:8083/upload

出现页面

然后点击浏览，打开导出的csv文件

选择好后点击打开，最后点击页面中的“提交”按钮

会展现一个下载页面地址

点击下载地址即可进行转换后的文件的下载，然后就可以使用这个sql脚本进行刷库了

结语：

通过这个web端的转换，对于使用用户来说，只需要输入一个地址，然后上传文件即可完成转换工作，比本地版要快速很多，而且只要web端更新了新的解析规则，自己都不需要去处理，自然就能使用到最新的，启动效率也是大大提升。

好了，今天的分享就到这了，感谢大家的阅读！

话说选择不对，努力白费，对于C#的学习也是一样方向不对努力白费。

新手或者有经验的开发者学习c#时往往不知道该学习哪个技术，哪些框架。

盲目的学习会导致不足以学以致用，下面就来分享几个学习路线图。

一、后端开发路线

这条线路是纯后端开发，主要做服务端开发，前后端分离是当下的主流开发模式。该路线方向需要学习以下技能：

1、基础知识：c#基础知识、Asp.Net Core相关知识、Asp.Net Core Web Api、Asp.Net Core Aap.Net Mvc（可选）、Grpc

2、ORM：主要学习EF Core、Dapper（其他流行ORM也行但尽量走主流路线）

3、数据库：MySql、SqlServer 深入学习其中一种即可，另一种需要熟悉

4、日志组件：NLog或者Serilog

5、定时框架：Quartz.Net Core或者Handfire

6、分布式组件：Redis、RabbitMQ、Mongdb（可选）、Kafka（可选）

7、架构方面：经典三层、熟悉DDD架构模式（可选）、熟悉微服务（可选）

8、CICD：熟悉Linux操作系统、Git代码管理器、Doker（可选）、K8s（可选）

二、c/s客户端开发路线

当下物联网开发正火很多大厂都在招物联网技术开发

1、基础知识：c#基础知识、Asp.Net Core相关知识、Asp.Net Core Web Api、Asp.Net Core Aap.Net Mvc（可选）、Grpc

2、ORM：主要学习EF Core、Dapper（其他流行ORM也行但尽量走主流路线）

3、数据库：MySql、SqlServer 深入学习其中一种即可，另一种需要熟悉

4、日志组件：NLog或者Serilog

5、定时框架：Quartz.Net Core或者Handfire

6、客户端方面：Wpf（深入学习）、MQtt协议、Winfrom（可选）

7、分布式组件：Redis、RabbitMQ、Mongdb（可选）、Kafka（可选）

8、架构方面：经典三层、熟悉DDD架构模式（可选）、熟悉微服务（可选）

9、CICD：熟悉Linux操作系统、Git代码管理器、Doker（可选）、K8s（可选）

三、Web全栈开发路线1

该路线是全栈开发，需要学习前端的一些基础知识：

1、基础知识：c#基础知识、Asp.Net Core相关知识、Asp.Net Core Web Api、Asp.Net Core Aap.Net Mvc（可选）、Grpc

2、ORM：主要学习EF Core、Dapper（其他流行ORM也行但尽量走主流路线）

3、数据库：MySql、SqlServer 深入学习其中一种即可，另一种需要熟悉

4、日志组件：NLog或者Serilog

5、定时框架：Quartz.Net Core或者Handfire

6、前端方面：Asp.Net Mvc、js、html、css、Vue（React、Angula js）

7、分布式组件：Redis、RabbitMQ、Mongdb（可选）、Kafka（可选）

8、架构方面：经典三层、熟悉DDD架构模式（可选）、熟悉微服务（可选）

9、CICD：熟悉Linux操作系统、Git代码管理器、Doker（可选）、K8s（可选）

四、Web全栈开发路线2

c#全栈开发方向，使用c#开发前后端功能，不需要学习js和html

1、基础知识：c#基础知识、Asp.Net Core相关知识、Asp.Net Core Web Api、Asp.Net Core Aap.Net Mvc（可选）、Grpc

2、ORM：主要学习EF Core、Dapper（其他流行ORM也行但尽量走主流路线）

3、数据库：MySql、SqlServer 深入学习其中一种即可，另一种需要熟悉

4、日志组件：NLog或者Serilog

5、定时框架：Quartz.Net Core或者Handfire

6、前端方面：Blazer（深入学习）

7、分布式组件：Redis、RabbitMQ、Mongdb（可选）、Kafka（可选）

8、架构方面：经典三层、熟悉DDD架构模式（可选）、熟悉微服务（可选）

9、CICD：熟悉Linux操作系统、Git代码管理器、Doker（可选）、K8s（可选）

五、游戏开发路线

1、基础知识：c#基础知识、Asp.Net Core相关知识、Asp.Net Core Web Api、Asp.Net Core Aap.Net Mvc（可选）、Grpc

2、ORM：主要学习EF Core、Dapper（其他流行ORM也行但尽量走主流路线）

3、游戏引擎：Unity3d（深入学习）

4、日志组件：NLog或者Serilog

5、定时框架：Quartz.Net Core或者Handfire

6、分布式组件：Redis、RabbitMQ、Mongdb（可选）、Kafka（可选）

7、架构方面：经典三层、熟悉DDD架构模式（可选）、熟悉微服务（可选）

8、CICD：熟悉Linux操作系统、Git代码管理器、Doker（可选）、K8s（可选）

六、移动端开发路线

如果你项从事开发移动应用，使用c#开发原生安卓、IOS、Mac 应用你需要掌握以下技术

1、基础知识：c#基础知识、Asp.Net Core相关知识、Asp.Net Core Web Api、Asp.Net Core Aap.Net Mvc（可选）、Grpc

2、ORM：主要学习EF Core、Dapper（其他流行ORM也行但尽量走主流路线）

3、数据库：SqlLite

4、日志组件：NLog或者Serilog

5、定时框架：Quartz.Net Core或者Handfire

6、客户端方面：Xamarin（深入学习）、Maui

7、分布式组件：Redis、RabbitMQ、Mongdb（可选）、Kafka（可选）

8、架构方面：经典三层、熟悉DDD架构模式（可选）、熟悉微服务（可选）

9、CICD：熟悉Linux操作系统、Git代码管理器、Doker（可选）、K8s（可选）

学习路线四五条总有你在用的一条，如果你还有其他路线欢迎留言，一起探讨新的学习方向。

#学编程#

背景

京东SRC(Security Response Center)收录大量外部白帽子提交的sql注入漏洞，漏洞发生的原因多为sql语句拼接和Mybatis使用不当导致。

2 手工检测

2.1 前置知识

mysql5.0以上版本中存在一个重要的系统数据库information_schema，通过此数据库可访问mysql中存在的数据库名、表名、字段名等元数据。information_schema中有三个表成为了sql注入构造的关键。

1）infromation_schema.columns:

table_schema 数据库名
table_name 表名
column_name 列名

2)information_schema.tables

table_schema 数据库名
table_name 表名

3)information_schema.schemata

schema_name 数据库名

SQL注入常用SQL函数

length(str) ：返回字符串str的长度
substr(str, pos, len) ：将str从pos位置开始截取len长度的字符进行返回。注意这里的pos位置是从1开始的，不是数组的0开始
mid(str,pos,len) ：跟上面的一样，截取字符串
ascii(str) ：返回字符串str的最左面字符的ASCII代码值
ord(str) ：将字符或布尔类型转成ascll码
if(a,b,c) ：a为条件，a为true，返回b，否则返回c，如if(1>2,1,0),返回0

2.2 注入类型

2.2.1 参数类型分类

整型注入
例如?id=1，其中id为注入点，类型为int类型。
字符型注入
例如?id=”1”，其中id为注入点，类型为字符型，要考虑闭合后端sql语句中的引号。

2.2.2 注入方式分类

盲注
布尔盲注：只能从应用返回中推断语句执行后的布尔值。
时间盲注：应用没有明确的回显，只能使用特定的时间函数来判断，例如sleep，benchmark等。
报错注入：应用会显示全部或者部分的报错信息
堆叠注入：有的应用可以加入 ; 后一次执行多条语句
其他

2.3 手动检测步骤(字符型注入为例）

 // sqli vuln code
            Statement statement=con.createStatement();
            String sql="select * from users where username='" + username + "'";
            logger.info(sql);
            ResultSet rs=statement.executeQuery(sql);
// fix code 如果要使用原始jdbc，请采用预编译执行
            String sql="select * from users where username=?";
            PreparedStatement st=con.prepareStatement(sql);

使用未预编译原始jdbc作为demo，注意此demo中sql语句参数采用单引号闭合。

2.3.1 确定注入点

对于字符类型注入，通常先尝试单引号，判断单引号是否被拼接到SQL语句中。推荐使用浏览器扩展harkbar作为手工测试工具。https://chrome.google.com/webstore/detail/hackbar/ginpbkfigcoaokgflihfhhmglmbchinc

正常页面应该显示如下：

admin后加单引号导致无信息回显，原因是后端sql执行报错，说明引号被拼接至SQL语句中

select * from users where username='admin'  #正常sql
select * from users where username='admin'' #admin'被带入sql执行导致报错无法显示信息

2.3.2 判断字段数

mysql中使用order by 进行排序，不仅可以是字段名也可以是字段序号。所以可以用来判断表中字段数，order by 超过字段个数的数字就会报错。

判断字段数

当order by 超过4时会报错，所以此表共四个字段。

后端所执行的sql语句

select * from users where username='admin' order by 1-- '

此处我们将原本username的值admin替换为admin’ order by 1 —+，其中admin后的单引号用于闭合原本sql语句中的前引号，—+用于注释sql语句中的后引号。—后的+号主要作用是提供一个空格，sql语句单行注释后需有空格，+会被解码为空格。

2.3.3 确定回显位置

主要用于定位后端sql字段在前端显示的位置，采用联合查询的方式确定。注意联合查询前后字段需一致，这也就是我们为什么做第二步的原因。

通过下图可知，后端查询并回显的字段位置为2，3位。

联合查询后的字段可以随意，本次采用的是数字1到4直观方便。

2.3.4 利用information_schema库实现注入

group_concat()函数用于将查询结果拼接为字符串。

查看存在数据库

查看当前数据库中的表

查看指定表中字段

利用以上获取信息读取users表中username和password

3 自动化检测

3.1 sqlmap 使用

sqlmap兼容python2和python3，可以自动化检测各类注入和几乎所有数据库类型。

3.1.1 常用命令

-u  可能存在注入的url链接
-r读取http数据包
--data 指定post数据
--cookie 指定cookie
--headers 指定http头 如采用token认证的情况下
--threads 指定线程数
--dbms 指定后端的数据库
--os 指定后端的操作系统类型
--current-user 当前用户
--users 所有用户
--is-dba 是否是dba
--sql-shell 交互式的sqlshell
-p指定可能存在注入点的参数
--dbs 穷举系统存在的数据库
-D指定数据库
--tables 穷举存在的表
-T指定表
--column 穷举字段
-C指定字段
--dump dump数据

直接检测
其中—cookie用于指定cookie，—batch 自动化执行，—dbms指定数据库类型

检测结果

读取系统中存在数据库
—dbs读取当前用户下的数据库

读取指定库下的表
-D java_sec_code —tables

dump users表数据
-D java_sec_code -T users —dump

4 进阶

4.1 Mybatis注入

1）$错误使用导致注入

//采用#不会导致sql注入,mybatis会使用预编译执行
    @Select("select * from users where username=#{username}")
    User findByUserName(@Param("username") String username);
//采用$作为入参可导致sql注入
    @Select("select * from users where username='${username}'")
    List<User> findByUserNameVuln01(@Param("username") String username);

2）模糊查询拼接

//错误写法
  <select id="findByUserNameVuln02" parameterType="String" resultMap="User">
        select * from users where username like '%${_parameter}%'
    </select>

 //正确写法
 <select id="findByUserNameVuln02" parameterType="String" resultMap="User">
        select * from users where username like concat(‘%’,#{_parameter}, ‘%’)  
    </select>

3）order by 注入

order by 后若使用#{}会导致报错，因为#{}默认添加引号会导致找不到字段从而报错。

   //错误写法 
<select id="findByUserNameVuln03" parameterType="String" resultMap="User">
        select * from users
        <if test="order !=null">
            order by ${order} asc
        </if>
    </select>
//正确写法 id指字段id 此表字段共四个 所以id为1-4
    <select id="OrderByUsername" resultMap="User">
        select * from users order by id asc limit 1
    </select>

以上测试均在本地进行，请勿未授权进行渗透测试

5 文章及资料推荐

slqmap手册：https://octobug.gitbooks.io/sqlmap-wiki-zhcn/content/Users-manual/Introduction.html
sql注入详解：http://sqlwiki.radare.cn/#/

作者：罗宇（物流安全小分队）

在线咨询

上一篇：JSP的前生今世
下一篇：用了 6 年的手帐，这是我用手帐实践任务管理的方法

您的项目需求

*请认真填写需求信息，我们会在24小时内与您取得联系。

整合营销服务商

转换csv文件为插入的sql脚本web端实现方案

景：

解决方案：

1.通过web前端进行文件上传到服务器上，设置一个提交页面模板文件uploader.html

2.创建一个接口进行文件的上传，利用flask进行接口生成

3.利用nginx建立一个web网站服务，可以直接使用phpstudy一键部署

4.调用上一篇文章中的文件读取，转换的实现类进行文件的转换和存储

5.输出网站可以访问到的页面下载地址

6.来看看最终的效果吧

结语：

背景

2 手工检测

2.1 前置知识

1）infromation_schema.columns:

2)information_schema.tables

3)information_schema.schemata

2.2 注入类型

2.2.1 参数类型分类

2.2.2 注入方式分类

2.3 手动检测步骤(字符型注入为例）

2.3.1 确定注入点

2.3.2 判断字段数

2.3.3 确定回显位置

2.3.4 利用information_schema库实现注入

3 自动化检测

3.1 sqlmap 使用

3.1.1 常用命令

4 进阶

4.1 Mybatis注入

1）$错误使用导致注入

2）模糊查询拼接

3）order by 注入

以上测试均在本地进行，请勿未授权进行渗透测试

5 文章及资料推荐

作者：罗宇（物流安全小分队）

您的项目需求