ava识堂,一个高原创,高收藏,有干货的微信公众号,一起成长,一起进步,欢迎关注
关系型数据库最难的地方,就是建模(model)。
错综复杂的数据,需要建立模型,才能储存在数据库。所谓"模型"就是两样东西:实体(entity)+ 关系(relationship)。
实体指的是那些实际的对象,带有自己的属性,可以理解成一组相关属性的容器。关系就是实体之间的联系,通常可以分成"一对一"、"一对多"和"多对多"等类型。
在关系型数据库里面,每个实体有自己的一张表(table),所有属性都是这张表的字段(field),表与表之间根据关联字段"连接"(join)在一起。所以,表的连接是关系型数据库的核心问题。
表的连接分成好几种类型。
内连接(inner join)外连接(outer join)左连接(left join)右连接(right join)全连接(full join)
以前,很多文章采用维恩图(两个圆的集合运算),解释不同连接的差异。
上周,我读到一篇文章,认为还有比维恩图更好的解释方式。我发现确实如此,换一个角度解释,更容易懂。
所谓"连接",就是两张表根据关联字段,组合成一个数据集。问题是,两张表的关联字段的值往往是不一致的,如果关联字段不匹配,怎么处理?比如,表 A 包含张三和李四,表 B 包含李四和王五,匹配的只有李四这一条记录。
很容易看出,一共有四种处理方法。
只返回两张表匹配的记录,这叫内连接(inner join)。返回匹配的记录,以及表 A 多余的记录,这叫左连接(left join)。返回匹配的记录,以及表 B 多余的记录,这叫右连接(right join)。返回匹配的记录,以及表 A 和表 B 各自的多余记录,这叫全连接(full join)。
下图就是四种连接的图示。我觉得,这张图比维恩图更易懂,也更准确。
上图中,表 A 的记录是 123,表 B 的记录是 ABC,颜色表示匹配关系。返回结果中,如果另一张表没有匹配的记录,则用 null 填充。
这四种连接,又可以分成两大类:内连接(inner join)表示只包含匹配的记录,外连接(outer join)表示还包含不匹配的记录。所以,左连接、右连接、全连接都属于外连接。
这四种连接的 SQL 语句如下。
SELECT * FROM A INNER JOIN B ON A.book_id=B.book_id; SELECT * FROM A LEFT JOIN B ON A.book_id=B.book_id; SELECT * FROM A RIGHT JOIN B ON A.book_id=B.book_id; SELECT * FROM A FULL JOIN B ON A.book_id=B.book_id;
上面的 SQL 语句还可以加上where条件从句,对记录进行筛选,比如只返回表 A 里面不匹配表 B 的记录。
SELECT * FROM A LEFT JOIN B ON A.book_id=B.book_id WHERE B.id IS null;
另一个例子,返回表 A 或表 B 所有不匹配的记录。
SELECT * FROM A FULL JOIN B ON A.book_id=B.book_id WHERE A.id IS null OR B.id IS null;
此外,还存在一种特殊的连接,叫做"交叉连接"(cross join),指的是表 A 和表 B 不存在关联字段,这时表 A(共有 n 条记录)与表 B (共有 m 条记录)连接后,会产生一张包含 n x m 条记录的新表(见下图)。
作者:阮一峰
链接:http://www.ruanyifeng.com/blog/2019/01/table-join.html
京东SRC(Security Response Center)收录大量外部白帽子提交的sql注入漏洞,漏洞发生的原因多为sql语句拼接和Mybatis使用不当导致。
mysql5.0以上版本中存在一个重要的系统数据库information_schema,通过此数据库可访问mysql中存在的数据库名、表名、字段名等元数据。information_schema中有三个表成为了sql注入构造的关键。
SQL注入常用SQL函数
// sqli vuln code
Statement statement = con.createStatement();
String sql = "select * from users where username = '" + username + "'";
logger.info(sql);
ResultSet rs = statement.executeQuery(sql);
// fix code 如果要使用原始jdbc,请采用预编译执行
String sql = "select * from users where username = ?";
PreparedStatement st = con.prepareStatement(sql);
使用未预编译原始jdbc作为demo,注意此demo中sql语句参数采用单引号闭合。
对于字符类型注入,通常先尝试单引号,判断单引号是否被拼接到SQL语句中。推荐使用浏览器扩展harkbar作为手工测试工具。https://chrome.google.com/webstore/detail/hackbar/ginpbkfigcoaokgflihfhhmglmbchinc
正常页面应该显示如下:
admin后加单引号导致无信息回显,原因是后端sql执行报错,说明引号被拼接至SQL语句中
select * from users where username = 'admin' #正常sql
select * from users where username = 'admin'' #admin'被带入sql执行导致报错无法显示信息
mysql中使用order by 进行排序,不仅可以是字段名也可以是字段序号。所以可以用来判断表中字段数,order by 超过字段个数的数字就会报错。
判断字段数
当order by 超过4时会报错,所以此表共四个字段。
后端所执行的sql语句
select * from users where username = 'admin' order by 1-- '
此处我们将原本username的值admin替换为admin’ order by 1 —+,其中admin后的单引号用于闭合原本sql语句中的前引号,—+用于注释sql语句中的后引号。—后的+号主要作用是提供一个空格,sql语句单行注释后需有空格,+会被解码为空格。
主要用于定位后端sql字段在前端显示的位置,采用联合查询的方式确定。注意联合查询前后字段需一致,这也就是我们为什么做第二步的原因。
通过下图可知,后端查询并回显的字段位置为2,3位。
联合查询后的字段可以随意,本次采用的是数字1到4直观方便。
group_concat()函数用于将查询结果拼接为字符串。
sqlmap兼容python2和python3,可以自动化检测各类注入和几乎所有数据库类型。
-u 可能存在注入的url链接
-r读取http数据包
--data 指定post数据
--cookie 指定cookie
--headers 指定http头 如采用token认证的情况下
--threads 指定线程数
--dbms 指定后端的数据库
--os 指定后端的操作系统类型
--current-user 当前用户
--users 所有用户
--is-dba 是否是dba
--sql-shell 交互式的sqlshell
-p指定可能存在注入点的参数
--dbs 穷举系统存在的数据库
-D指定数据库
--tables 穷举存在的表
-T指定表
--column 穷举字段
-C指定字段
--dump dump数据
直接检测
其中—cookie用于指定cookie,—batch 自动化执行,—dbms指定数据库类型
检测结果
读取系统中存在数据库
—dbs读取当前用户下的数据库
读取指定库下的表
-D java_sec_code —tables
dump users表数据
-D java_sec_code -T users —dump
//采用#不会导致sql注入,mybatis会使用预编译执行
@Select("select * from users where username = #{username}")
User findByUserName(@Param("username") String username);
//采用$作为入参可导致sql注入
@Select("select * from users where username = '${username}'")
List<User> findByUserNameVuln01(@Param("username") String username);
//错误写法
<select id="findByUserNameVuln02" parameterType="String" resultMap="User">
select * from users where username like '%${_parameter}%'
</select>
//正确写法
<select id="findByUserNameVuln02" parameterType="String" resultMap="User">
select * from users where username like concat(‘%’,#{_parameter}, ‘%’)
</select>
order by 后若使用#{}会导致报错,因为#{}默认添加引号会导致找不到字段从而报错。
//错误写法
<select id="findByUserNameVuln03" parameterType="String" resultMap="User">
select * from users
<if test="order != null">
order by ${order} asc
</if>
</select>
//正确写法 id指字段id 此表字段共四个 所以id为1-4
<select id="OrderByUsername" resultMap="User">
select * from users order by id asc limit 1
</select>
slqmap手册:https://octobug.gitbooks.io/sqlmap-wiki-zhcn/content/Users-manual/Introduction.html
sql注入详解:http://sqlwiki.radare.cn/#/
之前的文章中介绍了使用ASP.NET MVC来开发一个博客系统,并且已将初具雏形,可以查看文章列表页面,也可以点击文章列表的其中一篇文章查看详情,这已经完成了最开始需求分析的读者的查看列表和查看文章两个需求,但是现在最大的问题是文章数据仍然是“静态”的。
所有数据被保存在内存中,系统在初始化时会自动添加被硬编码在代码文件中的数据,服务器每次重新启动都只会保留这些数据,并且没有提供“作者”的管理接口,“作者”没法来管理这些数据,哪怕是可以进行管理也没用,因为服务器重启后数据就不存在了,这才是最糟糕的。最初使用HTML文件保存的文章虽然不易修改,但至少数据以文件的形式被保存在硬盘上,只要硬盘不坏,那么数据永远不会丢失,但是现在不一样了,要如何对数据进行持久化呢?
数据库是最好的选择(有的时候也会需要使用文件来管理数据,需要根据实际的应用场景来选择,如配置文件),当然也可以使用文件的方式来管理数据,其实数据库也是一种特殊的文件,只不过数据库文件可以特有的访问方式来对数据进行管理,如插入、删除、更新和快速查找等等,这些功能都不需要自己编写,它们是数据库管理系统提供的(DBMS,Database Management System),数据库又存在很多种类型,在一般企业级应用中常用的是关系型数据库,主要有SQL Server、MySQL、Oracle、PostgreSQL等,它们都能够为应用程序的数据存储提供可靠保证。
对于ASP.NET来说最常用且提供支持最多的当然是SQL Server,但是由于MySQL和PostgreSQL都是开源的,一定程度上可以对其免费使用,所以也经常被.NET开发人员使用,本系列文章将使用SQL Server和MySQL两种数据库来实现数据存储功能,同时也可以看出不同数据库对一个应用程序会有哪些影响。
本文通过以下两点来介绍如何在ASP.NET中使用SQL Server数据库:
●使用SQL Server存储数据
●在ASP.NET中访问SQL Server
使用SQL Server存储数据
1. 使用SQL Server创建Blog数据库,以及Posts表,表字段对应Post类(如何使用SQL Server不在本系列文章范围内,所以会忽略很多细节):
2. 在表中添加数据:
在ASP.NET中访问SQL Server
文章前面说过数据库其实也是一种特殊的文件,然后通过特有的访问方式来使用它,那么ASP.NET 要如何连接并使用SQL Server呢?ADO.NET。(ADO.NET更多信息参考:http://blog.csdn.net/dreamcatchergo/article/details/9729525)
现在修改原有通过静态数组获取数据的BlogRepository,使用ADO.NET来获取数据库中的数据,ADO.NET相关的类在System.Data.dll程序集中,而ADO.NET对于不同的数据源提供了不同的数据提供器,它们用于连接不同的数据源:
SQL Server:System.Data.SqlClient
OleDb: System.Data.OleDb
Odbc: System.Data.Odbc
Oracle: System.Data.OracleClient
在本例中使用的是SQL Server,所以需要System.Data以及System.Data.SqlClient的支持,System.Data在创建项目时以及默认存在。
1. 通过Nuget包管理器安装System.Data.Sqlclient库:
2. 修改BlogRepository,让其从数据库中获取数据:
上面代码中有三个重要的对象分别是SqlConnection、SqlCommand、SqlDataReader,它们的作用分别是通过连接字符串连接数据库、通过SQL语句及参数执行SQL(也可以执行存储过程)、读取执行SQL返回的结果。
3. 程序执行结果:
小结
本章介绍了如何使用数据库来管理数据,然后通过ADO.NET来连接数据库,从数据库中获取文章数据,然后显示到页面上,现在这个应用程序已经“动”起来了,仅需要更新数据库的内容,页面内容也将随之而变。但存在一个问题就是每一次从数据库获取数据都要写SQL语句然后从返回的数据集中获取相应字段的数据用来创建实体对象。有没有更好的方法来解决?
参考:
https://docs.microsoft.com/en-us/dotnet/framework/data/adonet/
http://blog.csdn.net/dreamcatchergo/article/details/9729525
欢迎添加个人微信号:Like若所思。
欢迎关注我的公众号,不仅为你推荐最新的博文,还有更多惊喜和资源在等着你!一起学习共同进步!
*请认真填写需求信息,我们会在24小时内与您取得联系。