20201007Python操作MySQL数据库

绍

介绍

今天我们学习如何通过Python操作MySQL数据库。

在Python2.7下使用的是pymysql这个软件包，跟着福哥来操作吧。

安装

安装pymysql

直接使用pip安装即可

pip insall pymysql

授权

MySQL数据库服务器默认只能在安装了数据库服务器的本机操作，也就是在TFLinux上操作，但是我们的python是安装在TFWindows上的啊！所以，我们要授权任何电脑都可以操作TFLinux上的MySQL数据库。当然了，肯定是需要正确的用户名和密码的啦！

在TFLinux上登录mysql

[root@tfdev ~]# mysql -uroot -pabcdef
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.7.28 MySQL Community Server (GPL)

Copyright (c) 2000, 2019, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>

授权tfse用户可以在任意电脑上连接MySQL数据库服务器，且对数据库tfse有完全控制权限

mysql> grant all on tfse.* to tfse@'%' identified by 'abcdef';
Query OK, 0 rows affected, 1 warning (0.02 sec)

测试

建立MySQLDemo.py用来进行pymysql的测试

测试连接

写入如下代码，测试mysql的连接

import pymysql

cn = pymysql.connect("192.168.1.168","tfse","abcdef")

如果没有报错，证明连接成功了！

测试写入数据

写入如下代码，向websites表写入一条数据

import pymysql

try:
    # connection
    cn = pymysql.connect("192.168.1.168","tfse","abcdef")
    cursor = cn.cursor()

    # select database
    cn.select_db('tfse')
except Exception as e:
    print e
    exit()

try:
    # insert data into websites
    cursor.execute("INSERT INTO websites (domainName, weight, createDT) VALUES (%s,%s,now())", ['tongfu.net', 1])

    # commit
    cn.commit()
except Exception as e:
    print e

    # rollback
    cn.rollback()
finally:
    # close
    cursor.close()
    cn.close()

如果没有报错，就表示写入成功了！

查看数据

到TFLinux上查看刚刚写入的数据

mysql> select * from websites;
+-----------+------------+-------+----------+--------+---------------------+-------------+-------------+
| websiteId | domainName | title | descript | weight | createDT            | lastFetchDT | nextFetchDT |
+-----------+------------+-------+----------+--------+---------------------+-------------+-------------+
|         3 | tongfu.net | NULL  | NULL     |      1 | 2020-10-08 12:47:12 | NULL        | NULL        |
+-----------+------------+-------+----------+--------+---------------------+-------------+-------------+
1 row in set (0.00 sec)

测试查询数据

写入如下代码，查询websites里的数据

import pymysql

try:
    # connection
    cn = pymysql.connect("192.168.1.168","tfse","abcdef")
    cursor = cn.cursor()

    # select database
    cn.select_db('tfse')
except Exception as e:
    print e
    exit()

try:
    # query
    cursor.execute("SELECT * FROM websites")
    print ("总记录数量：" + str(cursor.rowcount))

    rows = cursor.fetchall()
    print ("记录信息")
    for row in rows:
        print row

    # commit
    cn.commit()
except Exception as e:
    print e

    # rollback
    cn.rollback()
finally:
    # close
    cursor.close()
    cn.close()

教程

接下来我们系统学习一下pymysql这个软件包的功能

写入操作

写入操作包括很多，常见的命令包括：CREATE DATABASE/DROP DATABASE、CREATE TABLE/DROP TABLE/ALTER TABLE、INSERT INTO/UPDATE/DELETE等等。

写入操作都需要通过pymysql的cursor.execute方法来运行，如果运行出现异常会抛出except，我们捕获它进行后面的处理即可。

这里我们着重讲讲插入数据，更新数据，删除数据的操作

插入单行数据

插入一行数据，强烈建议使用指定字段名称的方式写入数据

import pymysql

try:
    # connection
    cn = pymysql.connect("192.168.1.168","tfse","abcdef")
    cursor = cn.cursor()

    # select database
    cn.select_db('tfse')
except Exception as e:
    print e
    exit()

try:
    # insert data into websites
    cursor.execute("INSERT INTO websites (domainName, weight, createDT) VALUES (%s,%s,now())", ['www.tongfu.net', 1])

    # websiteId of insert data
    websiteId = cursor.lastrowid
    print ("插入数据的websiteId是：" + str(websiteId))

    # commit
    cn.commit()
except Exception as e:
    print e

    # rollback
    cn.rollback()
finally:
    # close
    cursor.close()
    cn.close()

插入多行数据

可以传入数组到cursor.executemany实现多行数据插入的操作

import pymysql

try:
    # connection
    cn = pymysql.connect("192.168.1.168","tfse","abcdef")
    cursor = cn.cursor()

    # select database
    cn.select_db('tfse')
except Exception as e:
    print e
    exit()

try:
    # insert data into websites
    rows = [
        ('www.baidu.com',1),
        ('www.taobao.com',1),
        ('www.jd.com',1)
    ]
    cursor.executemany("INSERT INTO websites (domainName, weight, createDT) VALUES (%s,%s,now())", rows)

    # commit
    cn.commit()
except Exception as e:
    print e

    # rollback
    cn.rollback()
finally:
    # close
    cursor.close()
    cn.close()

更新数据

使用UPDATE语句进行数据的修改操作

import pymysql

try:
    # connection
    cn = pymysql.connect("192.168.1.168","tfse","abcdef")
    cursor = cn.cursor()

    # select database
    cn.select_db('tfse')
except Exception as e:
    print e
    exit()

try:
    # insert data into websites
    cursor.execute("UPDATE websites SET weight = 10 WHERE domainName = %s", 'tongfu.net')

    # commit
    cn.commit()
except Exception as e:
    print e

    # rollback
    cn.rollback()
finally:
    # close
    cursor.close()
    cn.close()

删除数据

使用DELETE语句删除数据

import pymysql

try:
    # connection
    cn = pymysql.connect("192.168.1.168","tfse","abcdef")
    cursor = cn.cursor()

    # select database
    cn.select_db('tfse')
except Exception as e:
    print e
    exit()

try:
    # insert data into websites
    cursor.execute("DELETE FROM websites WHERE domainName = %s", 'www.baidu.com')

    # commit
    cn.commit()
except Exception as e:
    print e

    # rollback
    cn.rollback()
finally:
    # close
    cursor.close()
    cn.close()

读取操作

读取操作只的就是SELECT语句了，这个SELECT语句可以有非常复杂的变化，设计到多表联查的时候会更加复杂，有时候一个SQL语句几千个字符都很正常。

读取一行数据

通过cursor.fetchone读取一行数据

import pymysql

try:
    # connection
    cn = pymysql.connect("192.168.1.168","tfse","abcdef")
    cursor = cn.cursor()

    # select database
    cn.select_db('tfse')
except Exception as e:
    print e
    exit()

try:
    # insert data into websites
    cursor.execute("SELECT * FROM websites WHERE domainName = %s", 'tongfu.net')

    # fetch one
    result = cursor.fetchone()
    print result

    # commit
    cn.commit()
except Exception as e:
    print e

    # rollback
    cn.rollback()
finally:
    # close
    cursor.close()
    cn.close()

读取全部数据

通过cursor.fetchall读取查询结果集的全部数据

import pymysql

try:
    # connection
    cn = pymysql.connect("192.168.1.168","tfse","abcdef")
    cursor = cn.cursor()

    # select database
    cn.select_db('tfse')
except Exception as e:
    print e
    exit()

try:
    # insert data into websites
    cursor.execute("SELECT * FROM websites")

    # fetch all
    results = cursor.fetchall()
    for result in results:
        print result

    # commit
    cn.commit()
except Exception as e:
    print e

    # rollback
    cn.rollback()
finally:
    # close
    cursor.close()
    cn.close()

数据分页

所谓数据翻页就是实现指定读取数据的起始位置和读取数据的条目数的技巧，通过这个技巧可以将一组数据均匀分成若干份，每一份相当于一页，这样的设计可以让用户像浏览图书一样的翻页效果

import pymysql
import math

try:
    # connection
    cn = pymysql.connect("192.168.1.168","tfse","abcdef")
    cursor = cn.cursor()

    # select database
    cn.select_db('tfse')
except Exception as e:
    print e
    exit()

try:
    # insert data into websites
    cursor.execute("SELECT * FROM websites")

    # pages
    cursor.scroll(0, mode="absolute") # move to 0
    try:
        # count page numbers
        totalNum = cursor.rowcount
        pageNum = 1
        pageCount = math.ceil(float(totalNum)/3)
        while 1:
            # fetch 2 rows
            results = cursor.fetchmany(2)
            print ("页码：" + str(pageNum))
            for result in results:
                print result

            # page number +1
            pageNum = pageNum+1

            # page number more than page count then break
            if pageNum > pageCount:
                break
    except Exception as e:
        print e

    # commit
    cn.commit()
except Exception as e:
    print e

    # rollback
    cn.rollback()
finally:
    # close
    cursor.close()
    cn.close()

总结

今天我们学习了通过pymysql操作MySQL数据库的方法，大家课后可以自己多多练习，一定要数量掌握这个技巧才可以哦~~

https://m.tongfu.net/home/35/blog/512799.html

jango+MySQL+HTML

基于Python+Django+MySQL+HTML的创新创业平台

用户管理
系统监控
角色管理
资源管理
参数设置
角色管理

简介

学生创新创业平台是一个功能丰富的在线教育或协作系统，支持中文语言环境。它提供用户管理、系统监控、多角色权限控制、资源管理、参数设置、字典管理、机构管理等多种功能，能够满足学生、教师和管理员等不同角色的需求。

主体

用户登录，通过输入用户名和密码登录系统，页面顶部有一个导航栏，包含几个选项：首页、创业比赛、创业社团、创业项目、政府政策、系统公告和系统管理

当前选中的是“创业比赛”页面，用户可以通过这个界面添加、编辑、查看和管理各种比赛的信息

当前选中的几个创业社团的信息，表格中包含了以下信息，以下字段：序号、社团标题、状态、指导老师、社团星级、参与人员、创建者和创建时间。

创业项目页面，包括序号、项目标题、项目类型、状态、参与人员、创建者和创建时间

当前选中的页面是“政府政策”，下面列出了一些政策信息，包括序号、政策标题、创建人、创建时间和操作。

当前选中的功能模块是“系统公告”，页面中间部分展示了一个表格，列出了两条公告信息，公告的标题，创建人，创建时间，并且也有“修改”和“删除”的操作选项。

接下来是系统管理功能，包括“参数名称”、“参数键名”、“参数键值”、“系统内置”、“备注”、“创建时间”和“操作”。

当前选中的是“登录历史”选项卡，下面列出了几条登录记录,访问编号,用户名称,登录地址,类型,登录日期。这些信息可以帮助管理员跟踪谁在何时以何种方式访问了该系统。

安装与使用

本项目在python3.7下通过测试，具体可以查看requirements中的环境要求，在这里出一个简单的项目使用教程，一般项目中的requirements.txt中包含了项目的python依赖环境，在安装好python的前提下只需要在cmd窗口中pip install -r requirements.txt 有时候因为路径问题会提示requirements这个文件不存在，可以改为完整的路径，比如c:\requirements.txt,对于本项目只需要运行python manage.py runserver，在pycharm的配置更为方便，可以不用每次都在终端输入命令使用。

获取方式

有需要的小伙伴可以通过后台联系方式获取，如果加不上可以后台留言留下联系方式，不经常看后台，但是看到了会回复的~，源码获取只收取很少的钱钱，除非是标记了For Free的。

ython连接并操作MySQL数据库，主要通过Pymysql模块实现。本节讲解如何将抓取的数据存储至MySQL数据库。

创建存储数据表

首先您应该确定您的计算机上已经安装了MySQL数据库，然后再进行如下操作：

# 1. 连接到mysql数据库
mysql -h127.0.0.1 -uroot -p123456
# 2. 建库
create database maoyandb charset utf8;
# 3. 切换数据库
use maoyandb;
# 4. 创建数据表
create table filmtab(
name varchar(100),
star varchar(400),
time varchar(30)
);123456789101112复制代码类型：[python]

Pymysql基本使用

1)连接数据库

db=pymysql.connect('localhost','root','123456','maoyandb')1复制代码类型：[java]

参数说明：

localhost：本地MySQL服务端地址，也可以是远程数据库的IP地址。

root：连接数据所使用的用户名。

password：连接数据库使用的密码，本机MySQL服务端密码“123456”。

db：连接的数据库名称。

2)创建cursor对象

cursor=db.cursor()1复制代码类型：[java]

3)执行sql命令

execute()方法用来执行SQL语句。如下所示：

#第一种方法：编写sql语句，使用占位符传入相应数据
sql="insert into filmtab values('%s','%s','%s')" % ('刺杀,小说家','雷佳音','2021')
cursor.excute(sql)
第二种方法：编写sql语句，使用列表传参方式
sql='insert into filmtab values(%s,%s,%s)'
cursor.execute(sql,['刺杀,小说家','雷佳音','2021'])123456复制代码类型：[python]

4)提交数据

db.commit()
12复制代码类型：[python]

5)关闭数据库

cursor.close()
db.close()12复制代码类型：[python]

完整的代码如下所示：

# -*-coding:utf-8-*-
import pymysql
#创建对象
db=pymysql.connect('localhost','root','123456','maoyandb')
cursor=db.cursor()
# sql语句执性，单行插入
info_list=['刺杀,小说家','雷佳音,杨幂','2021-2-12']
sql='insert into movieinfo values(%s,%s,%s)'
#列表传参
cursor.execute(sql,info_list)
db.commit()
# 关闭
cursor.close()
db.close()1234567891011121314复制代码类型：[python]

查询数据结果，如下所示：

mysql> select * from movieinfo;
+-------------+-------------------+-----------+
| name        | star              | time      |
+-------------+-------------------+-----------+
| 刺杀,小说家   | 雷佳音,杨幂         | 2021-2-12 |
+-------------+-------------------+-----------+
1 rows in set (0.01 sec)1234567复制代码类型：[python]

还有一种效率较高的方法，使用executemany()可以同时插入多条数据。示例如下：

db=pymysql.connect('localhost','root','123456','maoyandb',charset='utf8')
cursor=db.cursor()
# sql语句执性，列表元组
info_list=[('我不是药神','徐峥','2018-07-05'),('你好,李焕英','贾玲','2021-02-12')]
sql='insert into movieinfo values(%s,%s,%s)'
cursor.executemany(sql,info_list)
db.commit()
# 关闭
cursor.close()
db.close()12345678910复制代码类型：[python]

查询插入结果，如下所示：

mysql> select * from movieinfo;
+-------------+-------------------+------------+
| name        | star              | time       |
+-------------+-------------------+------------+
| 我不是药神  | 徐峥              | 2018-07-05 |
| 你好,李焕英 | 贾玲              | 2021-02-12 |
+-------------+-------------------+------------+
2 rows in set (0.01 sec)12345678复制代码类型：[python]

修改爬虫程序

将抓取下来的数据存储到MySQL数据库。如下所示：

# coding=gbk
from urllib import request
import re
import time
import random
from ua_info import ua_list
import pymysql
class MaoyanSpider(object):
    def __init__(self):
        #初始化属性对象
        self.url='https://maoyan.com/board/4?offset={}'
        #数据库连接对象
        self.db=pymysql.connect(
            'localhost','root','123456','maoyandb',charset='utf8')
        #创建游标对象
        self.cursor=self.db.cursor()
    def get_html(self,url):
        headers={'User-Agent':random.choice(ua_list)}
        req=request.Request(url=url,headers=headers)
        res=request.urlopen(req)
        html=res.read().decode()
        # 直接解析
        self.parse_html(html)
    def parse_html(self,html):
        re_bds='<div class="movie-item-info">.*?title="(.*?)".*?<p class="star">(.*?)</p>.*?class="releasetime">(.*?)</p>'
        pattern=re.compile(re_bds,re.S)
        r_list=pattern.findall(html)
        self.save_html(r_list)
    def save_html(self, r_list):
        L=[]
        sql='insert into movieinfo values(%s,%s,%s)'
        # 整理数据
        for r in r_list:
            t=(
                r[0].strip(),
                r[1].strip()[3:],
                r[2].strip()[5:15]
            )
            L.append(t)
            print(L)
        # 一次性插入多条数据 L:[(),(),()]
        try:
            self.cursor.executemany(sql,L)
            # 将数据提交数据库
            self.db.commit()
        except:
            # 发生错误则回滚
            self.db.rollback()
    def run(self):
        for offset in range(0,11,10):
            url=self.url.format(offset)
            self.get_html(url)
            time.sleep(random.uniform(1,3))
        # 断开游标与数据库连接
        self.cursor.close()
        self.db.close()
if __name__=='__main__':
    start=time.time()
    spider=MaoyanSpider()
    spider.run()
    end=time.time()
1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162复制代码类型：[python]

数据库查询存储结果，如下所示：

mysql> select * from movieinfo;
+----------------+----------------------------------------------------------+------------+
| name           | star                                                     | time       |
+----------------+----------------------------------------------------------+------------+
| 我不是药神     | 徐峥,周一围,王传君                                               | 2018-07-05 |
| 肖申克的救赎   | 蒂姆·罗宾斯,摩根·弗里曼,鲍勃·冈顿                                  | 1994-09-10 |
| 绿皮书         | 维果·莫腾森,马赫沙拉·阿里,琳达·卡德里尼                            | 2019-03-01 |
| 海上钢琴师     | 蒂姆·罗斯,比尔·努恩,克兰伦斯·威廉姆斯三世                           | 2019-11-15 |
| 小偷家族       | 中川雅也,安藤樱,松冈茉优                                          | 2018-08-03 |
| 霸王别姬       | 张国荣,张丰毅,巩俐                                               | 1993-07-26 |
| 哪吒之魔童降世 | 吕艳婷,囧森瑟夫,瀚墨                                              | 2019-07-26 |
| 美丽人生       | 罗伯托·贝尼尼,朱斯蒂诺·杜拉诺,赛尔乔·比尼·布斯特里克                  | 2020-01-03 |
| 这个杀手不太冷 | 让·雷诺,加里·奥德曼,娜塔莉·波特曼                                   | 1994-09-14 |
| 盗梦空间       | 莱昂纳多·迪卡普里奥,渡边谦,约瑟夫·高登-莱维特                        | 2010-09-01 |
+----------------+----------------------------------------------------------+------------+
10 rows in set (0.01 sec)

开课吧广场-人才学习交流平台

在线咨询

上一篇：每周多回国12000人！一文带你看看懂民航局“熔断”
下一篇：最新Visit Japan Web 入境日本 APP

您的项目需求

*请认真填写需求信息，我们会在24小时内与您取得联系。

整合营销服务商