ython作为一门高级编程语言，它的定位是优雅、明确和简单。我学用python差不多一年时间了，用得最多的还是各类爬虫脚本：写过抓代理本机验证的脚本，写过论坛中自动登录自动发贴的脚本，写过自动收邮件的脚本，写过简单的验证码识别的脚本。

这些脚本有一个共性，都是和web相关的，总要用到获取链接的一些方法，故累积了不少爬虫抓站的经验，在此总结一下，那么以后做东西也就不用重复劳动了。

下面分享一个小案例，实现爬取网站里面的图片，包括源码及实现思路。

一、还原手工操作

所谓爬取页面图片，正常人手动操作可以分为两步：

1.打开页面

2.选中图片下载到指定文件夹

用代码实现的话可以节省掉每次下载图片的操作，运行代码实现批量下载。

二、设计代码实现

步骤一：导入相关库操作

import urllib #导入urllib包

import urllib.request#导入urllib包里的request方法

import re #导入re正则库

步骤二：定义解析页面 load_page（）

这个函数实现打开传入的路径并将页面数据读取出来，实现代码，包括发送请求，打开页面，获取数据。

代码实现：

def load_page(url):

request=urllib.request.Request(url)#发送url请求

response=urllib.request.urlopen(request)#打开url网址

data=response.read()#读取页面数据

return data#返回页面数据

步骤三：定义get_image()函数

首先利用正则表达式匹配图片路径并存到数组中。

其次遍历数组实现图片下载操作。

代码实现：

def get_image(html):

regx=r'http://[\S]*jpg' #定义正则匹配公式

pattern=re.compile(regx)#构造匹配模式，速度更快

get_image=re.findall(pattern,repr(html))#repr（）将内容转化为字符串形式，findall列表形式展示正则表达式匹配的结果

num=1 #定义变量控制循环

for img in get_image: #定义变量遍历数组

image=load_page(img)#将图片路径传入加载函数

with open('F:\photo\%s.jpg'%num,'wb') as fb: #以只读方式打开图片并命名

fb.write(image) #写入内容

print('正在下载第%s张图片'%num)

num=num+1 #变量递增

print("下载完成")

步骤四：函数调用

#调用函数

url='http://p.weather.com.cn/2019/10/3248439.shtml' #传入url路径

html=load_page(url)#加载页面

get_image(html)#图片下载

关键单词释义

如果第一次接触爬虫代码，相信有几个单词大家很陌生，为了方便记忆我把他们归类到一起加深印象，你也可以拿出一张白纸试着努力回忆着。

1.爬虫协议库ulrlib、urllib.request

2.正则匹配库rb

3.发送请求方法request（）

4.打开页面方法urlopen（）

5.读取数据方法read（）

6.正则表达式-所有图片【\S】*.jpg

7.匹配模式定义compile（）

8.查找匹配findall（）

9.循环遍历语句 for a in b

10.打开文件 并命名 with open（）... as fb

11.写到... write*()

12.输出语句 print（）

到现在为止可以把我上面的代码在pycharm中打开尝试着运行起来吧！

最后，有2个报错信息汇总供参考：

1. module 'urllib' has no attribute 'requset'

定位到当行语句，发现request 单词拼写错误。

2. 没有报错，但是图片没有下载成功

重新检查代码，发现正则表达式写的有错误，记住是大写的S修改完之后看效果。

我是谁？

我是一名从事了多年软件测试的老测试员，今年年初我花了一个月整理了一份最适合2020年学习的软件测试学习干货，可以送给每一位对软件测试感兴趣的小伙伴，想要获取的可以关注我的头条号+私信：【测试】，即可免费获取。

不缺好看的桌面呢？这边来爬取网站超清图片吧

本次爬虫用到的网址是：

http://www.netbian.com/index.htm: 彼岸桌面.里面有很多的好看壁纸，而且都是可以下载高清无损的，还比较不错，所以我就拿这个网站练练手。

作为一个初学者，刚开始的时候，无论的代码的质量如何，总之代码只要能够被正确完整的运行那就很能够让自己开心的，如同我们的游戏一样，能在短时间内得到正向的反馈，我们就会更有兴趣去玩。

学习也是如此，只要我们能够在短期内得到学习带来的反馈，那么我们的对于学习的欲望也是强烈的。能够完整的完整此次爬虫程序的编写，那便是一个最大的收货，但其实我在此次过程中的收获远不止此。

好的代码其实应该具有以下特性

1. 能够满足最关键的需求
2. 容易理解
3. 有充分的注释
4. 使用规范的命名
5. 没有明显的安全问题
6. 经过充分的测试

就以充分的测试为例，经常写代码的就应该知道，尽管多数时候你的代码没有BUG,但那仅仅说明只是大多数情况下是稳定的，但是在某些条件下就会出错（达到出错条件，存在逻辑问题的时候等）。这是肯定的。至于什么原因，不同的代码有不同的原因。如果代码程序都是一次就能完善的，那么我们使用的软件的软件就不会经常更新了。其他其中的道理就不一 一道说了，久而自知。

好的代码一般具有的5大特性

1.便于维护
2.可复用
3.可扩展
4.强灵活性
5.健壮性

经过我的代码运行我发现时间复杂度比较大，因此这是我将要改进的地方，但也不止于此。也有很多利用得不合理的地方，至于存在的不足的地方就待我慢慢提升改进吧！

路过的大佬欢迎留下您宝贵的代码修改意见，

完整代码如下

import os
import bs4
import re
import time
import requests
from bs4 import BeautifulSoup

def getHTMLText(url, headers):
    """向目标服务器发起请求并返回响应"""
    try:
        r = requests.get(url=url, headers=headers)
        r.encoding = r.apparent_encoding
        soup = BeautifulSoup(r.text, "html.parser")
        return soup
    except:
        return ""

def CreateFolder():
    """创建存储数据文件夹"""
    flag = True
    while flag == 1:
        file = input("请输入保存数据文件夹的名称：")
        if not os.path.exists(file):
            os.mkdir(file)
            flag = False
        else:
            print('该文件已存在，请重新输入')
            flag = True

    # os.path.abspath(file)  获取文件夹的绝对路径
    path = os.path.abspath(file) + "\\"
    return path

def fillUnivList(ulist, soup):
    """获取每一张图片的原图页面"""
    # [0]使得获得的ul是 <class 'bs4.BeautifulSoup'> 类型
    div = soup.find_all('div', 'list')[0]
    for a in div('a'):
        if isinstance(a, bs4.element.Tag):
            hr = a.attrs['href']
            href = re.findall(r'/desk/[1-9]\d{4}.htm', hr)
            if bool(href) == True:
                ulist.append(href[0])

    return ulist

def DownloadPicture(left_url,list,path):
    for right in list:
        url = left_url + right
        r = requests.get(url=url, timeout=10)
        r.encoding = r.apparent_encoding
        soup = BeautifulSoup(r.text,"html.parser")
        tag = soup.find_all("p")
        # 获取img标签的alt属性，给保存图片命名
        name = tag[0].a.img.attrs['alt']
        img_name = name + ".jpg"
        # 获取图片的信息
        img_src = tag[0].a.img.attrs['src']
        try:
            img_data = requests.get(url=img_src)
        except:
            continue

        img_path = path + img_name
        with open(img_path,'wb') as fp:
            fp.write(img_data.content)
        print(img_name, "   ******下载完成！")

def PageNumurl(urls):
    num = int(input("请输入爬取所到的页码数："))
    for i in range(2,num+1):
        u = "http://www.netbian.com/index_" + str(i) + ".htm"
        urls.append(u)

    return urls


if __name__ == "__main__":
    uinfo = []
    left_url = "http://www.netbian.com"
    urls = ["http://www.netbian.com/index.htm"]
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36"
    }
    start = time.time()
    # 1.创建保存数据的文件夹
    path = CreateFolder()
    # 2. 确定要爬取的页面数并返回每一页的链接
    PageNumurl(urls)
    n = int(input("访问的起始页面："))
    for i in urls[n-1:]:
        # 3.获取每一个页面的首页数据文本
        soup = getHTMLText(i, headers)
        # 4.访问原图所在页链接并返回图片的链接
        page_list = fillUnivList(uinfo, soup)
        # 5.下载原图
        DownloadPicture(left_url, page_list, path)

    print("全部下载完成！", "共" + str(len(os.listdir(path))) + "张图片")
    end = time.time()
    print("共耗时" + str(end-start) + "秒")

运行

部分展示结果如下：

起学Python，一起写代码，加油！奥利给！！！

片和属性

• 本次我们将了解如何在页面添加图片，图片属性的标签是<img />,注意图片属性是没有像段落标签那样的关闭标签；如下方所示：

 <img src="./post-img.jpg" />

注：HTML有多种标签中使用的属性，属性的作用是描述元素，src就是属性，为了描述图片。图片的路径可以是绝对路径也可以是相对路径。

• 除此之外，为了防止图片显示不正常，所以我们将给图片一段描述文字。这个非常重要！也有其他场景可以用到，例如盲人使用网页可以通过文字阅读的方式展现给他。如下方所示：

 <img src="./post-img.jpg" alt="HTML 代码图片" />

若我们图片无法显示，将会如下图显示:

• 现在图片是放在网页上面了，但是图片太大了，我们如何控制图片的高度和宽度的，这样就是使用width和height去控制图片的宽度和高度，默认数值是px像素，现在我们不需要知道像素是什么，等CSS我们细说，如下方所示：

<img src="./post-img.jpg" alt="HTML 代码图片" width="500" height="200" />

其他属性

• 除了图片的属性，还有其他很多属性，例如页面的语言元素，在html标签使用lang=“zh-CN” ,CN代表中文；如下所示：

<html lang="zh-CN">

• 接着我们看看编码格式

<head>
 <meta charset="UTF-8" />   
</head>

注：meta元素代表元数据,【charset="UTF-8"】，表示字符集编码格式为UTF-8

• 结合上一章，本次我们需要实现的页面是这样的