手把手教你爬取天堂网1920*1080大图片（批量下载）-理论篇

1 前言/

平时我们要下载图片，要要一个一个点击下载是不是觉得很麻烦？那有没有更加简便的方法呢？答案是肯定的，这里我们以天堂网为例，批量下载天堂网的图片。

/2 项目准备工作/

首先我们第一步我们要安装一个pycham的软件。可以参考这篇文章：Python环境搭建—安利Python小白的Python和Pycharm安装详细教程。

天堂网的网址：

https://www.ivsky.com/bizhi/1920x1080/

我们需要下载几个库，怎么下载呢？打开pycharm，依次点击File，再点开Settings，如下图所示。

打开后会出现这个界面点击你的项目名字（project：（你的项目名字）），之后在project interpreter下，点击加号，而后下载我们需要的库，如下图所示。

本项目需要用到的是库是requests、lxml、fake_useragent，如下图所示。fake_useragent一般是没有的，需要通过下面的命令进行安装：

pip install fake_useragent

/3 项目实现/

1、导入需要的库（requests，lxml， fake_useragent）。

2、我用了封装方法去实现各个部分的功能。首先要写一个框架：构造一个类TianTangWebsite ，然后定义一个init方法里继承（self），再定义一个主方法（main）。最后实现这个main方法，依次一步一步进行实现。

3、我们把天堂网的网址拿过来，构造请求头。这里说一下这个UserAgent的获取方法。在打开天堂网的网站后，按下键盘上的F12键，之后会进入到开发者模式，之后点开network，如下图所示。

4、而后随便点击一个name，复制header里边的UserAgent就可以了。

5、我们点击下一页的地址观察网址的变化，如下所示：

https://www.ivsky.com/bizhi/1920x1080/index_2.html
https://www.ivsky.com/bizhi/1920x1080/index_3.html
https://www.ivsky.com/bizhi/1920x1080/index_4.html

很明显的发现，这个网址的网页数字一直在变化。我们可以用格式化{}去代替变化的值，类似这样：

https://www.ivsky.com/bizhi/1920x1080/index_{}.html

6、然后我们用for循环去遍历这些网址，代码如下所示：

def main(self):
    for i in range(1,2):#页数随机客户随便 设置
      url=self.url.format(i)
      print(url)

7、我们定义这个get_home()方法去请求到这个网址。

9、我们需要解析得到的数据，接下来定义一个xiap的方法，拿到我们请求的网址。接下来就是该项目的关键了。

10、至此，针对反爬虫的措施我们已经提前做好了准备，下一步将进行网页结构的分析以及网页图片地址数据的提取，并针对解析出来的图片地址予以批量下载，具体实现咱们下篇文章进行详解。

/4 小结/

本文主要内容为对图片网站进行了基本简介，基于 Python 中的爬虫库 requests 、lxml、fake_useragent，提前部署了请求头，模拟浏览器，针对反爬虫的措施我们已经提前做好了准备。

下篇文章将带大家进行网页结构的分析以及网页图片地址数据的提取，并针对解析出来的图片地址予以批量下载，敬请期待~~

往期精彩文章推荐：

手把手用Python教你如何发现隐藏wifi
手把手教你用Python做个可视化的“剪刀石头布”小游戏
手把手教你使用Python批量创建复工证明

想学习更多Python网络爬虫与数据挖掘知识，可前往专业网站：http://pdcfighting.com/

端JS怎么实现大文件G级的断点续传（分块上传）和分段下载，前端上传文件或者上传文件夹，HTML+AJAX实现上传大文件方案，h5批量下载文件，HTTP+断点续传，前端处理大文件/视频分片上传，断点续传，VUE—实现文件上传（多文件），图片上传，VUE 项目大文件上传下载解决方案，VUE将前端的JSON文件上传到后台对应目录，

JAVASCRIPT之分片上传，断点续传的实际项目实现详解，大文件上传如何做断点续传?全端+后端结合开发，VUE实现文件上传(单文件、多文件、分片上传)，JS中实现文件上传下载的三种解决方案(推荐)，JS实现大文件上传——分片上传方法，完美解决WEB无法上传大文件方法，HTML大文件上传源码，

WEBUPLOAD组件实现文件上传功能和下载功能，js大文件上传下载解决方案，vue大文件上传下载解决方案

asp.net大文件上传下载解决方案，.net大文件上传下载解决方案，webform大文件上传下载解决方案，jsp大文件上传下载解决方案，java大文件上传下载解决方案，JAVASCRIPT 大文件上传下载切片解决方案，JAVASCRIPT 大文件上传下载切割解决方案，JAVASCRIPT 大文件上传下载分割解决方案，JAVASCRIPT 大文件上传下载分块解决方案，JAVASCRIPT 大文件上传下载分片解决方案，web大文件上传下载解决方案，

网页大文件上传下载解决方案，前端大文件上传下载解决方案，html5大文件上传下载解决方案，JAVASCRIPT 大文件上传下载解决方案，支持

之前在网上也找过相关的资料，论坛上也有网友交流过，但是基本上都不太令人满意，与公司这边的项目需求相差太远。文章的话基本上大部分都是重复的内容，几乎都是讲的如何用HTML5来做，但是提到的也不多。关键点都说的不详细，如何分块，断点续传如何实现，如何保存进度。

HTML5,VUE2,VUE3,React，javascript等常用前端UI框架，JS框架，网上找的方案大多数都只是一些代码片段，没有提供完整的前后端代码。

原理到是不复杂。上传位置不能传错。用户主要强调稳定性和兼容性。

之前在网上也搜过相关的资料。论坛里面也有一些网络交流，但是都不太令人满意。公司这边实际上需要的是一成熟的商业解决方案，需要能够提供成功案例，公司客户都是国企。

跟项目经理沟通过，这块网上搜到的文章能用的几乎没有。实际上客户那边比较在乎两点。

之前项目上面用Flash比较多一点，现在基本上都是HTML5，断点续传除了页面级以外最好还能够提供离线支持。

支持IE，Chrome和信创国产化环境，比如银河麒麟，统信UOS，龙芯，

支持分片，分块，分段，切片，分割上传。能够突破chrome每域名的5个TCP连接限制，能够突破chrome重启，关闭浏览器续传的限制。

支持10G,20G,50G,100G文件上传和续传，支持秒传，支持文件夹上传，重复文件检测，重复文件校验

支持文件下载，批量下载，下载断点续传，加密下载，端到端加密，加密算法支持国密SM4，多线程下载

支持在服务端保存文件夹层级结构，支持将文件夹层级结构信息保存到数据库中，支持下载时能够将文件夹层级结构下载下来，支持下载文件夹，下载文件夹支持断点续传，

支持加密传输，包括加密上传，加密下载，加密算法支持国密SM4，

支持云对象存储，比如华为云，阿里云，腾讯云，七牛云，AWS，MinIO,FastDFS，

提供手机，QQ，微信，邮箱等联系方式，提供7*24小时技术支持，提供长期技术支持和维护服务，提供远程1对1技术指导，提供二次开发指导，提供文档教程，提供视频教程。

视频教程：

https://www.ixigua.com/7226245960341389859

1.下载示例

https://gitee.com/xproer/up6-vue-cli

将up6组件复制到项目中

示例中已经包含此目录

1.引入up6组件

2.配置接口地址

接口地址分别对应：文件初始化，文件数据上传，文件进度，文件上传完毕，文件删除，文件夹初始化，文件夹删除，文件列表

参考：http://www.ncmem.com/doc/view.aspx?id=e1f49f3e1d4742e19135e00bd41fa3de

3.处理事件

启动测试

启动成功

效果

数据库

源码工程文档：https://drive.weixin.qq.com/s?k=ACoAYgezAAw1dWofra

源码报价单：https://drive.weixin.qq.com/s?k=ACoAYgezAAwoiul8gl

OEM版报价单：https://drive.weixin.qq.com/s?k=ACoAYgezAAwuzp4W0a

控件源码下载：https://drive.weixin.qq.com/s?k=ACoAYgezAAwbdKCskc
授权码生成器：https://drive.weixin.qq.com/s?k=ACoAYgezAAwTIcFph1

s大文件上传下载解决方案，vue大文件上传下载解决方案，asp.net大文件上传下载解决方案，.net大文件上传下载解决方案，webform大文件上传下载解决方案，jsp大文件上传下载解决方案，java大文件上传下载解决方案，JAVASCRIPT 大文件上传下载切片解决方案，JAVASCRIPT 大文件上传下载切割解决方案，JAVASCRIPT 大文件上传下载分割解决方案，JAVASCRIPT 大文件上传下载分块解决方案，JAVASCRIPT 大文件上传下载分片解决方案，web大文件上传下载解决方案，网页大文件上传下载解决方案，前端大文件上传下载解决方案，html5大文件上传下载解决方案，JAVASCRIPT 大文件上传下载解决方案，支持HTML5,VUE2,VUE3,React，javascript等常用前端UI框架，JS框架