于Python很多小伙伴们都不会陌生，这款软件它不仅仅可以用来敲代码实现一些功能，而且它还有爬虫这个功能。
不仅仅可以用批量下载文字、图片，还可以下载视频等文件，
其中涉及的知识点也是比较多的，但是Python中有一个方法，一行代码就能爬取任意网站上面的视频，
只要你安装了Python环境就可以，哪怕是小白也能轻松学会。

教程指引

1、安装Python
2、安装you-get
1.打开cmd，输入命令并执行
pip3 install you-get
2.输入命令，检测 You-Get 是否安装成功
you-get
3、使用you-get下载
打开cmd输入命令

you-get空格[视频地址]

文件保存在C:Users用户名目录下，如果想自定义保存位置，
使用如下命令就可以：下载一段腾讯视频名侦探柯南146集并保存在E:Desktop
you-get -o E:/Desktop https://v.qq.com/x/cover/hzgtnf6tbvfekfv/p0014ljf32w.html?ptag=qqbrowser

TML实现文件夹的上传和下载，前端如何用HTML5实现分片上传GB级大文件，网页中实现文件上传下载的三种解决方案(推荐)，HTML5实现文件批量上传组件，JQUERY 实现文件夹上传(保留目录结构)，B/S大文件上传支持断点上传，WebService 大文件上传,断点续传分片，HTML+AJAX实现上传大文件问题，用HTML实现本地文件的上传，HTML5实现大文件上传，HTML5实现大文件分片上传思路，利用HTML5分片上传超大文件思路，

WEBUPLOADER 支持 超大上G,多附件上传，JS 大文件分割/分片上传，

百度WEBUPLOADER上传视频等大文件，WEBUPLOAD组件实现文件上传功能和下载功能，JS大文件切片上传，断点续传实现DEMO，前端上传大文件的解决方案，前端上传大文件处理（切片、断点续传），前端大文件上传优化方案——分片上传，vue大文件上传解决方案，vue大文件上传解决方案10G，vue大文件上传解决方案50G，vue大文件上传解决方案100G，html5如何实现大文件断点续传、秒传，

java如何实现大文件断点续传、秒传，SpringBoot如何实现大文件断点续传、秒传，SpringMVC如何实现大文件断点续传、秒传，SpringCloud如何实现大文件断点续传、秒传，

webuploader如何实现大文件断点续传、秒传，百度webuploader如何实现大文件断点续传、秒传，html5实现大文件断点续传、秒传，vue如何实现大文件断点续传、秒传，前端如何实现大文件断点续传、秒传，JavaScript如何实现大文件断点续传、秒传，

html5大文件断点续传、秒传解决方案，html5大文件断点续传、加密上传解决方案，html5大文件断点续传、加密存储解决方案，html5大文件断点续传分片解决方案，html5大文件断点续传分块解决方案，html5大文件断点续传分割解决方案，html5大文件断点续传切割解决方案，

后端我们公司项目组选的是JAVA，因为公司有自己的产品，所以直接使用就行了，针对客户需求这块是进行扩展。

客户这边实际上要传的文件单个大小就有50G左右，所以需要支持断点续传和分片上传，并且要支持多线程上传，能够充分利用带宽资源。

之前在网上找过相关的资料，论坛里面也有网友交流过，还加过很多QQ群和微信群，但是结果都不太令人满意。

技术选型的话用的是jquery，也是一个企业内网系统，用的是之前公司的框架，只是进行功能扩展

分片网上讨论的很多，基本上全部都是用的HTML5的API，这个方案也不是不能用，但是在IE下面就不行了，兼容性差了点，并且也不能进行扩展，不能进行二次开发，限制性非常大，我们技术同事提的要求是需要提供产品完整源代码，

网上的文章全部都没有提供文件夹上传和续传的代码，也没有提供数据库操作的代码，

另外这块我们是要求必须提供产品完整源代码，因为后面我们需要自已来维护，同时是要求能够自主可控的

研发部门的同事调研过百度的webuploader这个组件，发现他实际上就是对Flash和HTML5进行了一个封装，本质还是调的HTML5的API，之前在项目中也用过，尝试过，但是最终都不太满意，一个是兼容性非常差，说的是兼容IE，但是在IE用的是Flash，在很多用户的电脑上用不了，卡顿崩溃发生的太频繁，文件上传的数量一多比如几千个，前端页面就开始卡了，用户体验非常差。这些问题研发部的同事都向百度反应过，但是百度webuploader那边一直没人回，基本上没人管，领导说要求付费提供技术支持，那边也是没人回，联系不上他们任何人。

webuploader这边连个开发人员都联系不到，这个是怎么回事？

用户上传的文件比较大，有20G左右，直接用HTML传的话容易失败，服务器也容易出错，需要分片，分块，分割上传。也就是将一个大的文件分成若干个小文件块来上传，另外就是需要实现秒传功能和防重复功能，秒传就是用户如果上传过这个文件，那么直接在数据库中查找记录就行了，不用再上传一次，节省时间，实现的思路是对文件做MD5计算，将MD5值保存到数据库，算法可以用MD5，或者CRC，或者SHA1，这个随便哪个算法都行。

切片的话还有一点就是在服务器上合并，一个文件的所有分片数据上传完后需要在服务器端进行合并操作。

视频教程：https://www.ixigua.com/7227314770696012322

导入项目：
导入到Eclipse：http://www.ncmem.com/doc/view.aspx?id=9da9c7c2b91b40b7b09768eeb282e647
导入到IDEA：http://www.ncmem.com/doc/view.aspx?id=9fee385dfc0742448b56679420f22162
springboot统一配置：http://www.ncmem.com/doc/view.aspx?id=7768eec9284b48e3abe08f032f554ea2

下载示例：

https://gitee.com/xproer/up6-jsp-eclipse/tree/6.5.40/

工程

NOSQL

NOSQL示例不需要任何配置，可以直接访问测试

创建数据表

选择对应的数据表脚本，这里以SQL为例

修改数据库连接信息

访问页面进行测试

文件存储路径

up6/upload/年/月/日/guid/filename

相关问题：
1.javax.servlet.http.HttpServlet错误
2.项目无法发布到tomcat
3.md5计算完毕后卡住
4.服务器找不到config.json文件

相关参考：

文件保存位置

源码工程文档：https://drive.weixin.qq.com/s?k=ACoAYgezAAw1dWofra

源码报价单：https://drive.weixin.qq.com/s?k=ACoAYgezAAwoiul8gl

OEM版报价单：https://drive.weixin.qq.com/s?k=ACoAYgezAAwuzp4W0a

产品源代码：https://drive.weixin.qq.com/s?k=ACoAYgezAAwbdKCskc
授权生成器：https://drive.weixin.qq.com/s?k=ACoAYgezAAwTIcFph1

载HTML源码

源码地址，链接：https://www.80zhan.com/code/10509.html。我看了好多html源码下载的，发现这个还不错，只需要简单注册就能下载源码了。
若不想注册，可以直接下载绿色大气的有机蔬菜食品公司网站html源码，链接：https://yangxunyu.xyz/upload/2021/07/%E7%BB%BF%E8%89%B2%E5%A4%A7%E6%B0%94%E7%9A%84%E6%9C%89%E6%9C%BA%E8%94%AC%E8%8F%9C%E9%A3%9F%E5%93%81%E5%85%AC%E5%8F%B8%E7%BD%91%E7%AB%99html%E6%BA%90%E7%A0%81-1a0f6b14b7c347f9ac9bb70dc108449b.rar。

文件上传服务

我是使用ForkLift上传的。

vegetables.jpg

配置nginx

nginx配置详情，参考我另外一篇文章，nginx配置详情。