记得刚入行的时候,做了一个文件上传的功能,因为上传时间较久,为了用户友好性,想要添加一个实时进度条,显示进度。奈何当时技术有限,查了许久也没用找到解决方案,最后不了了之。
近来偶然想到这个问题,于是决定整理一下实现方式,也为和我曾经一样碰壁的同学,提供一些思路。
1、首先我们这里实现的是一个实时的进度条,并不是一个纯前端的进度条,它需要根据后端的处理进度来实时反馈进度条长度,那么必然要与后端交互。
当然这里容易陷入一个误区,觉得与后端交互的,那么这个功能的重点一定在后端,但实际上这个功能的重点在前端。
不难想到,我们要知道实时进度,那么一定需要不断的请求后端,得到响应反馈,前后端请求比较常用的是ajax,但除它之外,我们还有更基础的xhr(XMLHttpRequest)。作为后端同学可能对xhr有些陌生,实际上ajax就是基于xhr实现的。
2、xhr可以让我们在不重新加载页面的情况下更新网页,在页面已经加载后从后端请求并接受数据,这样就可以无感的让我们后端文件的上传进度了。
3、为了监听文件上传下载进度,我们主要使用到xhr的三个进度事件:
当然除上述三个事件之外,还有其他的进度事件,这不是本文的重点,大家可自行拓展学习XHR对象的进度事件
XMLHttpRequest简介
4、基于上述三个进度事件,我们可以通过process事件持续不断地发送请求获取文件上传下载的进度,load事件用于文件上传下载完成后的处理,比如提示成功。error用于请求发送错误时的处理。
5、有了上述的思路之后,我们来进行实际演示。
1、创建springboot项目,引入spring web、lombok、文件上传commons-fileupload依赖
xml复制代码<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<optional>true</optional>
</dependency>
<dependency>
<groupId>commons-fileupload</groupId>
<artifactId>commons-fileupload</artifactId>
<version>1.4</version>
</dependency>
2、创建MultipartResolver的bean,用来将普通的请求封装成拥有文件上传功能的请求
java复制代码@Component
public class FileUpLoadConfig {
@Bean(name="multipartResolver")
public MultipartResolver multipartResolver(){
return new CommonsMultipartResolver();
}
}
3、创建一个文件上传接口:这里我单纯做个演示,就直接在controller层中书写了,实际生产要将上传方法提取为工具类,在service中进行具体业务处理。
如下代码为将文件上传后,保存到资源文件夹下
java复制代码@RestController
@RequestMapping("file")
public class FileController {
private final static Logger log = LoggerFactory.getLogger(FileController.class);
@PostMapping("/upload")
@ResponseBody
public ResponseEntity<String> fileUpload(@RequestParam("file") MultipartFile file) {
try {
// 获取资源文件存放路径,用于临时存放生成的excel文件
String path = Objects.requireNonNull(this.getClass().getClassLoader().getResource("")).getPath();
// 文件名
String fileName = path + file.getOriginalFilename();
// 创建目标文件
File dest = new File(fileName);
// 向指定路径写入文件
file.transferTo(dest);
// 返回文件访问路径
return new ResponseEntity<>(fileName, HttpStatus.OK);
} catch (Exception e) {
e.printStackTrace();
log.info(String.format("文件上传失败,原因:%s",e));
return new ResponseEntity<>("文件上传失败", HttpStatus.INTERNAL_SERVER_ERROR);
}
}
}
4、后端接口完成后,进入我们的重点,我们来实现前端进度条
5、首先引入jQuery,我这里使用了3.6.1版本
6、实现一个上传的页面,这里利用了html5的progress标签,该标签用于实现进度条,支持两个属性:value和max,分别为当前进度值和最大进度值
html复制代码<div class="modal-body form ">
<!-- 文件上传 -->
<form id="dialogForm" class="form-horizontal">
<div class="form-group">
<label class="control-label">文件:</label>
<div >
<input type="file" name="file" id="file" onchange="upload()">
</div>
</div>
<div class="form-group">
<label class="control-label">上传进度:</label>
<div >
<!--进度条-->
<div id="progress-body">
<progress></progress>
<div id="progress-bar">0%</div>
</div>
</div>
</div>
</form>
</div>
7、书写进度监听方法,即progress方法
js复制代码 //进度条更新
function progressHandle(e) {
$('#progress-body progress').attr({
value : e.loaded,
max : e.total
});
var percent = (e.loaded / e.total * 100).toFixed(2);
$('#progress-body #progress-bar').html(percent + "%");
};
8、书写load,error方法
js复制代码 //上传完成处理函数
function uploadSuccess(e) {
alert("上传完成");
};
//上传出错处理函数
function uploadFail(e) {
alert("上传失败");
};
9、实现上传方法upload
js复制代码 // 文件上传
function upload() {
var formData = new FormData();
formData.append("file", $("#file")[0].files[0]);
$.ajax({
url : "/file/upload",
type : "POST",
data : formData,
processData : false, // 告诉jQuery不要去处理发送的数据
contentType : false, // 告诉jQuery不要去设置Content-Type请求头
success : function(data) {
console.log(data);
},
xhr : function() {
var xhr = $.ajaxSettings.xhr();
// xhr.upload专用于上传事件监听
if (xhr.upload) {
//处理进度条的事件
xhr.upload.addEventListener("progress", progressHandle,
false);
//加载完成的事件
xhr.addEventListener("load", uploadSuccess, false);
//加载出错的事件
xhr.addEventListener("error", uploadFail, false);
return xhr;
}
}
});
}
10、运行项目,访问上传页,我这里直接书写在index.html中了
11、测试:如下图所示,可以正常显示进度
12、上传成功后,后台资源文件夹中也能看到对应的上传文件,演示成功!
上述我们讲解了如何实现上传进度条功能,有了这个思路,我们再实现下载功能:
1、同样,我们实现一个简单的进度条页面
html复制代码 <!-- 文件下载 -->
<form id="dialogForm" class="form-horizontal">
<div class="form-group">
<label class="control-label">下载进度:
</label>
<div>
<!--进度条-->
<div id="progress-body">
<progress></progress>
<div id="progress-bar">0%</div>
</div>
</div>
</div>
<button type="button" onclick="download()">下载</button>
</form>
2、实现下载方法
这里我们不再采用ajax的方法,而是直接通过xhr请求,并且因为要在浏览器中下载该文件,所以以window.URL.revokeObjectURL方法来下载并释放该文件。
js复制代码 // 文件下载
function download() {
var xhr = new XMLHttpRequest();
//处理进度条的事件
xhr.addEventListener("progress", progressHandle, false);
//加载出错的事件
xhr.addEventListener("error", uploadFail, false);
xhr.open("POST","/file/download");
//设置响应类型
xhr.responseType = 'blob';
xhr.onload = function (e) {
if (this.status === 200) {
// 截取掉'attachment;filename='
var filename = xhr.getResponseHeader("Content-disposition").slice(20);
var blob = this.response;
var a = document.createElement('a');
var url = URL.createObjectURL(blob);
a.href = url;
a.download = filename;
document.body.appendChild(a);
a.click();
window.URL.revokeObjectURL(url);
}
}
xhr.send();
}
//进度条更新
function progressHandle(e) {
$('#progress-body progress').attr({
value: e.loaded,
max: e.total
});
var percent = (e.loaded / e.total * 100).toFixed(2);
$('#progress-body #progress-bar').html(percent + "%");
};
//上传出错处理函数
function uploadFail(e) {
alert("下载失败");
};
3、实现后端下载文件接口
这里与上传文件不同的是,前端在进行文件上传时,是可以获取到文件的总大小的,而下载文件时因为是流式下载,前端是不知道要下载的文件一共有多少大小的。
因此也就无法估算总体的进度比例。所以我们后端接口中要通过Content-Length响应头指定文件的总大小
我这里为了演示方便,直接下载上述上传的文件。实际应用可更改为你自己的文件下载路径。
java复制代码 @PostMapping("/download")
@ResponseBody
public ResponseEntity<String> download(HttpServletResponse response) throws IOException {
// 获取资源文件存放路径,用于临时存放生成的excel文件
String path = Objects.requireNonNull(this.getClass().getClassLoader().getResource("")).getPath();
File pathFile = new File(path);
File[] files = pathFile.listFiles();
if (ObjectUtils.isEmpty(files)) {
return new ResponseEntity<>("文件为空,请先上传文件", HttpStatus.OK);
}
InputStream inputStream = null;
ServletOutputStream ouputStream = null;
try {
for (File file : files) {
if(file.isDirectory()){
continue;
}
inputStream = new FileInputStream(file);
response.setContentType("application/x-msdownload");
response.setHeader("Content-Disposition", "attachment;filename=" + URLEncoder.encode(file.getName(), "UTF-8"));
// 设置一个总长度,否则无法估算进度
response.setHeader("Content-Length",String.valueOf(file.length()));
ouputStream = response.getOutputStream();
byte b[] = new byte[1024];
int n;
while ((n = inputStream.read(b)) != -1) {
ouputStream.write(b, 0, n);
}
ouputStream.flush();
break;
}
} catch (Exception e) {
e.printStackTrace();
} finally {
if(inputStream != null){
inputStream.close();
}
if(ouputStream != null){
ouputStream.close();
}
}
return new ResponseEntity<>("文件下载成功", HttpStatus.OK);
}
4、运行项目
5、测试:文件成功下载,进度也实时显示
以上演示源码可在如下地址下载: https://gitee.com/wuhanxue/progress_bar_demo
以上我们就完成了文件的上传和下载的实时进度监控,虽然这个功能的重点在前端,但是后端通过这个功能点,也能更好的理解前后端请求的交互。
最后我们抛出一个思考问题:如何实时监控后端自定义功能的执行进度?
作者:wu55555
链接:https://juejin.cn/post/7238886731058642999
ysq5.7.44源代码方式
下载安装配置
官网文档
https://dev.mysql.com/doc/refman/5.7/en/installing-source-distribution.html
打开mysql官网网站 https://www.mysql.com/,点击download进入下载页面。
在下载页面中找到mysql社区服务器版本,点击“MySQL Community (GPL) Downloads »”进入社区服务器版的下载页面。
点击社区服务器版“MySQL Community Server”
点击存档“Archives”,选择操作系统,操作系统版本,找到源码。
yum install -y gcc-c++
CMake是一个跨平台的开源构建工具,用于构建mysql软件。他写CMakeLists.txt文件来描述项目的结构,用cmake生成makefile文件,共make编译使用。
yum install cmake
cmake官网下载 https://cmake.org/download/,源码编译见软件包中的readme文件。
查看cmake版本
cmake --version
一般系统自带这个编译工具,可以通过make --version查看版本。
需要 SSL 库来支持加密连接、随机数生成。
yum install openssl-devel
Boost是一个由C++社区开发和维护的开源C++库集合,旨在扩展C++语言的功能和性能。
构建 MySQL 需要 Boost C++ 库,必须安装Boost 1.59.0,安装 Boost 后,根据调用WITH_BOOST在CMake 时为选项设置的值告诉构建系统 Boost 文件的放置位置。
见以下两个选项:
-DDOWNLOAD_BOOST=1 \
-DWITH_BOOST=/usr/local/boost
ncurses库是一个用于创建文本用户界面(TUI)的开发库。
yum install ncurses-devel
如果您打算运行测试脚本,则需要 Perl。
groupadd mysql
useradd -r -g mysql -s /bin/false mysql
解压
cd /soft
tar zxvf mysql-5.7.44.tar.gz
cd mysql-5.7.44
创建构建目录
mkdir build
cd build
构建make编译文件
cmake .. \
-DCMAKE_INSTALL_PREFIX=/usr/local/mysql \
-DMYSQL_DATADIR=/home/mysql \
-DSYSCONFDIR=/etc \
-DDEFAULT_CHARSET=utf8mb4 \
-DDEFAULT_COLLATION=utf8mb4_general_ci \
-DMYSQL_TCP_PORT=3306 \
-DDOWNLOAD_BOOST=1 \
-DWITH_BOOST=/usr/local/boost
说明:
-DCMAKE_INSTALL_PREFIX:配置安装到特定路径
-DMYSQL_DATADIR:配置数据目录
-DSYSCONFDIR:配置选项文件的目录
-DDEFAULT_CHARSET:配置mysql服务字符集,默认字符是latin1(cp1252西欧)字符集
-DDEFAULT_COLLATION:服务器排序规则。默认排序规则使用 latin1_swedish_ci。
-DMYSQL_TCP_PORT:服务器侦听 TCP/IP 连接的端口号。默认值为 3306。
-DDOWNLOAD_BOOST:检查是否有boost库
重新构建时运行以下命令清楚历史构建信息
make clean
rm -rf CMakeCache.txt
编译&安装
make
make install
groupadd mysql
useradd -r -g mysql -s /bin/false mysql
echo 'export PATH=$PATH:/usr/local/mysql/bin' >> /etc/profile
source /etc/profile
echo $PATH
切换到mysql软件根目录
cd /usr/local/mysql
创建mysql-files目录
mkdir mysql-files
chown mysql:mysql mysql-files
mysql-files目录提供了一个方便的位置来用作系统变量的值 secure_file_priv,这将导入和导出操作限制到特定目录。
创建mysql配置文件
vi /etc/my.cnf
[mysqld]
basedir=/usr/local/mysql
datadir=/home/mysql
MySQL安装完成后,必须初始化数据目录。
bin/mysqld --defaults-file=/etc/my.cnf \
--initialize \
--user=mysql
--defaults-file:指定初始化时的配置文件,必须在选项的第一位。(配置文件中只能有basedir和datadir,其他选项需要在初始化后才能加入)
--initialize:初始化
--user:指定mysql软件运行用户
注意:初始化数据库目录时,除了使用--basedir、--datadir、--user选项外,不应该使用其他选项。其他选项可以在初始化完成后再my.cnf中指定,然后重启mysql服务。意思就是说初始化数据库目录时最多只能使用--basedir、--datadir、--user选项。
bin/mysql_ssl_rsa_setup
bin/mysqld_safe --user=mysql &
对于使用 RPM 包安装 MySQL 的 Linux 系统,服务器启动和关闭是使用 systemd 而不是mysqld_safe管理的,并且 不安装mysqld_safe 。
cd support-files/
cp mysql.server /etc/init.d/mysql
chmod +x /etc/init.d/mysql
chkconfig --add mysql
service mysql start
service mysql stop
service mysql restart
登录mysql后运行如下命令修改密码,登录密码在初始化数据目录时有显示。
ALTER USER 'root'@'localhost' IDENTIFIED BY 'Welcome123#';
查看默认存在的用户
select user,host from mysql.user;
你需要在“/etc/systemd/system/”创建一个“mysql.service”的文件,告诉systemd如何管理MySQL服务。
文件内容如下:
[Unit]
Description=MySQL Server
After=network.target
[Service]
ExecStart=/usr/local/mysql/bin/mysqld_safe --user=mysql
ExecStop=/usr/local/mysql/bin/mysqladmin shutdown
User=mysql
Group=mysql
Restart=always
[Install]
WantedBy=multi-user.target
说明:
After=network.target 是systemd服务单元文件中的一个指令,它指定了服务单元所依赖的其他单元。具体来说,network.target 是一个systemd的单元,表示网络服务已经启动并可用。
Restart=always 意味着当服务意外退出(即非正常退出)时,systemd会自动尝试重新启动该服务。
WantedBy=multi-user.target 是systemd服务单元文件中的一个指令,它定义了服务的启动级别(run level)。在systemd中,系统的启动级别通过一个称为 target 的单元来表示。multi-user.target 是系统的多用户运行级别,通常用于大多数服务器环境,表示系统已经启动到了可以提供多用户登录和运行多个服务的阶段。WantedBy=multi-user.target 指定了MySQL服务的启动级别,并告诉systemd在系统启动到多用户运行级别时启动MySQL服务。
重新加载systemd管理器配置
创建完服务单元文件后,需要通知systemd重新加载它的配置,以便识别到新的MySQL服务单元。
systemctl daemon-reload
TML大文件上传源代码,HTML大文件上传解决方案,HTML大文件上传思路,HTML大文件上传实例,HTML大文件分块上传,HTML大文件分片上传,HTML大文件批量上传,HTML大文件加密上传,HTML文件夹上传,HTML大文件多线程上传,
随着视频网站和大数据应用的普及,特别是高清视频和4K视频应用的到来,超大文件上传已经成为了日常的基础应用需求。
但是在很多情况下,平台运营方并没有大文件上传和断点续传的开发经验,往往在网上找一些简单的PHP或者Java程序来实现基本的上传功能,然而在实际使用中会发现,这些基于脚本语言实现的上传功能模块性能很弱,一是不支持2GB以上的内容上传;二是无法支持断点续传;三是效率极低,单台服务器最多支持几十个并发上传连接。
当前我们要搭建一个运营级的视频服务平台,在尝试了各种产品均无法满足要求,因此最后花精力自主用C++语言实现了这一高性能上传服务器。
而基于PHP、JAVA等技术实现的文件上传服务天生无法支持超大文件上传,无法逾越2GB的最大文件尺寸瓶颈;
支持4GB以上超大文件上传,文件大小不受限制;
支持断点续传,断网、关机重启均不受影响;
对于大文件的处理,无论是用户端还是服务端,如果一次性进行读取发送、接收都是不可取,很容易导致内存问题。所以对于大文件上传,采用切块分段上传
从上传的效率来看,利用多线程并发上传能够达到最大效率。
文件上传页面的前端可以选择使用一些比较好用的上传组件,例如百度的开源组件WebUploader,这些组件基本能满足文件上传的一些日常所需功能,如异步上传文件,文件夹,拖拽式上传,黏贴上传,上传进度监控,文件缩略图,甚至是大文件断点续传,大文件秒传。
在web项目中上传文件夹现在已经成为了一个主流的需求。在OA,或者企业ERP系统中都有类似的需求。上传文件夹并且保留层级结构能够对用户行成很好的引导,用户使用起来也更方便。能够提供更高级的应用支撑。
导入项目:
导入到Eclipse:http://www.ncmem.com/doc/view.aspx?id=9da9c7c2b91b40b7b09768eeb282e647
导入到IDEA:http://www.ncmem.com/doc/view.aspx?id=9fee385dfc0742448b56679420f22162
springboot统一配置:http://www.ncmem.com/doc/view.aspx?id=7768eec9284b48e3abe08f032f554ea2
下载示例:
https://gitee.com/xproer/up6-jsp-eclipse/tree/6.5.40/
工程
NOSQL
NOSQL示例不需要任何配置,可以直接访问测试
创建数据表
选择对应的数据表脚本,这里以SQL为例
修改数据库连接信息
访问页面进行测试
文件存储路径
up6/upload/年/月/日/guid/filename
相关问题:
1.javax.servlet.http.HttpServlet错误
2.项目无法发布到tomcat
3.md5计算完毕后卡住
4.服务器找不到config.json文件
相关参考:
文件保存位置
源码工程文档:https://drive.weixin.qq.com/s?k=ACoAYgezAAw1dWofra
源码报价单:https://drive.weixin.qq.com/s?k=ACoAYgezAAwoiul8gl
OEM版报价单:https://drive.weixin.qq.com/s?k=ACoAYgezAAwuzp4W0a
产品源代码:https://drive.weixin.qq.com/s?k=ACoAYgezAAwbdKCskc
授权生成器:https://drive.weixin.qq.com/s?k=ACoAYgezAAwTIcFph1
*请认真填写需求信息,我们会在24小时内与您取得联系。