整合营销服务商

电脑端+手机端+微信端=数据同步管理

免费咨询热线:

springboot:实现文件上传下载实时进度条功能「附带源码」

. 引言

记得刚入行的时候,做了一个文件上传的功能,因为上传时间较久,为了用户友好性,想要添加一个实时进度条,显示进度。奈何当时技术有限,查了许久也没用找到解决方案,最后不了了之。

近来偶然想到这个问题,于是决定整理一下实现方式,也为和我曾经一样碰壁的同学,提供一些思路。

1. 思路

1、首先我们这里实现的是一个实时的进度条,并不是一个纯前端的进度条,它需要根据后端的处理进度来实时反馈进度条长度,那么必然要与后端交互。

当然这里容易陷入一个误区,觉得与后端交互的,那么这个功能的重点一定在后端,但实际上这个功能的重点在前端。

不难想到,我们要知道实时进度,那么一定需要不断的请求后端,得到响应反馈,前后端请求比较常用的是ajax,但除它之外,我们还有更基础的xhr(XMLHttpRequest)。作为后端同学可能对xhr有些陌生,实际上ajax就是基于xhr实现的。

2、xhr可以让我们在不重新加载页面的情况下更新网页,在页面已经加载后从后端请求并接受数据,这样就可以无感的让我们后端文件的上传进度了。

3、为了监听文件上传下载进度,我们主要使用到xhr的三个进度事件:

  • progress: 在接收响应期间持续不断地触发
  • load: 在接收到完整的响应数据时触发
  • error: 在请求发生错误时触发

当然除上述三个事件之外,还有其他的进度事件,这不是本文的重点,大家可自行拓展学习XHR对象的进度事件

XMLHttpRequest简介

4、基于上述三个进度事件,我们可以通过process事件持续不断地发送请求获取文件上传下载的进度,load事件用于文件上传下载完成后的处理,比如提示成功。error用于请求发送错误时的处理。

5、有了上述的思路之后,我们来进行实际演示。

2. 实操

2.1 实现文件上传实时进度条功能

1、创建springboot项目,引入spring web、lombok、文件上传commons-fileupload依赖

xml复制代码<dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
</dependency>

<dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
</dependency>

<dependency>
            <groupId>commons-fileupload</groupId>
            <artifactId>commons-fileupload</artifactId>
            <version>1.4</version>
</dependency>

2、创建MultipartResolver的bean,用来将普通的请求封装成拥有文件上传功能的请求

java复制代码@Component
public class FileUpLoadConfig {

    @Bean(name="multipartResolver")
    public MultipartResolver multipartResolver(){
        return new CommonsMultipartResolver();
    }
}

3、创建一个文件上传接口:这里我单纯做个演示,就直接在controller层中书写了,实际生产要将上传方法提取为工具类,在service中进行具体业务处理。

如下代码为将文件上传后,保存到资源文件夹下

java复制代码@RestController
@RequestMapping("file")
public class FileController {

    private final static Logger log = LoggerFactory.getLogger(FileController.class);

    @PostMapping("/upload")
    @ResponseBody
    public ResponseEntity<String> fileUpload(@RequestParam("file") MultipartFile file) {
        try {
            // 获取资源文件存放路径,用于临时存放生成的excel文件
            String path = Objects.requireNonNull(this.getClass().getClassLoader().getResource("")).getPath();
            // 文件名
            String fileName = path + file.getOriginalFilename();
            // 创建目标文件
            File dest = new File(fileName);
            // 向指定路径写入文件
            file.transferTo(dest);
            // 返回文件访问路径
            return new ResponseEntity<>(fileName, HttpStatus.OK);
        } catch (Exception e) {
            e.printStackTrace();
            log.info(String.format("文件上传失败,原因:%s",e));
            return new ResponseEntity<>("文件上传失败", HttpStatus.INTERNAL_SERVER_ERROR);
        }
    }
}

4、后端接口完成后,进入我们的重点,我们来实现前端进度条

5、首先引入jQuery,我这里使用了3.6.1版本

6、实现一个上传的页面,这里利用了html5的progress标签,该标签用于实现进度条,支持两个属性:value和max,分别为当前进度值和最大进度值

html复制代码<div class="modal-body form ">
    <!-- 文件上传   -->
    <form id="dialogForm" class="form-horizontal">
        <div class="form-group">
            <label class="control-label">文件:</label>
            <div >
                <input type="file" name="file" id="file" onchange="upload()">
            </div>
        </div>
        <div class="form-group">
            <label class="control-label">上传进度:</label>
            <div >
                <!--进度条-->
                <div id="progress-body">
                    <progress></progress>
                    <div id="progress-bar">0%</div>
                </div>
            </div>
        </div>
    </form>

</div>

7、书写进度监听方法,即progress方法

js复制代码        //进度条更新
        function progressHandle(e) {
            $('#progress-body progress').attr({
                value : e.loaded,
                max : e.total
            });
            var percent = (e.loaded / e.total * 100).toFixed(2);
            $('#progress-body #progress-bar').html(percent + "%");
        };

8、书写load,error方法

js复制代码        //上传完成处理函数
        function uploadSuccess(e) {
            alert("上传完成");
        };
        //上传出错处理函数
        function uploadFail(e) {
            alert("上传失败");
        };

9、实现上传方法upload

js复制代码        // 文件上传
        function upload() {
            var formData = new FormData();
            formData.append("file", $("#file")[0].files[0]);
            $.ajax({
                url : "/file/upload",
                type : "POST",
                data : formData,
                processData : false, // 告诉jQuery不要去处理发送的数据
                contentType : false, // 告诉jQuery不要去设置Content-Type请求头
                success : function(data) {
                    console.log(data);
                },
                xhr : function() {
                    var xhr = $.ajaxSettings.xhr();
                    // xhr.upload专用于上传事件监听
                    if (xhr.upload) {
                        //处理进度条的事件
                        xhr.upload.addEventListener("progress", progressHandle,
                            false);
                        //加载完成的事件
                        xhr.addEventListener("load", uploadSuccess, false);
                        //加载出错的事件
                        xhr.addEventListener("error", uploadFail, false);
                        return xhr;
                    }
                }
            });
        }

10、运行项目,访问上传页,我这里直接书写在index.html中了

11、测试:如下图所示,可以正常显示进度

12、上传成功后,后台资源文件夹中也能看到对应的上传文件,演示成功!

2.2 实现文件下载实时进度条功能

上述我们讲解了如何实现上传进度条功能,有了这个思路,我们再实现下载功能:

1、同样,我们实现一个简单的进度条页面

html复制代码    <!-- 文件下载   -->
    <form id="dialogForm" class="form-horizontal">
        <div class="form-group">
            <label class="control-label">下载进度:
            </label>
            <div>
                <!--进度条-->
                <div id="progress-body">
                    <progress></progress>
                    <div id="progress-bar">0%</div>
                </div>
            </div>
        </div>
        <button type="button" onclick="download()">下载</button>
    </form>

2、实现下载方法

这里我们不再采用ajax的方法,而是直接通过xhr请求,并且因为要在浏览器中下载该文件,所以以window.URL.revokeObjectURL方法来下载并释放该文件。

js复制代码   // 文件下载
    function download() {
        var xhr = new XMLHttpRequest();
        //处理进度条的事件
        xhr.addEventListener("progress", progressHandle, false);
        //加载出错的事件
        xhr.addEventListener("error", uploadFail, false);
        xhr.open("POST","/file/download");
        //设置响应类型
        xhr.responseType = 'blob';
        xhr.onload = function (e) {
            if (this.status === 200) {
                // 截取掉'attachment;filename='
                var filename = xhr.getResponseHeader("Content-disposition").slice(20);
                var blob = this.response;
                var a = document.createElement('a');
                var url = URL.createObjectURL(blob);
                a.href = url;
                a.download = filename;
                document.body.appendChild(a);
                a.click();
                window.URL.revokeObjectURL(url);
            }
        }
        xhr.send();
    }

    //进度条更新
    function progressHandle(e) {
        $('#progress-body progress').attr({
            value: e.loaded,
            max: e.total
        });
        var percent = (e.loaded / e.total * 100).toFixed(2);
        $('#progress-body #progress-bar').html(percent + "%");
    };
    
    //上传出错处理函数
    function uploadFail(e) {
        alert("下载失败");
    };

3、实现后端下载文件接口

这里与上传文件不同的是,前端在进行文件上传时,是可以获取到文件的总大小的,而下载文件时因为是流式下载,前端是不知道要下载的文件一共有多少大小的。

因此也就无法估算总体的进度比例。所以我们后端接口中要通过Content-Length响应头指定文件的总大小

我这里为了演示方便,直接下载上述上传的文件。实际应用可更改为你自己的文件下载路径。

java复制代码    @PostMapping("/download")
    @ResponseBody
    public ResponseEntity<String> download(HttpServletResponse response) throws IOException {
        // 获取资源文件存放路径,用于临时存放生成的excel文件
        String path = Objects.requireNonNull(this.getClass().getClassLoader().getResource("")).getPath();
        File pathFile = new File(path);
        File[] files = pathFile.listFiles();
        if (ObjectUtils.isEmpty(files)) {
            return new ResponseEntity<>("文件为空,请先上传文件", HttpStatus.OK);
        }
        InputStream inputStream = null;
        ServletOutputStream ouputStream = null;
        try {
            for (File file : files) {
                if(file.isDirectory()){
                    continue;
                }
                inputStream = new FileInputStream(file);
                response.setContentType("application/x-msdownload");
                response.setHeader("Content-Disposition", "attachment;filename=" + URLEncoder.encode(file.getName(), "UTF-8"));
                // 设置一个总长度,否则无法估算进度
                response.setHeader("Content-Length",String.valueOf(file.length()));
                ouputStream = response.getOutputStream();
                byte b[] = new byte[1024];
                int n;
                while ((n = inputStream.read(b)) != -1) {
                    ouputStream.write(b, 0, n);
                }
                ouputStream.flush();
                break;
            }
        } catch (Exception e) {
            e.printStackTrace();

        } finally {
            if(inputStream != null){
                inputStream.close();
            }
            if(ouputStream != null){
                ouputStream.close();
            }
        }
        return new ResponseEntity<>("文件下载成功", HttpStatus.OK);
    }

4、运行项目

5、测试:文件成功下载,进度也实时显示

3. 项目源码

以上演示源码可在如下地址下载: https://gitee.com/wuhanxue/progress_bar_demo

4. 总结

以上我们就完成了文件的上传和下载的实时进度监控,虽然这个功能的重点在前端,但是后端通过这个功能点,也能更好的理解前后端请求的交互。

最后我们抛出一个思考问题:如何实时监控后端自定义功能的执行进度?

作者:wu55555
链接:https://juejin.cn/post/7238886731058642999

ysq5.7.44源代码方式

下载安装配置

官网文档

https://dev.mysql.com/doc/refman/5.7/en/installing-source-distribution.html

mysql下载

打开mysql官网网站 https://www.mysql.com/,点击download进入下载页面。

在下载页面中找到mysql社区服务器版本,点击“MySQL Community (GPL) Downloads »”进入社区服务器版的下载页面。

点击社区服务器版“MySQL Community Server”

点击存档“Archives”,选择操作系统,操作系统版本,找到源码。

源安装先决条件

gcc-c++编译器

yum install -y gcc-c++

CMake编译工具

CMake是一个跨平台的开源构建工具,用于构建mysql软件。他写CMakeLists.txt文件来描述项目的结构,用cmake生成makefile文件,共make编译使用。

yum install cmake

cmake官网下载 https://cmake.org/download/,源码编译见软件包中的readme文件。

查看cmake版本

cmake --version

make编译工具

一般系统自带这个编译工具,可以通过make --version查看版本。

OpenSSL 库

需要 SSL 库来支持加密连接、随机数生成。

yum install openssl-devel

Boost C++ 库

Boost是一个由C++社区开发和维护的开源C++库集合,旨在扩展C++语言的功能和性能。

构建 MySQL 需要 Boost C++ 库,必须安装Boost 1.59.0,安装 Boost 后,根据调用WITH_BOOST在CMake 时为选项设置的值告诉构建系统 Boost 文件的放置位置。

见以下两个选项:

-DDOWNLOAD_BOOST=1 \

-DWITH_BOOST=/usr/local/boost

ncurses 库

ncurses库是一个用于创建文本用户界面(TUI)的开发库。

yum install ncurses-devel

Perl库

如果您打算运行测试脚本,则需要 Perl。

mysql安装

创建mysql用户和组

groupadd mysql

useradd -r -g mysql -s /bin/false mysql

安装

解压

cd /soft

tar zxvf mysql-5.7.44.tar.gz

cd mysql-5.7.44

创建构建目录

mkdir build

cd build

构建make编译文件

cmake .. \

-DCMAKE_INSTALL_PREFIX=/usr/local/mysql \

-DMYSQL_DATADIR=/home/mysql \

-DSYSCONFDIR=/etc \

-DDEFAULT_CHARSET=utf8mb4 \

-DDEFAULT_COLLATION=utf8mb4_general_ci \

-DMYSQL_TCP_PORT=3306 \

-DDOWNLOAD_BOOST=1 \

-DWITH_BOOST=/usr/local/boost

说明:

-DCMAKE_INSTALL_PREFIX:配置安装到特定路径

-DMYSQL_DATADIR:配置数据目录

-DSYSCONFDIR:配置选项文件的目录

-DDEFAULT_CHARSET:配置mysql服务字符集,默认字符是latin1(cp1252西欧)字符集

-DDEFAULT_COLLATION:服务器排序规则。默认排序规则使用 latin1_swedish_ci。

-DMYSQL_TCP_PORT:服务器侦听 TCP/IP 连接的端口号。默认值为 3306。

-DDOWNLOAD_BOOST:检查是否有boost库

重新构建时运行以下命令清楚历史构建信息

make clean

rm -rf CMakeCache.txt

编译&安装

make

make install

mysql设置

创建mysql用户和组

groupadd mysql

useradd -r -g mysql -s /bin/false mysql

添加环境变量

echo 'export PATH=$PATH:/usr/local/mysql/bin' >> /etc/profile

source /etc/profile

echo $PATH

初始化数据目录

切换到mysql软件根目录

cd /usr/local/mysql

创建mysql-files目录

mkdir mysql-files

chown mysql:mysql mysql-files

mysql-files目录提供了一个方便的位置来用作系统变量的值 secure_file_priv,这将导入和导出操作限制到特定目录。

创建mysql配置文件

vi /etc/my.cnf

[mysqld]

basedir=/usr/local/mysql

datadir=/home/mysql

MySQL安装完成后,必须初始化数据目录。

bin/mysqld --defaults-file=/etc/my.cnf \

--initialize \

--user=mysql

--defaults-file:指定初始化时的配置文件,必须在选项的第一位。(配置文件中只能有basedir和datadir,其他选项需要在初始化后才能加入)

--initialize:初始化

--user:指定mysql软件运行用户

注意:初始化数据库目录时,除了使用--basedir、--datadir、--user选项外,不应该使用其他选项。其他选项可以在初始化完成后再my.cnf中指定,然后重启mysql服务。意思就是说初始化数据库目录时最多只能使用--basedir、--datadir、--user选项。

部署自动支持安全连接的服务器

bin/mysql_ssl_rsa_setup

启动服务器

bin/mysqld_safe --user=mysql &

对于使用 RPM 包安装 MySQL 的 Linux 系统,服务器启动和关闭是使用 systemd 而不是mysqld_safe管理的,并且 不安装mysqld_safe 。

开机启动启动服务器

cd support-files/

cp mysql.server /etc/init.d/mysql

chmod +x /etc/init.d/mysql

chkconfig --add mysql

启动停止和重启

service mysql start

service mysql stop

service mysql restart

修改root密码

登录mysql后运行如下命令修改密码,登录密码在初始化数据目录时有显示。

ALTER USER 'root'@'localhost' IDENTIFIED BY 'Welcome123#';

查看用户

查看默认存在的用户

select user,host from mysql.user;

使用systemd管理MySQL服务器

创建MySQL的systemd服务单元文件

你需要在“/etc/systemd/system/”创建一个“mysql.service”的文件,告诉systemd如何管理MySQL服务。

文件内容如下:

[Unit]

Description=MySQL Server

After=network.target

[Service]

ExecStart=/usr/local/mysql/bin/mysqld_safe --user=mysql

ExecStop=/usr/local/mysql/bin/mysqladmin shutdown

User=mysql

Group=mysql

Restart=always

[Install]

WantedBy=multi-user.target

说明:

After=network.target 是systemd服务单元文件中的一个指令,它指定了服务单元所依赖的其他单元。具体来说,network.target 是一个systemd的单元,表示网络服务已经启动并可用。

Restart=always 意味着当服务意外退出(即非正常退出)时,systemd会自动尝试重新启动该服务。

WantedBy=multi-user.target 是systemd服务单元文件中的一个指令,它定义了服务的启动级别(run level)。在systemd中,系统的启动级别通过一个称为 target 的单元来表示。multi-user.target 是系统的多用户运行级别,通常用于大多数服务器环境,表示系统已经启动到了可以提供多用户登录和运行多个服务的阶段。WantedBy=multi-user.target 指定了MySQL服务的启动级别,并告诉systemd在系统启动到多用户运行级别时启动MySQL服务。

重新加载systemd管理器配置

创建完服务单元文件后,需要通知systemd重新加载它的配置,以便识别到新的MySQL服务单元。

systemctl daemon-reload

TML大文件上传源代码,HTML大文件上传解决方案,HTML大文件上传思路,HTML大文件上传实例,HTML大文件分块上传,HTML大文件分片上传,HTML大文件批量上传,HTML大文件加密上传,HTML文件夹上传,HTML大文件多线程上传,


随着视频网站和大数据应用的普及,特别是高清视频和4K视频应用的到来,超大文件上传已经成为了日常的基础应用需求。

但是在很多情况下,平台运营方并没有大文件上传和断点续传的开发经验,往往在网上找一些简单的PHP或者Java程序来实现基本的上传功能,然而在实际使用中会发现,这些基于脚本语言实现的上传功能模块性能很弱,一是不支持2GB以上的内容上传;二是无法支持断点续传;三是效率极低,单台服务器最多支持几十个并发上传连接。

当前我们要搭建一个运营级的视频服务平台,在尝试了各种产品均无法满足要求,因此最后花精力自主用C++语言实现了这一高性能上传服务器。

而基于PHP、JAVA等技术实现的文件上传服务天生无法支持超大文件上传,无法逾越2GB的最大文件尺寸瓶颈;

支持4GB以上超大文件上传,文件大小不受限制;

支持断点续传,断网、关机重启均不受影响;

对于大文件的处理,无论是用户端还是服务端,如果一次性进行读取发送、接收都是不可取,很容易导致内存问题。所以对于大文件上传,采用切块分段上传

从上传的效率来看,利用多线程并发上传能够达到最大效率。

文件上传页面的前端可以选择使用一些比较好用的上传组件,例如百度的开源组件WebUploader,这些组件基本能满足文件上传的一些日常所需功能,如异步上传文件,文件夹,拖拽式上传,黏贴上传,上传进度监控,文件缩略图,甚至是大文件断点续传,大文件秒传。

在web项目中上传文件夹现在已经成为了一个主流的需求。在OA,或者企业ERP系统中都有类似的需求。上传文件夹并且保留层级结构能够对用户行成很好的引导,用户使用起来也更方便。能够提供更高级的应用支撑。


导入项目:
导入到Eclipse:
http://www.ncmem.com/doc/view.aspx?id=9da9c7c2b91b40b7b09768eeb282e647
导入到IDEA:http://www.ncmem.com/doc/view.aspx?id=9fee385dfc0742448b56679420f22162
springboot统一配置:http://www.ncmem.com/doc/view.aspx?id=7768eec9284b48e3abe08f032f554ea2



下载示例:

https://gitee.com/xproer/up6-jsp-eclipse/tree/6.5.40/




工程



NOSQL

NOSQL示例不需要任何配置,可以直接访问测试



创建数据表

选择对应的数据表脚本,这里以SQL为例




修改数据库连接信息


访问页面进行测试



文件存储路径

up6/upload/年/月/日/guid/filename






相关问题:
1.javax.servlet.http.HttpServlet错误
2.项目无法发布到tomcat
3.md5计算完毕后卡住
4.服务器找不到config.json文件

相关参考:

文件保存位置


源码工程文档:https://drive.weixin.qq.com/s?k=ACoAYgezAAw1dWofra

源码报价单:https://drive.weixin.qq.com/s?k=ACoAYgezAAwoiul8gl



OEM版报价单:https://drive.weixin.qq.com/s?k=ACoAYgezAAwuzp4W0a

产品源代码:https://drive.weixin.qq.com/s?k=ACoAYgezAAwbdKCskc
授权生成器:https://drive.weixin.qq.com/s?k=ACoAYgezAAwTIcFph1