终于搞懂如何用Java去除HTML标签了

我平时的工作中，偶尔会用 Java 做一些解析HTML的工作。有的时候我需要删除所有的HTML标签，只保留纯文字内容。这个问题在做过一些爬虫工作的朋友来说很简单。下面来说说，我们平时使用到的集中解析的方法。

使用正则表达式

通过爬虫爬到的HTML内容，从程序角度来讲，就是一个字符串。我们可以对其按照纯文本处理的方式来处理。

我们在做文本处理的时候，第一个想到的就是正则表达式。从一个字符串中删除HTML，对于正则来说，还是比较简单的。毕竟还是有固定的格式，比如“<...>”。

我们常用的的正则就是 <[^>]> 或者 <.*?> 。

我们在使用正则的时候，需要注意的是正则默认是贪婪匹配。也就是说，正则表达式<.*> 能够匹配到更多的HTML内容，而不是单个标签。

现在，让我们测试一下它是否能从HTML源中删除标签。

正则测试删除标签1

在我们测试删除HTML标签之前，首先让我们创建一个HTML例子，例如example1.html。

<!DOCTYPE html>
<html>
<head>
    <title>这是标题</title>
</head>
<body>
    <p>
        如果应用程序X没有启动，可能的原因是<br/>
        1. <a href="https://maven.apache.org">Maven</a>没有安装<br/>
        2. 磁盘空间不足<br/>
        3. 内存不足
    </p>
</body>
</html>

现在，让我们写一个测试，用String.replaceAll()来删除HTML标签。

String html = ... // load example1.html
String result = html.replaceAll("<[^>]`>", "");
System.out.println(result);

如果我们运行这个测试方法，我们会看到结果。

    这是标题



        如果应用程序X没有启动，可能的原因是
        1.Maven没有安装
        2.磁盘空间不足
        3.没有足够的内存

输出结果保留了剥离后的HTML的空白处。我们在处理提取的文本时，可以很容易地删除或跳过这些空行或空白处。

正则测试删除标签2

我们刚才已经看到了，通过使用Regex来删除HTML标签是非常简单。但是粗暴的使用这种方法会有很多问题，我们不能预测最终的结果会是怎么样的。

例如，一个HTML文档可能有<script>或<style>标签，而我们可能不希望在结果中出现它们的内容。

此外，<script>、<style>、甚至是<body>标签中的文本可能包含 <或 >字符。如果是这种情况，我们的正则方法可能会出错。

现在，让我们看看另一个例子，比如example2.html。

<!DOCTYPE HTML>
<html>
<head>
    <title>这是标题</title>
</head>
<script>
    // some js function
</script>
<body>
    <p>
        如果应用程序X没有启动，可能的原因是<br/>
        1. <a
            id="link"
            href="http://maven.apache.org/">
            Maven
            </a> 没有安装<br/>
        2. 磁盘空间不足 (<1G) <br/>
        3. 内存不足(<64MB)<br/>
    </p>
</body>
</html>

现在我们有一个<script>标签和 <字符在<body>标签内。

如果我们对example2.html使用同样的方法，我们会得到如下内容。

   这是标题
    // some js function
        如果应用程序X没有启动，可能的原因是
        1. 
            Maven
             没有安装
        2. 磁盘空间不足 (
        3. 内存不足(

显然，由于"<"字符的存在，我们丢失了一些文本。所以正则在处理文本的时候并不是万能的。我们可以使用一些 HTML 解析器来做这些比较复杂的场景。

使用Jsoup

Jsoup 是一个流行的HTML解析库，如果想要从一个HTML文档中提取文本，我们可以简单地调用Jsoup.parse(htmlString).text()。

在项目中使用的时候，我们首先需要添加 jsoup 的依赖库，我们这里就通过maven的方式引入。

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.14.3</version>
</dependency>

我们用 example2.html来测试一下。

String html = ... // load example2.html
System.out.println(Jsoup.parse(html).text());

如果我们让这个方法运行，它就会打印出来。

这是标题 如果应用程序X没有启动，可能的原因是 1.Maven没有安装 2.没有足够的（<1G）磁盘空间 3.没有足够的（<64MB）内存

从输出结果可知，Jsoup已经成功地从HTML文档中提取了文本。另外，<script>元素中的文本已经被忽略了。

此外，默认情况下，Jsoup会删除所有的文本格式和空白处，比如换行符。

使用HTMLCleaner

HTMLCleaner 也是一个HTML解析库。

首先，我们需要在pom.xml中添加HTMLCleaner 依赖。

<dependency>
    <groupId>net.sourceforge.htmlcleaner</groupId>
    <artifactId>htmlcleaner</artifactId>
    <version>2.25</version>
</dependency>

我们可以设置[各种参数]（http://htmlcleaner.sourceforge.net/parameters.php）来控制HTMLCleaner的解析行为。我们在这里使用HTMLCleaner在解析example2.html时跳过<script>元素。

String html = ... // load example2.html
CleanerProperties props = new CleanerProperties();
props.setPruneTags("script");
String result = new HtmlCleaner(props).clean(html).getText().toString();
System.out.println(result);

运行一下，HTMLCleaner将产生这样的输出。

这是标题



        如果应用程序X没有启动，可能的原因是：
        1.Maven没有安装
        2.没有足够的（<1G）磁盘空间
        3.内存不足（<64MB）

我们可以看到，<script>元素中的内容被忽略了， <br/>标签转换为提取的文本中的换行符。另外， HTMLCleaner 保留了HTML的空白内容。

总结

在这篇文章中，我们学习了几种去除HTML的方法，我们需要注意的是，正则在文本处理的过程中并不是万能的。

了让初学者更容易理解，本文写的比较详细，所以如果你已是技术大拿，请直接绕过，以免浪费你的宝贵时间，谢谢。

相信现在很多网站都有文章功能，有文章就基本上少不了要有个列表页，网页设计师们对文章列表页的设计也是五花八门，各有各的创意，那我们就拿ThinkPHP旗下的极思维平台的列表页来说，极思维的目前的列表页是这样的：

大家可以看到，它的布局是块形式展现，每篇文章都是固定的布局，图片，标题，简介，如果说每篇文章在发布的时候都要单独的写个简介，单独上传个封面图，对编辑者来说就有些麻烦了，那我们就可以通过程序让它自动去抓取封面和简介，自动抓取缩略图我在之前的文章有讲过，大家可以去找下我之前的《ThinkPHP之自动获取文章内容中的第一张图片做为缩略图》这篇文章，今天我们主要讲如何自动抓取文章的部分内容作为文章的简介。

我们先来分析一下功能的实现原理，所谓简介，就是简单的说明一下这篇文章的主要内容，不涉及到排版，所以我们只需要纯文字，那么问题来了，之前我们在抓取缩略图的文章中我们也有说到，文章内容是由编辑器进行排版的，既然有排版样式，就必定要有HTML样式，只要保留文字就得把所有的HTML标签都去掉，那怎么去掉呢？

不用急，PHP有个专门去掉HTML的函数，这个函数就是 strip_tags ，我们先来看一下这个函数是什么样的：

在以上代码中可以看到，内容中有个 <b> 标签，<b> 标签的作用就是字体加粗，我们运行一下实例看下：

可以很明显的看到使用了 strip_tags 函数和没使用 strip_tags 函数的区别，那是不是直接在ThinkPHP中用这个函数就够了呢，写过文章的人都知道，文章会涉及到换行、空格等格式，strip_tags 函数只能去掉HTML标签，并不能去掉换行、空格等格式，那么怎么样才能去掉换行和空格呢，别担心，强大的PHP也有函数来处理这些东西的，PHP中有个正则替换函数叫做 ereg_replace ，这个函数可以把指定的字符换成我们想要的字符，那么我们的逻辑代码就可以这样写：

从上面的逻辑代码中，我们可以看到替换换行符中处理了三次替换，这是为什么呢，因为现在服务器系统有很多种，最常用的就有windows、linux两种系统，这两种系统的换行符是不同的，所以为了兼容不同的服务器，我们就多替换几次，其中 \r\n 是替换 linux 和 unix 系统的换行符，\n 是替换 windows 系统的换行符，\r 是替换苹果系统的换行符的。

处理好了HTML之后，接下来我们就要截取内容了，因为文章字数有多有少，既然是简介，那我们肯定就只要截取一小段文字了，比如只要50个字或者100个字这样，因为编程基本都是用英文编写的，对中文的识别较差，所以在编程计算长度时，一个中文汉字是算两个字符的，所以如果我们要截取50个中文的话，截取长度就是乘以二，那就是100了，其实这都不算什么问题，但是在实际过程中，按这样的方式去截取的话，遇到文章包含中英文的时候就可能会出现乱码的情况，为了避免出现乱码，我们可以用一个非PHP核心函数 mb_strlen 来解决，为什么说 mb_strlen 是非PHP核心函数呢，因为在使用 mb_strlen 函数前需要确保在 php.ini 中有加载 php_mbstring.dll，要不然就会出现 未定义函数 的问题，那我们就来把上面的代码改进一下，加上截取字数的功能，得到代码如下：

然后，我们以ThinkPHP3.2为例，把上面的自定义函数方法添加到ThinkPHP框架中核心公共函数目录（Common）里的 functions.php 文件的最后面即可。

调用方法为：{$vo.content|cutstr_html=###,100}

上面调用方法中的 ### 是表示文章内容，100为要截取的字数长度。

谢谢你的阅读，如果你有更好的方法或在应用过程中遇到问题可以在评论区提问或者直接私信我，我会定期回复，码农刘小桥与你一起学习，共同进步。

HP默认的函数有移除指定html标签，名称为strip_tags，在某些场合非常有用。

strip_tags

(PHP 3 >= 3.0.8, PHP 4, PHP 5)

strip_tags — Strip HTML and PHP tags from a string

string strip_tags ( string str [, string allowable_tags] )

弊端：

这个函数只能保留想要的html标签，就是参数string allowable_tags。

这个函数的参数allowable_tags的其他的用法。

strip_tags($source, ”); 去掉所以的html标签。

strip_tags($source, ‘<div><img><em>’); 保留字符串中的div、img、em标签。

如果想去掉的html的指定标签。那么这个函数就不能满足需求了。于是乎我用到了这个函数。

/**

* Removes specific tags.

function strip_only_tags($str, $tags, $stripContent = FALSE) {

$content = '';

if (!is_array($tags)) {

$tags = (strpos($str, '>') !== false ? explode('>', str_replace('<', '', $tags)) : array($tags));

if (end($tags) == '') {

array_pop($tags);

}

foreach($tags as $tag) {

if ($stripContent) {

$content = '(.+|\s[^>]*>)|)';

}

$str = preg_replace('#|\s[^>]*>)'.$content.'#is', '', $str);

}

return $str;

}

参数说明

$str — 是指需要过滤的一段字符串，比如div、p、em、img等html标签。

$tags — 是指想要移除指定的html标签，比如a、img、p等。

$stripContent = FALSE — 移除标签内的内容，比如将整个链接删除等，默认为False，即不删除标签内的内容。

使用说明

$target = strip_only_tags($source, array(‘a’,'em’,'b’));

移除$source字符串内的a、em、b标签。

$source='<div><a href="http://www.tsingyaun.cn" target="_blank"><img src="http://www.tsingyuan.cn/logo.png" border="0" alt="Welcome to linzl." />This a example from<em>lixiphp</em></a><strong>!</strong></div>

$target = strip_only_tags($source, array('a','em'));

//target results

//<div><img src="http://blog.lixiphp.com/logo.png" border="0" alt="Welcome to lixiphp." />This a example from<strong>!</strong></div>

:left;"

在线咨询

上一篇：文掌握：position: sticky深度解析与实战应用
下一篇：抓取网页数据工具（java抓取网页内容）

您的项目需求

*请认真填写需求信息，我们会在24小时内与您取得联系。

整合营销服务商