「C#实战」一行代码搞定！高效移除HTML标签还原纯净文本

HTML文本中移除所有HTML标记并提取纯文本是我们经常需要使用的文本内容处理方式，比如搜索引擎、网站爬虫或者本地文档检索系统需要提取网页或HTML文档的实际内容进行索引。通过去除HTML标签，可以专注于实际的文字信息，提高搜索结果的相关性和准确性。在新闻聚合应用或社交媒体平台上展示网页链接的摘要时，通常会提取并显示纯文本内容以提供简洁的预览。对于视觉障碍人士使用的辅助技术如屏幕阅读器，它们无法解析复杂的HTML结构，因此需要提取纯文本以便朗读给用户。所以今天给大家分享一个使用正则表达式移除所有的Html标记的方法，供有需要的朋友们参考：

第一个核心代码是：正则表达式"<.*?>"

// 示例用法：

string inputHtml = "<html><body><h1>Hello, World!</h1>This is a <b>test</b>.</body></html>";

string plainText = RemoveHtmlTags(inputHtml);

Console.WriteLine(plainText); // 输出: "Hello, World!This is a test."

public static string RemoveHtmlTags(string html)

{

// 正则表达式用于匹配HTML标签

Regex regex = new Regex("<.*?>", RegexOptions.Singleline | RegexOptions.Compiled);

// 使用正则表达式的Replace方法移除所有匹配的HTML标签

string result = regex.Replace(html, String.Empty);

return result;

}

这个正则表达式<.*?>是非贪婪匹配任何以 < 开始、以 > 结束的字符串，它会尽可能少地匹配字符以找到每个HTML标签。

请注意，虽然此方法对于简单场景可能有效，但对复杂的HTML文档（特别是含有嵌套标签、注释、CDATA等内容）可能不够健壮，因为它无法处理所有可能的HTML结构。

第二个核心代码是：正则表达式"<[^>]*>"

public static string ExtractPlainTextFromHtml(string html)

{

// 使用正则表达式匹配所有的HTML标签

// 注意：这个简单的正则表达式适用于大多数基础HTML结构，但可能无法处理复杂嵌套或特殊格式的HTML

Regex regex = new Regex("<[^>]*>", RegexOptions.Singleline | RegexOptions.Compiled);

// 使用Replace方法去除所有匹配到的HTML标签，并返回纯文本内容

string plainText = regex.Replace(html, String.Empty);

return plainText.Trim(); // 为了得到更整洁的结果，可以对结果进行trim操作以去除多余的空白字符

}

在这段代码中，我们定义了一个名为ExtractPlainTextFromHtml的方法，该方法利用正则表达式 <[^>]*> 来查找并替换所有HTML标签。这里的正则表达式表示任何以 < 开始、以 > 结束的非空字符串（即HTML标签），Singleline 选项使.能匹配换行符，以便跨多行搜索标签，而 Compiled 选项则是为了优化正则表达式的性能。

第二个核心代码是：正则表达式"<[^>]*>"

public static string RemoveHtmlTags(string html)

{

// 正则表达式，匹配所有HTML标签

string pattern = "<[^>]+>";

// 使用Regex.Replace方法移除所有匹配的HTML标签

return Regex.Replace(html, pattern, String.Empty);

}

请注意，此方法仅移除HTML标记，不会解析或处理嵌入在HTML中的JavaScript代码或其他非标记内容。此外，此方法也无法处理不规范或不符合预期格式的HTML标记。如果需要更复杂的HTML解析或清理，您可能需要使用专门的HTML解析库，如AngleSharp或HtmlAgilityPack等。

尽管上述方法对于许多简单场景已经足够有效，但在面对复杂的HTML文档时，由于HTML本身的嵌套和特殊结构，简单的正则表达式可能无法完美地解析并移除所有标签。在这种情况下，推荐使用专门为处理HTML设计的库，如HtmlAgilityPack，它可以准确地解析HTML并提供丰富的API用于提取纯文本内容。

节课我们学习了如何使用 BeautifulSoup 来解析页面，这节课我们来学习下如何使用正则来解析页面。

正则表达式的基本概念
正则表达式基本语法
正则表达式常用函数

通过学习正则表达式几个常用函数，可以根据需要对数据进行匹配筛选。

1. 正则表达式简介

在编写爬虫的过程中，我们需要解析网页的内容。那么作为文本解析利器的正则表达式当然可以运用到我们的爬虫开发中。其实页面解析过程无非是从海量的字符串中将我们所需要的数据匹配并剥离出来，所以在正式的爬虫开发中正则会经常被用到。

正则表达式是对字符串操作的逻辑公式。在提取网页的数据的时候，我们需要把源代码转换成字符串，然后通过正则表达式匹配想要的数据。

在我们开始使用正则表达式进行模式查找之前，我们需要先熟悉一下正则表达式里面的字符的基本含义，熟悉了它们之后，我们就可以很方便的书写一些正则表达式进行模式匹配了。

2. 正则表达式基本语法

正则表达式的字符和含义

模式	描述
.	匹配任意字符，除了换行符
*	匹配前一个字符0次或者多次
+	匹配前一个字符1次或者多次
？	匹配前一个字符0次或者1次
^	匹配字符串开头
$	匹配字符串结尾
()	匹配括号内的表达式，表示一个组
\s	匹配空白字符
\S	匹配任何空白字符
\d	匹配数字，等于[0-9]
\D	匹配非数字，等于0-9
\w	匹配字符数字，等于[A-Za-z0-9]
\W	匹配非字符数字，等于A-Za-z0-9
[]	表示一组字符

3. 正则表达式的常用方法

我们开发爬虫使用的是 Python 语言，那么在 Python 中如何使用正则表达式呢？在 Python 中已经内置了正则表达式模块 re，re 库是内置在 Python 中的，不需要我们进行安装，直接导入使用即可。

这里我们主要详细讲解一下 re 库中的几种常用方法。这几种方法也是会经常用在爬虫开发中的，只要掌握了这些种方法，基本上在爬虫开发中需要使用正则表达式的问题都可以解决。

3.1 re.findall

findall 方法是找到所有的符合规则的匹配内容，具体语法如下：

re.findall(pattern, string, flags=0)

来看个例子，找出所有的字符串中的数字：

import re # 导入正则

example = 'abc 33 bbb 3223 yehgst adsfe3 332' # 创建目标字符串
pattern = '\d+'
re.findall(pattern, example)

效果如下图所示：

3.2 re.search

re.search 扫描整个字符串，并返回第一个成功的匹配。具体语法如下：

re.search(pattern, string, flags=0)

来看个例子：

import re

example = "Python is the best language!"

re.search('\APython', example)
re.search('\AJava', example)

效果如下图所示：

3.3 re.match

如果 string 开始的 0 或者多个字符匹配到了正则表达式样式，就返回一个相应的匹配对象。如果没有匹配，就返回 None ；注意它跟零长度匹配是不同的。

re.match(pattern, string, flags=0)

实例：

import re

string = '5523 abc, cde 666623'

pattern = '(\d{4}) (\w{3})'

match = re.search(pattern, string) 

match.group(1)
match.group(2)
match.groups()

效果如下：

3.4 re.split

用 pattern 分开 string 。如果在 pattern 中捕获到括号，那么所有的组里的文字也会包含在列表里。如果 maxsplit 非零，最多进行 maxsplit 次分隔，剩下的字符全部返回到列表的最后一个元素

re.split(pattern, string)

实例：

import re

string = 'aaabbb 212 dxsxasxw fdexx:3453423.'
pattern = '\d+'

result = re.split(pattern, string) 
print(result)

效果如下：

3.5 re.sub

返回通过使用 repl 替换在 string 最左边非重叠出现的 pattern 而获得的字符串。如果样式没有找到，则不加改变地返回 string。 repl 可以是字符串或函数；如为字符串，则其中任何反斜杠转义序列都会被处理。也就是说，\n 会被转换为一个换行符，\r 会被转换为一个回车附，依此类推。未知的 ASCII 字符转义序列保留在未来使用，会被当作错误来处理。其他未知转义序列例如 & 会保持原样。向后引用像是会用样式中第 6 组所匹配到的子字符串来替换

re.sub(pattern, replace, string)

实例：

import re

string = 'abc 3d a52a33 adex f45 6'

pattern = '\s+'

replace = ''

new_string = re.sub(pattern, replace, string) 
print(new_string)

例子如下：

3.6 re.subn

行为与 sub() 相同，但是返回一个元组 (字符串, 替换次数).

re.subn(pattern, replace, string)

实例：

import re

string = 'abc 3d a52a33 adex f45 6'

pattern = '\s+'

replace = ''

new_string = re.subn(pattern, replace, string) 
print(new_string)

例子如下：

4. 小结

这一小节，我们学习了正则表达式的基本语法，以及通过多个例子展示了正则表达式的使用方法，正则表达式难有一点大，同学们需要多加练习，才能牢固的掌握。

为一名程序员，常常会在以下情况下使用函数功能根据正则表达式截取字符串：

字符串处理：当需要使用正则表达式匹配和提取字符串中的特定模式时，可以使用该函数。例如，从一段文本中提取电子邮件地址、电话号码或网站URL等。

数据清洗：在处理大量数据时，可以使用正则表达式来清洗和过滤数据。例如，可以从文本中删除不必要的字符或空格，或将特定格式的日期字符串转换为日期对象。

模式匹配：当需要匹配字符串中的特定模式时，可以使用正则表达式。例如，检查一个字符串是否符合密码格式要求，或者查找文本中所有的关键词。

解析日志文件：当处理日志文件时，可以使用正则表达式来解析和提取有用的信息。日志文件通常包含固定的格式和结构，使用正则表达式可以高效地提取所需的数据。

网络爬虫：在网络爬虫中，可以使用正则表达式来解析网页内容。例如，从网页HTML中提取特定标签之间的文本内容。

总之，函数功能根据正则表达式截取字符串非常有用，可以用于各种不同的编程场景中，帮助程序员高效地处理和分析字符串数据。

那么，如何高效的实现这一函数功能呢？

下面是由全栈式全自动软件开发工具SoFlu软件机器人推出的FuncGPT（慧函数）生成的根据正则表达式截取字串符基本示例：

// 类名：RegexString


// 函数名：substringByRegex


// 函数功能：根据正则表达式截取字串符


// POM依赖包：无






import java.util.regex.Matcher;


import java.util.regex.Pattern;






public class RegexString {


    /**


     * 根据正则表达式截取字串符


     * @param inputString 输入的字符串


     * @param regex 正则表达式


     * @return 匹配到的字串符


     */


    public static String substringByRegex(String inputString, String regex) {


        Pattern pattern = Pattern.compile(regex);


        Matcher matcher = pattern.matcher(inputString);






        if (matcher.find()) {


            return matcher.group(); // 返回第一个匹配到的字串符


        } else {


            return ""; // 没有匹配到时返回空字符串


        }


    }


}






// 函数示例


// 根据正则表达式截取字串符示例


// 入参：inputString，输入的字符串


//       regex，正则表达式


// 出参：substring，匹配到的字串符


// 调用示例：


// String inputString = "Hello, World!";


// String regex = "W\\w+";


// String substring = RegexString.substringByRegex(inputString, regex);


// System.out.println(substring);


// 输出结果：例如，根据正则表达式"W\\w+"截取字串符后，得到的结果为："World"


// 则输出结果为："World"


```


// 温馨提示：以上代码由 FuncGPT 生成，编译打包请使用 RegexString.java 文件。

这段Java代码通过substringByRegex函数，实现了根据提供的正则表达式从输入的字符串中截取子字符串。具体来说：

1.首先，导入了java.util.regex.Matcher和java.util.regex.Pattern这两个类，它们是Java中处理正则表达式的工具类。

2.定义了一个名为RegexString的公共类。

3.在RegexString类中定义了一个静态方法substringByRegex，该方法接受两个参数：inputString（输入的字符串）和regex（正则表达式）。

4.在substringByRegex方法中，首先使用Pattern.compile方法创建了一个正则表达式模式对象pattern，该对象由输入的正则表达式字符串regex编译而来。

5.然后，使用pattern对象的matcher方法创建了一个匹配器对象matcher，该匹配器用于在输入的字符串inputString中查找与正则表达式匹配的部分。

6.使用matcher对象的find方法在输入字符串中查找匹配正则表达式的子字符串。如果找到匹配的子字符串，find方法将返回true，否则返回false。

7.如果find方法返回true（即找到了匹配的子字符串），则使用matcher对象的group方法获取第一个匹配的子字符串，并返回该子字符串。

8.如果find方法返回false（即没有找到匹配的子字符串），则返回一个空字符串。

9.最后，提供了一个示例说明如何使用这个函数。示例中，输入的字符串是"Hello, World!"，正则表达式是"W\w+"。这个正则表达式将匹配以"W"开始，后面跟着一个或多个字母或数字的子字符串。因此，在这个示例中，"World"是唯一匹配的子字符串，并被返回和打印出来。

使用 FuncGPT（慧函数），用户不仅可以通过自然语言描述Java函数需求，即时获取解决方案，而且生成的Java函数代码质量高且易读，以下是文心一言对于上述代码的评价，便很好的印证了这一点。

FuncGPT（慧函数）生成的代码可直接复制到 IDEA中，或者一键导入到Java全自动开发工具函数库中，为函数开发工作提供了巨大的便利。

此外，开发者可以在实现快速开发和提升效率的同时，更专注在技术设计层面，因为FuncGPT（慧函数）生成的代码有清晰的注释和解构，给开发者提供了“解题思路”，快速了解代码逻辑和功能设计，从而实现能力边界的突破。

在线咨询

上一篇：HTML <html> 标签
下一篇：自然拼读从头学：Lesson1 ABC字母发音

您的项目需求

*请认真填写需求信息，我们会在24小时内与您取得联系。

整合营销服务商