HTML文本中移除所有HTML标记并提取纯文本是我们经常需要使用的文本内容处理方式,比如搜索引擎、网站爬虫或者本地文档检索系统需要提取网页或HTML文档的实际内容进行索引。通过去除HTML标签,可以专注于实际的文字信息,提高搜索结果的相关性和准确性。在新闻聚合应用或社交媒体平台上展示网页链接的摘要时,通常会提取并显示纯文本内容以提供简洁的预览。对于视觉障碍人士使用的辅助技术如屏幕阅读器,它们无法解析复杂的HTML结构,因此需要提取纯文本以便朗读给用户。所以今天给大家分享一个使用正则表达式移除所有的Html标记的方法,供有需要的朋友们参考:
第一个核心代码是:正则表达式"<.*?>"
// 示例用法:
string inputHtml = "<html><body><h1>Hello, World!</h1>This is a <b>test</b>.</body></html>";
string plainText = RemoveHtmlTags(inputHtml);
Console.WriteLine(plainText); // 输出: "Hello, World!This is a test."
public static string RemoveHtmlTags(string html)
{
// 正则表达式用于匹配HTML标签
Regex regex = new Regex("<.*?>", RegexOptions.Singleline | RegexOptions.Compiled);
// 使用正则表达式的Replace方法移除所有匹配的HTML标签
string result = regex.Replace(html, String.Empty);
return result;
}
这个正则表达式<.*?>是非贪婪匹配任何以 < 开始、以 > 结束的字符串,它会尽可能少地匹配字符以找到每个HTML标签。
请注意,虽然此方法对于简单场景可能有效,但对复杂的HTML文档(特别是含有嵌套标签、注释、CDATA等内容)可能不够健壮,因为它无法处理所有可能的HTML结构。
第二个核心代码是:正则表达式"<[^>]*>"
public static string ExtractPlainTextFromHtml(string html)
{
// 使用正则表达式匹配所有的HTML标签
// 注意:这个简单的正则表达式适用于大多数基础HTML结构,但可能无法处理复杂嵌套或特殊格式的HTML
Regex regex = new Regex("<[^>]*>", RegexOptions.Singleline | RegexOptions.Compiled);
// 使用Replace方法去除所有匹配到的HTML标签,并返回纯文本内容
string plainText = regex.Replace(html, String.Empty);
return plainText.Trim(); // 为了得到更整洁的结果,可以对结果进行trim操作以去除多余的空白字符
}
在这段代码中,我们定义了一个名为ExtractPlainTextFromHtml的方法,该方法利用正则表达式 <[^>]*> 来查找并替换所有HTML标签。这里的正则表达式表示任何以 < 开始、以 > 结束的非空字符串(即HTML标签),Singleline 选项使.能匹配换行符,以便跨多行搜索标签,而 Compiled 选项则是为了优化正则表达式的性能。
第二个核心代码是:正则表达式"<[^>]*>"
public static string RemoveHtmlTags(string html)
{
// 正则表达式,匹配所有HTML标签
string pattern = "<[^>]+>";
// 使用Regex.Replace方法移除所有匹配的HTML标签
return Regex.Replace(html, pattern, String.Empty);
}
请注意,此方法仅移除HTML标记,不会解析或处理嵌入在HTML中的JavaScript代码或其他非标记内容。此外,此方法也无法处理不规范或不符合预期格式的HTML标记。如果需要更复杂的HTML解析或清理,您可能需要使用专门的HTML解析库,如AngleSharp或HtmlAgilityPack等。
尽管上述方法对于许多简单场景已经足够有效,但在面对复杂的HTML文档时,由于HTML本身的嵌套和特殊结构,简单的正则表达式可能无法完美地解析并移除所有标签。在这种情况下,推荐使用专门为处理HTML设计的库,如HtmlAgilityPack,它可以准确地解析HTML并提供丰富的API用于提取纯文本内容。
者 | 浪里行舟
责编 | 郭芮
程序的运行需要内存。只要程序提出要求,操作系统或者运行时就必须供给内存。所谓的内存泄漏简单来说是不再用到的内存,没有及时释放。为了更好避免内存泄漏,我们先介绍Javascript垃圾回收机制。
在C与C++等语言中,开发人员可以直接控制内存的申请和回收。但是在Java、C#、JavaScript语言中,变量的内存空间的申请和释放都由程序自己处理,开发人员不需要关心。也就是说,Javascript具有自动垃圾回收机制(Garbage Collecation)。
垃圾回收的必要性
下面这段话引自《JavaScript权威指南(第四版)》:
由于字符串、对象和数组没有固定大小,所有当他们的大小已知时,才能对他们进行动态的存储分配。JavaScript程序每次创建字符串、数组或对象时,解释器都必须分配内存来存储那个实体。只要像这样动态地分配了内存,最终都要释放这些内存以便他们能够被再用,否则,JavaScript的解释器将会消耗完系统中所有可用的内存,造成系统崩溃。
这段话解释了为什么需要系统需要垃圾回收,JavaScript不像C/C++,它有自己的一套垃圾回收机制。
JavaScript垃圾回收的机制很简单:找出不再使用的变量,然后释放掉其占用的内存,但是这个过程不是时时的,因为其开销比较大,所以垃圾回收器会按照固定的时间间隔周期性的执行。
var a = "浪里行舟"; var b = "前端工匠"; var a = b; //重写a
这段代码运行之后,“浪里行舟”这个字符串失去了引用(之前是被a引用),系统检测到这个事实之后,就会释放该字符串的存储空间以便这些空间可以被再利用。
垃圾回收机制
垃圾回收机制怎么知道,哪些内存不再需要呢?
垃圾回收有两种方法:标记清除、引用计数。引用计数不太常用,标记清除较为常用。
1.标记清除
这是javascript中最常用的垃圾回收方式。当变量进入执行环境是,就标记这个变量为“进入环境”。从逻辑上讲,永远不能释放进入环境的变量所占用的内存,因为只要执行流进入相应的环境,就可能会用到他们。当变量离开环境时,则将其标记为“离开环境”。
垃圾收集器在运行的时候会给存储在内存中的所有变量都加上标记。然后,它会去掉环境中的变量以及被环境中的变量引用的标记。而在此之后再被加上标记的变量将被视为准备删除的变量,原因是环境中的变量已经无法访问到这些变量了。最后。垃圾收集器完成内存清除工作,销毁那些带标记的值,并回收他们所占用的内存空间。
我们用个例子,解释下这个方法:
var m = 0,n = 19 // 把 m,n,add() 标记为进入环境。 add(m, n) // 把 a, b, c标记为进入环境。 console.log(n) // a,b,c标记为离开环境,等待垃圾回收。 function add(a, b) { a++ var c = a + b return c }
2.引用计数
所谓"引用计数"是指语言引擎有一张"引用表",保存了内存里面所有的资源(通常是各种值)的引用次数。如果一个值的引用次数是0,就表示这个值不再用到了,因此可以将这块内存释放。
上图中,左下角的两个值,没有任何引用,所以可以释放。
如果一个值不再需要了,引用数却不为0,垃圾回收机制无法释放这块内存,从而导致内存泄漏。
var arr = [1, 2, 3, 4]; arr = [2, 4, 5] console.log('浪里行舟');
上面代码中,数组[1, 2, 3, 4]是一个值,会占用内存。变量arr是仅有的对这个值的引用,因此引用次数为1。尽管后面的代码没有用到arr,它还是会持续占用内存。至于如何释放内存,我们下文介绍。
第三行代码中,数组[1, 2, 3, 4]引用的变量arr又取得了另外一个值,则数组[1, 2, 3, 4]的引用次数就减1,此时它引用次数变成0,则说明没有办法再访问这个值了,因而就可以将其所占的内存空间给收回来。
但是引用计数有个最大的问题:循环引用
function func() { let obj1 = {}; let obj2 = {}; obj1.a = obj2; // obj1 引用 obj2 obj2.a = obj1; // obj2 引用 obj1 }
当函数 func 执行结束后,返回值为 undefined,所以整个函数以及内部的变量都应该被回收,但根据引用计数方法,obj1 和 obj2 的引用次数都不为 0,所以他们不会被回收。
要解决循环引用的问题,最好是在不使用它们的时候手工将它们设为空。上面的例子可以这么做:
obj1 = null; obj2 = null;
哪些情况会引起内存泄漏?
虽然JavaScript会自动垃圾收集,但是如果我们的代码写法不当,会让变量一直处于“进入环境”的状态,无法被回收。
下面列一下内存泄漏常见的几种情况:
1.意外的全局变量
function foo(arg) { bar = "this is a hidden global variable"; }
bar没被声明,会变成一个全局变量,在页面关闭之前不会被释放。
另一种意外的全局变量可能由 this 创建:
function foo() { this.variable = "potential accidental global"; } // foo 调用自己,this 指向了全局对象(window) foo();
在 JavaScript 文件头部加上 'use strict',可以避免此类错误发生。启用严格模式解析 JavaScript ,避免意外的全局变量。
2.被遗忘的计时器或回调函数
var someResource = getData(); setInterval(function() { var node = document.getElementById('Node'); if(node) { // 处理 node 和 someResource node.innerHTML = JSON.stringify(someResource)); } }, 1000);
这样的代码很常见,如果id为Node的元素从DOM中移除,该定时器仍会存在,同时,因为回调函数中包含对someResource的引用,定时器外面的someResource也不会被释放。
3.闭包
function bindEvent(){ var obj=document.createElement('xxx') obj.onclick=function(){ // Even if it is a empty function } }
闭包可以维持函数内局部变量,使其得不到释放。上例定义事件回调时,由于是函数内定义函数,并且内部函数--事件回调引用外部函数,形成了闭包。
// 将事件处理函数定义在外面 function bindEvent() { var obj = document.createElement('xxx') obj.onclick = onclickHandler } // 或者在定义事件处理函数的外部函数中,删除对dom的引用 function bindEvent() { var obj = document.createElement('xxx') obj.onclick = function() { // Even if it is a empty function } obj = null }
解决之道,将事件处理函数定义在外部,解除闭包,或者在定义事件处理函数的外部函数中,删除对dom的引用。
4.没有清理的DOM元素引用
有时,保存 DOM 节点内部数据结构很有用。假如你想快速更新表格的几行内容,把每一行 DOM 存成字典(JSON 键值对)或者数组很有意义。此时,同样的 DOM 元素存在两个引用:一个在 DOM 树中,另一个在字典中。将来你决定删除这些行时,需要把两个引用都清除。
var elements = { button: document.getElementById('button'), image: document.getElementById('image'), text: document.getElementById('text') }; function doStuff() { image.src = 'http://some.url/image'; button.click(); console.log(text.innerHTML); } function removeButton() { document.body.removeChild(document.getElementById('button')); // 此时,仍旧存在一个全局的 #button 的引用 // elements 字典。button 元素仍旧在内存中,不能被 GC 回收。 }
虽然我们用removeChild移除了button,但是还在elements对象里保存着#button的引用,换言之,DOM元素还在内存里面。
内存泄漏的识别方法
新版本的chrome在 performance 中查看:
步骤:
图中 Heap 对应的部分就可以看到内存在周期性的回落也可以看到垃圾回收的周期,如果垃圾回收之后的最低值(我们称为min),min在不断上涨,那么肯定是有较为严重的内存泄漏问题。
避免内存泄漏的一些方式:
总而言之需要遵循一条原则:不用了的东西要及时归还。
垃圾回收的使用场景优化
1.数组array优化
将[]赋值给一个数组对象,是清空数组的捷径(例如:arr = [];),但是需要注意的是,这种方式又创建了一个新的空对象,并且将原来的数组对象变成了一小片内存垃圾!实际上,将数组长度赋值为0(arr.length = 0)也能达到清空数组的目的,并且同时能实现数组重用,减少内存垃圾的产生。
const arr = [1, 2, 3, 4]; console.log('浪里行舟'); arr.length = 0 // 可以直接让数字清空,而且数组类型不变。 // arr = []; 虽然让a变量成一个空数组,但是在堆上重新申请了一个空数组对象。
2. 对象尽量复用
对象尽量复用,尤其是在循环等地方出现创建新对象,能复用就复用。不用的对象,尽可能设置为null,尽快被垃圾回收掉。
var t = {} // 每次循环都会创建一个新对象。 for (var i = 0; i < 10; i++) { // var t = {};// 每次循环都会创建一个新对象。 t.age = 19 t.name = '123' t.index = i console.log(t) } t = null //对象如果已经不用了,那就立即设置为null;等待垃圾回收。
3.在循环中的函数表达式,能复用最好放到循环外面
// 在循环中最好也别使用函数表达式。 for (var k = 0; k < 10; k++) { var t = function(a) { // 创建了10次 函数对象。 console.log(a) } t(k) } // 推荐用法 function t(a) { console.log(a) } for (var k = 0; k < 10; k++) { t(k) } t = null
作者:浪里行舟,硕士研究生,专注于前端,运营有个人公众号前端工匠,致力于打造适合初中级工程师能够快速吸收的一系列优质文章。
声明:本文为CSDN技术头条专栏原创投稿,未经允许请勿转载。
当前互联网信息爆炸的时代,高效准确地抓取和处理网页内容成为众多领域必备技能。网络爬虫技术搭配强大的HTML解析库HtmlAgilityPack,能够自动化抽取并结构化分析网页数据。本篇我将带领您深入了解如何使用C#编程语言结合HtmlAgilityPack,从HTML文档中快速且准确地获取文章标题。
假设我们通过网络爬虫程序成功获取了一个网页的HTML源代码:
string htmlContent = "<html><head><title>这是文章标题</title></head><body>介绍了主题和内容...</body></html>";
为了从这段HTML文本中定位并提取出文章标题,我们可以编写如下的C#方法:
// 定义一个静态方法用于从HTML字符串中提取文章标题
public static string ExtractTitle(string htmlContent)
{
// 创建一个HtmlDocument对象以解析加载的HTML内容
var htmlDocument = new HtmlDocument();
htmlDocument.LoadHtml(htmlContent);
// 使用XPath表达式精确匹配<head>标签内的<title>标签节点
var titleNode = htmlDocument.DocumentNode.SelectSingleNode("//head/title");
// 如果找到了<title>节点,则返回其内部文本内容,并进行trim操作去除多余空白;否则返回提示信息
return titleNode != null ? titleNode.InnerText.Trim() : "未找到页面标题";
}
接下来,在主程序入口处调用此方法并显示提取结果:
static void Main(string[] args)
{
// 假设此处的htmlContent是从网络爬虫抓取的实际HTML数据
string pageTitle = ExtractTitle(htmlContent);
// 输出提取得到的文章标题
Console.WriteLine($"文章标题: {pageTitle}");
Console.WriteLine(new string('\n', 100)); // 输出多行空白以便区分输出内容
}
可以看到这个代码展示了C#与HtmlAgilityPack在HTML内容解析方面的强大能力,不仅能准确无误地从HTML文档中摘取文章标题,而且具备极高的灵活性和扩展性。通过调整或增强XPath表达式,您可以轻松定位并抽取其他多种关键元素,比如正文、作者信息、发布日期等。面对日益复杂的数据抓取需求,这一技术手段将成为您的得力助手,助您从浩瀚的网页信息海洋中筛选出有价值的精华内容。不断实践和优化此类解决方案,我们将在大数据时代更好地驾驭和利用网络信息资源,实现更深层次的信息挖掘与应用。
朋友们,如果你们觉得这个案例有用,那就尽情地使用它吧!别忘了关注我,我是代码领域的诗人XY,一个乐于分享的人。我热爱与大家分享我的知识和经验,帮助你们解决问题,激发你们的思考。我深信,只有通过分享和交流,我们才能不断进步,不断创新。若你对更多相关话题感兴趣,或者在学习工作中遇到难题,请随时留言给我,我会为你撰写更多相关内容,并尽我所能帮助你解决难题。
*请认真填写需求信息,我们会在24小时内与您取得联系。