ello，亲爱的小伙伴们，欢迎浏览“使用CefSharp和Javascript实现网络爬虫”。

本篇是第2篇，介绍在实现爬虫过程中会用到的Javascript和C#主要知识点。在使用CefSharp和Javascript实现网络爬虫过程中，我使用到的C#和Javascript知识主要包括三个方面：一是Javascript的Dom操作；二是CefSharp中Javascript和C#之间的调用和交互；三是C#委托使用，用于接收到数据后的回调处理。

网络爬虫采用Javascript的DOM操作来抓取目标数据，并通过CefSharp提供的Javascript和C#交互方法，把目标数据传递给C#代码进行处理。下面我将分别进行记录，分享给感兴趣的小伙伴。

一、Javascript原生DOM操作

HTML通过浏览器解析后形成DOM树，DOM中每个 HTML标签都是一个节点元素，包括属性、方法、子孙节点。Javascript有一套操作HTML的DOM编程接口，通过DOM编程接口能够操作到每个节点元素（即HTML标签），支持增、删、改、查操作。

1、查找获取节点

查找获取HTML节点元素，可能通过document的get方法，或者使用document 的querySelector()和querySelectorAll()方法实现。

方法1：通过document的get方法

var elem=document.getElementById(idName) ；//通过id号获取元素，返回一个元素对象

var elem=document.getElementsByClassName(className) ；//通过class获取元素，返回元素数组

var elem document.getElementsByTagName(tagName)；//通过标签名获取元素，返回元素数组

以上方法可以串联使用，例如：

// 先定位ID为idName的节点，再返回其内部所有名称为tagName的节点：

var elem=document.getElementById(idName).getElementsByTagName(tagName);

// 先定位ID为idName的节点，再返回其内部所有class包含className的节点：

var elem=document.getElementById(idName).getElementsByClassName(className);

方法二：使用document 的querySelector()和querySelectorAll()方法

var elem=document.querySelector('# idName ')；// 通过querySelector获取id为idName的节点

var elem=document.querySelectorAll('div')；// 通过querySelectorAll获取所有的div节点

2、获取/设置元素的属性值

通过document的get方法，或者使用document 的querySelector()和querySelectorAll()方法，得到节点对象后，可进一步可获取节点的属性值。

elem.parentNode；//获取当前元素的父节点

elem.chlidren；//获取当前元素子节点

elem.chilidNodes；//获取当前元素子节点

elem.firstChild；//获取当前元素的第1个子节点

elem.lastChild；//获取当前元素的最后1个子节点

elem.innerHTML?? //获取元素的内部文本

elem.innerText； //获取当前元素的内部文本值，只是文本内容，不包括html代码

此外，通过getAttribute、setAttribute可以实现对属性值的获取或设置。

elem.getAttribute(attributeName)；//传入属性名称，获取对应属性的属性值

elem.setAttribute(attributeName,attributeValue)； //传入属性名称，以及属性值

二、jQuery操作HTML的DOM

对于支持jQuery的站点，可以直接使用jQuery方便地进行DOM操作。

jQuery对Javascript的DOM操作方法进行了封装，通过jQuery 选择器能够对 HTML 节点元素或节点元素组进行操作。jQuery 选择器通过节点的 ID、类、类型、属性、属性值等查找/选择HTML 节点元素，jQuery 选择器以$符号开头。

1、查找获取节点

（1）元素选择器

使用节点名选取元素，例如在页面中选取所有 <div> 元素：$('div')

（2）#id选择器

使用 HTML 元素的 ID属性选取指定的元素，例如在页面中选取id='myid'的 <div id='myid'> 元素：$('#myid')

（3）.class 选择器

使用 class 查找元素，例如在页面中选取class='myclass'的 <div class='myclass'>元素:$(".myclass")

2、获取/设置元素的属性值：

通过attr() 、html()、val()方法设置或返回被选元素的属性值：

$(selector).attr(attribute)； //获取被选元素的属性值

$(selector).attr(attribute,value)；//设置被选元素的属性和值

$(selector).html()；//获取或设置被选元素的内容 (innerHTML)

$(selector).val()；//获取或设置被选元素的值

三、DOM操作实践

使用Chrome浏览器，打开以下网址：

https://www.toutiao.com/c/user/3601650358695789/#mid=1652236062202883

（1）按“F12”打开 “开发者工具”窗口，在“Elements”面板可以看到页面的DOM结构。

（2）点击左上角"箭头"图标，在页面中选择文章标题，在“开发者工具”中可以看到被选中元素高亮显示。

（3）在“开发者工具”中“右键”点击高亮显示内容，在弹出菜单中选择Copy。

（4）选择“Copy selector”

（5）点击开发者工具的“Console”选项，在窗口中进行如下输入：

a) 输入"//" ，然后键盘按下"Ctrl"+"V" 粘贴上述操作获取的HTML元素选择字符串，或者在输入行“点击右键”，选择“粘贴(P)”，粘贴上述操作获取的HTML元素选择字符串，字符串为：

#wrapper > div.left > div:nth-child(2) > div > div:nth-child(3) > div > ul > li > div > div.normal.rbox > div > div.title-box > a

b) 输入 var elem=$("XXX")，其中XXX是"Ctrl"+"V" 粘贴的字符串

c) 输入 elem回车，即可获得我们选中的文章标题元素

d) 输入 elem.href ，即可获得文章标题的URL链接地址

e) 输入 elem.innerText，即可获得文章标题字符串。

这样我们就获得了文章标题和对应的URL地址，后面通过CefSharp中Javascript和C#之间的调用和交互方法，可将标题和对应的URL地址传递给C#进行处理存储、打开链接获取文章详细内容等。本篇介绍了Javascript的DOM操作，后面我将对C#委托使用、CefSharp中Javascript和C#之间的调用和交互进行介绍，敬请指正。

象语法树(Abstract Syntax Trees)，简称AST，如果您正在编写代码，那么 AST 很可能已经参与了您的开发流程。它们为您的开发流程的许多部分提供动力。 有些人可能在编译器的上下文中听说过它们，但它们被用于各种工具中。 即使您不编写通用开发工具，AST 也可能是您工具带中的有用工具。 在这篇文章中，我们将讨论什么是 AST，它们在哪里使用以及如何利用它们。

什么是AST

抽象语法树或 AST 是代码的树型数据结构表示。 它们是编译器工作方式的基本部分。 当编译器转换某些代码时，基本上有以下步骤：

1. 词法分析
2. 语法分析
3. 代码生成

词法分析又名标记化

在此步骤中，您编写的代码将被转换为一组描述代码不同部分的标记。 这与基本语法突出显示使用的方法基本相同。 这些标记令牌不了解事物如何组合在一起，并且仅关注文件的组件。

你可以想象这就像你将一个文本分解成单词。 您可能能够区分标点符号、动词、名词、数字等，但在这个阶段，您对句子的组成部分或句子如何组合没有任何更深入的了解。

语法分析又名解析

这是我们将标记列表转换为抽象语法树的步骤。 它将我们的标记转换为表示代码实际结构的树。 以前在标记中我们只有一对 ()，现在我们知道它是函数调用、函数定义、分组还是其他东西。

这里的等价物是将我们的单词列表转换为表示诸如句子之类的数据结构，某个名词在句子中扮演什么角色，或者我们是否在列表中。

另一个可以与之比较的例子是 DOM。 上一步只是将 HTML 分解为“标签”和“文本”，而这一步将生成表示为 DOM 树的层次结构。

需要注意的一件事是没有“单一”的 AST 格式。 它们可能会有所不同，这取决于您要转换为 AST 的语言以及您用于解析的工具。 在 JavaScript 中，一个通用标准是 ESTree，但您会看到不同的工具可能会添加不同的属性。

一般来说，AST 是一种树结构，其中每个节点至少有一个类型来指定它所代表的内容。

代码生成

此步骤本身可以是多个步骤。 一旦我们有了抽象语法树，我们就可以操作它，也可以将它“打印”到不同类型的代码中。 使用 AST 操作代码比直接在代码上作为文本或标记列表执行这些操作更安全。

操纵文本总是很危险的； 它显示最少的上下文。 如果您曾经尝试使用字符串替换或正则表达式来操作文本，您可能会注意到很容易出错。而且不容易调试。

甚至操纵令牌也不容易。 虽然我们可能知道变量是什么，但如果我们想重命名它，我们将无法深入了解变量的范围或可能与之冲突的任何变量。

AST 提供了有关代码结构的足够信息，我们可以更有信心地对其进行修改。 例如，我们可以确定变量的声明位置，并确切地知道由于树结构而影响程序的哪个部分。

一旦我们操纵了树，我们就可以打印树以输出任何预期的代码输出。 例如，如果我们要构建一个像 TypeScript 编译器这样的编译器，我们会输出 JavaScript，而另一个编译器可能会输出机器代码。

同样，使用 AST 更容易实现这一点，因为相同结构的不同输出可能具有不同的格式。 使用更线性的输入（如文本或标记列表）生成输出会相当困难。

如何处理 AST？

理论涵盖了哪些实际生活中的 AST 用例？ 我们讨论了编译器，但我们并不是整天都在构建编译器。

AST 的用例很广泛，通常可以分为三个总体操作：读取、修改和打印。 它们是一种添加剂，这意味着如果您正在打印 AST，那么您以前也阅读过 AST 并对其进行修改的可能性很高。 但我们将介绍每个主要关注一个用例的示例。

读取/遍历 AST

从技术上讲，使用 AST 的第一步是解析文本以创建 AST，但在大多数情况下，提供解析步骤的库也提供了一种遍历 AST 的方法。遍历 AST 意味着访问树的不同节点以获取细节或执行操作。

最常见的用例之一是 linting。 例如，ESLint 使用 espree 生成 AST，如果您想编写任何自定义规则，您将根据不同的 AST 节点编写这些规则。 ESLint 文档有大量关于如何构建自定义规则、插件和格式化程序的文档。

修改/转换 AST

如前所述，与将代码修改为标记或原始字符串相比，拥有 AST 使修改所述树更容易、更安全。您可能想要使用 AST 修改某些代码的原因有很多种。

例如，Babel 修改 AST 以向下编译新功能或将 JSX 转换为函数调用。例如，当您编译 React 或 Preact 代码时会发生这种情况。

另一个用例是捆绑代码。在模块的世界中，捆绑代码通常比将文件附加在一起要复杂得多。更好地了解各个文件的结构可以更轻松地合并这些文件并在必要时调整导入和函数调用。如果您查看 webpack、parcel 或 rollup 等工具的代码库，您会发现它们都使用 AST 作为其捆绑工作流程的一部分。

打印 AST

在大多数情况下，打印和修改 AST 是齐头并进的，因为您必须输出刚刚修改的 AST。 但是，虽然像 recast 这样的一些库明确专注于以与原始代码样式相同的代码样式打印 AST，但也有各种用例，您希望以不同的方式显式打印您的 AST。

例如，Prettier 使用 AST 根据您的配置重新格式化您的代码，而无需更改代码的内容/含义。 他们这样做的方式是将您的代码转换为完全与格式无关的 AST，然后根据您的规则重写它。

其他常见的用例是用不同的目标语言打印代码或构建自己的缩小工具。

您可以使用几种不同的工具来打印 AST，例如 escodegen 或 astring。 您还可以根据您的用例构建自己的格式化程序，或者为 Prettier 构建一个插件。

最后：

虽然 AST 可能是大多数开发人员每天都不会使用的东西，但我相信了解它对今后的工作会有帮助。感谢阅读。

浏览器访问网站时，页面各不相同，你有没有想过它为何会呈现这个样子呢？本节中，我们就来了解一下网页的基本组成、结构和节点等内容。

网页的组成

网页可以分为三大部分——HTML、CSS和JavaScript。如果把网页比作一个人的话，HTML相当于骨架，JavaScript相当于肌肉，CSS相当于皮肤，三者结合起来才能形成一个完善的网页。下面我们分别来介绍一下这三部分的功能。

1. HTML

HTML是用来描述网页的一种语言，其全称叫作Hyper Text Markup Language，即超文本标记语言。网页包括文字、按钮、图片和视频等各种复杂的元素，其基础架构就是HTML。不同类型的文字通过不同类型的标签来表示，如图片用img标签表示，视频用video标签表示，段落用p标签表示，它们之间的布局又常通过布局标签div嵌套组合而成，各种标签通过不同的排列和嵌套才形成了网页的框架。

在Chrome浏览器中打开百度，右击并选择“检查”项（或按F12键），打开开发者模式，这时在Elements选项卡中即可看到网页的源代码，如图2-9所示。

这就是HTML，整个网页就是由各种标签嵌套组合而成的。这些标签定义的节点元素相互嵌套和组合形成了复杂的层次关系，就形成了网页的架构。

2.CSS

HTML定义了网页的结构，但是只有HTML页面的布局并不美观，可能只是简单的节点元素的排列，为了让网页看起来更好看一些，这里借助了CSS。

CSS，全称叫作Cascading Style Sheets，即层叠样式表。“层叠”是指当在HTML中引用了数个样式文件，并且样式发生冲突时，浏览器能依据层叠顺序处理。“样式”指网页中文字大小、颜色、元素间距、排列等格式。

CSS是目前唯一的网页页面排版样式标准，有了它的帮助，页面才会变得更为美观。

就是一个CSS样式。大括号前面是一个CSS选择器，此选择器的意思是首先选中id为head_wrapper且class为s-ps-islite的节点，然后再选中其内部的class为s-p-top的节点。大括号内部写的就是一条条样式规则，例如position指定了这个元素的布局方式为绝对布局，bottom指定元素的下边距为40像素，width指定了宽度为100%占满父元素，height则指定了元素的高度。也就是说，我们将位置、宽度、高度等样式配置统一写成这样的形式，然后用大括号括起来，接着在开头再加上CSS选择器，这就代表这个样式对CSS选择器选中的元素生效，元素就会根据此样式来展示了。

在网页中，一般会统一定义整个网页的样式规则，并写入CSS文件中（其后缀为css）。在HTML中，只需要用link标签即可引入写好的CSS文件，这样整个页面就会变得美观、优雅。

3. JavaScript

JavaScript，简称JS，是一种脚本语言。HTML和CSS配合使用，提供给用户的只是一种静态信息，缺乏交互性。我们在网页里可能会看到一些交互和动画效果，如下载进度条、提示框、轮播图等，这通常就是JavaScript的功劳。它的出现使得用户与信息之间不只是一种浏览与显示的关系，而是实现了一种实时、动态、交互的页面功能。

JavaScript通常也是以单独的文件形式加载的，后缀为js，在HTML中通过script标签即可引入，例如：

<script src="jquery-2.1.0.js"></script>

综上所述，HTML定义了网页的内容和结构，CSS描述了网页的布局，JavaScript定义了网页的行为。

网页的结构

我们首先用例子来感受一下HTML的基本结构。新建一个文本文件，名称可以自取，后缀为html，内容如下：

<!DOCTYPE html>
<html>
    <head>
        <meta charset="UTF-8">
        <title>This is a Demo</title>
    </head>
    <body>
        <div id="container">
            <div class="wrapper">
                <h2 class="title">Hello World</h2>
                <p class="text">Hello, this is a paragraph.</p>
            </div>
        </div>
    </body>
</html>

这就是一个最简单的HTML实例。开头用DOCTYPE定义了文档类型，其次最外层是html标签，最后还有对应的结束标签来表示闭合，其内部是head标签和body标签，分别代表网页头和网页体，它们也需要结束标签。head标签内定义了一些页面的配置和引用，如：

<meta charset="UTF-8">

它指定了网页的编码为UTF-8。

title标签则定义了网页的标题，会显示在网页的选项卡中，不会显示在正文中。body标签内则是在网页正文中显示的内容。div标签定义了网页中的区块，它的id是container，这是一个非常常用的属性，且id的内容在网页中是唯一的，我们可以通过它来获取这个区块。然后在此区块内又有一个div标签，它的class为wrapper，这也是一个非常常用的属性，经常与CSS配合使用来设定样式。然后此区块内部又有一个h2标签，这代表一个二级标题。另外，还有一个p标签，这代表一个段落。在这两者中直接写入相应的内容即可在网页中呈现出来，它们也有各自的class属性。

将代码保存后，在浏览器中打开该文件，可以看到如图2-10所示的内容。

可以看到，在选项卡上显示了This is a Demo字样，这是我们在head中的title里定义的文字。而网页正文是body标签内部定义的各个元素生成的，可以看到这里显示了二级标题和段落。

这个实例便是网页的一般结构。一个网页的标准形式是html标签内嵌套head和body标签，head内定义网页的配置和引用，body内定义网页的正文。

节点树及节点间的关系

在HTML中，所有标签定义的内容都是节点，它们构成了一个HTML DOM树。

我们先看下什么是DOM，DOM是W3C（万维网联盟）的标准，其英文全称Document Object Model，即文档对象模型。它定义了访问HTML和XML文档的标准：

W3C文档对象模型（DOM）是中立于平台和语言的接口，它允许程序和脚本动态地访问和更新文档的内容、结构和样式。

W3C DOM标准被分为3个不同的部分。

l 核心DOM： 针对任何结构化文档的标准模型。

l XML DOM：针对XML文档的标准模型。

l HTML DOM：针对HTML文档的标准模型。

根据W3C的HTML DOM标准，HTML文档中的所有内容都是节点。

l 整个文档是一个文档节点；

l 每个HTML元素是元素节点；

l HTML元素内的文本是文本节点；

l 每个HTML属性是属性节点；

注释是注释节点。

HTML DOM将HTML文档视作树结构，这种结构被称为节点树，如图2-11所示。

通过HTML DOM，树中的所有节点均可通过JavaScript访问，所有HTML节点元素均可被修改，也可以被创建或删除。

节点树中的节点彼此拥有层级关系。我们常用父（parent）、子（child）和兄弟（sibling）等术语描述这些关系。父节点拥有子节点，同级的子节点被称为兄弟节点。

在节点树中，顶端节点称为根（root）。除了根节点之外，每个节点都有父节点，同时可拥有任意数量的子节点或兄弟节点。图2-12展示了节点树以及节点之间的关系。

本段参考W3SCHOOL，链接：http://www.w3school.com.cn/htmldom/dom_nodes.asp。

选择器

我们知道网页由一个个节点组成，CSS选择器会根据不同的节点设置不同的样式规则，那么怎样来定位节点呢？

在CSS中，我们使用CSS选择器来定位节点。例如，上例中div节点的id为container，那么就可以表示为#container，其中#开头代表选择id，其后紧跟id的名称。另外，如果我们想选择class为wrapper的节点，便可以使用.wrapper，这里以点（.）开头代表选择class，其后紧跟class的名称。另外，还有一种选择方式，那就是根据标签名筛选，例如想选择二级标题，直接用h2即可。这是最常用的3种表示，分别是根据id、class、标签名筛选，请牢记它们的写法。

另外，CSS选择器还支持嵌套选择，各个选择器之间加上空格分隔开便可以代表嵌套关系，如#container .wrapper p则代表先选择id为container的节点，然后选中其内部的class为wrapper的节点，然后再进一步选中其内部的p节点。另外，如果不加空格，则代表并列关系，如div#container .wrapper p.text代表先选择id为container的div节点，然后选中其内部的class为wrapper的节点，再进一步选中其内部的class为text的p节点。这就是CSS选择器，其筛选功能还是非常强大的。

另外，CSS选择器还有一些其他语法规则，具体如表2-4所示。

另外，还有一种比较常用的选择器是XPath，这种选择方式后面会详细介绍。

本节介绍了网页的基本结构和节点间的关系，了解了这些内容，我们才有更加清晰的思路去解析和提取网页内容。