取元素的个数

$("img").size()

获取jQuery选择器中元素的个数：

<script language="javascript" src="jquery.min.js"></script>
<script language="javascript">
document.onclick=function(){
    var i=$("div").size()+1; //获取div块的数目（此时还没有添加div块）
    $(document.body).append($("<div>"+i+"</div>")); //添加一个div块
    $("span").html(i); //修改显示的总数
}
</script>

HTML代码:

页面中一共有<span>0</span>个div块。点击鼠标添加div：

注意:$(document.body)可以简化为$("body")

jQuery1.8废弃了size() 用length代替

提取元素

$("img[title]")[1] 获取所有设置了title属性的img标记中的第2个元素

以下代码与上面完全等效

$("img[title]").get(1); //从0开始计数

另外，get()方法在不设置任何参数时，可以将元素转化为一个元素对象的数组。

jQuery提取选择器中的元素：

<script language="javascript" src="jquery.min.js"></script>
<script language="javascript">
function disp(divs){
    for(var i=0;i<divs.length;i++)
        $(document.body).append($("<div style='background:"+divs[i].style.background+";'>"+divs[i].innerHTML+"</div>"));
}
$(function(){
    var aDiv=$("div").get(); //转化为div对象数组
    disp(aDiv.reverse()); //反序，传给处理函数
});
</script>
<div style="background:#FFFFFF">1</div>
<div style="background:#CCCCCC">2</div>
<div style="background:#999999">3</div>
<div style="background:#666666">4</div>
<div style="background:#333333">5</div>
<div style="background:#000000">6</div>

注意：get([index])取得其中一个匹配的元素。index表示取得第几个匹配的元素。

这能够让你选择一个实际的DOM元素并且对他直接操作, 而不是通过jQuery函数。$("div").get(0)与$("div")[0]等价。

反过来index(element)方法可以查找元素element所处的位置

例如：var iNum=$("li").index($("li[title=isaac]")[0]);

用index()方法获取元素的序号

<script language="javascript" src="jquery.min.js"></script>
<script language="javascript">
$(function(){
    //click()添加点击事件
    $("div").click(function(){
    //将块本身用this关键字传入，从而获取自身的序号
    var index=$("div").index(this);
    $("span").html(index.toString());
    });
});
</script>
<div>0</div><div>1</div><div>2</div><div>3</div><div>4</div><div>5</div>
点击的div块序号为：<span></span>
查找元素的索引值
HTML 代码:
<ul>
<li id="foo">foo</li>
<li id="bar">bar</li>
<li id="baz">baz</li>
</ul>

jQuery 代码:

$('li').index(document.getElementById('bar')); //1, 传递一个DOM对象, 返回这个对象在原先集合中的索引位置

$('li').index($('#bar')); //1, 传递一个jQuery对象

$('li').index($('li:gt(0)')); //1, 传递一组jQuery对象, 返回这个对象中第一个元素在原先集合中的索引位置

$('#bar').index('li'); //1, 传递一个标记, 返回#bar在所有li中的索引位置

$('#bar').index(); //1, 不传递参数, 返回这个元素在同辈中的索引位置

index()注意的问题:

<ul>
<li>娱乐</li>
<img src="img/on.png"/>
<li>政治</li>
<img src="img/on.png"/>
<li>体育</li>
<img src="img/on.png"/>
<li>娱乐</li>
<li>娱乐</li>
</ul>
$("li").click(function(){
    //index内部是吧钙元素的所有兄弟进行排序
    //但是我们布局中经常会有一些多余的元素用来装饰 但是我不想让这些元素参与排序
    //jq内部也考虑到了这一点 他们改了
    console.log($(this).index()); //排序包括img和li(0 2 4 7 8)
    console.log($(this).index("li"));//我仅仅针对li进行排序
    //他沟通过(选择器)里面的参数进行过滤
})
children() 查询子元素
<p>Hello</p><div><span>Hello Again</span></div><p>And Again</p>

jQuery 代码:

$("div").children()

结果:

[ <span>Hello Again</span> ]

parent() 查询父元素

<div><p>Hello</p><p>Hello</p></div>

jQuery 代码:

$("p").parent()

结果:

[ <div><p>Hello</p><p>Hello</p></div>]

siblings() 查询兄弟节点元素

<p>Hello</p><div><span>Hello Again</span></div><p>And Again</p>

jQuery 代码:

$("div").siblings()

结果:

[ <p>Hello</p>, <p>And Again</p> ]

next() 查询紧邻的下一个元素

找到每个段落的后面紧邻的同辈元素。

HTML 代码:

<p>Hello</p><p>Hello Again</p><div><span>And Again</span></div>

jQuery 代码:

$("p").next()

结果:

[ <p>Hello Again</p>, <div><span>And Again</span></div> ]

prev() 查询紧邻的上一个元素

找到每个段落紧邻的前一个同辈元素。

HTML 代码:

<p>Hello</p><div><span>Hello Again</span></div><p>And Again</p>

jQuery 代码:

$("p").prev()

结果:

[ <div><span>Hello Again</span></div> ]

添加、删除、过滤元素

添加元素

$("img[alt]").add("img[title]");

等同于：

$("img[alt],img[title]");

$("img[alt]").add("img[title]").addClass("myClass");

等同于

$("img[alt],img[title]").addClass("myClass");

删除元素

$("li[title]").not("[title*=isaac]");
$("div").not(".green, #blueone").addClass("myClass");

去掉风格为.green #blueone 的类 并添加.myClass的类

注意：not()方法所接受的参数都不能包含特定的元素，只能是通用的表达式，例如下面是典型的错误代码：

$("li[title]").not("img[title*=isaac]")

正确的写法为：

$("li[title]").not("[title*=isaac]")

过滤元素

$("li").filter("[title*=isaac]"); 

此种方法与not()一样, 但是功能更强大。

以上代码等同于

$("li[title*=issac]")

filter语句还于jQuery语句的链接

如

$(function(){
		$("div").addClass("myClass1").filter("[class*=middle]").addClass("myClass2");
});

注意：filter("[class=middle]")语句得不到理想的效果 需要添加* ^ $(经过测试jQuery支持后匹配有问题,包括最新版本jquery2.0.1)

filter()另外一种类型的参数是函数，它可以让用户自定义筛选函数，该函数要求返回一个布尔型值,参数为index为元素所处的序号(从零还是计数)

如：

$(function(){
$("div").addClass("myClass1").filter(function(index){ //index为元素所处的序号(从零还是计数)
    return index==1 || $(this).attr("id")=="fourth";
}).addClass("myClass2");
});

以上代码为整个<div>列表增加样式风格"myClass1",然后进行筛选，再为筛选出的元素单独增加样式风格"myClass2"。如果不采用jQuery链，将非常麻烦。

查询过滤新元素集合

$("p").find("span");

以上代码表示所有<p>标记的元素中搜索<span>标记,获得一个新的元素集合，等同于

$("span",$("p")); //注意顺序不能调换
如：

$(function(){
		$("p").find("span").addClass("myClass");
});

另外，还可以通过is()方法来检测是否包括指定的元素

var bHasuImage=$("div").is("img"); //返回值为Boolean;

采用jQuery链

在jQuery链中，后面的操作都是以前面的操作结果为对象的。如果希望操作对象为上一步的对象，则可以使用end()方法。

$(function(){
		$("p").find("span").addClass("myClass1").end().addClass("myClass2");
});

利用end()方法将操作对象往回设置为$("p")；

另外andSelf()方法控制jQuery链 将前面两个对象进行组合后共同处理。

$(function(){
		$("p").find("span").addClass("myClass1").andSelf().addClass("myClass2");
});

andSelf()方法将<p>和<span>组合在一起,添加样式风格，这个风格对<p>和<span>均有效；

小结:

删除元素.not()方法和过滤元素.filter()方法,所接受的参数都不能包含特定的元素,只能是通用表达式

$("li[title]").not("img[title*=isaac]")
$("li[title]").filter("img[title*=isaac]")

应当改写为:

$("li[title]").not("[title*=isaac]")
$("li[title]").filter("[title*=isaac]")

同时不能使用直接的等于匹配(=),只能使用前匹配(^=)、任意匹配(*=),

而后匹配($=)(有些书写的是&=),无论后匹配是$=还是&=,jQuery程序多次测试有问题;

综合实例:

保留子元素中不含有ol的元素。

HTML 代码:

<p><ol><li>Hello</li></ol></p><p>How are you?</p>

jQuery 代码:

$("p").filter(function(index) {
    return $("ol", this).length==0;
});

结果:

[ <p>How are you?</p> ]

理解:$("ol", this)等同于$(this).find("ol"),this关键字代表遍历后的p标记

以上语句可改成:(添加了让DOM立即执行的函数)

、筛选请求

1. 使用过滤，需勾选User Filter才会生效，运行当前的过滤规则，需点击Run Filterset now

2. Hosts：主机过滤之局域网过滤

• No Zone Filter：默认选项，不设置区域过滤器
• show only Intranet Hosts：只显示内网的Hosts，即过滤掉外网的Hosts。此时，只显示URL请求目标服务器在内网的请求
• show only internet Hosts：与上相对应，只显示外网的Hosts

3. Hosts：主机过滤之广域网过滤

• No Host Filter：默认选项，不设置过滤主机IP条件
• Hide the following Hosts：隐藏输入到下面文本框中的Hosts
• Show only the following Hosts：仅显示输入到下面文本框中的Hosts
• Flag the following Hosts：标识下边输入的主机名的会话（加粗）

4. Client process：客户端进程过滤

• Show only traffic from：指定只显示哪个Windows进程中的请求，右侧会列出当前所有的 Windows 进程。
• Show only Internet Explorer traffic：只显示IE发出的请求。
• Hide trafficfrom service host：隐藏来自service

5. Request header：请求头过滤

• Show only if URL contains：仅显示URL中包含指定字符串的请求，字符串可以是URL中的一部分，多个字符串用空格分开，也可以使用EXACT:前缀来限定大小写，或者使用REGEX:前缀正则表达式或完整的URL。
• Hide if URL contains：仅隐藏URL中包含指定字符串的请求，字符串可以是URL中的一部分，多个用空格分开，可以是正则或完整的URL。
• Flag requests with headers：标记带有特定header的请求，如果在websession列表中存在该请求，会加粗显示。
• Delete request headers：删除请求中指定的Header字段
• Set request Header：在URL请求中添加头字段，与上一条对应。前面输入字段，后面输入值。

6. Breakpionts：设置断点

• Break request on Post：对所有Post请求设置断点
• Break request on GET with query string：对所有带参数的 GET 请求设置断点
• Break on XMLHttpRequest：对所有Ajax请求设置断点
• Break response on Content-type：对响应报文中header字段中，Content-Type属性匹配成功的请求设置断点

7. Response Status Code：响应状态码过滤

• Hide success(2xx)：隐藏响应状态码为2xx的URL请求
• Hide non-2xx：隐藏响应状态码不是2xx的URL请求
• Hide Authentication demands(401,407)：隐藏认证（响应状态码为：401 407）的URL请求
• Hide redirects(300,301,302,303,307)：隐藏重定向（响应状态码为：300，301，302，303，07）的URL请求
• Hide Not Modifield(304)：隐藏不是缓存的状态码（304）的URL请求

8. Response Type and Size ：响应类型和报文大小过滤

• 下拉类别选择显示类型

Show all Content-Type：显示所有类型Content-Type的请求，Content-Type即为响应结果header信息中Content-Type字段
Show only IMAGE/*：仅显示响应类型为图片的请求
Show only HTML：仅显示响应类型为HTML的请求
Show only TEXT/CSS：仅显示响应类型为text/css的请求
Show only SCRIPTS：仅显示响应类型为Scripts的请求
Show only XML：仅显示响应类型为XML的请求
Show only JSON：仅显示响应类型为Json的请求
Hide IMAGE/*：隐藏所有响应类型为图片的请求

• Hide smaller than：隐藏小于指定大小响应结果的请求。
• Hide larger than：隐藏大于指定大小响应结果的请求。
• Time HeatMap：时间热图。
• Block script files：阻止返回正常JS文件，如果响应是脚本文件，那么响应 404。
• Block image files：阻止返回正常图片文件，如果响应是图片文件，那么响应 404。
• Block SWF files：阻止返回正常SWF文件，如果响应是SWF 文件，那么响应 404。
• Block CSS files：阻止返回正常CSS文件，如果响应是 CSS 文件，那么响应 404。

9. Response Header：响应头过滤

• Flag responses that set cookies：会话列表的响应中有cookies信息的加上标识（斜体）。
• Flag responses with headers：会话列表里标记响应中带有特定header的请求（即加粗）。
• Delete response headers：会话列表里删除响应信息中，有指定的Header字段的会话。
• Set response header：在响应中添加header字段，第一个输入框是header 的key，第二个输入框是对应value

二、修改请求参数之临时修改参数

1. 临时修改参数，可通过urlreplace SeekStr ReplaceWithStr命令，做参数替换
2. 打开Fiddler，再打开百度，搜索csdn，在Fiddler中查看参数，wd是查询参数

3. Fiddler命令行输入urlreplace wd=csdn wd=js回车，回到浏览器点击百度一下，会发现虽然搜索的是csdn，但是查出来的是js相关的信息，这种方法关闭Fiddler之后就会失效

三、断点修改请求参数

1. 在请球之前拦截请求，以刚才的csdn为例

2. 点击百度一下，会发现已经进入Fiddler断点

3. 点击请求，点击Inspectors>WebForms，修改参数中的wd为js，点击Run to Complation，会发现虽然搜索的是csdn，但是查出来的是js相关的信息

4. 这种方法修改参数，如果遇到请求参数中有时间戳的很容易造成请求失败，而且断点会断住所有请求，如果想断某个请求，最好还是做个请求筛选

四、通过Composer修改参数

1. 先通过浏览器百度csdn，Fiddler中查看Inspectors>WebView会看到搜索出来的是csdn，如果是乱码点击Decode解码一下

2. 鼠标左键把请求拖到Composer，在Url中找到wd，修改为js，点击执行，查看Inspectors>WebView会看到搜索出来的是js

3. 这种方法修改参数，如果遇到请求参数中有时间戳的很容易造成请求失败，而且不会在浏览器上体现出来，相当于postman创建了一个请求，好处就是会有历史记录下次使用可以直接在历史记录里找

五、修改请求参数之永久修改参数，FiddlerScript修改参数

1. 找到FiddlerScript编辑脚本，也可以在工具栏Rules > Customize Rules中修改脚本

2. 找到static function OnBeforeRequest，添加oSession.uriContains("web=csdn")代码，点击save script保存脚本

3. 打开浏览器搜索csdn，会发现虽然搜索的是csdn，但是查出来的是js相关的信息，这种方法关闭浏览器不会失效、也不用打断点，缺点是需要熟悉.Net，不过需要什么代码，度娘应该会给你答案

六、修改请求脚本代码

1. 拦截post请求，并修改JSON格式参数

if (oSession.HTTPMethodIs("POST") && oSession.uriContains("example.com")) {
    // 获取请求的 Body 数据
    var requestBody=oSession.GetRequestBodyAsString();

    // 解析 JSON
    var json=Fiddler.WebFormats.JSON.JsonDecode(requestBody);


    // 修改 JSON 参数
    json.JSONObject["Body"]["kwy"]="value";
    // 删除 JSON 参数
    json.JSONObject.Remove('key');
    json.JSONObject["Body"].Remove("key");
    
    // 将修改后的 JSON 转换回字符串
    var modifiedRequestBody=Fiddler.WebFormats.JSON.JsonEncode(json.JSONObject);
    // 更新请求的 Body 数据
    oSession.utilSetRequestBody(modifiedRequestBody);
}

2. 拦截post请求，并修改普通参数，非JSON格式

if (oSession.HTTPMethodIs("POST") && oSession.uriContains("example.com")) {
    // 获取请求的 Body 数据
    var requestBody=oSession.GetRequestBodyAsString();

    // 修改参数
    requestBody=requestBody.replace("param1=value1", "param1=newValue");

    // 更新请求的 Body 数据
    oSession.utilSetRequestBody(requestBody);
}

3. 拦截get请求，并修改url参数，如果post请求url中带有参数，可以把GET换成POST

if (oSession.HTTPMethodIs("GET") && oSession.uriContains("example.com")) {
    // 获取请求的 URL
    var url=oSession.fullUrl;

    // 修改参数
    url=url.replace("param1=value1", "param1=newvalue");

    // 更新请求的 URL
    oSession.fullUrl=url;
}

4. 拦截get请求，并删除url参数，如果post请求url中带有参数，可以把GET换成POST

import System.Web;

if (oSession.HTTPMethodIs("GET") & & oSession.uriContains("example.com")) {
    // 获取请求的 URL
    var url=oSession.fullUrl;
    
    // 解析 URL 中的参数
    var uri=new System.Uri(url);
    var queryString=System.Web.HttpUtility.ParseQueryString(uri.Query);
    
    // 删除指定的参数
    queryString.Remove("dt");
    
    // 构建新的 URL
    var newUrl=uri.GetLeftPart(System.UriPartial.Path) + "?" + queryString.ToString();
    
    // 更新请求的 URL
    oSession.fullUrl=newUrl;
}

5. 拦截get请求，并修改请求头，如果需要修改POST请求头，可以把GET换成POST

if (oSession.HTTPMethodIs("GET") && oSession.uriContains("example.com")) {
    // 获取请求的头部对象
    var headers=oSession.oRequest.headers;

    // 修改头部的值
    headers["key"]="value";

    // 删除指定的头部
    headers.Remove("key");
}

6. 拦截get请求，并修改cookie，如果需要修改POST请求cookie，可以把GET换成POST

if (oSession.HTTPMethodIs("GET") && oSession.uriContains("example.com")) {
    // 获取请求的 Cookie 值
    var cookieValue=oSession.oRequest["Cookie"];
    
    // 添加cookie
    cookieValue+=";key=value";
    
    // 修改cookie
    cookieValue=cookieValue.Replace("key=value", "key=newValue");
    
    // 删除cookie
    cookieValue=cookieValue.Replace("key=value", "");

    oSession.oRequest["Cookie"]=cookieValue
}

7. 正则替换字符串，以修改cookie为例

if (oSession.HTTPMethodIs("GET") && oSession.uriContains("example.com")) {
    // 获取请求的 Cookie 值
    var cookieValue=oSession.oRequest["Cookie"];
    
    var pattern="key=([^&]*)";
    var regex=new System.Text.RegularExpressions.Regex(pattern);
    var cookieValue=regex.Replace(cookieValue, "key=newValue");

    oSession.oRequest["Cookie"]=cookieValue
}

8. 输出cookie到控制台，可通过log查看

FiddlerApplication.Log.LogString("cookie: " + cookieValue);

import re# 定义正则表达式，通过compile()函数编译pattern=re.compile('正则表达式')# 核心操作函数# 1.起始位置匹配一次:仅从指定的起始位置进行匹配(默认开头位置)# 匹配成功返回匹配到的字符串，表示目标字符串是该字符串开头的# 匹配失败返回Nonevalue=pattern.match(string[, start[ , end]])# 2.全文匹配一次:从指定的起始位置开始匹配(默认开头位置)# 陆续对字符串中的所有字符进行匹配# 匹配成功返回匹配到的字符串，表示目标字符串中包含该字符串# 匹配失败返回Nonevalue=pattern.search(string[, start[, end]])# 3.全文匹配# 从目标字符串中查询所有符合匹配规则的字符，并存储到一个列表中# 匹配结束返回列表，包含匹配到的数据# 没有匹配到数据返回空列表，否则返回包含所有匹配数据的列表value_list=pattern.findall(string[, start[, end]])# 4.全文匹配获取迭代器# 从目标字符串中查询所有符合匹配规则的字符，并存储到一个迭代器中value_iter=pattern.finditer(string[, start[, end]])# 5.字符串切割：根据指定的正则表达式切割目标字符串并返回切割后的列表value_list=pattern.split(string)# 6.字符串替换：根据指定的匹配规则，将string中符合的字符串替换为value值，count是替换次数，默认全部替换value_replace=pattern.sub(value, string[, count])

# 输出匹配到的数据value.group()# 输出匹配到的第一组数据value.group(1)# 输出匹配的第n组数据：前提条件是在正则表达式中使用圆括号进行了n次分组value.group(n)# 输出匹配数据的索引范围value.span()# 输出匹配的第n组数据的索引范围value.span(n)# 输出匹配的第n组数据的索引开始位置value.start(n)# 输出匹配的第n组数据的索引结束位置value.end(n)

# 定义目标字符串>>> s="helelo world"# 编译正则匹配对象:这里我们只是想得到: lel>>> pattern=re.compile('l*l')# 进行数据匹配操作>>> r=re.compile('l.*l')# 展示数据>>> r.search(s).group()# 展示得到的数据，显然匹配的数据中包含了其他数据'lelo worl'# 那么，下面这个例子，貌似更加实际>>> html="<div>i am div</div><p>i am p</p><div>i am div too</div>"# 定义匹配规则，只是想匹配div中包含的数据>>> pattern=re.compile("<div>.*</div>")# 打印展示数据>>> pattern.search(html).group()# 显示的数据，明显包含了不需要的数据，这是贪婪模式'<div>i am div</div><p>i am p</p><div>i am div</div>'# 重新定义>>> html="<div>i am div</div><p>i am p</p><div>i am div too</div>"# 修改过的正则表达式>>> pattern=re.compile("<div>.*?</div>")# 匹配得到数据>>> pattern.search(html).group()# 显示的数据，包含的数据，就是精确匹配到的数据'<div>i am div</div>'

<html> <head>
 <title>文档标题</title>
 </head>
 <body> <h1>一级标题<h1>
 <table>
 <tr>
 <th>标题</th>
 <th>标题</th>
 <th>标题</th>
 <th>标题</th>
 </tr>
 <tr>
 <td>内容</td>
 <td>内容</td>
 <td>内容</td>
 <td>内容</td>
 </tr>
 </table>
 </body></html>

# -*- coding:utf-8 -*-from lxml import etree# 模拟得到爬虫数据content="""
 <html>
 <head>
 <title>大牧</title>
 </head>
 <body>
 <h1>个人简介</h1>
 <div>
 <p>姓名：某某某</p>
 <p>住址：中国 乡下</p>
 <p>座右铭：岂能尽如人意，但求无愧于心</p>
 </div>
 </body>
 </html>
"""# 转换成html数据# html=etree.parse("index.html")# 从文件中直接加载html数据html=etree.HTML(content)# 通过etree.HTML()函数将字符串转换成HTML文档对象print dir(html)# 查看文档对象的所有函数print html.getchildren()# 查看文档对象根节点的所有子节点# 转换成字符数据str_html=etree.tostring(html)# 将HTML文档对象转换成字符串print type(str_html)# 查看输出类型print str_html# 查看输出数据

# -*- coding:utf-8 -*-from lxml import etree# 模拟得到爬虫数据content=u"""
 <html>
 <head>
 <title>大牧</title>
 </head>
 <body>
 <h1 name="title">个人简介</h1>
 <div name="desc">
 <p name="name">姓名：<span>某某某</span></p>
 <p name="addr">住址：中国 乡下</p>
 <p name="info">座右铭：岂能尽如人意，但求无愧于心</p>
 </div>
 </body>
 </html>
"""# 将爬取到的数据转换成HTML文档html=etree.HTML(content)# 查询所有的p标签p_x=html.xpath("//p")
print(p_x)# 查询所有Name属性的值v_attr_name=html.xpath("//@name")
print(v_attr_name)# 查询所有包含name属性的标签e_attr_name=html.xpath("//*[@name]")
print(e_attr_name)# 查询所有包含name属性，并且name属性值为desc的标签e_v_attr_name=html.xpath("//*[@name='desc']")
print(e_v_attr_name)# 查询所有p标签的文本内容,不包含子标签p_t=html.xpath("//p")for p in p_t: print (p.text)# 查询多个p标签下的所有文本内容，包含子标签中的文本内容p_m_t=html.xpath("//p")for p2 in p_m_t:
 print(p2.xpath("string(.)"))

$ pip install beautifulsoup4

# coding:utf-8# 引入解析模块BS4from bs4 import BeautifulSoup# 从文件中加载html网页，指定HTML解析器使用lxml# 默认不指定的情况下，BS4会自动匹配当前系统中最优先的解析器soup=BeautifulSoup(open("index.html"), "lxml")# 如果是爬虫获取到的字符数据，直接交给BS4就OK拉# soup=BeatufulSoup(spider_content, "lxml")# 打印BeautifulSoup文档对象，得到的是文档树内容print(soup)# 打印类型：<class 'bs4.BeautifulSoup'>print(type(soup))

# coding:utf-8from bs4 import BeautifulSoup# 得到构建的文档对象soup=BeautifulSoup(open("index.html"), "lxml")# Tag操作# 1. 获取标签print(soup.title) # <title>文章标题</title>print(soup.p) # <p>姓名：<span id="name">大牧</span></p> # 只返回第一个匹配到的标签对象print(soup.span) # <span id="name">大牧</span># 2.获取标签的属性print(soup.p.attrs) # {}：得到属性和值的字典print(soup.span.attrs) # {'id': 'name'}：得到属性和值的字典print(soup.span['id']) # name：得到指定属性的值soup.span['id']="real_name"print(soup.span['id']) # real_name : 可以方便的在BS4中直接对文档进行修改# 3. 获取标签的内容print(soup.head.string) # 文章标题：如果标签中只有一个子标签~返回子标签中的文本内容print(soup.p.string) # None：如果标签中有多个子标签，返回Noneprint(soup.span.string) # 大牧：直接返回包含的文本内容

# coding:utf-8# 引入BS4操作模块from bs4 import BeautifulSoup# 加载网页文档，构建文档对象soup=BeautifulSoup(open("index.html"), "lxml")
print(dir(soup))
print(soup.contents)# 得到文档对象中所有子节点print(soup.div.contents)# 得到匹配到的第一个div的子节点列表print(soup.div.children)# 得到匹配到的第一个div的子节点列表迭代器# for e1 in soup.div.children:# print("-->", e1)print(soup.div.descendants)# 得到匹配到的第一个div的子节点迭代器,所有后代节点单独一个一个列出# for e2 in soup.div.descendants:# print("==>", e2)

# coding:utf-8# 引入BS4模块from bs4 import BeautifulSoup# 加载文档对象soup=BeautifulSoup(open("../index.html"), "lxml")# DOM文档树查询# 核心函数~请对比javasript dom结构了解它的方法# 如:findAllPrevious()/findAllNext()/findAll()/findPrevious()/findNext()等等# findAll()为例# 1. 查询指定的字符串res1=soup.findAll("p")# 查询所有包含p字符的标签print(res1)# 2. 正则表达式import re
res2=soup.findAll(re.compile(r"d+"))# 查询所有包含d字符的标签print(res2)# 3. 列表：选择res3=soup.findAll(["div", "h1"])# 查询所有的div或者h1标签print(res3)# 4. 关键字参数res4=soup.findAll(id="name")# 查询属性为id="name"的标签print(res4)# 5. 内容匹配res5=soup.findAll(text=u"男")# 直接匹配内容中的字符，必须保证精确匹配print(res5)
res6=soup.findAll(text=[u"文章标题", u"大牧"])# 查询包含精确内容的所有的标签print(res6)
res7=soup.findAll(text=re.compile(u"大+"))# 通过正则表达式进行模糊匹配print(res7)