python爬虫之Beautiful Soup库，基

python爬虫之Beautiful Soup库，基本使用以及提取页面信息

、Beautiful Soup简介

爬虫正则表达式参考我上一篇文章：Python 爬虫正则表达式和re库

在爬虫过程中，可以利用正则表达式去提取信息，但是有些人觉得比较麻烦。因为花大量时间分析正则表达式。这时候可以用高效的网页解析库Beautiful Soup。

Beautiful Soup 是一个HTML/XML 的解析器，主要用于解析和提取 HTML/XML 数据。

Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器，lxml 解析器更加强大，速度更快，推荐安装。

下面是各种解析器优缺点

二、Beautiful Soup 安装

Beautiful Soup 3 目前已经停止开发，推荐在现在的项目中使用Beautiful Soup 4，不过它已经被移植到BS4了,也就是说导入时我们需要 import bs4。

安装Beautiful Soup

pip install beautifulsoup4

根据操作系统不同,可以选择下列方法来安装lxml，安装解析器：

apt-get install Python-lxml

easy_install lxml

pip install lxml

创建对象时，指定解析器，这里为lxml

from bs4 import BeautifulSoup

bs=BeautifulSoup(html,"lxml")

三、Beautiful Soup 使用

Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种: Tag , NavigableString , BeautifulSoup , Comment .

（1）Tag

标签，最基本的信息组织单元，分别用<>和标明开头和结尾，通俗点讲就是 HTML 中的一个个标签。

Tag有很多方法和属性，tag中最重要的属性: name和attributes。

name：

每个tag都有自己的名字,通过 .name 来获取:

惯例，同样以豆瓣电影排行做分析，链接为：https://movie.douban.com/top250

import requests
from bs4 import BeautifulSoup

headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/65.0.3325.162 Safari/537.36'}
url='https://movie.douban.com/top250'

req=requests.get(url,headers=headers)

html=req.text
#print(req.text)

soup=BeautifulSoup(html,'lxml')
print(soup.h1)
print(soup.a)

执行结果：

<h1>豆瓣电影 Top 250</h1>  
<a class="nav-login" href="https://accounts.douban.com/passport/login?source=movie" rel="nofollow">登录/注册</a>

以上，就直接提取到标签h1和a 的内容了，之所以只有一个，因为只提取第一个匹配到的内容。

Attributes：

属性，一个tag可能有很多个属性， . tag的属性的操作方法与字典相同。

如上：ol class="grid_view" 的属性, 标签名为ol，属性为class，属性值为：grid_view

import requests
from bs4 import BeautifulSoup

headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/65.0.3325.162 Safari/537.36'}
url='https://movie.douban.com/top250'

req=requests.get(url,headers=headers)

html=req.text
#print(req.text)

soup=BeautifulSoup(html,'lxml')
#获取标签div所有属性,得到的是一个字典
print(soup.div.attrs)
#获取标签ol属性为class的值
print(soup.ol['class'])

执行结果：

{'id': 'db-global-nav', 'class': ['global-nav']} 
['grid_view']

因为是字典属性，所以tag的属性可以被添加,删除或修改。不过，对于修改删除的操作，不是我们的主要用途，有需要的自行参考官方文档。

（2）NavigableString

直译为：可以遍历的字符串，通过名称可知，得到字符串。

标签内非属性字符串,格式：soup.\<tag>.string, NavigableString可以跨越多个层次。

如，得到了标签的内容，要想获取标签内部的文字，用 .string 即可。

上面代码改为：

print(soup.h1.string)

执行结果：

豆瓣电影 Top 250

（3）BeautifulSoup

BeautifulSoup 对象表示的是一个文档的全部内容.大部分时候,可以把它当作 Tag 对象，是一个特殊的 Tag，我们可以分别获取它的类型，名称。

print(soup.name)

执行结果：

[document]

（4）Comment

注释及特殊字符串，Tag , NavigableString , BeautifulSoup 几乎覆盖了html和xml中的所有内容,但是还有一些特殊对象.容易让人担心的内容是文档的注释部分:

from bs4 import BeautifulSoup

markup="<b><!--Hey, buddy. Want to buy a used parser?--></b>"
soup=BeautifulSoup(markup)
comment=soup.b.string
print(type(comment))
print(comment)

执行结果：

<class 'bs4.element.Comment'>
Hey, buddy. Want to buy a used parser?

四、遍历文档树

HTML基本格式:<>…</>构成了所属关系，遍历形成了标签的树形结构。

所以有时候不能做到一步就得到想要的元素，需要先选中一个元素再以它为基准再选择它的子节点，父节点，兄弟节点等。

（1）子节点和子孙节点

子节点属性：.contents .children

.content

tag 的 .content 属性可以将tag的子节点以列表的方式输出

import requests
from bs4 import BeautifulSoup

headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/65.0.3325.162 Safari/537.36'}
url='https://movie.douban.com/top250'

req=requests.get(url,headers=headers)

html=req.text
#print(req.text)

soup=BeautifulSoup(html,'lxml')
print(soup.ol.contents)

执行结果：

['\n', <li>
<div class="item">
<div class="pic">
<em class="">1</em>
<a href="https://movie.douban.com/subject/1292052/">
<img alt="肖申克的救赎" class="" src="https://img9.doubanio.com/view/photo/s_ratio_poster/public/p480747492.jpg" width="100"/>
</a>
</div> 
<div class="info">
...

输出方式为列表，所以可以用列表索引来获取它的某一个元素。

print(soup.ol.contents[1])

.children

返回的不是一个 list，不过我们可以通过遍历获取所有子节点。

print(soup.ol.children)

执行结果：

<list_iterator object at 0x7fbf14fbc4c0>

打印输出 .children ，可以发现它是一个 list 生成器对象，所以需要遍历一下获取内容。

for child in soup.ol.children:
    print(child)

输入内容和.content差不多。

子孙节点.descendants

如果要获得所有的子孙节点的话，可以调用descendants属性，返回结果还是生成器，所以需要遍历一下输出可以看见span节点

print(soup.ol.descendants)
#print(soup.ol.children)
for child in soup.ol.descendants:
    print(child)

descendants会递归查询所有子节点，得到所有的子孙节点。

（2）父节点和祖父节点

获取父节点.parent

print(soup.ol.parent)

获取所有祖先节点，同理需要遍历获取。

for parent in soup.ol.parents:
    print(parent)

（3）兄弟节点

获取兄弟节点：.next_sibling 和 .previous_sibling

next_sibling和previous_sibling分别获取节点的下一个和上一个兄弟元素。

print(soup.li.next_sibling)
print(soup.li.previous_sibling)

如果节点不存在，则返回 None，实际中通常是字符串或空白，因为空白或者换行也可以被视作一个节点，所以得到的结果可能是空白或者换行。

全部兄弟节点：next_siblings 和 previous_siblings

分别返回后面和前面的兄弟节点，同理，所有节点需要遍历获得。

print(soup.li.next_siblings)
print(soup.li.previous_siblings)

for sibling in soup.li.next_siblings:
    print(sibling)
for previous in soup.li.previous_siblings:
    print(previous)

（4）回退和前进节点

前后节点：.next_element 和 .previous_element

与 .next_sibling .previous_sibling 不同，它并不是针对于兄弟节点，而是在所有节点，不分层次

比如 head 节点为

<head><title>The Dormouse's story</title></head>

那么它的下一个节点便是 title，它是不分层次关系的。

所有前后节点：.next_elements 和 .previous_elements

同理，返回的是迭代器，需要遍历获得。

五、搜索文档树

eautiful Soup定义了很多搜索方法,主要用的2个方法:find() 和 find_all()

（1）find_all

语法：find_all(name, attrs, recursive, text, **kwargs)

name:

我们可以根据节点名来查询元素。name可以是：字符串、正则表达式、列表、True、方法

print(soup.find_all('a'))

因为是Tag类型，我们可以进行嵌套查询.

for a in soup.find_all('a'):
    print(a.find_all('span'))
    print(a.string)

attrs

除了根据节点名查询的话，同样的也可以通过属性来查询。

print(soup.find_all(attrs={'id': 'link1'}))
print(soup.find_all(attrs={'name': 'Dormouse'}))

常用的属性比如class，我们可以直接传入class这个参数。在这里需要注意的是class是Python的保留字，所以在class的后面加上下划线。

print(soup.find_all(class_="title"))

执行结果：

<span class="title">肖申克的救赎</span>, <span class="title"> / The Shawshank Redemption</span>, <span class="title">霸王别姬</span>, <span class="title">阿甘正传</span>

（2）find

除了find_all( )方法，还有find( )方法，前者返回的是多个元素，以列表形式返回，后缀是返回一个元素。即第一个元素。

find( )与find_all( )的使用方法相同。

find_parents() 和find_parent()：前者返回所有祖先节点，后者返回直接父节点。

find_next_siblings()和find_next_sibling()：前者返回后面的所有兄弟节点，后者返回后面第一个兄弟节点。

find_previous_siblings和find_previous_sibling()：前者返回前面的所有兄弟节点，后者返回前面第一个兄弟节点。

六、CSS选择器

Beautiful Soup还提供了另一种选择器，即CSS选择器。

soup.select()，返回类型是 list。

同样可以用标签名、类名、 id 名、组合、属性查找。

（1）soup.select()

获取title标签节点
print(soup.select('title'))

获取class为title的节点
print(soup.select('.title'))

获取li标签下的a节点
print(soup.select('li a'))

查找时还可以加入属性元素，属性需要用中括号括起来，
注意属性和标签属于同一节点，所以中间不能加空格，否则会无法匹配到
print soup.select('a[href="http://example.com/elsie"]')

（2）嵌套选择

同样可以使用嵌套查询

for ul in soup.select('ul'):
    print(ul.select('li'))

（3）获取属性

for ul in soup.select('ul'):
    print(ul['id'])
    print(ul.attrs['id'])

（4）获取文本

for li in soup.select('li'):
    print('String:', li.string)
    print('get text:', li.get_text())

七、获取豆瓣电影排行首页影片信息

通过以上的方法，现在获取豆瓣电影排行首页的排名、电影名、导演演员、年份类型。

从页面分析，所有影片信息，在class标签值为grid_view的里面。

所以第一步获取所有grid_view里面所有li标签的值，返回的是一个列表。

list=soup.find(class_='grid_view').find_all('li')

排序，在列表每个元素中，获取em标签值，为排序，只取字符串。

find('em').string

电影名称，获取第一个title值

find(class_='title').string

导演和年代信息，在标签p当中，获取的是text文本格式。由于中间有空格，还有br换行符，所以最后还需要replace替换掉。

item.find('p').text.replace(' ','')

最终代码为：

url='https://movie.douban.com/top250'

req=requests.get(url,headers=headers)

html=req.text
#print(req.text)
soup=BeautifulSoup(html,'lxml')

list=soup.find(class_='grid_view').find_all('li')

for item in list:
    item_num=item.find('em').string
    item_name=item.find(class_='title').string
    item_act=item.find('p').text.replace(' ','')
    print("排名："+item_num,"\n电影名称："+item_name,item_act)

执行结果：

排名：1 
电影名称：肖申克的救赎 
导演:弗兰克·德拉邦特FrankDarabont   主演:蒂姆·罗宾斯TimRobbins/...
1994 / 美国 / 犯罪剧情

排名：2 
电影名称：霸王别姬 
导演:陈凯歌KaigeChen   主演:张国荣LeslieCheung/张丰毅FengyiZha...
1993 / 中国大陆中国香港 / 剧情爱情同性

排名：3 
电影名称：阿甘正传 
导演:罗伯特·泽米吉斯RobertZemeckis   主演:汤姆·汉克斯TomHanks/...
1994 / 美国 / 剧情爱情

排名：4 
电影名称：泰坦尼克号 
导演:詹姆斯·卡梅隆JamesCameron   主演:莱昂纳多·迪卡普里奥Leonardo...
1997 / 美国墨西哥澳大利亚加拿大 / 剧情爱情灾难

排名：5 
电影名称：这个杀手不太冷 
导演:吕克·贝松LucBesson   主演:让·雷诺JeanReno/娜塔莉·波特曼...
1994 / 法国美国 / 剧情动作犯罪

排名：6 
电影名称：美丽人生 
导演:罗伯托·贝尼尼RobertoBenigni   主演:罗伯托·贝尼尼RobertoBeni...
1997 / 意大利 / 剧情喜剧爱情战争

排名：7 
电影名称：千与千寻 
导演:宫崎骏HayaoMiyazaki   主演:柊瑠美RumiH?ragi/入野自由Miy...
2001 / 日本 / 剧情动画奇幻

排名：8 
电影名称：辛德勒的名单 
导演:史蒂文·斯皮尔伯格StevenSpielberg   主演:连姆·尼森LiamNeeson...
1993 / 美国 / 剧情历史战争

排名：9 
电影名称：盗梦空间 
导演:克里斯托弗·诺兰ChristopherNolan   主演:莱昂纳多·迪卡普里奥Le...
2010 / 美国英国 / 剧情科幻悬疑冒险

排名：10 
电影名称：星际穿越 
导演:克里斯托弗·诺兰ChristopherNolan   主演:马修·麦康纳MatthewMc...
2014 / 美国英国加拿大 / 剧情科幻冒险

排名：11 
电影名称：忠犬八公的故事 
导演:莱塞·霍尔斯道姆LasseHallstr?m   主演:理查·基尔RichardGer...
2009 / 美国英国 / 剧情

排名：12 
电影名称：楚门的世界 
导演:彼得·威尔PeterWeir   主演:金·凯瑞JimCarrey/劳拉·琳妮Lau...
1998 / 美国 / 剧情科幻

排名：13 
电影名称：海上钢琴师 
导演:朱塞佩·托纳多雷GiuseppeTornatore   主演:蒂姆·罗斯TimRoth/...
1998 / 意大利 / 剧情音乐

排名：14 
电影名称：三傻大闹宝莱坞 
导演:拉库马·希拉尼RajkumarHirani   主演:阿米尔·汗AamirKhan/卡...
2009 / 印度 / 剧情喜剧爱情歌舞

排名：15 
电影名称：机器人总动员 
导演:安德鲁·斯坦顿AndrewStanton   主演:本·贝尔特BenBurtt/艾丽...
2008 / 美国 / 科幻动画冒险

排名：16 
电影名称：放牛班的春天 
导演:克里斯托夫·巴拉蒂ChristopheBarratier   主演:让-巴蒂斯特·莫尼...
2004 / 法国瑞士德国 / 剧情喜剧音乐

排名：17 
电影名称：无间道 
导演:刘伟强/麦兆辉   主演:刘德华/梁朝伟/黄秋生
2002 / 中国香港 / 剧情犯罪惊悚

排名：18 
电影名称：疯狂动物城 
导演:拜伦·霍华德ByronHoward/瑞奇·摩尔RichMoore   主演:金妮弗·...
2016 / 美国 / 喜剧动画冒险

排名：19 
电影名称：大话西游之大圣娶亲 
导演:刘镇伟JeffreyLau   主演:周星驰StephenChow/吴孟达ManTatNg...
1995 / 中国香港中国大陆 / 喜剧爱情奇幻古装

排名：20 
电影名称：熔炉 
导演:黄东赫Dong-hyukHwang   主演:孔侑YooGong/郑有美Yu-miJung/...
2011 / 韩国 / 剧情

排名：21 
电影名称：控方证人 
导演:比利·怀尔德BillyWilder   主演:泰隆·鲍华TyronePower/玛琳·...
1957 / 美国 / 剧情犯罪悬疑

排名：22 
电影名称：教父 
导演:弗朗西斯·福特·科波拉FrancisFordCoppola   主演:马龙·白兰度M...
1972 / 美国 / 剧情犯罪

排名：23 
电影名称：当幸福来敲门 
导演:加布里尔·穆奇诺GabrieleMuccino   主演:威尔·史密斯WillSmith...
2006 / 美国 / 剧情传记家庭

排名：24 
电影名称：触不可及 
导演:奥利维·那卡什OlivierNakache/艾力克·托兰达EricToledano   主...
2011 / 法国 / 剧情喜剧

排名：25 
电影名称：怦然心动 
导演:罗伯·莱纳RobReiner   主演:玛德琳·卡罗尔MadelineCarroll/卡...
2010 / 美国 / 剧情喜剧爱情

八、小结

推荐使用lxml解析库，必要时选择html.parser。相对于正则表达式，Beautiful Soup更加简单，但是网上有些推荐正则表达式，理由是精确。

具体用哪个，还是根据环境选择吧，一起使用都可以。

述

.NET的SelectPdf Html到Pdf转换器-社区版是.NET的SelectPdf库中提供的功能强大的html到pdf转换器的免费版本。
转换器提供了许多强大的选项（将任何网页转换为pdf，将任何html字符串转换为pdf，html5 / css3 / javascript支持，页眉和页脚支持等），唯一的限制是它最多可以生成pdf文档。5页长。
.NET的免费HTML至Pdf转换器–社区版功能：最多生成5页pdf文档，将任何网页转换为pdf，将任何原始html字符串转换为pdf，设置pdf页面设置（页面大小，页面方向，页面边距），在转换过程中调整内容大小以适合pdf页面，设置pdf文档属性，设置pdf查看器首选项，设置pdf安全性（密码，权限），设置转换延迟和网页导航超时，自定义页眉和页脚，在页眉中支持html和页脚，自动和手动分页符，在每个页面上重复html表头，支持@media类型屏幕和打印，支持内部和外部链接，基于html元素自动生成书签，支持HTTP标头，支持HTTP cookie，支持需要身份验证的网页，支持代理服务器，启用/禁用javascript，修改颜色空间，多线程支持，HTML5 / CSS3支持，Web字体支持等等。

代码实现

1、nuget 引用

Install-Package Select.HtmlToPdf

2、方法

using SelectPdf;using System.Collections.Specialized;using System.IO;using System.Web;
namespace BQoolCommon.Helpers.File{ public class WebToPdf { public WebToPdf() { //SelectPdf.GlobalProperties.LicenseKey="your-license-key"; }
 /// <summary> /// 將 Html 轉成 PDF，並儲存成檔案 /// </summary> /// <param name="html">html</param> /// <param name="fileName">絕對路徑</param> public void SaveToFileByHtml(string html, string fileName) { var doc=SetPdfDocument(html); doc.Save(fileName); }
 /// <summary> /// 傳入 Url 轉成 PDF，並儲存成檔案 /// </summary> /// <param name="url">url</param> /// <param name="fileName">絕對路徑</param> /// <param name="httpCookies">Cookies</param> public void SaveToFileByUrl(string url, string fileName, NameValueCollection httpCookies) { var doc=SetPdfDocument(url, httpCookies); doc.Save(fileName); }
 /// <summary> /// 將 Html 轉成 PDF，並輸出成 byte[] 格式 /// </summary> /// <param name="html">html</param> /// <returns></returns> public byte[] GetFileByteByHtml(string html) { var doc=SetPdfDocument(html); return doc.Save(); }
 /// <summary> /// 傳入 Url 轉成 PDF，並輸出成 byte[] 格式 /// </summary> /// <param name="url">url</param> /// <param name="httpCookies">Cookies</param> /// <returns></returns> public byte[] GetFileByteByUrl(string url, NameValueCollection httpCookies) { var doc=SetPdfDocument(url, httpCookies); return doc.Save(); }
 /// <summary> /// 將 Html 轉成 PDF，並輸出成 Stream 格式 /// </summary> /// <param name="html">html</param> /// <returns></returns> public Stream GetFileStreamByHtml(string html) { var doc=SetPdfDocument(html); var pdfStream=new MemoryStream();
 doc.Save(pdfStream); pdfStream.Position=0;
 return pdfStream; }
 /// <summary> /// 傳入 Url 轉成 PDF，並輸出成 Stream 格式 /// </summary> /// <param name="html">html</param> /// <returns></returns> public Stream GetFileStreamByUrl(string url, NameValueCollection httpCookies) { var doc=SetPdfDocument(url, httpCookies); var pdfStream=new MemoryStream();
 doc.Save(pdfStream); pdfStream.Position=0;
 return pdfStream; }
 private PdfDocument SetPdfDocument(string html) { var converter=new HtmlToPdf();
 converter.Options.WebPageWidth=1200; html=HttpUtility.HtmlDecode(html);
 return converter.ConvertHtmlString(html); }
 private PdfDocument SetPdfDocument(string url, NameValueCollection httpCookies) { var converter=new HtmlToPdf(); converter.Options.WebPageWidth=1200;
 if (httpCookies != && httpCookies.Count !=0) { converter.Options.HttpCookies.Add(httpCookies); }
 return converter.ConvertUrl(url); }
 }}

3、调用

/// <summary> /// 下载pdf /// </summary> public void Downpdf(string data) { var stream=new BQoolCommon.Helpers.File.WebToPdf().GetFileStreamByHtml(Gethtml(data)); Response.Clear(); //二进制流数据（如常见的文件下载） Response.ContentType="application/octet-stream"; //通知浏览器下载文件而不是打开 Response.AddHeader("Content-Disposition", "attachment; filename=" + HttpUtility.UrlEncode("Profit and Loss Statement.pdf", System.Text.Encoding.UTF8)); var bytes=StreamToBytes(stream); Response.BinaryWrite(bytes); Response.Flush(); stream.Close(); stream.Dispose();
 Response.End(); }

那么如何获取指定页面的html 呢传入对应的model 获得指定动态的html

private string Gethtml(string data) { string str="";
 str=this.ControllerContext.RenderViewToString("ProfitDetails", data);
 return str; }

using BQoolCommon.Helpers.Format;using Newtonsoft.Json;using OrdersManager.Models.ViewModel.Report;using System;using System.Collections.Generic;using System.IO;using System.Linq;using System.Web;using System.Web.Mvc;
namespace OrdersManager.Web.Infrastructure{ public static class HelperExtensions { public static string RenderViewToString(this ControllerContext context, string viewName, string data) { if (string.IsOrEmpty(viewName)) viewName=context.RouteData.GetRequiredString("action");
 context.Controller.ViewData.Model=JsonConvert.DeserializeObject<ProfitDetailsmodel>(StringTools.Base64Decode(StringTools.Base64Decode(data)));
 using (var sw=new StringWriter()) { ViewEngineResult viewResult=ViewEngines.Engines.FindPartialView(context, viewName); var viewContext=new ViewContext(context, viewResult.View, context.Controller.ViewData, context.Controller.TempData, sw); try { viewResult.View.Render(viewContext, sw); } catch (Exception ex) { throw; }
 return sw.GetStringBuilder().ToString(); } } }}

参考文档

https://www.nuget.org/packages/Select.HtmlToPdf/

言

难度：入门级

python版本：3.7

主要收获：爬虫经验+100；python经验+100

主要会用到python和爬虫技术，入门级项目，偏简单，适合新人练手，看这个之前最好是对python和爬虫有一些了解

需求

需求名称：采集《python进阶》教程

网页：https://docs.pythontab.com/interpy/

需求：采集网页上的所有进阶内容，并整理成文档

采集具体的进阶教程内容即可

需求分析

我们看下需求，需要采集的东西并不是很多，我们先打开网页看一下

看下目录，数据量不是很多

大致数了一下就几十个页面，这很少了

对应下需求，根据经验，列下我们需要解决的一些问题

单页面抓取问题

多页面url获取问题

整理成文档

单页面抓取问题

这个问题其实就是看下抓取页面的请求构造

我们先找下源代码中是否有包含我们所需要的数据

在页面上找个稍微特殊的词

比如说 “小清新”

键盘按下ctrl+U查看下源代码

在按下ctrl+F，查找“小清新”

可以看到，源码中就直接有我们所需要的数据，那么可以判断，这八成就是一个get请求

如果没有反爬，那就比较简单了

直接构建一个最简单的get请求试一下

import requests

r=requests.get('https://docs.pythontab.com/interpy/')

print(r.text)

print(r)

运行一下，打印输出的是有我们需要的数据（由于太多就不贴了），完美！

多页面url获取问题

我们可以看到所需要采集的页面几十个，并不是很多，就需求目标而言，我们其实是可以一个个的复制下来，但是这样没有技术范儿，而且如果说我们采集的页面很多呢，几百几千，甚至几十万，手动复制的效率实在过于低下

我们打开网页

可以看到有个Next按钮

这里就有下一页的url

我们跳到最后一页，就会发现Next没有了

那么我们是不是就可以通过这种方式来拿到各个页面的url

我们一直去提Next按钮获取下一页的url，直到最后一页，没有Next，判断结束

整理成文档

本来想将抓取到的内容(去标签)保存成txt的，然后在转成pdf格式，好看一些

不过由于保存的内容没有格式，转换后并不好看，所以决定不去标签，直接存成html文件

然后在转换成pdf

这里有个在线的将html转成pdf，还是满好用的：https://www.aconvert.com/cn/ebook/

代码实现

逻辑理清了，代码实现就比较简单了

直接上下代码

import requests

from lxml import etree

from urllib import parse

def get_html(url):

"""网页采集数据，并保存到文件中

Args:

url (str): 待采集的url

Returns:

str: 下一页的url

"""

r=requests.get(url)

html=etree.HTML(r.text)

content=html.xpath('//div[@role="main"]')

content0=etree.tostring(content[0])

# print(content0)

with open("python进阶教程.html","ab+") as f:

f.write(content0)

_next=html.xpath("//a[contains(text(),'Next ?')]/@href")

if not _next:

return ''

nexturl=parse.urljoin(url,_next[0])

print(nexturl)

return nexturl

url='https://docs.pythontab.com/interpy/'

while 1:

url=get_html(url)

if not url:

break

运行代码会在当前目录生成一个python进阶教程.html文件

打开看一眼

还是可以的，不过我这里把它转换成更通用的pdf类型

html转换成pdf

先打开在线转换的网页：https://www.aconvert.com/cn/ebook/

选择html文件

选择转换的目标格式

点击转换

下载文件

打开pdf看一下

格式还是很完美的！

注：

其实python有个pdfkit库，可以将一个html转换成pdf，有兴趣的朋友可以尝试下

关注我获取更多内容

在线咨询

上一篇：Spring Boot + gRPC 构建可扩展的微
下一篇：Web 开发的最佳 ChatGPT 提示

您的项目需求

*请认真填写需求信息，我们会在24小时内与您取得联系。

整合营销服务商

python爬虫之Beautiful Soup库，基

、Beautiful Soup简介

二、Beautiful Soup 安装

三、Beautiful Soup 使用

四、遍历文档树

五、搜索文档树

六、CSS选择器

七、获取豆瓣电影排行首页影片信息

八、小结

述

代码实现

参考文档

您的项目需求