迎点击右上角关注小编,除了分享技术文章之外还有很多福利,私信学习资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等。
想要把教程变成PDF有三步:
1、先生成空html,爬取每一篇教程放进一个新生成的div,这样就生成了包含所有教程的html文件(BeautifulSoup)
2、将html转换成pdf(wkhtmltopdf)
3、由于反爬做的比较好,在爬取的过程中还需要代理ip(免费 or 付费)
开始使用
将一段文档传入 BeautifulSoup 的构造方法,就能得到一个文档的对象, 可以传入一段字符串或一个文件句柄.
如下所示:
首先,文档被转换成Unicode,并且HTML的实例都被转换成Unicode编码.
然后,Beautiful Soup选择最合适的解析器来解析这段文档,如果手动指定解析器那么Beautiful Soup会选择指定的解析器来解析文档.
对象的种类
Beautiful Soup 将复杂 HTML 文档转换成一个复杂的树形结构,每个节点都是 Python 对象,所有对象可以归纳为 4 种: Tag , NavigableString , BeautifulSoup , Comment .
Tag:通俗点讲就是 HTML 中的一个个标签,类似 div,p。
NavigableString:获取标签内部的文字,如,soup.p.string。
BeautifulSoup:表示一个文档的全部内容。
Comment:Comment 对象是一个特殊类型的 NavigableString 对象,其输出的内容不包括注释符号.
Tag
Tag就是html中的一个标签,用BeautifulSoup就能解析出来Tag的具体内容,具体的格式为soup.name,其中name是html下的标签,具体实例如下:
print soup.title输出title标签下的内容,包括此标签,这个将会输出
print soup.head输出head标签下的内容
如果 Tag 对象要获取的标签有多个的话,它只会返回所以内容中第一个符合要求的标签。
Tag 属性
每个 Tag 有两个重要的属性 name 和 attrs:
name:对于Tag,它的name就是其本身,如soup.p.name就是p
attrs是一个字典类型的,对应的是属性-值,如print soup.p.attrs,输出的就是{'class': ['title'], 'name': 'dromouse'},当然你也可以得到具体的值,如print soup.p.attrs['class'],输出的就是[title]是一个列表的类型,因为一个属性可能对应多个值,当然你也可以通过get方法得到属性的,如:print soup.p.get('class')。还可以直接使用print soup.p['class']
get
get方法用于得到标签下的属性值,注意这是一个重要的方法,在许多场合都能用到,比如你要得到<img src="#">标签下的图像url,那么就可以用soup.img.get('src'),具体解析如下:
# 得到第一个p标签下的src属性printsoup.p.get("class")
string
得到标签下的文本内容,只有在此标签下没有子标签,或者只有一个子标签的情况下才能返回其中的内容,否则返回的是None具体实例如下:
# 在上面的一段文本中p标签没有子标签,因此能够正确返回文本的内容printsoup.p.string# 这里得到的就是None,因为这里的html中有很多的子标签printsoup.html.string
get_text()
可以获得一个标签中的所有文本内容,包括子孙节点的内容,这是最常用的方法。
搜索文档树
BeautifulSoup 主要用来遍历子节点及子节点的属性,通过Tag取属性的方式只能获得当前文档中的第一个 tag,例如,soup.p。如果想要得到所有的<p> 标签,或是通过名字得到比一个 tag 更多的内容的时候,就需要用到 find_all()
find_all(name, attrs, recursive, text, **kwargs )
find_all是用于搜索节点中所有符合过滤条件的节点。
name参数:是Tag的名字,如p,div,title
# 1. 节点名print(soup.find_all('p'))# 2. 正则表达式print(soup.find_all(re.compile('^p')))# 3. 列表 print(soup.find_all(['p','a']))
另外 attrs 参数可以也作为过滤条件来获取内容,而 limit 参数是限制返回的条数。
CSS 选择器
以 CSS 语法为匹配标准找到 Tag。同样也是使用到一个函数,该函数为select(),返回类型是 list。它的具体用法如下:
# 1. 通过 tag 标签查找print(soup.select(head))# 2. 通过 id 查找print(soup.select('#link1'))# 3. 通过 class 查找print(soup.select('.sister'))# 4. 通过属性查找print(soup.select('p[name=dromouse]'))# 5. 组合查找print(soup.select("body p"))
wkhtmltopdf
wkhtmltopdf主要用于HTML生成PDF。
pdfkit是基于wkhtmltopdf的python封装,支持URL,本地文件,文本内容到PDF的转换,其最终还是调用wkhtmltopdf命令。
安装
先安装wkhtmltopdf,再安装pdfkit。
https://wkhtmltopdf.org/downloads.html
pdfkit
shell pip3 install pdfkit
转换url/file/string
importpdfkitpdfkit.from_url('http://google.com','out.pdf')pdfkit.from_file('index.html','out.pdf')pdfkit.from_string('Hello!','out.pdf')
转换url或者文件名列表
pdfkit.from_url(['google.com','baidu.com'],'out.pdf')pdfkit.from_file(['file1.html','file2.html'],'out.pdf')
转换打开文件
withopen('file.html')asf: pdfkit.from_file(f,'out.pdf')
自定义设置
使用代理ip
爬取十几篇教程之后触发了这个错误:
看来廖大的反爬虫做的很好,于是只好使用代理ip了,尝试了免费的西刺免费代理后,最后选择了付费的 阿布云 ,感觉响应速度和稳定性还OK。
运行结果
运行过程截图:
运行过程
生成的效果图:
效果图
代码如下:
Pandas非常善于处理大量数据并在多个文本和可视化表示中对其进行汇总。支持输出到CSV,Excel,HTML,json等。如果想将多个数据组合到一个文档中,那么会有点困难。例如,如果要在一个Excel工作表上放置两个DataFrame,则需要使用Excel库手动构建输出。
5分钟教您用python生成精美的PDF文档
本文将介绍如何将多条信息组合成一个HTML模板,然后使用和将其转换为精美的PDF文档。
下面看看生成的PDF效果吧:
5分钟教您用python生成精美的PDF文档效果
使用Pandas将数据输出到Excel文件中的多个工作表或从pandas DataFrames创建多个Excel文件非常方便。但是,如果您想将多个信息组合到一个文件中,那么直接从Pandas完成它的方法并不多。幸运的是,python有很多工具可以办到。
在本文中,将使用通过以下流程来创建多页PDF 文档。
将使用通过以下流程来创建多页PDF 文档
这种方法的好处在于您可以将自己的工具替换为此工作流程。如果您想在HTML之外使用其他类型的标记,请选择Jinja。
首先,使用HTML作为模板语言,因为它可能是生成结构化数据并允许相对丰富的格式化的最简单方法。每个人都知道(或可以弄清楚)足够的HTML来生成一个简单的报告。最困难的部分是弄清楚如何将HTML呈现为PDF。选择了WeasyPrint,相对而言是最佳解决方案,因为它仍在积极维护,可以相对容易地使用它。另外效果也很好。遗憾的是,此时文档有点缺乏,确实可以从HTML生成PDF。
下面是导入数据并生成数据透视表以及CPU和软件销售的平均数量和价格的一些汇总统计数据。
导入模块,并读入销售渠道信息。
from __future__ import print_function import pandas as pd import numpy as np df=pd.read_excel("sales-funnel.xlsx") df.head()
透视数据进行总结。
sales_report=pd.pivot_table(df, index=["Manager", "Rep", "Product"], values=["Price", "Quantity"], aggfunc=[np.sum, np.mean], fill_value=0) sales_report.head()
生成有关整个数据集的一些总体描述性统计信息。在这种情况下,我们希望显示CPU和软件销售的平均数量和价格。
print(df[df["Product"]=="CPU"]["Quantity"].mean()) print(df[df["Product"]=="CPU"]["Price"].mean()) print(df[df["Product"]=="Software"]["Quantity"].mean()) print(df[df["Product"]=="Software"]["Price"].mean()) 1.88888888889 51666.6666667 1.0 10000.0
理想情况下,现在要做的是通过经理分组汇总数据,并在页面上包含一些摘要统计数据,以帮助理解单个结果与全国平均值的比较。
DataFrame选项
幸运的是,DataFrame有一个 to_clipboard() 将整个DataFrame复制到剪贴板的功能,然后您可以轻松地将其粘贴到Excel中。
稍后将在模板中使用的另一个选项是 to_html() 生成包含一个应用了最小样式的完全组合的HTML表。
模板
Jinja模板功能非常强大,支持许多高级功能,例如沙盒执行和自动转义,这些都不是此应用程序所必需的。但是,随着您的报告变得越来越复杂或您选择将Jinja用于您的网络应用,这些功能将为您提供良好的服务。
Jinja的另一个不错的功能是它包含多个 ,这些允许我们以Pandas中难以做到的方式格式化我们的一些数据。
为了在应用程序中使用Jinja,需要做三件事:
· 创建一个模板
· 将变量添加到模板上下文中
· 将模板渲染为HTML
这是一个非常简单的模板,称之为myreport.html :
<!DOCTYPE html> < html > < head lang="en" > < meta charset="UTF-8" > < title > {{title}} </ title > </ head > < body > < h2 >销售漏斗报告 - 国家</ h2 > {{national_pivot_table}} </ body > </ html >
这段代码的两个关键部分是 {{ title }} 和 {{ national_pivot_table }} 。它们本质上是我们在呈现文档时将提供的变量的占位符。
要填充这些变量,需要创建一个Jinja环境并读取模板:
from jinja2 import Environment, FileSystemLoader env=Environment(loader=FileSystemLoader('.')) template=env.get_template("myreport.html")
在上面的示例中,假设模板位于当前目录中。
另一个关键组件是创建 env 。这个变量是我们将内容传递给模板的方式。我们创建一个名为的字典template_var ,其中包含我们想要传递给模板的所有变量。
请注意变量的名称如何与模板匹配。
template_vars={"title" : "Sales Funnel Report - National", "national_pivot_table": sales_report.to_html()}
最后一步是使用输出中包含的变量呈现HTML。这将创建一个我们最终将传递给PDF创建引擎的字符串。
html_out=template.render(template_vars)
为简洁起见,我不会显示完整的HTML,但您应该明白这一点。
生成PDF
该PDF创建部分比较简单为好。我们需要进行一些导入并将字符串传递给PDF 生成器。
from weasyprint import HTML HTML(string=html_out).write_pdf("report.pdf")
此命令创建一个类似于以下内容的PDF报告:
啊。很酷,它是一个PDF,但它很难看。主要问题是没有加入任何css样式。
对于本文的其余部分,将使用blue print的作为的style.css的基础,如下所示。这个CSS的是:
· 它相对较小且易于理解
· 它可以在PDF引擎中运行而不会抛出错误和警告
· 它包括看起来相当不错的基本表格式
让我们尝试使用我们更新的样式表重新渲染它:
HTML(string=html_out).write_pdf(args.outfile.name, stylesheets=["style.css"])
只需添加一个简单的样式表就会产生巨大的差异!
更复杂的模板
为了生成更有用的报告,将结合上面显示的摘要统计信息以及分析报告,以便为每个经理包含一个自己单独的PDF页面。
让我们从更新的模板(myreport.html)开始:
<!DOCTYPE html> < html > < head lang="en" > < meta charset="UTF-8" > < title > {{title}} </ title > </ head > < body > < div class="容器" > < h2 >销售漏斗报告 - 国家</ h2 > {{national_pivot_table}} {%include"summary.html"%} </ div > < div class="container" > {%为经理在Manager_Detail%} < p style="page-break-before:always" > </ p > < h2 >销售渠道报告 - {{manager.0}} </ h2 > {{manager.1}} {%include"summary.html"%} {%endfor%} </ div > </ body > </ html >
你会注意到的第一件事是有一个 include 声明提到了另一个文件。这 include 允许引入一段HTML并在代码的不同部分中重复使用它。在这种情况下,摘要包含希望包含在每个报告中的一些简单的国家级统计数据,以便管理人员可以将其绩效与全国平均水平进行比较。
这是summary.html的样子:
< h3 >国家概要:CPU </ h3 > < ul > < li >平均数量:{{CPU.0 | round(1)}} </ li > < li >平均价格:{{CPU.1 | round( 1)}} </ li > </ ul > < h3 >国家摘要:软件</ h3 > < ul > < li >平均数量:{{Software.0 | round(1)}} </ li > < li >平均价格:{{Software.1 | round(1)}} </ li > </ ul >
在此代码段中,您将看到我们可以访问的其他变量: CPU 和 Software 。其中每个都是一个python列表,其中包括CPU和软件销售的平均数量和价格。
您可能还注意到我们使用管道 | 将 round 每个值用于1位小数。这是使用Jinja过滤器的一个具体示例。
还有一个for循环,允许我们在报告中显示每个经理的详细信息。Jinja的模板语言只包含一小部分改变控制流的代码。基本for循环几乎是任何模板的支柱,因此它们应该对大多数人有意义。
我想调出一段看起来有点不合适的最后一段代码:
< p style="page-break-before:always" > </ p >
这是一个简单的CSS指令,我把它放在每个页面上以确保CSS中断。
额外的统计数据
现在已经完成了模板,这里是如何创建模板中使用的其他上下文变量。
这是一个简单的汇总函数:
def get_summary_stats(df,product): """ For certain products we want National Summary level information on the reports Return a list of the average quantity and price """ results=[] results.append(df[df["Product"]==product]["Quantity"].mean()) results.append(df[df["Product"]==product]["Price"].mean()) return results
还需要创建经理详细信息:
manager_df=[] for manager in sales_report.index.get_level_values(0).unique(): manager_df.append([manager, sales_report.xs(manager, level=0).to_html()])
最后,使用以下变量调用模板:
template_vars={"title" : "National Sales Funnel Report", "CPU" : get_summary_stats(df, "CPU"), "Software": get_summary_stats(df, "Software"), "national_pivot_table": sales_report.to_html(), "Manager_Detail": manager_df} # Render our file and create the PDF using our css style file html_out=template.render(template_vars) HTML(string=html_out).write_pdf("report.pdf",stylesheets=["style.css"])
让python改变生活!如果满意上面的生成PDF讲解,点赞和评论。
获取文中代码请微信关注 "python_dada"公众号,输入“精美PDF”获取。
人都是pythonista
这两天一直在做课件,我个人一直不太喜欢PPT这个东西……能不用就不用,我个人特别崇尚极简风。
谁让我们是程序员呢,所以就爱上了Jupyter写课件,讲道理markdown也是个非常不错的写书格式啊。
安装Jupyter其实非常简单,你会python就应该会用jupyter,起码简单的 pip install jupyter, jupyter notebook 要会对伐~
好那接下来就是使用jupyter了,启动jupyter后,使用浏览器访问相应IP:Port就可以使用了。没错,jupyter就是这么一个可以用网站来写python的地方。
jupyter notebook
但是发讲义给同学们看,ipynb格式的文件肯定不方便啊,别人还没上课呢,哪知道那么多?再者PDF传阅起来也随时随地能打开啊。所以我就想转换成PDF。
但是打开文件,点击下载,发现出现了Error
jupyter
jupyter
然后照着这个Error,就去谷歌了,发现说的最多的就是要装一个latex环境,mac下完整的安装包要将近3个G!我就为了一个PDF还不需要这么大一个包吧?所以寻思其他方法。
虽然jupyter对PDF支持的不是那么的友善,但是对于html是非常棒的,只不过html是一个html嘛(这不是废话)……不过我可以利用html转换到pdf上啊。
后来了解到python有一个包叫 pdfkit,专门用来转换pdf文件。那我现在只需要在mac上得到pdfkit的支持就好啦?所以接下来就是尝试的过程了。
1. 安装pdfkit,pip install pdfkit
2. 在这里下载对应系统的安装包http://wkhtmltopdf.org/,这个只有48MB。
3. 最后就是为什么说python是「多膜优秀」的原因了!直接看代码
python编程
操作起来也很简单:
jupyter
至此,ipynb文件已成功转换成pdf文件,并且颜色、格式全都保留!
私信我:zsxq06,获取本文全套代码!
*请认真填写需求信息,我们会在24小时内与您取得联系。