用python实现博主全部博文下载，制作成PDF电子

用python实现博主全部博文下载，制作成PDF电子书籍

python实现csdn博主全部博文下载，html转pdf，有了学习的电子书了。。。（附源码）

我们学习编程，在学习的时候，会有想把有用的知识点保存下来，我们可以把知识点的内容爬下来转变成pdf格式，方便我们拿手机可以闲时翻看，是很方便的

先来一个单个的博文下载转pdf格式的操作

私信小编01即可获取大量Python学习资源

python中将html转化为pdf的常用工具是Wkhtmltopdf工具包，在python环境下，pdfkit是这个工具包的封装类。如何使用pdfkit以及如何配置呢？分如下几个步骤。

下载wkhtmltopdf安装包，并且安装到电脑上。

我下的是这个版本，安装的时候要记住路径，之后调用要用到路径

开发工具

python
pycharm
pdfkit （pip install pdfkit）
lxml

今天目标：博主的全部博文下载，并且转pdf格式保存

基本思路：
1、url + headers
2、分析网页： CSDN网页是静态网页，请求获取网页源代码
3、lxml解析获取boke_urls, author_name
4、循环遍历，得到 boke_url

5、xpath解析获取文件名
6、css选择器获取标签文本的主体
7、构造拼接html文件
8、保存html文件
9、文件的转换

分析网页： CSDN网页是静态网页，请求获取网页源代码

start_url=“https://i1bit.blog.csdn.net/”

为例
确定网址为同步加载

css选择器获取标签文本的主体为代码要点部分
css语法部分

	html_css=parsel.Selector(响应的数据)
    html_content=html_css.css('要获取的部分').get()

点开博主的一篇博文打开开发者工具

# css选择器获取标签文本的主体
        html_css=parsel.Selector(response_2)
        html_content=html_css.css('article').get()
# 构造拼接html文件
        html=\
            '''
                <!DOCTYPE html>
                    <html lang="en">
                    <head>
                        <meta charset="UTF-8">
                        <title>Title</title>
                    </head>
                    <body>
                        {}
                    </body>
                </html>
            '''.format(html_content)

文件的转换

   config=pdfkit.configuration(wkhtmltopdf=r'这里为下载wkhtmltopdf.exe的路径')
            pdfkit.from_file(
                第一个参数要转变的html文件,
                第二个参数转变后的pdf文件,
                configuration=config
            ) 
            # 上面这样写清楚一点，也可以直接
            pdfkit.from_file(
                第一个参数要转变的html文件,
                第二个参数转变后的pdf文件,
            configuration=pdfkit.configuration(wkhtmltopdf=r'这里为下载wkhtmltopdf.exe的路径')
            )

源码展示：

import parsel, os, pdfkit
from lxml import etree
from requests_html import HTMLSession
session=HTMLSession()



def main():
    # 1、url + headers
    start_url=input(r'请输入csdn博主的地址：')
    headers={
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
                      '(KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'
    }

    # 2、分析网页： CSDN网页是静态网页， 请求获取网页源代码
    response_1=session.get(start_url, headers=headers).text


    # 3、解析获取boke_urls, author_name
    html_xpath_1=etree.HTML(response_1)

    author_name=html_xpath_1.xpath(r'//*[@id="floor-user-profile_485"]/div/div[1]/div[2]/div[2]/div[1]/div[1]/text()')[0]

    boke_urls=html_xpath_1.xpath(r'//article[@class="blog-list-box"]/a/@href')


    # 4、循环遍历，得到 boke_url
    for boke_url in boke_urls:

        # 5、请求
        response_2=session.get(boke_url, headers=headers).text

        # 6、xpath解析获取文件名
        html_xpath_2=etree.HTML(response_2)
        file_name=html_xpath_2.xpath(r'//h1[@id="articleContentId"]/text()')[0]


        # 7、css选择器获取标签文本的主体
        html_css=parsel.Selector(response_2)
        html_content=html_css.css('article').get()

        # 8、构造拼接html文件
        html=\
            '''
                <!DOCTYPE html>
                    <html lang="en">
                    <head>
                        <meta charset="UTF-8">
                        <title>Title</title>
                    </head>
                    <body>
                        {}
                    </body>
                </html>
            '''.format(html_content)

        # 9、创建两个文件夹， 一个用来保存html 一个用来保存pdf文件
        if not os.path.exists(r'{}-html'.format(author_name)):
            os.mkdir(r'{}-html'.format(author_name))

        if not os.path.exists(r'{}-pdf'.format(author_name)):
            os.mkdir(r'{}-pdf'.format(author_name))

        # 10、保存html文件
        try:
            with open(r'{}-html/{}.html'.format(author_name, file_name), 'w', encoding='utf-8') as f:
                f.write(html)
        except Exception as e:
            print('文件名错误')

        # 11、文件的转换
        try:
            config=pdfkit.configuration(wkhtmltopdf=r'C:\Program Files\wkhtmltopdf\bin\wkhtmltopdf.exe')
            pdfkit.from_file(
                '{}-html/{}.html'.format(author_name, file_name),
                '{}-pdf/{}.pdf'.format(author_name, file_name),
                configuration=config
            )
            a=print(r'--文件下载成功：{}.pdf'.format(file_name))

        except Exception as e:
            continue


if __name__=='__main__':
   main()

代码操作：

器之心报道

项目作者：vinayak mehta参与：一鸣

从 PDF 表格中获取数据是一项痛苦的工作。不久前，一位开发者提供了一个名为 Camelot 的工具，使用三行代码就能从 PDF 文件中提取表格数据。

PDF 文件是一种非常常用的文件格式，通常用于正式的电子版文件。它能够很好的将不同的排版格式固定下来，形成版面清晰且美观的展示效果。然而，对于想要从 PDF 中提取信息的人们来说，PDF 是个噩梦，尤其是表格。

大量的学术报告、论文、分析文章都使用 PDF 展示其中的表格数据，但是对于如果想要直接从表格中复制数据则会非常麻烦。不久前，有一位开发者提供了一个可从文字 PDF 中提取表格信息的工具——Camelot，能够直接将大部分表格转换为 Pandas 的 Dataframe。

项目地址：https://github.com/camelot-dev/camelot

Camelot 是什么

据项目介绍称，Camelot 是一个 Python 工具，用于将 PDF 文件中的表格数据提取出来。

具体而言，用户可以像使用 Pandas 那样打开 PDF 文件，然后利用这个工具提取表格数据，最后再指定输出的形式（如 csv 文件）。

代码示例

项目提供的 PDF 文件如图所示，假设用户需要提取这些文字之间的表格 2-1 中的信息。

PDF 文件。我们需要提取表格 2-1。

使用 Camelot 提取表格数据的代码如下：

>>> import camelot
>>> tables=camelot.read_pdf('foo.pdf') #类似于Pandas打开CSV文件的形式
>>> tables[0].df # get a pandas DataFrame!
>>> tables.export('foo.csv', f='csv', compress=True) # json, excel, html, sqlite，可指定输出格式
>>> tables[0].to_csv('foo.csv') # to_json, to_excel, to_html, to_sqlite， 导出数据为文件
>>> tables
<TableList n=1>
>>> tables[0]
<Table shape=(7, 7)> # 获得输出的格式
>>> tables[0].parsing_report
{
 'accuracy': 99.02,
 'whitespace': 12.24,
 'order': 1,
 'page': 1
}

以下为输出的结果，对于合并的单元格，Camelot 在抽取后做了空行处理，这是一个稳妥的方法。

安装方法

项目作者提供了三种安装方法。首先，你可以使用 Conda 进行安装，这是最简单的。

conda install -c conda-forge camelot-py

最流行的安装方法是使用 pip 安装。

pip install camelot-py[cv]

还可以从项目中克隆代码，并使用源码安装。

理：

使用Selenium + ChromeDriver打开页面，拿到html 源码，然后再使用pdfkit生成pdf

概念：

Selenium：Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样

ChromeDriver：它是 google 为网站开发人员提供的自动化测试接口，是 selenium2 和 chrome浏览器进行通信的桥梁

wkhtmltopdf：它是一个适用于多平台的html到pdf转换的软件

pdfkit：它是wkhtmltopdf的Python封装包

安装（Linux CentOS7）

1、安装wkhtmltopdf

1）在wkhtmltopdf的官网下载安装包

官网地址：https://wkhtmltopdf.org/downloads.html

2）上传到linux服务器

scp wkhtmltox-0.12.6-1.centos7.x86_64.rpm tn@10.211.55.22:~/soft/

3）安装

sudo rpm -ivh wkhtmltox-0.12.6-1.centos7.x86_64.rpm

报错：

错误：依赖检测失败：
    xorg-x11-fonts-75dpi 被 wkhtmltox-1:0.12.6-1.centos7.x86_64 需要

安装xorg-x11-fonts-75dpi：

sudo yum install xorg-x11-fonts-75dpi

再次安装：

sudo rpm -ivh wkhtmltox-0.12.6-1.centos7.x86_64.rpm

安装wkhtmltopdf

4）在/usr/local/bin/目录下可以看到安装了wkhtmltoimage 和 wkhtmltopdf

查看安装结果

5）测试是否安装成功

wkhtmltopdf http://www.baidu.com ~/test.pdf

执行成功后，打开test.pdf，看到下面效果，说明安装成功

wkhtmltopdf安装成功

2、安装pdfkit

1）安装Python环境

使用Anconada安装Python环境：

conda create --name python3.6.6 python=3.6.6

进入Python 3.6.6环境（后续所有命令都是在此环境下操作）：

source activate python3.6.6

2）安装pdfkit

pip install pdfkit

3）示例

import pdfkit

pdf_options={
    'page-size': 'A4',
}

url='https://www.baidu.com/'

pdfkit.from_url(url, 'test.pdf', options=pdf_options)

打开test.pdf看到baidu页面，说明pdfkit安装成功

3、为什么要使用Selenium + ChromeDriver

以上的方法仅适用于静态页，如果页面是动态加载出来的，使用以上方法会有问题，动态调用后端接口的部分会加载不出来

为了解决这个问题，可以使用Selenium + ChromeDriver打开页面，拿到页面源码，然后再使用pdfkit生成pdf

4、安装ChromeDriver

ChromeDriver是依赖于Chrome运行的，所以需要先安装Chrome

1）安装Chrome

请自行搜索

2）安装ChromeDriver

下载地址：http://chromedriver.storage.googleapis.com/index.html

ChromeDriver的版本号需要跟Chrome的版本号对应

比如我的Chrome版本号为Google Chrome 86.0.4240.183，那么对应的ChromeDriver版本号也是86

点击进入，查看notes.txt，可以看到这个版本的ChromeDriver对应的Chrome版本号

找到相应的系统版本下载：

scp到服务器：

scp ~/Downloads/chromedriver_linux64.zip tn@10.211.55.22:~/soft/

解压：

unzip chromedriver_linux64.zip

移动：

sudo mv chromedriver /usr/local/bin/chromedriver

查看chromedriver版本：

chromedriver --version

显示版本：ChromeDriver 86.0.4240.22

5、安装selenium

pip install selenium

示例

代码示例：

import pdfkit, time, pprint
from selenium import webdriver

options_chrome=webdriver.ChromeOptions()
# 以最高权限运行
options_chrome.add_argument('--no-sandbox')
# 浏览器不提供可视化页面，linux下如果系统不支持可视化不加这条会启动失败
options_chrome.add_argument('--headless')
# executable_path为chromedriver的位置
driver=webdriver.Chrome(executable_path='/usr/local/bin/chromedriver', chrome_options=options_chrome)
# 浏览器全屏
driver.fullscreen_window()

url='http://www.tn666.com/test?id=1'
driver.get(url)
# sleep 1秒
time.sleep(1)
source_text=driver.page_source

options_pdf={
    'page-size': 'A4'
}
result=pdfkit.from_string(source_text, 'test.pdf', options=options_pdf)

driver.quit()

请将url换为您想转为pdf的url

若觉得对您有所帮助，请帮忙点个赞，谢谢～

在线咨询

上一篇：ES6新增数值的扩展
下一篇：推荐7个高性能JavaScript代码高亮插件