Python爬虫框架scrapy 爬取纵横网，小说免

Python爬虫框架scrapy 爬取纵横网，小说免费看

言

文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

作者：风，又奈何

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

http://note.youdao.com/noteshare?id=3054cce4add8a909e784ad934f956cef

准备

python3
scrapy

项目创建：

cmd命令行切换到工作目录创建scrapy项目两条命令 scarpy startproject与scrapy genspider 然后用pycharm打开项目

D:\pythonwork>scrapy startproject zongheng
New Scrapy project 'zongheng', using template directory 'c:\users\11573\appdata\local\programs\python\python36\lib\site-packages\scrapy\templates\project', created in:
 D:\pythonwork\zongheng
You can start your first spider with:
 cd zongheng
 scrapy genspider example example.com
D:\pythonwork>cd zongheng
D:\pythonwork\zongheng>cd zongheng
D:\pythonwork\zongheng\zongheng>scrapy genspider xuezhong http://book.zongheng.com/chapter/189169/3431546.html
Created spider 'xuezhong' using template 'basic' in module:
 zongheng.spiders.xuezhong

确定内容

首先打开网页看下我们需要爬取的内容

其实小说的话结构比较简单只有三大块卷章节内容

因此 items.py代码：

内容提取spider文件编写

还是我们先创建一个main.py文件方便我们测试代码

然后我们可以在spider文件中先编写

# -*- coding: utf-8 -*-
import scrapy
class XuezhongSpider(scrapy.Spider):
 name='xuezhong'
 allowed_domains=['http://book.zongheng.com/chapter/189169/3431546.html']
 start_urls=['http://book.zongheng.com/chapter/189169/3431546.html/']
 def parse(self, response):
 print(response.text)
 pass

运行main.py看看有没有输出

发现直接整个网页的内容都可以爬取下来，说明该网页基本没有反爬机制，甚至不用我们去修改user-agent那么就直接开始吧

打开网页 F12查看元素位置并编写xpath路径然后编写spider文件

需要注意的是我们要对小说内容进行一定量的数据清洗，因为包含某些html标签我们需要去除

# -*- coding: utf-8 -*-
import scrapy
import re
from zongheng.items import ZonghengItem
class XuezhongSpider(scrapy.Spider):
 name='xuezhong'
 allowed_domains=['book.zongheng.com']
 start_urls=['http://book.zongheng.com/chapter/189169/3431546.html/']
 def parse(self, response):
 xuezhong_item=ZonghengItem()
 xuezhong_item['book']=response.xpath('//*[@id="reader_warp"]/div[2]/text()[4]').get()[3:]
 xuezhong_item['section']=response.xpath('//*[@id="readerFt"]/div/div[2]/div[2]/text()').get()

 content=response.xpath('//*[@id="readerFt"]/div/div[5]').get()
 #content内容需要处理因为会显示标签和标签
 content=re.sub(r'', "", content)
 content=re.sub(r'|
|',"\n",content )

 xuezhong_item['content']=content
 yield xuezhong_item

 nextlink=response.xpath('//*[@id="readerFt"]/div/div[7]/a[3]/@href').get()
 print(nextlink)
 if nextlink:
 yield scrapy.Request(nextlink,callback=self.parse)

有时候我们会发现无法进入下个链接，那可能是被allowed_domains过滤掉了我们修改下就可以

唉突然发现了到第一卷的一百多章后就要VIP了那我们就先只弄一百多章吧不过也可以去其他网站爬取免费的这次我们就先爬取一百多章吧

内容保存

接下来就是内容的保存了，这次就直接保存为本地txt文件就行了

首先去settings.py文件里开启 ITEM_PIPELINES

然后编写pipelines.py文件

# -*- coding: utf-8 -*-
class ZonghengPipeline(object):
 def process_item(self, item, spider):
 filename=item['book']+item['section']+'.txt'
 with open("../xuezhongtxt/"+filename,'w') as txtf:
 txtf.write(item['content'])
 return item

由于选址失误导致了我们只能爬取免费的一百多章节，尴尬，不过我们可以类比运用到其他网站爬取全文免费的书籍

怎么样使用scrapy爬取是不是很方便呢

文为php中文网认证作者：“L先生”投稿，欢迎加入php中文网有偿投稿计划！

有人习惯看小说，偶尔会看几章，都是百度出来，但是基本都有特别烦人的广告，要么在整体div添加链接，误触就会跳转到一些网站甚至是死循环，某些手机app也是广告很多，所以无事在写一个小程序免除广告的烦扰

本文将使用php curl采集页面simple_html_dom解析，实现真正的去除广告。

随便找一个小说网站找一本书，不过这个站点在手机端是特别坑的，就有上述问题：

就拿这本小说来开刀。（声明：绝对不是推广，侵删）

一、了解curl的get方式

curl是一个命令行工具，通过指定的URL来上传或下载数据，并将数据展示出来。curl中的c表示client，而URL，就是URL。

PHP中使用cURL可以实现Get和Post请求的方法

简单的抓取小说仅需要get方法即可。

下面这个示例代码就是通过get请求获取第一章小说页面html的示例，只需要更改url参数即可。

初始化、设置选项、证书验证、执行、关闭

<?php
header("Content-Type:text/html;charset=utf-8");
$url="https://www.7kzw.com/85/85445/27248636.html";
$ch=curl_init($url); //初始化
//设置选项
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);//获取的信息以字符串返回,而不是直接输出(必须)
curl_setopt($ch,CURLOPT_TIMEOUT,10);//超时时间（必须）
curl_setopt($ch, CURLOPT_HEADER,0);// 启用时会将头文件的信息作为数据流输出。
//参数为1表示输出信息头,为0表示不输出
curl_setopt($ch,CURLOPT_SSL_VERIFYPEER,false); //不验证证书
// 3.执行
$res=curl_exec($ch);
// 4.关闭
curl_close($ch);
print_r($res);
?>

注释就特别详细了，按照步骤，发送curl的get请求，如果是post请求则需要多加一条设置post选项的设置，并且传参，最后输出获得的信息，运行结果如下，是没有css渲染的。

二、解析页面

输出的页面有很多不需要的内容，需要在所有内容中提取出我们需要的内容，比如标题和每章的内容，这时需要解析页面。

解析页面的方法也有很多，在这里使用的是simple_html_dom，需要下载引用simple_html_dom.php这个类，实例对象，并调用内部的方法。具体方法可以到官网查看，或者中文网其他文档。

先分析这个小说页面的源代码，看这章的标题和内容对应的元素

首先是标题:在类bookname下的h1下

然后是内容：在id为content的div下

simple_html_dom的可以使用find方法，类似jquery一样使用选择器查找定位元素。如：

find('.bookname h1'); //查找类bookname 下的h1标题元素
find('#content'); //查找id为content的章节内容

代码在以上的基础上新增：

include "simple_html_dom.php";
$html=new simple_html_dom();
@$html->load($res);
$h1=$html->find('.bookname h1');
foreach ($h1 as $k=>$v) {
$artic['title']=$v->innertext;
}
// 查找小说的具体内容
$divs=$html->find('#content');
foreach ($divs as $k=>$v) {
$content=$v->innertext;
}
// 正则替换去除多余部分
$pattern="/(<p>.*?<\/p>)|(<div .*?>.*?<\/div>)/";
$artic['content']=preg_replace($pattern,'',$content);
echo $artic['title'].'<br>';
echo $artic['content'];

使用以上的解析方法获得的内容是数组，使用foreach来获得数组内容，使用了正则替换将正文文字广告去除，将标题和小说内容放到数组内。最简单的写法就写好了。运行结果如下：

当然这种写法看着比较难受，可以自行封装函数类。如下就是我自己写好的代码示例了，当然肯定有不足的地方，但是可以作为参考扩展。

<?php
include "simple_html_dom.php";
include "mySpClass.php";
header("Content-Type:text/html;charset=utf-8");
$get_html=get_html($_GET['n']);
$artic=getContent($get_html);
echo $artic['title'].'<br>';
echo $artic['content'];
/**
* 获取www.7kzw.com 获取每一章的页面html
* @param type $num 第几章,从第一开始(int)
* @return 返回字符串
*/
function get_html($num){
$start=27248636;
$real_num=$num+$start-1;
$url='https://www.7kzw.com/85/85445/'.$real_num.'.html';
$header=[
'User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:70.0) Gecko/20100101 Firefox/70.0'
];
return mySpClass()->getCurl($url,$header);
}
/**
* 获取www.7kzw.com小说标题数组
* @param type $get_html 得到的每一章的页面html
* @return 返回$artic数组,['title'=>'','content'=>'']
*/
function getContent($get_html){
$html=new simple_html_dom();
@$html->load($get_html);
$h1=$html->find('.bookname h1');
foreach ($h1 as $k=>$v) {
$artic['title']=$v->innertext;
}
// 查找小说的具体内容
$divs=$html->find('#content');
foreach ($divs as $k=>$v) {
$content=$v->innertext;
}
// 正则替换去除多余部分
$pattern="/(<p>.*?<\/p>)|(<div .*?>.*?<\/div>)/";
$artic['content']=preg_replace($pattern,'',$content);
return $artic;
}
?>

<?php
class mySpClass{
//单例对象
private static $ins=null;
/**
* 单例化对象
*/
public static function exec()
{
if (self::$ins) {
return self::$ins;
}
return self::$ins=new self();
}

/**
* 禁止克隆对象
*/
public function __clone()
{
throw new curlException('错误：不能克隆对象');
}
// 向服务器发送最简单的get请求
public static function getCurl($url,$header){
// 1.初始化
$ch=curl_init($url); //请求的地址
// 2.设置选项
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);//获取的信息以字符串返回,而不是直接输出(必须)
curl_setopt($ch,CURLOPT_TIMEOUT,10);//超时时间（必须）
curl_setopt($ch, CURLOPT_HEADER,0);// 启用时会将头文件的信息作为数据流输出。
//参数为1表示输出信息头,为0表示不输出
curl_setopt($ch,CURLOPT_SSL_VERIFYPEER,false); //不验证证书
curl_setopt($ch,CURLOPT_SSL_VERIFYHOST,false); //不验证证书
if(!empty($header)){
curl_setopt($ch,CURLOPT_HTTPHEADER,$header);//设置头信息
}
// 3.执行
$res=curl_exec($ch);
// 4.关闭
curl_close($ch);
return $res;
}
}
//curl方法不存在就设置一个curl方法
if (!function_exists('mySpClass')) {
function mySpClass() {
return mySpClass::exec();
}
}
?>

以上示例代码的最终运行结果：第几章就输入数字几，通过$_GET['n']传参

总结：

知识点：curl(tips：curl模块采集任意网页php类)，正则，解析工具simple_html_dom

虽然写法已经初步完善，但是最好能过部署的自己的服务器才能有最好的效果，不然只能在电脑观看，也不见得多方便，可能更愿意忍忍广告了。

以上就是使用php curl采集页面并使用simple_html_dom解析的详细内容，更多请关注php中文网其它相关文章！

crapy框架的简单使用：

网络爬虫，是在网上进行数据抓取的程序，使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序，但是使用框架可以大大提高效率，缩短开发时间。Scrapy使用Python编写，轻量级的，简单轻巧，并且使用起来非常的方便。使用Scrapy可以很方便的完成网上数据的采集工作，它为我们完成了大量的工作，而不需要自己费大力气去开发。

image

下面我们来通过一个很简单的例子来介绍Scrapy框架的使用

我们要爬的网址是：搜读网： http://www.sodu.cc

我喜欢在这个网站看小说，里面的小说内容还是比较丰富的，推荐读者喜欢看小说的可以来看看。

因为只是简单介绍，所以我只准备抓取小说的标题。

好的，基本流程既然确定了，那接下来就一步一步的完成就可以了。

步骤一：创建一个工程和Spider模板

我们先用命令行创建一个Scrapy工程：

$ scrapy startproject soudu

接着，我们进入到工程目录：

$ cd soudu

我们来看一下目录结构：

tree# OUT:.├── soudu #外层目录│ ├── __init__.py #初始化脚本 │ ├── __pycache__ #Python缓存文件。暂时无视│ ├── items.py #Items代码模板，继承类自scrapy.Item│ ├── middlewares.py #Middlewares代码模板(继承类)│ ├── pipelines.py #Pipelines代码模板(继承类)│ ├── settings.py #Scrapy爬虫的配置文件│ └── spiders #Spiders代码模板目录 我们写爬虫的地方│ ├── __init__.py│ └── __pycache__└── scrapy.cfg #部署爬虫的配置文件

4 directories, 7 files

最后，我们用命令行创建第一个Spider：

$ scrapy genspider title www.sodu.cc

这样我们就创建了一个名为title的爬虫了。

我们来看看他长什么样，打开/spiders/title.py:

# -*- coding: utf-8 -*-import scrapyclass NewsSpider(scrapy.Spider): name='title' allowed_domains=['www.sodu.cc'] start_urls=['http://www.sodu.cc/'] def parse(self, response): pass

可以看到，Scrapy已经帮我们把爬虫的框架写好了，我们只要在这个框架的基础上进行进一步的定制就可以了。

步骤二：编写Spider 我们来着手定制我们的爬虫吧：

看一下详细的注释

# -*- coding: utf-8 -*-import scrapy# 将我们需要爬的项目引入进来from soudu.items import SouduItemclass DemoSpider(scrapy.Spider): #该爬虫的名字 name="title" #规定爬虫爬取网页的域名 allowed_domains=['www.sodu.cc'] #开始爬取的url链接 start_urls=['http://www.sodu.cc/'] def parse(self, response): ''' parse()函数接收Response参数，就是网页爬取后返回的数据 用于处理响应，他负责解析爬取的内容 生成解析结果的字典，并返回新的需要爬取的请求 ''' #由于是demo 我们不做完全的功能， #只要求爬取出第一部小说的名字 #xpath规则可以通过查看网页源文件得出，chrome右键检查定位到所要爬取的内容 name=response.xpath('//a[@onclick="getpage(this)"]/text()').extract()[0] #建立一个items字典，用于保存我们爬到的结果，并返回给pipline处理 items={} items['第一部小说名']=name return items

步骤三：编写Item Pipeline 首先我们编写itmes.py来定义这个爬虫框架需要爬哪些内容：

# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# https://doc.scrapy.org/en/latest/topics/items.htmlimport scrapyclass SouduItem(scrapy.Item): # define the fields for your item here like: # name=scrapy.Field() name=scrapy.Field()

接着我们编写 piplines.py来处理spider爬到的内容：

# -*- coding: utf-8 -*-# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.htmlclass ZimukuPipeline(object): def process_item(self, item, spider): # 因为是最简单的，所以我们把爬到的结果打印一下 print(item) return item

步骤四：优化配置Settings.py

# -*- coding: utf-8 -*-# Scrapy settings for soudu project## For simplicity, this file contains only settings considered important or# commonly used. You can find more settings consulting the documentation:## https://doc.scrapy.org/en/latest/topics/settings.html# https://doc.scrapy.org/en/latest/topics/downloader-middleware.html# https://doc.scrapy.org/en/latest/topics/spider-middleware.htmlBOT_NAME='soudu'SPIDER_MODULES=['soudu.spiders']NEWSPIDER_MODULE='soudu.spiders'# Crawl responsibly by identifying yourself (and your website) on the user-agent#USER_AGENT='soudu (+http://www.yourdomain.com)'# Obey robots.txt rulesROBOTSTXT_OBEY=True#只增加了这一行，通过配置告诉Scrapy明白是谁来处理结果ITEM_PIPELINES={ 'soudu.pipelines.SouduPipeline': 300,}

好了，这样一个爬虫就算完成了，那怎么获取爬到的结果呢？？？

首先我们通过命令来执行爬虫：

$ scrapy crawl title

让我们这个最最简单的爬虫跑起来。

来看一下结果：

我只截取部分我们需要的内容，其他的我且暂不写出了：

2018-08-03 19:31:53 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.sodu.cc/>{'第一部小说名': '圣墟'}

是不是可以看到我们需要找到的内容了？？？？

Scrapy框架的基本使用已经说完了，以后我会一步一步来讲解其他的例子！

本文就分享到这里，更多python学习可以关注我们哦！

注：python学习关注我们企鹅qun： 8393 83765 各类入门学习资料免费分享哦！

在线咨询

上一篇：七爪源码：如何使用 vanilla JS &
下一篇：css隐藏内容样式方法（自适应页面常用）

您的项目需求

*请认真填写需求信息，我们会在24小时内与您取得联系。

整合营销服务商

Python爬虫框架scrapy 爬取纵横网，小说免

您的项目需求