整合营销服务商

电脑端+手机端+微信端=数据同步管理

免费咨询热线:

python各类爬虫案例,爬到你手软!(附代码)

python各类爬虫案例,爬到你手软!(附代码)

编整理了一些爬虫的案例,代码都整理出来了~

先来看看有哪些项目呢:

  • python爬虫小工具(文件下载助手)
  • 爬虫实战(笔趣看小说下载)
  • 爬虫实战(VIP视频下载)
  • 爬虫实战(百度文库文章下载)
  • 爬虫实战(《帅啊》网帅哥图片下载)
  • 爬虫实战(构建代理IP池)
  • 爬虫实战(《火影忍者》漫画下载)
  • 爬虫实战(财务报表下载小助手)
  • 爬虫实战(抖音App视频下载)
  • 爬虫实战(GEETEST验证码破解)
  • 爬虫实战(12306抢票小助手)
  • 爬虫实战(百万英雄答题辅助系统)
  • 爬虫实战(网易云音乐批量下载)
  • 爬虫实战(B站视频和弹幕批量下载)
  • 爬虫实战(京东商品晒单图下载)
  • 爬虫实战(正方教务管理系统爬虫)

怎么样?是不是迫不及待的想自己动手试试了呢?

爬虫小工具

文件下载小助手

一个可以用于下载图片、视频、文件的小工具,有下载进度显示功能。稍加修改即可添加到自己的爬虫中。

代码展示:

爬虫实战

《笔趣看》盗版小说网站,爬取小说工具

第三方依赖库安装:

 pip3 install beautifulsoup4

使用方法:

 python biqukan.py

代码展示:

爱奇艺等主流视频网站的VIP视频破解助手(暂只支持PC和手机在线观看VIP视频!)

运行源码需要搭建Python3环境,并安装相应第三方依赖库:

 pip3 install -r requirements.txt

使用方法:

 python movie_downloader.py

运行环境:

 Windows, Python3
 
 Linux, Python3
 
 Mac, Python3

代码展示:

百度文库word文章爬取

代码不完善,没有进行打包,不具通用性,纯属娱乐,以后有时间会完善。

代码展示:

爬取《帅啊》网,帅哥图片

运行平台: Windows

Python版本: Python3.x

IDE: Sublime text3

为了也能够学习到新知识,本次爬虫教程使用requests第三方库,这个库可不是Python3内置的urllib.request库,而是一个强大的基于urllib3的第三方库。

代码展示:

构建代理IP池

代码展示:

使用Scrapy爬取《火影忍者》漫画

代码可以爬取整个《火影忍者》漫画所有章节的内容,保存到本地。更改地址,可以爬取其他漫画。保存地址可以在代码中修改。

代码展示:

《王者荣耀》推荐出装查询小助手

网页爬取已经会了,想过爬取手机APP里的内容吗?

代码展示:

财务报表下载小助手

爬取的数据存入数据库会吗?《跟股神巴菲特学习炒股之财务报表入库(MySQL)》也许能给你一些思路。

代码展示:

抖音App视频下载

抖音App的视频下载,就是普通的App爬取。

代码展示:

GEETEST验证码破解

爬虫最大的敌人之一是什么?没错,验证码!Geetest作为提供验证码服务的行家,市场占有率还是蛮高的。遇到Geetest提供的滑动验证码怎么破?授人予鱼不如授人予渔,接下来就为大家呈现本教程的精彩内容。

代码展示:

用Python抢火车票简单代码

可以自己慢慢丰富,蛮简单,有爬虫基础很好操作。

代码展示:

baiwan:百万英雄辅助答题

看了网上很多的教程都是通过OCR识别的,这种方法的优点在于通用性强。不同的答题活动都可以参加,但是缺点也明显,速度有限,并且如果通过调用第三方OCR,有次数限制。但是使用本教程提到的数据接口。我们能很容易的获取数据,速度快,但是接口是变化的,需要及时更新。

代码展示:

功能介绍:

服务器端,使用Python(baiwan.py)通过抓包获得的接口获取答题数据,解析之后通过百度知道搜索接口匹配答案,将最终匹配的结果写入文件(file.txt)。

Node.js(app.js)每隔1s读取一次file.txt文件,并将读取结果通过socket.io推送给客户端(index.html)。

亲测答题延时在3s左右。

声明:没做过后端和前端,花了一天时间,现学现卖弄好的,javascript也是现看现用,百度的程序,调试调试而已。可能有很多用法比较low的地方,用法不对,请勿见怪,有大牛感兴趣,可以自行完善。

Netease:根据歌单下载网易云音乐

功能介绍:

根据music_list.txt文件里的歌单的信息下载网易云音乐,将自己喜欢的音乐进行批量下载。

代码展示:

bilibili:B站视频和弹幕批量下载

下载B站视频和弹幕,将xml原生弹幕转换为ass弹幕文件,支持plotplayer等播放器的弹幕播放。

代码展示:

使用说明:

 python bilibili.py -d 猫 -k 猫 -p 10
 三个参数:
 -d	保存视频的文件夹名
 -k	B站搜索的关键字
 -p	下载搜索结果前多少页

京东商品晒单图下载

使用说明:

 python jd.py -k 芒果
 三个参数:
 -d	保存图片的路径,默认为fd.py文件所在文件夹
 -k	搜索关键词
 -n 	下载商品的晒单图个数,即n个商店的晒单图

代码展示:

对正方教务管理系统个人课表,学生成绩,绩点等简单爬取

依赖环境

  • python 3.6

python库

  • http请求:requests,urllib
  • 数据提取:re,lxml,bs4
  • 存储相关:os,sys
  • 验证码处理:PIL

下载安装

在终端输入如下命令:

git clone git@github.com:Jack-Cherish/python-spider.git

使用方法

安装依赖包

pip install -r requirements.txt

运行

在当前目录下输入:

cd zhengfang_system_spider
python spider.py

运行爬虫,按提示输入学校教务网,学号,密码,输入验证码

稍等几秒钟,当前ZhengFang_System_Spider文件夹下就会生成zhengfang.txt

个人课表,成绩绩点均已保存到该文本文件中

代码展示:

详细代码私信小编“芝麻开门”即可免费获取~

下是一些常用的HTML网页源代码示例,这些示例可用作HTML文档的基础:

1、创建一个简单的HTML文档结构:

<!DOCTYPE html>

<html lang="en">

<head>

<meta charset="UTF-8">

<meta name="viewport"content="width=device-width,initial-scale=1.0">

<title>My Web Page</title>

</head>

<body>

<h1>Hello,World!</h1>

<p>This is a simple HTML webpage.</p>

</body>

</html>

2、插入图片:

<img src="image.jpg"alt="Description of the image">

3、创建超链接:

<a href="https://www.example.com">Visit Example.com</a>

4、创建无序列表:

<ul>

<li>Item 1</li>

<li>Item 2</li>

<li>Item 3</li>

</ul>

5、创建有序列表:

<ol>

<li>First item</li>

<li>Second item</li>

<li>Third item</li>

</ol>

6、创建表格:

<table>

<tr>

<th>Header 1</th>

<th>Header 2</th>

</tr>

<tr>

<td>Row 1,Cell 1</td>

<td>Row 1,Cell 2</td>

</tr>

<tr>

<td>Row 2,Cell 1</td>

<td>Row 2,Cell 2</td>

</tr>

</table>

7、插入段落:

<p>This is a paragraph of text.</p>

8、插入换行符:

<p>This is some text.<br>This is on a new line.</p>

9、创建一个文本输入框:

<input type="text"name="username"placeholder="Enter your username">

10、插入按钮:

<button type="button">Click me</button>

这些示例代码只是HTML的基础,HTML具有更丰富的功能和标记选项,可以根据需要进行扩展和定制。请根据您的具体需求,使用这些示例作为起点,构建您自己的网页。

【名扬银河企业网站系统】

【免费】提供企业【网站源码】,简单易用,无须拥有代码基础。

欢迎留言或私信我们咨询。

以上内容由【名扬银河】企业网站系统原创发布,转载请注明出处。

众号【传智播客博学谷】回复关键词:前端 PS Java(100G) Python(80G) 大数据 区块链 测试 PPT JS(40g+300教程) HTML 简历 领取相关学习资料!

一、HTML

1、<image>标签上title属性与alt属性的区别是什么?

alt属性是为了给那些不能看到你文档中图像的浏览者提供文字说明的。且长度必须少于100个英文字符或者用户必须保证替换文字尽可能的短。

这包括那些使用本来就不支持图像显示或者图像显示被关闭的浏览器的用户,视觉障碍的用户和使用屏幕阅读器的用户等。

title属性为设置该属性的元素提供建议性的信息。使用title属性提供非本质的额外信息。参考《alt和title属性的区别及应用》

2、分别写出以下几个HTML标签:文字加粗、下标、居中、字体

加粗:<b>、<strong>

下标:<sub>

居中:<center>

字体:<font>、<basefont>、参考《HTML标签列表》

3、请写出至少5个html5新增的标签,并说明其语义和应用场景

section:定义文档中的一个章节

nav:定义只包含导航链接的章节

header:定义页面或章节的头部。它经常包含 logo、页面标题和导航性的目录。

footer:定义页面或章节的尾部。它经常包含版权信息、法律信息链接和反馈建议用的地址。

aside:定义和页面内容关联度较低的内容——如果被删除,剩下的内容仍然很合理。

参考《HTML5 标签列表》

4、请说说你对标签语义化的理解?

a. 去掉或者丢失样式的时候能够让页面呈现出清晰的结构

b. 有利于SEO:和搜索引擎建立良好沟通,有助于爬虫抓取更多的有效信息:爬虫依赖于标签来确定上下文和各个关键字的权重;

c. 方便其他设备解析(如屏幕阅读器、盲人阅读器、移动设备)以意义的方式来渲染网页;

d. 便于团队开发和维护,语义化更具可读性,遵循W3C标准的团队都遵循这个标准,可以减少差异化。

5、Doctype作用? 严格模式与混杂模式如何区分?它们有何意义?

声明位于文档中的最前面,处于 标签之前。告知浏览器以何种模式来渲染文档。

严格模式的排版和 JS 运作模式是,以该浏览器支持的最高标准运行。

在混杂模式中,页面以宽松的向后兼容的方式显示。模拟老式浏览器的行为以防止站点无法工作。

DOCTYPE不存在或格式不正确会导致文档以混杂模式呈现。

6、你知道多少种Doctype文档类型?

标签可声明三种 DTD 类型,分别表示严格版本、过渡版本以及基于框架的 HTML 文档。

HTML 4.01 规定了三种文档类型:Strict、Transitional 以及 Frameset。

XHTML 1.0 规定了三种 XML 文档类型:Strict、Transitional 以及 Frameset。

Standards (标准)模式(也就是严格呈现模式)用于呈现遵循最新标准的网页,

Quirks(包容)模式(也就是松散呈现模式或者兼容模式)用于呈现为传统浏览器而设计的网页。

7、HTML与XHTML——二者有什么区别

a. XHTML 元素必须被正确地嵌套。

b. XHTML 元素必须被关闭。

c. 标签名必须用小写字母。

d. XHTML 文档必须拥有根元素。

参考《XHTML 与 HTML 之间的差异》

8、html5有哪些新特性、移除了那些元素?

a. HTML5 现在已经不是 SGML 的子集,主要是关于图像,位置,存储,多任务等功能的增加。

b. 拖拽释放(Drag and drop) API

c. 语义化更好的内容标签(header,nav,footer,aside,article,section)

d. 音频、视频API(audio,video)

e. 画布(Canvas) API

f. 地理(Geolocation) API

g. 本地离线存储 localStorage 长期存储数据,浏览器关闭后数据不丢失

h. sessionStorage 的数据在页面会话结束时会被清除

i. 表单控件,calendar、date、time、email、url、search

j. 新的技术webworker, websocket等

移除的元素:

a. 纯表现的元素:basefont,big,center, s,strike,tt,u;

b. 对可用性产生负面影响的元素:frame,frameset,noframes;

9、iframe的优缺点?

优点:

a. 解决加载缓慢的第三方内容如图标和广告等的加载问题

b. iframe无刷新文件上传

c. iframe跨域通信

缺点:

a. iframe会阻塞主页面的Onload事件

b. 无法被一些搜索引擎索引到

c. 页面会增加服务器的http请求

d. 会产生很多页面,不容易管理。

参考《iframe的一些记录》

10、Quirks模式是什么?它和Standards模式有什么区别?

在写程序时我们也会经常遇到这样的问题,如何保证原来的接口不变,又提供更强大的功能,尤其是新功能不兼容旧功能时。IE6以前的页面大家都不会去写DTD,所以IE6就假定 如果写了DTD,就意味着这个页面将采用对CSS支持更好的布局,而如果没有,则采用兼容之前的布局方式。这就是Quirks模式(怪癖模式,诡异模式,怪异模式)。

区别:总体会有布局、样式解析和脚本执行三个方面的区别。

a. 盒模型:在W3C标准中,如果设置一个元素的宽度和高度,指的是元素内容的宽度和高度,而在Quirks 模式下,IE的宽度和高度还包含了padding和border。

b. 设置行内元素的高宽:在Standards模式下,给等行内元素设置wdith和height都不会生效,而在quirks模式下,则会生效。

c. 设置百分比的高度:在standards模式下,一个元素的高度是由其包含的内容来决定的,如果父元素没有设置百分比的高度,子元素设置一个百分比的高度是无效的用

d. 设置水平居中:使用margin:0 auto在standards模式下可以使元素水平居中,但在quirks模式下却会失效。

11、请阐述table的缺点

a. 太深的嵌套,比如table>tr>td>h3,会导致搜索引擎读取困难,而且,最直接的损失就是大大增加了冗余代码量。

b. 灵活性差,比如要将tr设置border等属性,是不行的,得通过td

c. 代码臃肿,当在table中套用table的时候,阅读代码会显得异常混乱

d. 混乱的colspan与rowspan,用来布局时,频繁使用他们会造成整个文档顺序混乱。

e. 不够语义

参考《为什么说table表格布局不好?》

12、简述一下src与href的区别

src用于替换当前元素;href用于在当前文档和引用资源之间确立联系。

src是source的缩写,指向外部资源的位置,指向的内容将会嵌入到文档中当前标签所在位置

href是Hypertext Reference的缩写,指向网络资源所在位置,建立和当前元素(锚点)或当前文档(链接)之间的链接

公众号【传智播客博学谷】回复关键词:前端 PS Java Python 大数据 区块链 测试 PPT JS HTML 简历 领取相关学习资料!