equests库

Requests :唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。

发送get请求

直接调用requests.get

import requests

response = requests.get('https://www.baidu.com')

response的属性

import requests

params = {'wd': 'python'}
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4090.0 Safari/537.36 Edg/83.0.467.0'}
# params: 接受一个字典或者字符串的查询参数，字典类型自动转换为url编码，不需要urlencode()
response = requests.get('https://www.baidu.com', params=params, headers=headers)
# 查看响应内容，response.text返回的是Unicode格式的数据
print(response.text)
# 查看响应内容，response.content返回的是字节流数据
print(response.content.decode('utf-8'))
# 查看完整url地址
print(response.url)
# 查看响应头部字符编码
print(response.encoding)
# 查看响应码
print(response.status_code)

response.text和response.content的区别

• response.content:直接从网络上面抓取的数据，没有经过任何解码，所以是bytes类型（硬盘上和网络上传输的字符串都是bytes类型）
• response.text:将response.content进行解码的字符串，数据类型为str,解码需要指定一个编码方式，requests会根据自己的猜测来判断编码的方式，所以有时会猜测错误，就会导致解码产生乱码。这时候应该使用response.content.decode('utf-8')进行手动解码

发送POST请求

直接调用requests.post，如果返回的是json数据，可以调用response.json()来将json字符串转为字典或列表

下面是爬取拉勾网的一个示例，记得请求头添加Cookie，才能成功爬取到

import requests

data = {'first': 'true',
        'pn': '1',
        'kd': 'python'}
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                         'Chrome/83.0.4090.0 Safari/537.36 Edg/83.0.467.0',
           'Referer': 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=',
           'Cookie': 'user_trace_token=20200331183800-0c1f510a-ae9a-4f04-b70d-e17f9edec031; '
                     'LGUID=20200331183800-b8eca414-b7b2-479d-8100-71fff41d8087; _ga=GA1.2.17010052.1585651081; '
                     'index_location_city=%E5%85%A8%E5%9B%BD; lagou_utm_source=B; _gid=GA1.2.807051168.1585805257; '
                     'sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%22171302b7caa67e-0dedc0121b2532-255e0c45'
                     '-2073600-171302b7cabb9c%22%2C%22%24device_id%22%3A%22171302b7caa67e-0dedc0121b2532-255e0c45'
                     '-2073600-171302b7cabb9c%22%2C%22props%22%3A%7B%22%24latest_traffic_source_type%22%3A%22%E7%9B'
                     '%B4%E6%8E%A5%E6%B5%81%E9%87%8F%22%2C%22%24latest_referrer%22%3A%22%22%2C%22'
                     '%24latest_referrer_host%22%3A%22%22%2C%22%24latest_search_keyword%22%3A%22%E6%9C%AA%E5%8F%96%E5'
                     '%88%B0%E5%80%BC_%E7%9B%B4%E6%8E%A5%E6%89%93%E5%BC%80%22%7D%7D; '
                     'JSESSIONID=ABAAABAABFIAAAC7D7CECCAFCFFA1FCBF3CB10D8EA6A189; '
                     'WEBTJ-ID=20200403095906-1713dc35e58a75-0b564b9cba1732-23580c45-2073600-1713dc35e598e; PRE_UTM=; '
                     'PRE_HOST=; PRE_LAND=https%3A%2F%2Fwww.lagou.com%2F; '
                     'LGSID=20200403095905-8201da05-4bb8-4e93-97bf-724ea6f758af; '
                     'PRE_SITE=https%3A%2F%2Fwww.lagou.com; _gat=1; '
                     'Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1585651082,1585879146; TG-TRACK-CODE=index_search; '
                     'X_HTTP_TOKEN=0b356dc3463713117419785851e40fa7a09468f3f0; '
                     'Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1585879149; '
                     'LGRID=20200403095908-4f1711b9-3e7e-4d54-a400-20c76b57f327; '
                     'SEARCH_ID=b875e8b91a764d63a2dc98d822ca1f85'}
response = requests.post('https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false',
                         headers=headers,
                         data=data)
print(response.json())

使用代理ip

这里在基础中已经讲到过，使用requests只需要两行代码，非常方便

import requests

proxy = {'http': '59.44.78.30:54069'}
response = requests.get('http://httpbin.org/ip', proxies=proxy)
print(response.text)

cookie

使用session在多次请求中共享cookie，可以发现相比使用urllib代码变得特别简洁

import requests

headers = {'User-Agent': ''}
data = {'email': '',
        'password': ''}
login_url = 'http://www.renren.com/PLogin.do'
profile_url = 'http://www.renren.com/880151247/profile'
session = requests.Session()
session.post(login_url, data=data, headers=headers)
response = session.get(profile_url)
with open('renren.html', 'w', encoding='utf-8') as f:
    f.write(response.text)

处理不信任的SSL证书

对于那些没有被信任的SSL证书的网站，可以在requests.get和requests.post中设置参数verify=False来进行访问

XPath语法和lxml模块

XPath

xpath(XML Path Language)是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行访问。

XPath开发工具

• Chrome插件XPath Helper
• Firefox插件Xpath Checker

XPath语法

XPath使用路径表达式来选取XML文档中的节点或者节点集，这些路径表达式和我们在常规的电脑文件系统中的表示式非常类似。

谓语

谓语用来查找某个特定的节点或者包含某个指定节点的值的节点，被嵌在方括号中。

通配符

选取多个路径

通过在路径表达式中使用|运算符，可以选取若干个路径

//bookstore/book | //book/title
# 选取多个book元素以及book元素下的title元素

运算符

注意事项

1. /和//的区别，/代表只获取直接子节点，//代表获取子孙节点。
2. contains:有时候某个属性中包含了多个值，那么可以使用contains函数

//div[contains(@class, 'job_detail')]

3.谓词中的下标从1开始。

lxml库

lxml是一个HTML/XML的解析器，主要功能是如何解析和提取HTML/XML数据。

基本使用

1，解析html字符串：使用lxml.etree.HTML进行解析

from lxml import etree
htmlElement = etree.HTML(text)
print(etree.tostring(htmlElement, encoding='utf-8').decode('utf-8'))

2，解析html文件：使用lxml.etree.parse进行解析

htmlElement = etree.parse('tencent.xml')
print(etree.tostring(htmlElement, encoding='utf-8').decode('utf-8'))

这个函数默认使用XML解析器，所以如果碰到不规范的HTML代码的时候就会解析错误，这时候要创建HTML解析器

parser = etree.HTMLParser(encoding='utf-8')
htmlElement = etree.parse('tencent.xml', parser=parser)
print(etree.tostring(htmlElement, encoding='utf-8').decode('utf-8'))

XPath和lxml结合使用

1. 使用xpath语法，应该使用Element.xpath方法，xpath返回列表。
2. 获取标签属性
3. 获取文本使用xpath中的text()函数
4. 如果想在某个标签下，再执行xpath，获取这个标签下的子孙元素，那么应该在斜杠之前加点，代表在当前元素下获取。

from lxml import etree

parser = etree.HTMLParser(encoding='utf-8')
html = etree.parse('tencent.html', parser=parser)

获取所有tr标签

trs = html.xpath('//tr')
for tr in trs:
    print(etree.tostring(tr, encoding='utf-8').decode('utf-8'))

获取第2个tr标签

tr = html.xpath('//tr[2]')[0]
print(etree.tostring(tr, encoding='utf-8').decode('utf-8'))

获取所有class等于even的tr标签

trs = html.xpath("//tr[@class='even']")
for tr in trs:
    print(etree.tostring(tr, encoding='utf-8').decode('utf-8'))

获取所有a标签的href属性

aList = html.xpath('//a/@href')
for a in aList:
    print('http://hr.tencent.com/' + a)

获取所有职位信息

注我——个人公众号：后端技术漫谈

我目前是一名后端开发工程师。主要关注后端开发，数据安全，网络爬虫，物联网，边缘计算等方向。

原创博客主要内容

• Java知识点复习全手册
• Leetcode算法题解析
• 剑指offer算法题解析
• SpringCloud菜鸟入门实战系列
• SpringBoot菜鸟入门实战系列
• Python爬虫相关技术文章
• 后端开发相关技术文章

image

前言

最近做了一个python3作业题目，涉及到：

• 网页爬虫
• 网页中文文字提取
• 建立文字索引
• 关键词搜索

涉及到的库有：

• 爬虫库：requests
• 解析库：xpath
• 正则：re
• 分词库：jieba
• …

放出代码方便大家快速参考，实现一个小demo。

题目描述

搜索引擎的设计与实现

1. 输入:腾讯体育的页面链接,以列表的方式作为输入,数量不定,例如:

["http://fiba.qq.com/a/20190420/001968.htm",
"http://sports.qq.com/a/20190424/000181.htm",
"http://sports.qq.com/a/20190423/007933.htm",
"http://new.qq.com/omn/SPO2019042400075107"]

2. 过程:网络爬虫,页面分析、中文提取分析、建立索引,要求应用教材中的第三方库,中间过程在内存中完成,输出该过程的运行时间;
3. 检索:提示输入一个关键词进行检索;
4. 输出:输入的链接列表的按照关键词的出现频率由高到低排序输出,并以JSON格式输出词频信息等辅助信息;未出现关键词的文档链接不输出,最后输出检索时间,例如:

1 "http:xxxxxx.htm" 3
2 "https:xxxx.htm" 2
3 "https:xxxxx.htm" 1

代码

代码实现的主要步骤是：

• 网页爬虫：crawler函数
• 网页文本元素清洗：清理掉多余的英文字符和标签，bs4_page_clean函数
• 用正则提取中文：re_chinese函数
• 使用dict保存每个网页的中文字和词，做索引：jieba_create_index函数
• 输入关键词进行搜索：search函数

import requests
from bs4 import BeautifulSoup
import json
import re
import jieba
import time

USER_AGENT = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) '
 'Chrome/20.0.1092.0 Safari/536.6'}
URL_TIMEOUT = 10
SLEEP_TIME = 2

# dict_result格式：{"1":
# {"url": "xxxxx", "word": {"word1": x, "word2": x, "word3": x}}
# "2":
# {"url": "xxxxx", "word": {"word1": x, "word2": x, "word3": x}}
# }
dict_result = {}

# dict_search格式：[
# [url, count]
# [url, count]
# ]
list_search_result = []


def crawler(list_URL):
 for i, url in enumerate(list_URL):
 print("网页爬取:", url, "...")
 page = requests.get(url, headers=USER_AGENT, timeout=URL_TIMEOUT)
 page.encoding = page.apparent_encoding # 防止编码解析错误
 result_clean_page = bs4_page_clean(page)
 result_chinese = re_chinese(result_clean_page)
 # print("网页中文内容：", result_chinese)
 dict_result[i + 1] = {"url": url, "word": jieba_create_index(result_chinese)}
 print("爬虫休眠中...")
 time.sleep(SLEEP_TIME)


def bs4_page_clean(page):
 print("正则表达式：清除网页标签等无关信息...")
 soup = BeautifulSoup(page.text, "html.parser")
 [script.extract() for script in soup.findAll('script')]
 [style.extract() for style in soup.findAll('style')]
 reg1 = re.compile("<[^>]*>")
 content = reg1.sub('', soup.prettify())
 return str(content)


def re_chinese(content):
 print("正则表达式：提取中文...")
 pattern = re.compile(u'[\u1100-\uFFFD]+?')
 result = pattern.findall(content)
 return ''.join(result)


def jieba_create_index(string):
 list_word = jieba.lcut_for_search(string)
 dict_word_temp = {}
 for word in list_word:
 if word in dict_word_temp:
 dict_word_temp[word] += 1
 else:
 dict_word_temp[word] = 1
 return dict_word_temp


def search(string):
 for k, v in dict_result.items():
 if string in v["word"]:
 list_search_result.append([v["url"], v["word"][string]])
 # 使用词频对列表进行排序
 list_search_result.sort(key=lambda x: x[1], reverse=True)

if __name__ == "__main__":

 list_URL_sport = input("请输入网址列表：")
 list_URL_sport = list_URL_sport.split(",")
 print(list_URL_sport)
 # 删除输入的网页双引号
 for i in range(len(list_URL_sport)):
 list_URL_sport[i] = list_URL_sport[i][1:-1]
 print(list_URL_sport)
 # list_URL_sport = ["http://fiba.qq.com/a/20190420/001968.htm",
 # "http://sports.qq.com/a/20190424/000181.htm",
 # "http://sports.qq.com/a/20190423/007933.htm",
 # "http://new.qq.com/omn/SPO2019042400075107"]
 time_start_crawler = time.time()
 crawler(list_URL_sport)
 time_end_crawler = time.time()
 print("网页爬取和分析时间：", time_end_crawler - time_start_crawler)
 word = input("请输入查询的关键词：")
 time_start_search = time.time()
 search(word)
 time_end_search = time.time()
 print("检索时间：", time_end_search - time_start_search)
 for i, row in enumerate(list_search_result):
 print(i+1, row[0], row[1])
 print("词频信息：")
 print(json.dumps(dict_result, ensure_ascii=False))

运行结果

image

关注我

我目前是一名后端开发工程师。主要关注后端开发，数据安全，网络爬虫，物联网，边缘计算等方向。

微信：yangzd1102

Github：@qqxx6661

个人博客：

• CSDN：@Rude3Knife
• 知乎：@Zhendong
• 简书：@蛮三刀把刀
• 掘金：@蛮三刀把刀

原创博客主要内容

• Java知识点复习全手册
• Leetcode算法题解析
• 剑指offer算法题解析
• SpringCloud菜鸟入门实战系列
• SpringBoot菜鸟入门实战系列
• Python爬虫相关技术文章
• 后端开发相关技术文章

个人公众号：后端技术漫谈

如果文章对你有帮助，不妨收藏起来并转发给您的朋友们~

a) 减少 JavaScript 加载对 DOM 渲染的影响（将 JavaScript 代码的加载逻辑放在 HTML 文件的尾部，减少对渲染引擎呈现工作的影响；
b) 避免重排，减少重绘（避免白屏，或者交互过程中的卡顿；
c) 减少 DOM 的层级（可以减少渲染引擎工作过程中的计算量；
d) 使用 requestAnimationFrame 来实现视觉变化（一般来说我们会使用 setTimeout 或 setInterval 来执行动画之类的视觉变化，但这种做法的问题是，回调将在帧中的某个时点运行，可能刚好在末尾，而这可能经常会使我们丢失帧，导致卡顿）