用三种方式对网页信息进行提取

• XPath语法和lxml模块
• BeautifulSoup4
• 正则表达式

豆瓣电影

#coding=utf-8
import requests
from lxml import etree

url='https://movie.douban.com/cinema/nowplaying/nanjing/'
headers={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                  'Chrome/83.0.4090.0 Safari/537.36 Edg/83.0.467.0 ',
    'Referer': 'https://movie.douban.com/'
}
response=requests.get(url, headers=headers)
html=response.text

htmlElement=etree.HTML(html)
ul=htmlElement.xpath("//ul[@class='lists']")[0]

movies=[]
lis=ul.xpath('./li')
for li in lis:
    title=li.xpath('@data-title')[0]
    director=li.xpath('@data-director')[0]
    actors=li.xpath('@data-actors')[0]
    thumbnail=li.xpath('.//img/@src')[0]

    movie={
        'title': title,
        'director': director,
        'actors': actors,
        'thumbnail': thumbnail
    }
    movies.append(movie)

print(movies)

output:[{'title': '奇妙王国之魔法奇缘', 'director': '陈设', 'actors': '卢瑶 / 张洋 / 陈新玥', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2577837112.jpg'}, {'title': '大红包', 'director': '李克龙', 'actors': '包贝尔 / 李成敏 / 贾冰', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2581346773.jpg'}, {'title': '金禅降魔', 'director': '彭发 王凯 程中豪', 'actors': '释小龙 / 胡军 / 姚星彤', 'thumbnail': 'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2564190636.jpg'}, {'title': '82号古宅', 'director': '袁杰', 'actors': '葛天 / 扈天翼 / 黄心娣', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2586838530.jpg'}, {'title': '亲亲哒', 'director': '马雍', 'actors': '马良博一 / 卢小路 / 尹恒', 'thumbnail': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2579189777.jpg'}, {'title': '六月的秘密', 'director': '王暘', 'actors': '郭富城 / 苗苗 / 吴建飞', 'thumbnail': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2522497098.jpg'}, {'title': '秘密访客', 'director': '陈正道', 'actors': '郭富城 / 段奕宏 / 张子枫', 'thumbnail': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2579398648.jpg'}, {'title': '无名狂', 'director': '李云波', 'actors': '张晓晨 / 隋咏良 / 上白', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2574800433.jpg'}, {'title': '刺杀小说家', 'director': '路阳', 'actors': '雷佳音 / 杨幂 / 董子健', 'thumbnail': 'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2580314674.jpg'}]

拉钩网职位信息

#coding=utf-8
import requests
from lxml import etree

url='https://www.lagou.com/zhaopin/PHP/?labelWords=label'
headers={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                  'Chrome/83.0.4090.0 Safari/537.36 Edg/83.0.467.0 ',
    'Referer': 'https://www.lagou.com/'
}
response=requests.get(url, headers=headers)
html=response.text

htmlElement=etree.HTML(html)
ul=htmlElement.xpath("//ul[@class='item_con_list']")[1]

jobs=[]
lis=ul.xpath('./li')
for li in lis:
    position=li.xpath('@data-positionname')[0]
    company=li.xpath('@data-company')[0]
    salary=li.xpath('@data-salary')[0]
    website=li.xpath(".//a/@href")[0]
    education=li.xpath(".//div[@class='li_b_l']//text()")[3]

    job={
        'position': position,
        'company': company,
        'salary': salary,
        'website': website,
        'education': education
    }
    jobs.append(job)

print(jobs)

output:[{'position': '高级PHP开发工程师', 'company': '广州微用科技', 'salary': '10k-18k', 'website': 'https://www.lagou.com/jobs/6813986.html?show=0d9c9879671444a5926680abc20322be', 'education': '经验3-5年 / 大专\n '}, {'position': '高级PHP开发工程师', 'company': '互爱（北京）科技股份有限公司', 'salary': '25k-40k', 'website': 'https://www.lagou.com/jobs/6585859.html?show=0d9c9879671444a5926680abc20322be', 'education': '经验3-5年 / 不限\n '}, {'position': 'php开发工程师', 'company': '金山云', 'salary': '20k-40k', 'website': 'https://www.lagou.com/jobs/6871122.html?show=0d9c9879671444a5926680abc20322be', 'education': '经验5-10年 / 不限\n '}, {'position': 'php开发工程师', 'company': '央视频融媒体', 'salary': '12k-20k', 'website': 'https://www.lagou.com/jobs/6873952.html?show=0d9c9879671444a5926680abc20322be', 'education': '经验5-10年 / 本科\n '}, {'position': 'php开发工程师', 'company': '顺丰同城科技', 'salary': '20k-40k', 'website': 'https://www.lagou.com/jobs/5788250.html?show=0d9c9879671444a5926680abc20322be', 'education': '经验1-3年 / 本科\n '}, {'position': 'php开发工程师', 'company': '红布林', 'salary': '15k-30k', 'website': 'https://www.lagou.com/jobs/6963665.html?show=0d9c9879671444a5926680abc20322be', 'education': '经验3-5年 / 本科\n '}, {'position': 'php开发工程师', 'company': '吉城美家', 'salary': '7k-14k', 'website': 'https://www.lagou.com/jobs/5553859.html?show=0d9c9879671444a5926680abc20322be', 'education': '经验3-5年 / 本科\n '}, {'position': 'php开发工程师', 'company': '有咖互动', 'salary': '10k-15k', 'website': 'https://www.lagou.com/jobs/6959578.html?show=0d9c9879671444a5926680abc20322be', 'education': '经验1-3年 / 本科\n '}, {'position': 'php开发工程师', 'company': '微拍堂', 'salary': '20k-30k', 'website': 'https://www.lagou.com/jobs/6972670.html?show=0d9c9879671444a5926680abc20322be', 'education': '经验3-5年 / 本科\n '}, {'position': 'PHP开发工程师', 'company': '广州市搜游网络科技', 'salary': '20k-40k', 'website': 'https://www.lagou.com/jobs/6959547.html?show=0d9c9879671444a5926680abc20322be', 'education': '经验3-5年 / 大专\n '}, {'position': 'PHP高级开发工程师', 'company': '广州市搜游网络科技', 'salary': '25k-45k', 'website': 'https://www.lagou.com/jobs/6943052.html?show=0d9c9879671444a5926680abc20322be', 'education': '经验3-5年 / 大专\n '}, {'position': 'PHP高级开发工程师', 'company': '明源云', 'salary': '15k-25k', 'website': 'https://www.lagou.com/jobs/4619045.html?show=0d9c9879671444a5926680abc20322be', 'education': '经验3-5年 / 本科\n '}, {'position': 'PHP开发工程师', 'company': '微通', 'salary': '8k-16k', 'website': 'https://www.lagou.com/jobs/501604.html?show=0d9c9879671444a5926680abc20322be', 'education': '经验不限 / 不限\n '}, {'position': 'php开发工程师', 'company': '掌阅', 'salary': '15k-25k', 'website': 'https://www.lagou.com/jobs/6237409.html?show=0d9c9879671444a5926680abc20322be', 'education': '经验3-5年 / 本科\n '}, {'position': 'php开发工程师', 'company': '经传多赢', 'salary': '10k-18k', 'website': 'https://www.lagou.com/jobs/6820316.html?show=0d9c9879671444a5926680abc20322be', 'education': '经验1-3年 / 本科\n '}]

中国天气网

# coding=utf-8
import requests
from bs4 import BeautifulSoup
from pyecharts.charts import Bar
from pyecharts import options as opts
from pyecharts.globals import ThemeType

Temp=[]
def parsePages(url):
    headers={
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/83.0.4090.0 Safari/537.36 Edg/83.0.467.0 '
    }
    response=requests.get(url, headers=headers)
    text=response.content.decode('utf-8')
    # soup=BeautifulSoup(text, 'lxml')
    soup=BeautifulSoup(text, 'html5lib')
    conMidtab=soup.find('div', attrs={'class': 'conMidtab'})
    tables=conMidtab.find_all('table')
    for table in tables:
        trs=table.find_all('tr')[2:]
        for index, tr in enumerate(trs):
            infors=list(tr.stripped_strings)
            city=infors[1] if index==0 else infors[0]
            minTemp=infors[-2]
            Temp.append({'city': city, 'minTemp': int(minTemp)})

def main():
    urls=['hb', 'db', 'hd', 'hz', 'hn', 'xn', 'xb', 'gat']
    for url in urls:
        url=f'http://www.weather.com.cn/textFC/{url}.shtml'
        parsePages(url)

    Temp.sort(key=lambda data:data['minTemp'])
    data=Temp[:10]
    cities=list(map(lambda x: x['city'], data))
    minTemp=list(map(lambda x:x['minTemp'], data))
    chart=Bar(init_opts=opts.InitOpts(theme=ThemeType.LIGHT, page_title='中国最低气温排行榜'))
    chart.add_xaxis(cities)
    chart.add_yaxis('最低气温', minTemp)
    chart.render()

if __name__=='__main__':
    main()

古诗文网

# coding=utf-8
import requests
import re

def parsePages(url):
    headers={
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/83.0.4090.0 Safari/537.36 Edg/83.0.467.0 '
    }
    response=requests.get(url, headers=headers)
    text=response.text
    rTitles=re.compile(r'<div class="cont">.*?<b>(.*?)</b>', re.S)
    rDynasties=re.compile(r'<div class="cont">.*?<p class="source"><a.*?>(.*?)</a>', re.S)
    rAuthors=re.compile(r'<div class="cont">.*?<p class="source"><a.*?>.*?<a.*?>(.*?)</a>', re.S)
    rContsons=re.compile(r'<div class="cont">.*?<div class="contson".*?>(.*?)</div>', re.S)
    titles=re.findall(rTitles, text)
    dynasties=re.findall(rDynasties, text)
    authors=re.findall(rAuthors, text)
    contsons=re.findall(rContsons, text)
    contents=[]
    for contson in contsons:
        x=re.sub(r'<.*?>', '', contson)
        contents.append(x)

    poems=[]
    for title, dynasty, author, content in zip(titles, dynasties, authors, contents):
        poems.append({
            'title': title,
            'dynasty': dynasty,
            'author': author,
            'content': content
        })

    print(poems)

def main():
    url='https://www.gushiwen.org/default_1.aspx'
    parsePages(url)

if __name__=='__main__':
    main()

[{'title': '满江红·夜雨凉甚忽动从戎之兴', 'dynasty': '宋代', 'author': '刘克庄', 'content': '\n金甲雕戈，记当日、辕门初立。磨盾鼻、一挥千纸，龙蛇犹湿。铁马晓嘶营壁冷，楼船夜渡风涛急。有谁怜、猿臂故将军，无功级。平戎策，从军什。零落尽，慵收拾。把茶经香传，时时温习。生怕客谈榆塞事，且教儿诵花间集。叹臣之壮也不如人，今何及。\n'}, {'title': '阮郎归·绍兴乙卯大雪行鄱阳道中', 'dynasty': '宋代', 'author': '向子諲', 'content': '\n江南江北雪漫漫，遥知易水寒。同云深处望三关，断肠山又山。天可老，海能翻，消除此恨难。频闻遣使问平安，几时鸾辂还？\n'}, {'title': '碧瓦', 'dynasty': '宋代', 'author': '范成大', 'content': '\n碧瓦楼头绣幙遮，赤栏桥外绿溪斜。无风杨柳漫天絮，不雨棠梨满地花。\n'}, {'title': '减字浣溪沙·秋水斜阳演漾金', 'dynasty': '宋代', 'author': '贺铸', 'content': '\n秋水斜阳演漾金，远山隐隐隔平林。几家村落几声砧。记得西楼凝醉眼，昔年风物似如今。只无人与共登临。\n'}, {'title': '次韵公实雷雨', 'dynasty': '宋代', 'author': '洪炎', 'content': '\n惊雷势欲拔三山，急雨声如倒百川。但作奇寒侵客梦，若为一震静胡烟。田园荆棘漫流水，河洛腥膻今几年。拟叩九关笺帝所，人非大手笔非椽。\n'}, {'title': '浣溪沙·雨歇梧桐泪乍收', 'dynasty': '清代', 'author': '纳兰性德', 'content': '\n雨歇梧桐泪乍收，遣怀翻自忆从头。摘花销恨旧风流。帘影碧桃人已去，屧痕苍藓径空留。两眉何处月如钩？\n'}, {'title': '交趾怀古', 'dynasty': '清代', 'author': '曹雪芹', 'content': '\n铜铸金镛振纪纲，声传海外播戎羌。马援自是功劳大，铁笛无烦说子房。\n'}, {'title': '野老', 'dynasty': '唐代', 'author': '杜甫', 'content': '\n野老篱前江岸回，柴门不正逐江开。渔人网集澄潭下，贾客船随返照来。长路关心悲剑阁，片云何意傍琴台。王师未报收东郡，城阙秋生画角哀。\n'}, {'title': '碧城三首', 'dynasty': '唐代', 'author': '李商隐', 'content': '\n碧城十二曲阑干，犀辟尘埃玉辟寒。阆苑有书多附鹤，女床无树不栖鸾。星沉海底当窗见，雨过河源隔座看。若是晓珠明又定，一生长对水晶盘。\n对影闻声已可怜，玉池荷叶正田田。不逢萧史休回首，莫见洪崖又拍肩。紫凤放娇衔楚佩，赤鳞狂舞拨湘弦。鄂君怅望舟中夜，绣被焚香独自眠。\n七夕来时先有期，洞房帘箔至今垂。玉轮顾兔初生魄，铁网珊瑚未有枝。检与神方教驻景，收将凤纸写相思。武皇内传分明在，莫道人间总不知。\n'}, {'title': '水龙吟·听兮清佩琼瑶些', 'dynasty': '宋代', 'author': '辛弃疾', 'content': '\n用“些语”再题瓢泉，歌以饮客，声韵甚谐，客皆为之釂。\n听兮清佩琼瑶些。明兮镜秋毫些。君无去此，流昏涨腻，生蓬蒿些。虎豹甘人，渴而饮汝，宁猿猱些。大而流江海，覆舟如芥，君无助、狂涛些。路险兮山高些。块予独处无聊些。冬槽春盎，归来为我，制松醪些。其外芳芬，团龙片凤，煮云膏些。古人兮既往，嗟予之乐，乐箪瓢些。\n'}]

年此时，

都是艺考生最为紧张的时刻，

他们辛苦准备了一年，

终于要进行报名，去参加校考。

而在艺考生的背后，

几乎都能看到陪考家长忙碌的身影，

他们跟着孩子一起在几个城市间辗转，

“考试是孩子一生中非常重要的时刻，

作为家长，

要成为孩子坚实的后盾。”

——相信这就是父母的心愿。

近日

一段陪考妈妈在机场崩溃痛哭的视频

在网络上流传开来

视频中

这位妈妈说自己的孩子要去参加

浙江传媒学院的艺考二试

但是郑州机场因为大雾袭扰

造成航班大面积延误或取消

最终导致耽误了孩子的考试安排

看到视频

不少参加过艺考的学生

感同身受

网友评论：

@2019金灿灿：可能只有经历过艺考的学生才会这么有感触，看着视频里的妈妈控制不住的眼泪就下来了。

@没有故事要讲_：艺考每天行程安排的特别满，每天在不同的学校不同的城市奔波，机票是提前订的，行程时间也提前安排好了，由于天气原因机场两次取消航班误了时间，这个真不怨家长。

@Superdry_98：2017年我也有一次差点赶不上，如果能换交通工具就别犹豫了，愿所有学子都不被辜负。

@向左向右xc：女儿昨夜飞机从北京到杭州，开始一直担心怕下雪取消航班，女儿凌晨安全降落，做家长的心总算安稳下来，今天看到这个视频难过要命。

就当大家都在为

这个考生感到惋惜的时候

浙江传媒学院2月16日晚上进行了回应

得知此信息后，经我校研究，由于雨雪天气不可抗因素导致航班延误，未能按时赶到我校考试的考生，提供机票证明，允许在明天（即今天2月17日）下午正常考试结束前，给予安排考试！

祝奔波在考试路上的考生们

都能取得一个好成绩！

来源丨齐鲁晚报、河南都市频道、新浪微博（版权归原作者所有，如有侵权请联系删除）

编辑丨杨倩云