：程序员私房菜

首先，糗事百科大家都听说过吧？糗友们发的搞笑的段子一抓一大把，这次我们尝试一下用爬虫把他们抓取下来。

友情提示

糗事百科在前一段时间进行了改版，导致之前的代码没法用了，会导致无法输出和CPU占用过高的情况，是因为正则表达式没有匹配到的缘故。现在，博主已经对程序进行了重新修改，代码亲测可用，包括截图和说明，之前一直在忙所以没有及时更新，望大家海涵！糗事百科又又又又改版了，博主已经没心再去一次次匹配它了，如果大家遇到长时间运行不出结果也不报错的情况，请大家参考最新的评论，热心小伙伴提供的正则来修改下吧～

本篇目标

1.抓取糗事百科热门段子2.过滤带有图片的段子3.实现每按一次回车显示一个段子的发布时间，发布人，段子内容，点赞数。

糗事百科是不需要登录的，所以也没必要用到Cookie，另外糗事百科有的段子是附图的，我们把图抓下来图片不便于显示，那么我们就尝试过滤掉有图的段子吧。

好，现在我们尝试抓取一下糗事百科的热门段子吧，每按下一次回车我们显示一个段子。

1.确定URL并抓取页面代码

首先我们确定好页面的URL是 http://www.qiushibaike.com/hot/page/1，其中最后一个数字1代表页数，我们可以传入不同的值来获得某一页的段子内容。

我们初步构建如下的代码来打印页面代码内容试试看，先构造最基本的页面抓取方式，看看会不会成功

# -*- coding:utf-8 -*-
import urllib
import urllib2
 
 
page=1
url='http://www.qiushibaike.com/hot/page/' + str(page)
try:
 request=urllib2.Request(url)
 response=urllib2.urlopen(request)
 print response.read()
except urllib2.URLError, e:
 if hasattr(e,"code"):
 print e.code
 if hasattr(e,"reason"):
 print e.reason

运行程序，哦不，它竟然报错了，真是时运不济，命途多舛啊

line 373, in _read_status
 raise BadStatusLine(line)
httplib.BadStatusLine: ''

好吧，应该是headers验证的问题，我们加上一个headers验证试试看吧，将代码修改如下

# -*- coding:utf-8 -*-
import urllib
import urllib2
page=1
url='http://www.qiushibaike.com/hot/page/' + str(page)
user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers={ 'User-Agent' : user_agent }
try:
 request=urllib2.Request(url,headers=headers)
 response=urllib2.urlopen(request)
 print response.read()
except urllib2.URLError, e:
 if hasattr(e,"code"):
 print e.code
 if hasattr(e,"reason"):
 print e.reason

嘿嘿，这次运行终于正常了，打印出了第一页的HTML代码，大家可以运行下代码试试看。在这里运行结果太长就不贴了。

2.提取某一页的所有段子

好，获取了HTML代码之后，我们开始分析怎样获取某一页的所有段子。

首先我们审查元素看一下，按浏览器的F12，截图如下

我们可以看到，每一个段子都是<div class=”article block untagged mb15″ id=”…”>…</div>包裹的内容。

现在我们想获取发布人，发布日期，段子内容，以及点赞的个数。不过另外注意的是，段子有些是带图片的，如果我们想在控制台显示图片是不现实的，所以我们直接把带有图片的段子给它剔除掉，只保存仅含文本的段子。

所以我们加入如下正则表达式来匹配一下，用到的方法是 re.findall 是找寻所有匹配的内容。方法的用法详情可以看前面说的正则表达式的介绍。

好，我们的正则表达式匹配语句书写如下，在原来的基础上追加如下代码

content=response.read().decode('utf-8')
pattern=re.compile('<div.*?author">.*?<a.*?<img.*?>(.*?)</a>.*?<div.*?'+
 'content">(.*?)<!--(.*?)-->.*?</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)
items=re.findall(pattern,content)
for item in items:
 print item[0],item[1],item[2],item[3],item[4]

现在正则表达式在这里稍作说明

1）.*? 是一个固定的搭配，.和*代表可以匹配任意无限多个字符，加上？表示使用非贪婪模式进行匹配，也就是我们会尽可能短地做匹配，以后我们还会大量用到 .*? 的搭配。

2）(.*?)代表一个分组，在这个正则表达式中我们匹配了五个分组，在后面的遍历item中，item[0]就代表第一个(.*?)所指代的内容，item[1]就代表第二个(.*?)所指代的内容，以此类推。

3）re.S 标志代表在匹配时为点任意匹配模式，点 . 也可以代表换行符。

这样我们就获取了发布人，发布时间，发布内容，附加图片以及点赞数。

在这里注意一下，我们要获取的内容如果是带有图片，直接输出出来比较繁琐，所以这里我们只获取不带图片的段子就好了。

所以，在这里我们就需要对带图片的段子进行过滤。

我们可以发现，带有图片的段子会带有类似下面的代码，而不带图片的则没有，所以，我们的正则表达式的item[3]就是获取了下面的内容，如果不带图片，item[3]获取的内容便是空。

<div class="thumb">
<a href="/article/112061287?list=hot&s=4794990" target="_blank">
<img src="http://pic.qiushibaike.com/system/pictures/11206/112061287/medium/app112061287.jpg" alt="但他们依然乐观">
</a>
</div>

所以我们只需要判断item[3]中是否含有img标签就可以了。

好，我们再把上述代码中的for循环改为下面的样子

for item in items:
 haveImg=re.search("img",item[3])
 if not haveImg:
 print item[0],item[1],item[2],item[4]

现在，整体的代码如下

# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
page=1
url='http://www.qiushibaike.com/hot/page/' + str(page)
user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers={ 'User-Agent' : user_agent }
try:
 request=urllib2.Request(url,headers=headers)
 response=urllib2.urlopen(request)
 content=response.read().decode('utf-8')
 pattern=re.compile('<div.*?author">.*?<a.*?<img.*?>(.*?)</a>.*?<div.*?'+
 'content">(.*?)<!--(.*?)-->.*?</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)
 items=re.findall(pattern,content)
 for item in items:
 haveImg=re.search("img",item[3])
 if not haveImg:
 print item[0],item[1],item[2],item[4]
except urllib2.URLError, e:
 if hasattr(e,"code"):
 print e.code
 if hasattr(e,"reason"):
 print e.reason

运行一下看下效果

恩，带有图片的段子已经被剔除啦。是不是很开森？

3.完善交互，设计面向对象模式

好啦，现在最核心的部分我们已经完成啦，剩下的就是修一下边边角角的东西，我们想达到的目的是：

按下回车，读取一个段子，显示出段子的发布人，发布日期，内容以及点赞个数。

另外我们需要设计面向对象模式，引入类和方法，将代码做一下优化和封装，最后，我们的代码如下所示

__author__='CQC'
# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
import thread
import time
#糗事百科爬虫类
class QSBK:
 #初始化方法，定义一些变量
 def __init__(self):
 self.pageIndex=1
 self.user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
 #初始化headers
 self.headers={ 'User-Agent' : self.user_agent }
 #存放段子的变量，每一个元素是每一页的段子们
 self.stories=[]
 #存放程序是否继续运行的变量
 self.enable=False
 #传入某一页的索引获得页面代码
 def getPage(self,pageIndex):
 try:
 url='http://www.qiushibaike.com/hot/page/' + str(pageIndex)
 #构建请求的request
 request=urllib2.Request(url,headers=self.headers)
 #利用urlopen获取页面代码
 response=urllib2.urlopen(request)
 #将页面转化为UTF-8编码
 pageCode=response.read().decode('utf-8')
 return pageCode
 except urllib2.URLError, e:
 if hasattr(e,"reason"):
 print u"连接糗事百科失败,错误原因",e.reason
 return None
 #传入某一页代码，返回本页不带图片的段子列表
 def getPageItems(self,pageIndex):
 pageCode=self.getPage(pageIndex)
 if not pageCode:
 print "页面加载失败...."
 return None
 pattern=re.compile('<div.*?author">.*?<a.*?<img.*?>(.*?)</a>.*?<div.*?'+
 'content">(.*?)<!--(.*?)-->.*?</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)
 items=re.findall(pattern,pageCode)
 #用来存储每页的段子们
 pageStories=[]
 #遍历正则表达式匹配的信息
 for item in items:
 #是否含有图片
 haveImg=re.search("img",item[3])
 #如果不含有图片，把它加入list中
 if not haveImg:
 replaceBR=re.compile('<br/>')
 text=re.sub(replaceBR,"\n",item[1])
 #item[0]是一个段子的发布者，item[1]是内容，item[2]是发布时间,item[4]是点赞数
 pageStories.append([item[0].strip(),text.strip(),item[2].strip(),item[4].strip()])
 return pageStories
 #加载并提取页面的内容，加入到列表中
 def loadPage(self):
 #如果当前未看的页数少于2页，则加载新一页
 if self.enable==True:
 if len(self.stories) < 2:
 #获取新一页
 pageStories=self.getPageItems(self.pageIndex)
 #将该页的段子存放到全局list中
 if pageStories:
 self.stories.append(pageStories)
 #获取完之后页码索引加一，表示下次读取下一页
 self.pageIndex +=1
 
 #调用该方法，每次敲回车打印输出一个段子
 def getOneStory(self,pageStories,page):
 #遍历一页的段子
 for story in pageStories:
 #等待用户输入
 input=raw_input()
 #每当输入回车一次，判断一下是否要加载新页面
 self.loadPage()
 #如果输入Q则程序结束
 if input=="Q":
 self.enable=False
 return
 print u"第%d页\t发布人:%s\t发布时间:%s\t赞:%s\n%s" %(page,story[0],story[2],story[3],story[1])
 
 #开始方法
 def start(self):
 print u"正在读取糗事百科,按回车查看新段子，Q退出"
 #使变量为True，程序可以正常运行
 self.enable=True
 #先加载一页内容
 self.loadPage()
 #局部变量，控制当前读到了第几页
 nowPage=0
 while self.enable:
 if len(self.stories)>0:
 #从全局list中获取一页的段子
 pageStories=self.stories[0]
 #当前读到的页数加一
 nowPage +=1
 #将全局list中第一个元素删除，因为已经取出
 del self.stories[0]
 #输出该页的段子
 self.getOneStory(pageStories,nowPage)
spider=QSBK()
spider.start()

好啦，大家来测试一下吧，点一下回车会输出一个段子，包括发布人，发布时间，段子内容以及点赞数，是不是感觉爽爆了！

最后，我自己是一名从事了多年开发的Python老程序员，辞职目前在做自己的Python私人定制课程，今年年初我花了一个月整理了一份最适合2019年学习的Python学习干货，可以送给每一位喜欢Python的小伙伴，想要获取的可以关注我的头条号并在后台私信我：01，即可免费获取。

收集了很多编程语录，基本上都跟程序员的生活有关。这些语录涉及软件开发，代码维护，调试纠错，软件bug，系统设计、文档，代码质量，测试和软件开发团队管理等方面。下面的这59条语录虽然很搞笑，但却真实无比。只有程序员才能理解这些编程语句里的真正内涵。闲言少叙，开始吧…

程序员编程语录

1. 一个好的程序员是那种过单行线马路都要往两边看的人。(Doug Linder)

2. 程序有问题时不要担心。如果所有东西都没问题，你就失业了。(软件工程的Mosher定律)

3. 程序员的麻烦在于，你无法弄清他在捣腾什么，当你最终弄明白时，也许已经晚了。(超级计算机之父Seymour Cray)

4. 我想大部分人都知道通常一个程序员会具有的美德。当然了，有三种：懒惰，暴躁，傲慢。(Perl语言发明者Larry Wall)

5. 编程时要保持这种心态：就好像将来要维护你这些代码的人是一位残暴的精神病患者，而且他知道你住在哪。(Martin Golding)

6. 一个人写的烂软件将会给另一个人带来一份全职工作。(Jessica Gaston)

7. 如果建筑工人像程序员写软件那样盖房子，那第一只飞来的啄木鸟就能毁掉人类文明。(Gerald Weinberg)

8. 这世界最有可能毁灭的方式——大多数专家都同意——是次意外。这就是为什么会有我们，我们是计算机专家，我们创造意外。(Nathaniel Borenstein)

9. 我们这个行业有个特别奇怪的现象：不仅我们不从失败里吸取教训，同时也不从成功中学习经验。 (Keith Braithwaite)

10. 一种新技术一旦开始流行，你要么坐上压路机，要么成为铺路石。(Stewart Brand)

11. 如果没能一次成功，那就叫它1.0版吧。(unknown)

12. 所有的程序员都是编剧，所有的计算机都是烂演员。(Anonymous Hack Actor)

13. 工作进度上越早落后，你就会有越充足的时间赶上。(Anonymous Scheduler)

14. 当有这样的一种编程语言出现：它能让程序员用简单的英语编程，你将会发现，程序员都开始不会说英语。(Anonymous Linguist)

15. 为什么我们没有时间把事情做对，却总有时间把事情做过头？(Anonymous)

16. 傻瓜都能写出计算机能理解的程序。优秀的程序员写出的是人类能读懂的代码。

17. 任何你写的代码，超过6个月不去看它，当你再看时，都像是别人写的。(Eagleson’s law)

编程/软件开发语录

1. 按代码行数来评估软件开发的进度，就如同按重量来评估飞机建造的进度。(比尔-盖茨)

2. 软件就像做爱。一次犯错，你需要用余下一生来维护支持。(Michael Sinz)

3. 在水上行走和按需求文档开发软件都很容易——前提是它们都是冻结状态。(Edward V Berard)

4. 最初90%的代码用去了最初90%的开发时间…余下10%的代码用去了另外90%的开发时间。(Tom Cargill)

5. 注释代码很像清洁你的厕所——你不想干，但如果你做了，这绝对会给你和你的客人带来更愉悦的体验。(Ryan Campbell)

6. 如今的编程是一场程序员和上帝的竞赛，程序员要开发出更大更好、傻瓜都会用到软件。而上帝在努力创造出更大更傻的傻瓜。目前为止，上帝是赢的。(Rick Cook)

7. 软件设计最困难的部分…是阻挡新功能的引入。(Donald Norman)

8. 为了理解递归，我们首先要理解的是递归。(Anonymous)

9. 世上只有两类编程语言：那些拥有被人诟病的和那些没人用的。(Bjarne Stroustrup)

10. The best thing about a boolean is even if you are wrong, you are only off by a bit. (Anonymous)

11. 如果Java能实现真的垃圾回收，那大部分的程序都会在执行时删除自己。(Robert Swell)

12. 理论上，理论和实践是没有差异的。但实践中，是有的。(Jan L. A. van de Snepscheut)

13. 预备，开火，瞄准：这是最快的软件开发方法。预备，瞄准，瞄准，瞄准，瞄准：这是最慢的软件开发方法。(Anonymous)

14. 编程是10%的科学，20%天份，和70%的让这天份符合科学。(Anonymous)

15. 评估一个事情要比去理解你评估了什么容易。(Anonymous)

16. 测评不会撒谎，但测评的人会。(Anonymous)

17. 培养员工，即使他们有跳槽的风险。什么都不做而留他们在公司，这样风险更大。(Anonymous)

18. 计算机科学的目标是做出一个东西，并且保证它至少能坚持到我们将它开发完成。(Anonymous)

19. Java之于JavaScript如同Car之于Carpet。 (Chris Heilmann)

20. 起初就把事情做对是完全没必要的。但最后要把事情做对是绝对必要的。(Andrew Hunt and David Thomas)

21. 数组的起始索引应该从0开始还是从1开始？我的0.5的折中提议被他们未经认真考虑到拒绝了——我认为是这样的。(Stan Kelly-Bootle)

22. 程序必须是为了给人看而写，给机器去执行只是附带任务。 (Abelson / Sussman)

23. 编程可以很有趣，你可以用它做密码学研究，但两者绝对不能合二为一。(Kreitzberg and Shneiderman)

24. 拷贝-粘贴是一种设计错误。(David Parnas)

25. 计算机善于遵循指令，但不善于理解你的思维。(Donald Knuth)

软件纠错语录

1. 删除的代码是没有bug的代码。(Jeff Sickel)

2. 如果纠错是消除软件bug的过程，那编程一定是把它们放进去的过程。(Edsger Dijkstra)

3. 代码纠错要比新编写代码困难一倍。因为，如果你写出了最聪明的代码，按此推算，你将没有更大的智慧来debug它。

4. 想在自己的代码里找出一个错误是十分困难的。而当你认为你的代码没有错误时，那就更难了。(Steve McConnel)

软件bug语录

1. 这不是个bug——这一个未注明的功能特征。(Anonymous)

2. 没有需求或设计，编程就是一种将bug添加到一个空文本文件里的艺术。(Louis Srygley)

3. 烂代码并不烂，只是被误解了。(Anonymous Code Behaviorist)

4. 有两种方法能写出没有错误的程序；但只有第三种好用。(Alan J. Perlis)

5. 小心上面代码中的bug；我只知道这些代码是正确的，但没有试过。(Donald Knuth)

软件产品/成品语录

1. 软件能够复用前，它必须要可用。(Ralph Johnson)

2. 软件通常在beta测试完成不久后发布。Beta在拉丁语中是“还不能用”的意思。(Anonymous)

3. 最好的性能改进是将软件从不能用的状态变成可用。(J. Osterhout)

4. 最廉价、最快速、最可信赖的组件是那些还未出现的组件。(Gordon Bell)

5. I think Microsoft named .Net so it wouldn’t show up in a Unix directory listing. (Oktal)

6. 软件和教堂非常相似——建成之后我们就在祈祷。(Sam Redwine)

7. 除非最后一个用户死掉，软件是不会有完工的时候的。(Anonymous)

8. 如今的大部分软件都非常像埃及金字塔，由成千上万的石块一个摞一个构成，没有结构上的集成，是由暴力强制和成千上万的奴隶完成。(Alan Kay)

“我自己是一名从事了多年开发的Python老程序员，辞职目前在做自己的Python私人定制课程，今年年初我花了一个月整理了一份最适合2019年学习的Python学习干货，从最基础的到各种框架都有整理，送给每一位喜欢Python小伙伴，想要获取的可以转发文章并关注我的头条号。在后台私信我：01，即可免费获取。"