Servlet总结十四：转发与重定向

、跳转的方式

转发： forward
重定向： redirect

2、转发和重定向代码怎么完成

1、转发
//请求转发到/b对应的Servlet
request.getRequestDispatcher("/b").forward(request,response);

2、重定向
response.sendRedirect(request.getContextPath() + "/b");

3、转发和重定向的区别？

相同点：都可以完成资源的跳转
不同点：
转发是request对象触发的，服务器内部进行转发
重定向是response对象触发的，要将重定向的路径相应给浏览器
转发是一次请求，浏览器地址栏上地址不变
重定向是两次请求，浏览器地址栏上的地址发生变化
重定向路径需要加项目名（webapp跟路径web目录）
转发是在本项目内部完成资源的跳转
重定向可以完成跨app跳转，例如可以跳转到https://www.baidu.com

4、什么时候采用转发，什么时候采用重定向

1、大部分情况下都使用重定向
2、若想完成跨app跳转，必须采用重定向
若在上一个资源中向request范围中存储了数据，希望在下一个资源中从request范围中取出，必须使用转发
3、重定向可以解决浏览器的刷新问题

5、重定向解决页面刷新问题

HTML 使用超级链接与网络上的另一个文档相连。几乎可以在所有的网页中找到链接。点击链接可以从一张页面跳转到另一张页面。

HTML 链接

如何在HTML文档中创建链接。

(可以在本页底端找到更多实例)

HTML 超链接（链接）

HTML使用标签 <a>来设置超文本链接。

超链接可以是一个字，一个词，或者一组词，也可以是一幅图像，您可以点击这些内容来跳转到新的文档或者当前文档中的某个部分。

当您把鼠标指针移动到网页中的某个链接上时，箭头会变为一只小手。

在标签<a> 中使用了href属性来描述链接的地址。

默认情况下，链接将以以下形式出现在浏览器中：

一个未访问过的链接显示为蓝色字体并带有下划线。
访问过的链接显示为紫色并带有下划线。
点击链接时，链接显示为红色并带有下划线。

注意：如果为这些超链接设置了 CSS 样式，展示样式会根据 CSS 的设定而显示。

HTML 链接语法

链接的 HTML 代码很简单。它类似这样：:

href 属性描述了链接的目标。.

实例

<a href="http://www.runoob.com/">访问菜鸟教程</a>

上面这行代码显示为：: 访问菜鸟教程

点击这个超链接会把用户带到菜鸟教程的首页。

提示: "链接文本" 不必一定是文本。图片或其他 HTML 元素都可以成为链接。

HTML 链接 - target 属性

使用 target 属性，你可以定义被链接的文档在何处显示。

下面的这行会在新窗口打开文档：

实例

<ahref="http://www.runoob.com/"target="_blank">访问菜鸟教程!</a>

HTML 链接- id 属性

id属性可用于创建在一个HTML文档书签标记。

提示: 书签是不以任何特殊的方式显示，在HTML文档中是不显示的，所以对于读者来说是隐藏的。

实例

在HTML文档中插入ID:

<a id="tips">有用的提示部分</a>

在HTML文档中创建一个链接到"有用的提示部分(id="tips"）"：

<a href="#tips">访问有用的提示部分</a>

或者，从另一个页面创建一个链接到"有用的提示部分(id="tips"）"：

访问有用的提示部分</a>

基本的注意事项 - 有用的提示

注释： 请始终将正斜杠添加到子文件夹。假如这样书写链接：href="http://www.runoob.com/html"，就会向服务器产生两次 HTTP 请求。这是因为服务器会添加正斜杠到这个地址，然后创建一个新的请求，就像这样：href="http://www.runoob.com/html/"。

图片链接

如何使用图片链接。

在当前页面链接到指定位置

如何使用书签

跳出框架

本例演示如何跳出框架，假如你的页面被固定在框架之内。

创建电子邮件链接

本例演示如何如何链接到一个邮件。（本例在安装邮件客户端程序后才能工作。）

建电子邮件链接 2

本例演示更加复杂的邮件链接。

HTML 链接标签

标签	描述
<a>	定义一个超级链接

如您还有不明白的可以在下面与我留言或是与我探讨QQ群308855039，我们一起飞！

****声明：此实例仅用于学习 *****

1.网页重定向。

在分析房天下网站，不难发现每个网页有个重定向，比如：访问网页https://cd.esf.fang.com/chushou/3_211293494.htm会跳转至https://cd.esf.fang.com/chushou/3_211293494.htm?rfss=1-b71f212cbb874a451c-3a 这个网页，其实两个地址打开的是同一个网页

解决方法：在原网页源代码中找到重定向网址，request 新网址即可。

response=requests.get(url,headers = headers)

html=response.text

#网页重定向

pat=re.compile(r'<a class="btn-redir".*?href="(.*?)">点击跳转')

url=re.findall(pat,html)[0]

response=requests.get(url,headers = headers)

return response.text

2.bs4获取标签内容，部分代码

BeautifulSoup4是爬虫必学的技能。BeautifulSoup最主要的功能是从网页抓取数据，Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器，lxml 解析器更加强大，速度更快，推荐使用lxml 解析器。网上相关文章和介绍很多，不在此啰嗦。

temp_dict['房源']=soup.find('title').string

temp_dict['小区'] = soup.find('div',id="xq_message").get_text()

temp_dict['总价']=soup.find('div',class_="tab-cont-right").find('div',class_="trl-item price_esf sty1").get_text()

3.将数据保存在csv文件中。

我们将获取房源信息的数据保存在一个temp_dict字典中，然后我们定义一个函数传入一个列表（表头用）和字典数据，就可以将数据保存在CSV文件中啦。

def save_data_csv(keyword_list,dict_data):

if not os.path.exists('fang.csv'):

with open('fang.csv', "w", newline='', encoding='utf-8') as csvfile: # newline='' 去除空白行

writer = csv.DictWriter(csvfile, fieldnames=keyword_list) # 写字典的方法

writer.writeheader() # 写表头的方法

# 接下来追加写入内容

with open('fang.csv', "a", newline='', encoding='utf-8') as csvfile: # newline='' 一定要写，否则写入数据有空白行

writer = csv.DictWriter(csvfile, fieldnames=keyword_list)

writer.writerow(dict_data) # 按行写入数据

print("^_^ write success")

4.完整代码

感觉写的还是有点啰嗦。

import re,requests,time,os

from bs4 import BeautifulSoup

from lxml import etree

import json

import csv

def get_html(url):

headers={

'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36',

'cookie':'city=cd; __utma=147393320.989730142.1589024416.1589024416.1589024416.1; __utmc=147393320; __utmz=147393320.1589024416.1.1.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; __utmt_t0=1; __utmt_t1=1; __utmt_t2=1; global_cookie=9ekumblkqetgf7unt5iefiegk1nk9zk41by; logGuid=08b2183e-66fd-4851-8c49-20b9c55f4562; Integrateactivity=notincludemc; csrfToken=ZEhmg2XlXN8rivcJcEqBk4FO; budgetLayer=1%7Ccd%7C2020-05-09%2019%3A41%3A50; g_sourcepage=esf_fy%5Exq_pc; lastscanpage=0; __utmb=147393320.15.10.1589024416; unique_cookie=U_9ekumblkqetgf7unt5iefiegk1nk9zk41by*4',

'authority': 'cd.esf.fang.com',

'path': '/staticsearchlist/EsfListAjax/GetAIDaoGou?pagesize=5',

}

response=requests.get(url,headers = headers)

html=response.text

#网页重定向

pat=re.compile(r'<a class="btn-redir".*?href="(.*?)">点击跳转')

url=re.findall(pat,html)[0]

response=requests.get(url,headers = headers)

return response.text

#print(html)

def get_fang_url(html):

soup = etree.HTML(html)

urls = soup.xpath('//dd/h4[@class="clearfix"]/a/@href')

return urls

def save_data_csv(keyword_list,dict_data):

if not os.path.exists('fang.csv'):

with open('fang.csv', "w", newline='', encoding='utf-8') as csvfile: # newline='' 去除空白行

writer = csv.DictWriter(csvfile, fieldnames=keyword_list) # 写字典的方法

writer.writeheader() # 写表头的方法

# 接下来追加写入内容

with open('fang.csv', "a", newline='', encoding='utf-8') as csvfile: # newline='' 一定要写，否则写入数据有空白行

writer = csv.DictWriter(csvfile, fieldnames=keyword_list)

writer.writerow(dict_data) # 按行写入数据

print("^_^ write success")

def parse_page(url,html):

#去除网页html里面的换行，以便更好的获取数据

html = "".join(line.strip() for line in html.split("\n"))

#定义一个字典

temp_dict={}

soup=BeautifulSoup(html,'lxml')

#采集房源信息

temp_dict['房源']=soup.find('title').string

temp_dict['小区'] = soup.find('div',id="xq_message").get_text()

temp_dict['总价']=soup.find('div',class_="tab-cont-right").find('div',class_="trl-item price_esf sty1").get_text()

temp_dict['户型']=soup.find('div',class_="trl-item1 w146").find('div',class_="tt").get_text()

temp_dict['建筑面积'] = soup.find('div', class_="trl-item1 w182").find('div', class_="tt").get_text()

temp_dict['单价'] = soup.find('div', class_="trl-item1 w132").find('div', class_="tt").get_text()

temp_dict['详情页'] = url

temp_dict['经纪人'] = soup.find('a',id="kesfsfbxq_A01_03_03").get_text()

print(temp_dict)

keyword_list=['房源','小区','总价','户型','建筑面积','单价','详情页','经纪人']

save_data_csv(keyword_list,temp_dict)

#主函数

if __name__ == '__main__':

#构造网址序列

urls=['https://cd.esf.fang.com/house-a016749-b014906/i{}'.format(i) for i in range(1,101)]

for url in urls:

#获取单页数据

html = get_html(url)

#获取单页上房源的链接

new_urls = get_fang_url(html)

for url in new_urls:

new_url = 'https://cd.esf.fang.com' + url

#获取HTML

html = get_html(new_url)

#解析网页，保存数据

parse_page(new_url,html)

#防止被禁IP，每访问完一页，睡眠5秒

time.sleep(5)

5.获取数据截图

相应的数据就get到了。

在线咨询

上一篇：Bootstrap项目实训干货：设计注册页面
下一篇：HTML5表单自动验证

您的项目需求

*请认真填写需求信息，我们会在24小时内与您取得联系。

整合营销服务商

Servlet总结十四：转发与重定向

1.网页重定向 。

2.bs4获取标签内容，部分代码

3.将数据保存在csv文件中。

4.完整代码

5.获取数据截图

您的项目需求

1.网页重定向。