python-渗透测试之自定义请求头

自定义请求头
url='https://www.baidu.com'
user_agent={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:80.0) Gecko/20100101 Firefox/80.0'}
r=requests.get(url,headers=user_agent)
print(r)
print(r.request.headers)

控制台显示信息

<Response [200]>
{'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:80.0) Gecko/20100101 Firefox/80.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}<Response [200]>
{'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:80.0) Gecko/20100101 Firefox/80.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}

找到网站的请求头的方法
https://jingyan.baidu.com/article/19192ad852a74da43e570784.html

漏洞探测工具

#漏洞探测工具
url='http://192.168.1.5:80'
r=requests.options(url)
result=r.headers['Public']
print(type(result))
if result.find('HEAD')and result.find('POST'):
print(result)
print('exits iis put val')
else:
print("not exits")
print(r.headers)
print(r.headers['Allow'])

控制台输出显示

<class 'str'>
OPTIONS, TRACE, GET, HEAD, POST
exits iis put val
{'Allow': 'OPTIONS, TRACE, GET, HEAD, POST', 'Server': 'Microsoft-IIS/10.0', 'Public': 'OPTIONS, TRACE, GET, HEAD, POST', 'Date': 'Mon, 14 Sep 2020 13:40:58 GMT', 'Content-Length': '0'}
OPTIONS, TRACE, GET, HEAD, POST

服务器的中间件和日期时间

url='http://192.168.1.5:80'
r=requests.options(url)
result=r.headers['Public']
print(type(result))
r1=requests.get(url)
print(r.headers)
print("服务器的中间件为*"+r.headers['Server'])
print('服务器的日期为*'+r.headers['Date'])

控制台信息

<class 'str'>
{'Allow': 'OPTIONS, TRACE, GET, HEAD, POST', 'Server': 'Microsoft-IIS/10.0', 'Public': 'OPTIONS, TRACE, GET, HEAD, POST', 'Date': 'Mon, 14 Sep 2020 13:49:08 GMT', 'Content-Length': '0'}
服务器的中间件为*Microsoft-IIS/10.0
服务器的日期为*Mon, 14 Sep 2020 13:49:08 GMT

家好，我是前端西瓜哥。

今天带大家学习一些 HTTP 常见的头字段，谈谈它们的作用，并附带一些实际使用场景。

常见的请求头字段

客户端发送到服务端的 HTTP 请求，这个数据包称为请求报文。其中的头字段，就是请求头字段。

Accept

客户端希望获得资源的类型。

下面是我们打开一个链接时，浏览器默认带上的 Accept：

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9

类似 text/html 则是 MIME 类型，接在后面的 q 代表的是优先级，q 的范围通常在 0 到 1，越大优先级越高。

如果是通过 img 标签发起的请求，Accept 为：

Accept: image/avif,image/webp,image/apng,image/svg+xml,image/*,*/*;q=0.8

服务端可以从中得知浏览器支持高压缩比的 webp 图片格式，可以考虑返回 webp 格式资源，来提高用户加载资源速度。

Accept-Encoding

客户端支持的压缩算法。

Accept-Encoding: gzip, deflate, br

服务端可以根据它来使用压缩算法来压缩资源，降低带宽，让用户能更快加载资源。

使用广泛的老牌压缩算法是 gzip，压缩效率最好的是 br。

Accept-Language

客户端支持的语言。

我在浏览器语言设置中做了以下设置：

浏览器发起的请求就会带上这 3 种语言，并根据顺序设置优先级：

Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,en-US;q=0.7

服务端可以通过这个字段来做 国际化，根据用户设置的语言来返回不同国家文案内容。

Host

当前请求的域名。

Host: nginx.org

服务端可以根据这个字段来做 反向代理。

假设 blog.fstars.com 和 static.fstars.com 都指向一个 IP 下的服务器，服务端就可以通过这个字段来识别返回对应的服务：blog.fstars.com 拿到的是博客网站，而static.fstars.com 则是拿到静态图片资源。

比如 Nginx 的反向代理可以这样写：

server {
    # 博客页面
    server_name  blog.fstars.wang;
    location / {
        proxy_pass   http://localhost:3000;
    }
}
server {
    # 图片等资源
    server_name  static.fstars.wang;
    location / {
        root   /www/static/;
    }
}

Connection

客户端是否希望使用 TCP 长连接。

Connection: keep-alive

TCP 的连接要三次握手，断开要四次挥手。如果我们的请求很频繁，TCP 连接后发完一个请求就断开，实在有点浪费资源。所以 HTTP 加入了 Connection 头字段，来指定 TCP 的长时间连接。

keep-alive 表示长连接；close 表示短连接。

User-Agent

用户代理。该字段标注了发送方的一些信息，你可以通过它来知道请求方是浏览器、爬虫、postman 还是 cURL。

我使用苹果笔记本打开 Chrome 浏览器，它的 User-Agent 是这样的。

User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36

再比如使用 cURL 命令行工具发出的请求：

User-Agent: curl/7.77.0

User-Agent 可以轻易伪造，并不完全可信，只是作为参考。

一种使用方式是通过 User-Agent 中是否带有 Mobile 之类的信息，来判断客户端是否为移动设备，做一个 302 重定向到另一个移动端适配域名下，比如从 xxx.com 跳转到 m.xxx.com。或者反过来，从移动端页面跳转到普通页面布局。

如果你用电脑浏览器打开 m.bilibili.com，那 bilibili 就会给你来个 302 重定向到 www.bilibili.com。

常见的响应头字段

服务端响应客户端的请求报文，会返回响应报文，响应报文的头字段，就是所谓的响应头字段。

Content-Type

服务端返回的资源类型，可以带上使用的编码格式。

访问普通的 HTML 网页：

Content-Type: text/html; charset=utf-8

text/html 代表资源为 HTML，charset=utf-8 表示使用了 UTF-8 编码。客户端就可以根据这些信息进行展示。

Content-Encoding

返回资源使用的压缩格式。

Content-Encoding: gzip

使用的压缩算法是从请求头 Accept-Encoding 中选一个出来的，返回的资源是被对应的资源压缩过的。

关于启用 gzip 压缩，可以看看我的这篇文章：《前端性能优化：启用 gzip》

Content-Length

HTTP 消息体的长度。

Content-Length: 2103

Date

HTTP 响应报文生成的时间，使用了 GMT 格式。

Date: Wed, 10 Aug 2022 13:16:58 GMT

Connection

服务端决定使用长连接还是短连接。

Connection: keep-alive

Server

使用了哪种服务器。

比如使用了 Nginx：

Server: nginx/1.21.5

因为 Server 会暴露服务器使用的技术栈，容易被黑客针对性攻击。可以考虑去掉这个字段，或者给一个没有带有技术细节的值。比如 github 的做法：

Server: GitHub.com

HTTP 缓存相关

HTTP 缓存相关的头字段不适合单独一个个介绍，所以都放这里吧。

请求头：

Cache-Control
Pragma
If-Modified-Since
If-None-Match

响应头：

Last-Modified
ETag

这些字段需要配合 HTTP 的 强缓存 和 协商缓存 进行讲解，请移步阅读我之前的写的一篇文章：

《HTTP 缓存策略：强缓存和协商缓存》

CORS 相关

因为浏览器的同源策略，一般情况下发送 Ajax 请求给另一个域名下的 url 会失败。

为了解决这个问题，需要使用浏览器特有的 CORS （跨源资源共享）相关头字段，来实现跨域请求。

这里涉及的头字段：

Access-Control-Request- 前缀的请求头
Access-Control-Allow-前缀的响应头

具体看我这篇文章：《浏览器跨域请求的机制：CORS》

Cookies 相关

涉及到两个头字段：

Cookie
Set-Cookie

《面试官：Cookies 的属性有哪些？》

结尾

HTTP 的常见头字段很多，这里简单介绍了一些，希望能对你了解 HTTP 规范有所帮助。

我是前端西瓜哥，欢迎关注我，学习更多前端知识。

TTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。

HTTP是一个基于TCP/IP通信协议来传递数据（HTML 文件, 图片文件, 查询结果等）。

HTTP 响应头信息

HTTP请求头提供了关于请求，响应或者其他的发送实体的信息。

在本章节中我们将具体来介绍HTTP响应头信息。

Allow	
服务器支持哪些请求方法（如GET、POST等）。
Content-Encoding	
文档的编码（Encode）方法。只有在解码之后才可以得到Content-Type头指定的内容类型。利用gzip压缩文档能够显著地减少HTML文档的下载时间。Java的GZIPOutputStream可以很方便地进行gzip压缩，但只有Unix上的Netscape和Windows上的IE 4、IE 5才支持它。因此，Servlet应该通过查看Accept-Encoding头（即request.getHeader("Accept-Encoding")）检查浏览器是否支持gzip，为支持gzip的浏览器返回经gzip压缩的HTML页面，为其他浏览器返回普通页面。
Content-Length	
表示内容长度。只有当浏览器使用持久HTTP连接时才需要这个数据。如果你想要利用持久连接的优势，可以把输出文档写入 ByteArrayOutputStream，完成后查看其大小，然后把该值放入Content-Length头，最后通过byteArrayStream.writeTo(response.getOutputStream()发送内容。
Content-Type	
表示后面的文档属于什么MIME类型。Servlet默认为text/plain，但通常需要显式地指定为text/html。由于经常要设置Content-Type，因此HttpServletResponse提供了一个专用的方法setContentType。

Date	
当前的GMT时间。你可以用setDateHeader来设置这个头以避免转换时间格式的麻烦。

Expires	
应该在什么时候认为文档已经过期，从而不再缓存它？
Last-Modified	
文档的最后改动时间。客户可以通过If-Modified-Since请求头提供一个日期，该请求将被视为一个条件GET，只有改动时间迟于指定时间的文档才会返回，否则返回一个304（Not Modified）状态。Last-Modified也可用setDateHeader方法来设置。

Location	
表示客户应当到哪里去提取文档。Location通常不是直接设置的，而是通过HttpServletResponse的sendRedirect方法，该方法同时设置状态代码为302。

Refresh	
表示浏览器应该在多少时间之后刷新文档，以秒计。除了刷新当前文档之外，你还可以通过setHeader("Refresh", "5; URL=http://host/path")让浏览器读取指定的页面。 
注意这种功能通常是通过设置HTML页面HEAD区的＜META HTTP-EQUIV="Refresh" CONTENT="5;URL=http://host/path"＞实现，这是因为，自动刷新或重定向对于那些不能使用CGI或Servlet的HTML编写者十分重要。但是，对于Servlet来说，直接设置Refresh头更加方便。 

注意Refresh的意义是"N秒之后刷新本页面或访问指定页面"，而不是"每隔N秒刷新本页面或访问指定页面"。因此，连续刷新要求每次都发送一个Refresh头，而发送204状态代码则可以阻止浏览器继续刷新，不管是使用Refresh头还是＜META HTTP-EQUIV="Refresh" ...＞。 
注意Refresh头不属于HTTP 1.1正式规范的一部分，而是一个扩展，但Netscape和IE都支持它。
Server	
服务器名字。Servlet一般不设置这个值，而是由Web服务器自己设置。

Set-Cookie	
设置和页面关联的Cookie。Servlet不应使用response.setHeader("Set-Cookie", ...)，而是应使用HttpServletResponse提供的专用方法addCookie。参见下文有关Cookie设置的讨论。

WWW-Authenticate	
客户应该在Authorization头中提供什么类型的授权信息？在包含401（Unauthorized）状态行的应答中这个头是必需的。例如，response.setHeader("WWW-Authenticate", "BASIC realm=＼"executives＼"")。 
注意Servlet一般不进行这方面的处理，而是让Web服务器的专门机制来控制受密码保护页面的访问（例如.htaccess）。

本文转自：https://www.linuxprobe.com/http-response-headers.html

在线咨询

上一篇：「ES6」聊聊ES6新增特性-解构赋值
下一篇：GeneXus如何对富文本编辑器（FCK Html

您的项目需求

*请认真填写需求信息，我们会在24小时内与您取得联系。

整合营销服务商

python-渗透测试之自定义请求头

常见的请求头字段

Accept

Accept-Encoding

Accept-Language

Host

Connection

User-Agent

常见的响应头字段

Content-Type

Content-Encoding

Content-Length

Date

Connection

Server

HTTP 缓存相关

CORS 相关

Cookies 相关

结尾

您的项目需求