使用Spring MVC开发Web系统时,经常需要在处理请求时使用request对象,比如获取客户端IP地址、请求的URL、header中的属性(如cookie、授权信息)、body中的数据等。由于在Spring MVC中,处理请求的Controller、Service等对象都是单例的,因此获取request对象时最需要注意的问题,便是request对象是否是线程安全的:当有大量并发请求时,能否保证不同请求/线程中使用不同的request对象。
这里还有一个问题需要注意:前面所说的“在处理请求时”使用request对象,究竟是在哪里使用呢?考虑到获取request对象的方法有微小的不同,大体可以分为两类:
1、在Spring的Bean中使用request对象:既包括Controller、Service、Repository等MVC的Bean,也包括了Component等普通的Spring Bean。为了方便说明,后文中Spring中的Bean一律简称为Bean。
2、在非Bean中使用request对象:如普通的Java对象的方法中使用,或在类的静态方法中使用。
此外,本文讨论是围绕代表请求的request对象展开的,但所用方法同样适用于response对象、InputStream/Reader、OutputStream/ Writer等;其中InputStream/Reader可以读取请求中的数据,OutputStream/Writer可以向响应写入数据。
最后,获取request对象的方法与Spring及MVC的版本也有关系;本文基于Spring4进行讨论,且所做的实验都是使用4.1.1版本。
二、如何测试线程安全性
既然request对象的线程安全问题需要特别关注,为了便于后面的讨论,下面先说明如何测试request对象是否是线程安全的。
测试的基本思路,是模拟客户端大量并发请求,然后在服务器判断这些请求是否使用了相同的request对象。
判断request对象是否相同,最直观的方式是打印出request对象的地址,如果相同则说明使用了相同的对象。然而,在几乎所有web服务器的实现中,都使用了线程池,这样就导致先后到达的两个请求,可能由同一个线程处理:在前一个请求处理完成后,线程池收回该线程,并将该线程重新分配给了后面的请求。而在同一线程中,使用的request对象很可能是同一个(地址相同,属性不同)。因此即便是对于线程安全的方法,不同的请求使用的request对象地址也可能相同。
为了避免这个问题,一种方法是在请求处理过程中使线程休眠几秒,这样可以让每个线程工作的时间足够长,从而避免同一个线程分配给不同的请求;另一种方法,是使用request的其他属性(如参数、header、body等)作为request是否线程安全的依据,因为即便不同的请求先后使用了同一个线程(request对象地址也相同),只要使用不同的属性分别构造了两次request对象,那么request对象的使用就是线程安全的。本文使用第二种方法进行测试。
客户端测试代码如下(创建1000个线程分别发送请求):
服务器中Controller代码如下(暂时省略了获取Request对象的代码):
如果request对象线程安全,服务器中打印结果如下所示:
如果存在线程安全问题,服务器中打印结果可能如下所示:
如无特殊说明,本文后面的代码中将省略掉测试代码。
三、方法1:Controller中加参数
1、代码示例
这种方法实现最简单,直接上Controller代码:
该方法实现的原理是,在Controller方法开始处理请求时,Spring会将request对象赋值到方法参数中。除了request对象,可以通过这种方法获取的参数还有很多,具体可以参见:https://docs.spring.io/spring/docs/current/spring-framework-reference/web.html#mvc-ann-methods
Controller中获取request对象后,如果要在其他方法中(如service方法、工具类方法等)使用request对象,需要在调用这些方法时将request对象作为参数传入。
2、线程安全性
测试结果:线程安全
分析:此时request对象是方法参数,相当于局部变量,毫无疑问是线程安全的。线程安全的 Map 可以点此查看这篇文章。
3、优缺点
这种方法的主要缺点是request对象写起来冗余太多,主要体现在两点:
(1)如果多个controller方法中都需要request对象,那么在每个方法中都需要添加一遍request参数
(2) request对象的获取只能从controller开始,如果使用request对象的地方在函数调用层级比较深的地方,那么整个调用链上的所有方法都需要添加request参数
实际上,在整个请求处理的过程中,request对象是贯穿始终的;也就是说,除了定时器等特殊情况,request对象相当于线程内部的一个全局变量。而该方法,相当于将这个全局变量,传来传去.
者:编程迷思https://www.cnblogs.com/kismetv/p/8757260.htmlJava架构师做了编排
概述
在使用Spring MVC开发Web系统时,经常需要在处理请求时使用request对象,比如获取客户端ip地址、请求的url、header中的属性(如cookie、授权信息)、body中的数据等。由于在Spring MVC中,处理请求的Controller、Service等对象都是单例的,因此获取request对象时最需要注意的问题,便是request对象是否是线程安全的:当有大量并发请求时,能否保证不同请求/线程中使用不同的request对象。
这里还有一个问题需要注意:前面所说的“在处理请求时”使用request对象,究竟是在哪里使用呢?考虑到获取request对象的方法有微小的不同,大体可以分为两类:
1) 在Spring的Bean中使用request对象:既包括Controller、Service、Repository等MVC的Bean,也包括了Component等普通的Spring Bean。为了方便说明,后文中Spring中的Bean一律简称为Bean。
2) 在非Bean中使用request对象:如普通的Java对象的方法中使用,或在类的静态方法中使用。
此外,本文讨论是围绕代表请求的request对象展开的,但所用方法同样适用于response对象、InputStream/Reader、OutputStream/ Writer等;其中InputStream/Reader可以读取请求中的数据,OutputStream/ Writer可以向响应写入数据。
最后,获取request对象的方法与Spring及MVC的版本也有关系;本文基于Spring4进行讨论,且所做的实验都是使用4.1.1版本。
如何测试线程安全
既然request对象的线程安全问题需要特别关注,为了便于后面的讨论,下面先说明如何测试request对象是否是线程安全的。
测试的基本思路,是模拟客户端大量并发请求,然后在服务器判断这些请求是否使用了相同的request对象。
判断request对象是否相同,最直观的方式是打印出request对象的地址,如果相同则说明使用了相同的对象。然而,在几乎所有web服务器的实现中,都使用了线程池,这样就导致先后到达的两个请求,可能由同一个线程处理:在前一个请求处理完成后,线程池收回该线程,并将该线程重新分配给了后面的请求。而在同一线程中,使用的request对象很可能是同一个(地址相同,属性不同)。因此即便是对于线程安全的方法,不同的请求使用的request对象地址也可能相同。
为了避免这个问题,一种方法是在请求处理过程中使线程休眠几秒,这样可以让每个线程工作的时间足够长,从而避免同一个线程分配给不同的请求;另一种方法,是使用request的其他属性(如参数、header、body等)作为request是否线程安全的依据,因为即便不同的请求先后使用了同一个线程(request对象地址也相同),只要使用不同的属性分别构造了两次request对象,那么request对象的使用就是线程安全的。本文使用第二种方法进行测试。
客户端测试代码如下(创建1000个线程分别发送请求):
public class Test { public static void main(String[] args) throws Exception { String prefix = UUID.randomUUID().toString().replaceAll("-", "") + "::"; for (int i = 0; i < 1000; i++) { final String value = prefix + i; new Thread() { @Override public void run() { try { CloseableHttpClient httpClient = HttpClients.createDefault(); HttpGet httpGet = new HttpGet("http://localhost:8080/test?key=" + value); httpClient.execute(httpGet); httpClient.close(); } catch (IOException e) { e.printStackTrace(); } } }.start(); } } }
服务器中Controller代码如下(暂时省略了获取request对象的代码):
@Controller public class TestController { // 存储已有参数,用于判断参数是否重复,从而判断线程是否安全 public static Set<String> set = new ConcurrentSkipListSet<>(); @RequestMapping("/test") public void test() throws InterruptedException { // …………………………通过某种方式获得了request对象……………………………… // 判断线程安全 String value = request.getParameter("key"); if (set.contains(value)) { System.out.println(value + "\t重复出现,request并发不安全!"); } else { System.out.println(value); set.add(value); } // 模拟程序执行了一段时间 Thread.sleep(1000); } }
补充:上述代码原使用HashSet来判断value是否重复,经网友批评指正,使用线程不安全的集合类验证线程安全性是欠妥的,现已改为ConcurrentSkipListSet。
如果request对象线程安全,服务器中打印结果如下所示:
如果存在线程安全问题,服务器中打印结果可能如下所示:
如无特殊说明,本文后面的代码中将省略掉测试代码。
方法1:Controller中加参数
代码示例:
这种方法实现最简单,直接上Controller代码:
@Controller public class TestController { @RequestMapping("/test") public void test(HttpServletRequest request) throws InterruptedException { // 模拟程序执行了一段时间 Thread.sleep(1000); } }
该方法实现的原理是,在Controller方法开始处理请求时,Spring会将request对象赋值到方法参数中。除了request对象,可以通过这种方法获取的参数还有很多,具体可以参见:https://docs.spring.io/spring/docs/current/spring-framework-reference/web.html#mvc-ann-methods
Controller中获取request对象后,如果要在其他方法中(如service方法、工具类方法等)使用request对象,需要在调用这些方法时将request对象作为参数传入。
线程安全:
测试结果:线程安全
分析:此时request对象是方法参数,相当于局部变量,毫无疑问是线程安全的。
优缺点:
这种方法的主要缺点是request对象写起来冗余太多,主要体现在两点:
1) 如果多个controller方法中都需要request对象,那么在每个方法中都需要添加一遍request参数
2) request对象的获取只能从controller开始,如果使用request对象的地方在函数调用层级比较深的地方,那么整个调用链上的所有方法都需要添加request参数
实际上,在整个请求处理的过程中,request对象是贯穿始终的;也就是说,除了定时器等特殊情况,request对象相当于线程内部的一个全局变量。而该方法,相当于将这个全局变量,传来传去。
方法2:自动注入
代码示例:
先上代码:
@Controller public class TestController{ @Autowired private HttpServletRequest request; //自动注入request @RequestMapping("/test") public void test() throws InterruptedException{ //模拟程序执行了一段时间 Thread.sleep(1000); } }
线程安全:
测试结果:线程安全
分析:在Spring中,Controller的scope是singleton(单例),也就是说在整个web系统中,只有一个TestController;但是其中注入的request却是线程安全的,原因在于:
使用这种方式,当Bean(本例的TestController)初始化时,Spring并没有注入一个request对象,而是注入了一个代理(proxy);当Bean中需要使用request对象时,通过该代理获取request对象。
下面通过具体的代码对这一实现进行说明。
在上述代码中加入断点,查看request对象的属性,如下图所示:
在图中可以看出,request实际上是一个代理:代理的实现参见AutowireUtils的内部类ObjectFactoryDelegatingInvocationHandler:
/** * Reflective InvocationHandler for lazy access to the current target object. */ @SuppressWarnings("serial") private static class ObjectFactoryDelegatingInvocationHandler implements InvocationHandler, Serializable { private final ObjectFactory<?> objectFactory; public ObjectFactoryDelegatingInvocationHandler(ObjectFactory<?> objectFactory) { this.objectFactory = objectFactory; } @Override public Object invoke(Object proxy, Method method, Object[] args) throws Throwable { // ……省略无关代码 try { return method.invoke(this.objectFactory.getObject(), args); // 代理实现核心代码 } catch (InvocationTargetException ex) { throw ex.getTargetException(); } } }
也就是说,当我们调用request的方法method时,实际上是调用了由objectFactory.getObject()生成的对象的method方法;objectFactory.getObject()生成的对象才是真正的request对象。
继续观察上图,发现objectFactory的类型为WebApplicationContextUtils的内部类RequestObjectFactory;而RequestObjectFactory代码如下:
/** * Factory that exposes the current request object on demand. */ @SuppressWarnings("serial") private static class RequestObjectFactory implements ObjectFactory<ServletRequest>, Serializable { @Override public ServletRequest getObject() { return currentRequestAttributes().getRequest(); } @Override public String toString() { return "Current HttpServletRequest"; } }
其中,要获得request对象需要先调用currentRequestAttributes()方法获得RequestAttributes对象,该方法的实现如下:
/** * Return the current RequestAttributes instance as ServletRequestAttributes. */ private static ServletRequestAttributes currentRequestAttributes() { RequestAttributes requestAttr = RequestContextHolder.currentRequestAttributes(); if (!(requestAttr instanceof ServletRequestAttributes)) { throw new IllegalStateException("Current request is not a servlet request"); } return (ServletRequestAttributes) requestAttr; }
生成RequestAttributes对象的核心代码在类RequestContextHolder中,其中相关代码如下(省略了该类中的无关代码):
public abstract class RequestContextHolder { public static RequestAttributes currentRequestAttributes() throws IllegalStateException { RequestAttributes attributes = getRequestAttributes(); // 此处省略不相关逻辑………… return attributes; } public static RequestAttributes getRequestAttributes() { RequestAttributes attributes = requestAttributesHolder.get(); if (attributes == null) { attributes = inheritableRequestAttributesHolder.get(); } return attributes; } private static final ThreadLocal<RequestAttributes> requestAttributesHolder = new NamedThreadLocal<RequestAttributes>("Request attributes"); private static final ThreadLocal<RequestAttributes> inheritableRequestAttributesHolder = new NamedInheritableThreadLocal<RequestAttributes>("Request context"); }
通过这段代码可以看出,生成的RequestAttributes对象是线程局部变量(ThreadLocal),因此request对象也是线程局部变量;这就保证了request对象的线程安全性。
优缺点:
该方法的主要优点:
1) 注入不局限于Controller中:在方法1中,只能在Controller中加入request参数。而对于方法2,不仅可以在Controller中注入,还可以在任何Bean中注入,包括Service、Repository及普通的Bean。
2) 注入的对象不限于request:除了注入request对象,该方法还可以注入其他scope为request或session的对象,如response对象、session对象等;并保证线程安全。
3) 减少代码冗余:只需要在需要request对象的Bean中注入request对象,便可以在该Bean的各个方法中使用,与方法1相比大大减少了代码冗余。
但是,该方法也会存在代码冗余。考虑这样的场景:web系统中有很多controller,每个controller中都会使用request对象(这种场景实际上非常频繁),这时就需要写很多次注入request的代码;如果还需要注入response,代码就更繁琐了。下面说明自动注入方法的改进方法,并分析其线程安全性及优缺点。
方法3:基类中自动注入
代码示例:
与方法2相比,将注入部分代码放入到了基类中。
基类代码:
public class BaseController { @Autowired protected HttpServletRequest request; }
Controller代码如下;这里列举了BaseController的两个派生类,由于此时测试代码会有所不同,因此服务端测试代码没有省略;客户端也需要进行相应的修改(同时向2个url发送大量并发请求)。
@Controller public class TestController extends BaseController { // 存储已有参数,用于判断参数value是否重复,从而判断线程是否安全 public static Set<String> set = new ConcurrentSkipListSet<>(); @RequestMapping("/test") public void test() throws InterruptedException { String value = request.getParameter("key"); // 判断线程安全 if (set.contains(value)) { System.out.println(value + "\t重复出现,request并发不安全!"); } else { System.out.println(value); set.add(value); } // 模拟程序执行了一段时间 Thread.sleep(1000); } } @Controller public class Test2Controller extends BaseController { @RequestMapping("/test2") public void test2() throws InterruptedException { String value = request.getParameter("key"); // 判断线程安全(与TestController使用一个set进行判断) if (TestController.set.contains(value)) { System.out.println(value + "\t重复出现,request并发不安全!"); } else { System.out.println(value); TestController.set.add(value); } // 模拟程序执行了一段时间 Thread.sleep(1000); } }
线程安全:
测试结果:线程安全
分析:在理解了方法2的线程安全性的基础上,很容易理解方法3是线程安全的:当创建不同的派生类对象时,基类中的域(这里是注入的request)在不同的派生类对象中会占据不同的内存空间,也就是说将注入request的代码放在基类中对线程安全性没有任何影响;测试结果也证明了这一点。
优缺点:
与方法2相比,避免了在不同的Controller中重复注入request;但是考虑到java只允许继承一个基类,所以如果Controller需要继承其他类时,该方法便不再好用。
无论是方法2和方法3,都只能在Bean中注入request;如果其他方法(如工具类中static方法)需要使用request对象,则需要在调用这些方法时将request参数传递进去。下面介绍的方法4,则可以直接在诸如工具类中的static方法中使用request对象(当然在各种Bean中也可以使用)。
方法4:手动调用
代码示例:
@Controller public class TestController { @RequestMapping("/test") public void test() throws InterruptedException { HttpServletRequest request = ((ServletRequestAttributes) (RequestContextHolder.currentRequestAttributes())).getRequest(); // 模拟程序执行了一段时间 Thread.sleep(1000); } }
线程安全:
测试结果:线程安全
分析:该方法与方法2(自动注入)类似,只不过方法2中通过自动注入实现,本方法通过手动方法调用实现。因此本方法也是线程安全的。
优缺点:
优点:可以在非Bean中直接获取。
缺点:如果使用的地方较多,代码非常繁琐;因此可以与其他方法配合使用。
方法5:@ModelAttribute方法
代码示例:
下面这种方法及其变种(变种:将request和bindRequest放在子类中)在网上经常见到:
@Controller public class TestController { private HttpServletRequest request; @ModelAttribute public void bindRequest(HttpServletRequest request) { this.request = request; } @RequestMapping("/test") public void test() throws InterruptedException { // 模拟程序执行了一段时间 Thread.sleep(1000); } }
线程安全:
测试结果:线程不安全
分析:@ModelAttribute注解用在Controller中修饰方法时,其作用是Controller中的每个@RequestMapping方法执行前,该方法都会执行。因此在本例中,bindRequest()的作用是在test()执行前为request对象赋值。虽然bindRequest()中的参数request本身是线程安全的,但由于TestController是单例的,request作为TestController的一个域,无法保证线程安全。
总结:
综上所述,Controller中加参数(方法1)、自动注入(方法2和方法3)、手动调用(方法4)都是线程安全的,都可以用来获取request对象。如果系统中request对象使用较少,则使用哪种方式均可;如果使用较多,建议使用自动注入(方法2 和方法3)来减少代码冗余。如果需要在非Bean中使用request对象,既可以在上层调用时通过参数传入,也可以直接在方法中通过手动调用(方法4)获得。
此外,本文在讨论获取request对象的方法时,重点讨论该方法的线程安全性、代码的繁琐程度等;在实际的开发过程中,还必须考虑所在项目的规范、代码维护等问题(此处感谢网友的批评指正)。
更多JAVA干货内容,转发+关注。私信我“资料”即可。
Ajax Post请求中常用的两种的形式:form data 和 request payload
一、默认的表单方式请求 Form Data
post请求的Content-Type为application/x-www-form-urlencoded(默认的),参数是在请求题中,即上面请求中的Form Data。
Content-Type: application/x-www-form-urlencoded; charset=UTF-8
代码格式:
data = {
'i': '\u903B\u8F91\n',
'from': 'AUTO',
'to': 'AUTO',
'smartresult': 'dict',
'client': 'fanyideskweb',
'salt': '15752746021826',
'sign': 'c62688ce2eab6fd7a95cac50c3e88752',
'ts': '1575274602182',
'bv': '5bc00aa7005fda30bbc3c3735a53d97d',
'doctype': 'json',
'version': '2.1',
'keyfrom': 'fanyi.web',
'action': 'FY_BY_REALTlME'
}
复制代码
二、经浏览器解析后的表单请求 Request Payload
PS: 请求的Content-Type是application/json;charset=UTF-8,而请求表单的参数在Request Payload中。
Content-Type: application/json (这里用的是json格式)
代码格式:
payload = '{"operationName":"","query":"","variables":{"ownerId":"5c3f3c415188252b7d0ea40c","size":20,"after":""},"extensions":{"query":{"id":"b158d18c7ce74f0d6d85e73f21e17df6"}}}'
复制代码
post请求,如果表单参数是在请求体中,也是以key1=value1&key2=value2的形式在请求体中。
通过chrome的开发者工具可以看到,比如:
fanyi.youdao.com/translate_o…
1、如果一个请求的Content-Type设置为
Content-Type: application/x-www-form-urlencoded; charset=UTF-8
那么这个Post请求会被认为是Http Post表单请求,请求主体也将以一个标准的键值对和&的str形式出现。这种方式是HTML表单默认的设置,对现如今的网络请求构造是很常见的。
2、Request payload形式的POST请求,网站为了方便阅读,使用了Json这样的数据格式,请求的方式为
Content-Type: application/json 或者指定charset=UTF-8。
在抓取个人数据的时候发现get形式获取不到数据,通过分析网站结构发现需要Post请求的json格式数据;进而发现其使用的Post格式并不是Form Data 而是Request Payload
import requests
import json
# 首页地址
url = "https://web-api.juejin.im/query"
# 伪装成浏览器
headers = {
'X-Legacy-Device-Id': '1574318487465',
'Origin': 'https://juejin.im',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36',
'X-Legacy-Token': 'eyJhY2Nlc3NfdG9rZW4iOiJBNVNuRUNPb1Jad0doWm1wIiwicmVmcmVzaF90b2tlbiI6IkpuVkFoZFozdjNFdDZMOFMiLCJ0b2tlbl90eXBlIjoibWFjIiwiZXhwaXJlX2luIjoyNTkyMDAwfQ==',
'Content-Type': 'application/json',
'Referer': 'https://juejin.im/user/3650034335487975',
'X-Legacy-Uid': '5dd631975188254e310b4cbb',
}
payload = '{"operationName":"","query":"","variables":{"ownerId":"5c3f3c415188252b7d0ea40c","size":20,"after":""},"extensions":{"query":{"id":"b158d18c7ce74f0d6d85e73f21e17df6"}}}'
# 发起网络请求,获取到返回的html
result = requests.post(url=url, headers=headers, data=payload).content.decode('utf-8')
print(result)
复制代码
这时候已经可以拿到payload表单形式的json数据了,因为考虑到是json格式的数据,不方便我们进行数据处理!接下来咱们先转换一下格式!这里转换成字典格式。
result=json.loads(result)
result_list=result['data']['ownActivityFeed']['items']['edges']
print(result_list)
复制代码
这个时候已经成功的将数据格式进行转换,之后并通过一直获取键值对的形式拿到网站所包含的数据;数据类型的格式为列表, 再次深入获取
for item in result_list:
# # 用户名
node_list=item['node']
user_targets_content=node_list['targets']
for item_name_list in user_targets_content:
try:
user=item_name_list['user']
user_name=user['username']
user_content=item_name_list['content']
except:
continue
print('*' * 30, '\n', user_name, user_content, '\n', '*' * 30)
with open('lg_Tony.txt','a') as file:
file.write(user_name+'\t\t'+user_content+'\n\n')
复制代码
考虑到只是获取简单的界面内容,所以这里只用了txt文件进行保存。
*请认真填写需求信息,我们会在24小时内与您取得联系。