文章目录
前言
小滴课堂,旨在让编程不在难学,让技术与生活更加有趣。 随着互联网+的时代,在线教育技术越来越便捷,小滴课堂依托在线教育时间以及空间上的便利,为广大IT从业者提供了更为方便、快捷的学习交流途径、提供大量高质量的IT在线课程。更多教程请访问xdclass.net(添加VX:xdclass99)
第1集 接口压测和常用压力测试工具对比
简介:目前用的常用测试工具对比
LoadRunner
- 性能稳定,压测结果及细粒度大,可以自定义脚本进行压测,但是太过于重大,功能比较繁多
Apache AB(单接口压测最方便)
- 模拟多线程并发请求,ab命令对发出负载的计算机要求很低,既不会占用很多CPU,也不会占用太多的内存,但却会给目标服务器造成巨大的负载, 简单DDOS攻击等
Webbench
- webbench首先fork出多个子进程,每个子进程都循环做web访问测试。子进程把访问的结果通过pipe告诉父进程,父进程做最终的统计结果。
Jmeter (GUI )
- 开源免费,功能强大,在互联网公司普遍使用
- 压测不同的协议和应用
-
- Web - HTTP, HTTPS (Java, NodeJS, PHP, ASP.NET, …)
-
- SOAP / REST Webservices
-
- FTP
-
- Database via JDBC
-
- LDAP 轻量目录访问协议
-
- Message-oriented middleware (MOM) via JMS
-
- Mail - SMTP(S), POP3(S) and IMAP(S)
-
- TCP等等
-
- 使用场景及优点
- 1)功能测试
- 2)压力测试
- 3)分布式压力测试
- 4)纯java开发
- 5)上手容易,高性能
- 4)提供测试数据分析
- 5)各种报表数据图形展示
- 压测工具本地快速安装Jmeter5.x
- 需要安装JDK8 以上
- 建议安装JDK环境,虽然JRE也可以,但是压测https需要JDK里面的 keytool工具
- 快速下载 https://jmeter.apache.org/download_jmeter.cgi
- 文档地址:http://jmeter.apache.org/usermanual/get-started.html
目录
bin:核心可执行文件,包含配置 jmeter.bat: windows启动文件(window系统一定要配置显示文件拓展名) jmeter: mac或者linux启动文件 jmeter-server:mac或者Liunx分布式压测使用的启动文件 jmeter-server.bat:window分布式压测使用的启动文件 jmeter.properties: 核心配置文件 extras:插件拓展的包 lib:核心的依赖包
Jmeter语言版本中英文切换
- 控制台修改 menu -> options -> choose language
配置文件修改
- bin目录 -> jmeter.properties
- 默认 #language=en
- 改为 language=zh_CN
第2集 Jmeter5.X基础功能组件介绍+线程组和Sampler
简介:讲解Jmeter里面GUI菜单栏主要组件
添加->threads->线程组(控制总体并发)
线程数:虚拟用户数。一个虚拟用户占用一个进程或线程 准备时长(Ramp-Up Period(in seconds)):全部线程启动的时长,比如100个线程,20秒,则表示20秒内 100个线程都要启动完成,每秒启动5个线程 循环次数:每个线程发送的次数,假如值为5,100个线程,则会发送500次请求,可以勾选永远循环
线程组->添加-> Sampler(采样器) -> Http (一个线程组下面可以增加几个Sampler)
名称:采样器名称 注释:对这个采样器的描述 web服务器: 默认协议是http 默认端口是80 服务器名称或IP :请求的目标服务器名称或IP地址 路径:服务器URL
查看测试结果
线程组->添加->监听器->察看结果树 线程组->添加->监听器->聚合报告
常规压测流程
内网环境
非GUI下压测
停止其他无关资源进程
压测机和被压测机器隔离
第3集 调用第三方服务组件改造+Jmeter5.x性能压测实践
简介:调用第三方服务组件改造+Jmeter5.x性能压测实践
埋点http请求得出请求响应耗时【粗略统计,非线上大量数据测试得出】
增加代码NotifyController、NotifyService
- test方法测试
压测参数配置
- 200并发
- 2秒启动
- 循环500次
同步发送+resttemplate未池化
- 错误:Connection timed out
- 400到500 qps
第4集 高并发下异步请求解决方案- @Async注解应用实战
简介:高并发下异步请求解决方案一- @Async组件应用实战
问题
- 由于发送短信涉及到网络通信, 因此sendMessage方法可能会有一些延迟. 为了改善用户体验, 我们可以使用异步发送短信的方法
什么是异步任务
- 异步调用是相对于同步调用而言的,同步调用是指程序按预定顺序一步步执行,每一步必须等到上一步执行完后才能执行,异步调用则无需等待上一步程序执行完即可执行
- 多线程就是一种实现异步调用的方式
- MQ也是一种宏观上的异步
使用场景
- 适用于处理log、发送邮件、短信……等
- 涉及到网络IO调用等操作
使用方式
- 启动类里面使用@EnableAsync注解开启功能,自动扫描
- 定义异步任务类并使用@Component标记组件被容器扫描,异步方法加上@Async
注意:@Async失效情况
注解@Async的方法不是public方法
注解@Async的返回值只能为void或者Future
注解@Async方法使用static修饰也会失效
spring无法扫描到异步类,没加注解@Async 或 @EnableAsync注解
调用方与被调方不能在同一个类
- Spring 在扫描bean的时候会扫描方法上是否包含@Async注解,动态地生成一个子类(即proxy代理类),当这个有注解的方法被调用的时候,实际上是由代理类来调用的,代理类在调用时增加异步作用
- 如果这个有注解的方法是被同一个类中的其他方法调用的,那么该方法的调用并没有通过代理类,而是直接通过原来的那个 bean,所以就失效了
- 所以调用方与被调方不能在同一个类,主要是使用了动态代理,同一个类的时候直接调用,不是通过生成的动态代理类调用
- 一般将要异步执行的方法单独抽取成一个类
类中需要使用@Autowired或@Resource等注解自动注入,不能自己手动new对象
在Async 方法上标注@Transactional是没用的,但在Async 方法调用的方法上标注@Transactional 是有效的
编码实践
//启动类增加 @EnableAsync
// @Override
@Async
public void testSend() {
// try {
// TimeUnit.MILLISECONDS.sleep(2000);
// } catch (InterruptedException e) {
// e.printStackTrace();
// }
long beginTime = CommonUtil.getCurrentTimestamp();
ResponseEntity<String> forEntity = restTemplate.getForEntity("http://old.xdclass.net", String.class);
String body = forEntity.getBody();
long endTime = CommonUtil.getCurrentTimestamp();
log.info("耗时={},body={}",endTime-beginTime,body);
}
第5集 异步调用-压测高QPS后的背后原因和问题拆解
简介:异步调用-压测高QPS后的背后原因和问题拆解
- 默认参数下压测结果
现象:压测后很快跑完全部内容,是因为都在线程池内部的阻塞队列里面
极容易出现OOM,或者消息丢失
默认8个核心线程数占用满了之后, 新的调用就会进入队列, 最大值是Integer.MAX_VALUE,表现为没有执行
- task-XXX 日志里面会出现递增
设置下idea启动进程的jvm参数: -Xms50M -Xmx50M
代码位置
- TaskExecutionProperties
- TaskExecutionAutoConfiguration
说明:
- 直接使用 @Async 注解没指定线程池的话,即未设置TaskExecutor时
- 默认使用Spring创建ThreadPoolTaskExecutor
- 核心线程数:8
- 最大线程数:Integer.MAX_VALUE ( 21亿多)
- 队列使用LinkedBlockingQueue
- 容量是:Integer.MAX_VALUE
- 空闲线程保留时间:60s
- 线程池拒绝策略:AbortPolicy
如何解决上面说的问题?
第6集 【底层原理】Async+ThreadPoolTaskExecutor自定义线程池进阶实战
简介:高并发下异步请求 @Async+ThreadPoolTaskExecutor自定义线程池实战
- 自定义线程池可以解决上述的问题
大家的疑惑 使用线程池的时候搞混淆ThreadPoolTaskExecutor和ThreadPoolExecutor
ThreadPoolExecutor,这个类是JDK中的线程池类,继承自Executor,里面有一个execute()方法,用来执行线程,线程池主要提供一个线程队列,队列中保存着所有等待状态的线程,避免了创建与销毁的额外开销
ThreadPoolTaskExecutor,是spring包下的,是Spring为我们提供的线程池类
- Spring异步线程池的接口类是TaskExecutor,本质还是java.util.concurrent.Executor
解决方式
- spring会先搜索TaskExecutor类型的bean或者名字为taskExecutor的Executor类型的bean,
- 所以我们最好来自定义一个线程池,加入Spring IOC容器里面,即可覆盖
自定义线程池
@Configuration
@EnableAsync
public class ThreadPoolTaskConfig {
@Bean("threadPoolTaskExecutor")
public ThreadPoolTaskExecutor threadPoolTaskExecutor(){
ThreadPoolTaskExecutor threadPoolTaskExecutor = new ThreadPoolTaskExecutor();
//线程池创建的核心线程数,线程池维护线程的最少数量,即使没有任务需要执行,也会一直存活
//如果设置allowCoreThreadTimeout=true(默认false)时,核心线程会超时关闭
threadPoolTaskExecutor.setCorePoolSize(4);
//最大线程池数量,当线程数>=corePoolSize,且任务队列已满时。线程池会创建新线程来处理任务
//当线程数=maxPoolSize,且任务队列已满时,线程池会拒绝处理任务而抛出异常
threadPoolTaskExecutor.setMaxPoolSize(8);
//缓存队列(阻塞队列)当核心线程数达到最大时,新任务会放在队列中排队等待执行
threadPoolTaskExecutor.setQueueCapacity(124);
//当线程空闲时间达到keepAliveTime时,线程会退出,直到线程数量=corePoolSize
//允许线程空闲时间60秒,当maxPoolSize的线程在空闲时间到达的时候销毁
//如果allowCoreThreadTimeout=true,则会直到线程数量=0
threadPoolTaskExecutor.setKeepAliveSeconds(30);
//spring 提供的 ThreadPoolTaskExecutor 线程池,是有setThreadNamePrefix() 方法的。
//jdk 提供的ThreadPoolExecutor 线程池是没有 setThreadNamePrefix() 方法的
threadPoolTaskExecutor.setThreadNamePrefix("小滴课堂Spring自带Async前缀:");
threadPoolTaskExecutor.setWaitForTasksToCompleteOnShutdown(true);
// rejection-policy:当pool已经达到max size的时候,如何处理新任务
// CallerRunsPolicy():交由调用方线程运行,比如 main 线程;如果添加到线程池失败,那么主线程会自己去执行该任务,不会等待线程池中的线程去执行
//AbortPolicy():该策略是线程池的默认策略,如果线程池队列满了丢掉这个任务并且抛出RejectedExecutionException异常。
//DiscardPolicy():如果线程池队列满了,会直接丢掉这个任务并且不会有任何异常
//DiscardOldestPolicy():丢弃队列中最老的任务,队列满了,会将最早进入队列的任务删掉腾出空间,再尝试加入队列
threadPoolTaskExecutor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
threadPoolTaskExecutor.initialize();
return threadPoolTaskExecutor;
}
}
//使用实战, 启动类可以不加@EnableAsync,改上面加
@Async("threadPoolTaskExecutor")
- 总结【方便记忆】
- 先是CorePoolSize是否满足,然后是Queue阻塞队列是否满,最后才是MaxPoolSize是否满足
第7集 ThreadPoolTaskExecutor线程池的面试题你知道怎么回答不
简介:ThreadPoolTaskExecutor线程池的面试题你知道怎么回答不
请你说下 ThreadPoolTaskExecutor线程池 有哪几个重要参数,什么时候会创建线程
- 查看核心线程池是否已满,不满就创建一条线程执行任务,否则执行第二步。
- 查看阻塞队列是否已满,不满就将任务存储在阻塞队列中,否则执行第三步。
- 查看线程池是否已满,即是否达到最大线程池数,不满就创建一条线程执行任务,否则就按照策略处理无法执行的任务。
高并发下核心线程怎么设置?
分IO密集还是CPU密集
- CPU密集设置为跟核心数一样大小
- IO密集型设置为2倍CPU核心数
非固定,根据实际情况压测进行调整,俗称【调参程序员】【调参算法工程师】
第8集 实践出真知-线程池多参数调整-性能压测+现象对比分析
简介:实践出真知-线程池多参数调整-现象报告对比分析
异步发送 + resttemplate未池化
- 线程池参数
threadPoolTaskExecutor.setCorePoolSize(4); threadPoolTaskExecutor.setMaxPoolSize(16); threadPoolTaskExecutor.setQueueCapacity(32);
- qps少,等待队列小
异步发送+resttemplate未池化
- 线程池参数
threadPoolTaskExecutor.setCorePoolSize(32); threadPoolTaskExecutor.setMaxPoolSize(64); threadPoolTaskExecutor.setQueueCapacity(10000); //如果等待队列长度为10万,则qps瞬间很高8k+,可能oom
- qps,等待队列大(瞬间高)
问题
- 采用异步发送用户体验变好了,但是存在丢失的可能,阻塞队列存储内存中,如果队列长度过多则重启容易出现丢失数据情况
- 采用了异步发送了+阻塞队列存缓冲,刚开始瞬间QPS高,但是后续也降低很多
- 问题是在哪里?消费方角度,提高消费能力