海量数据大课学习笔记(9)-架构核心技术-池化思想-异步结合 性能优化最佳实践《上》-小滴课堂

发布于:2023-01-24 ⋅ 阅读:(22) ⋅ 点赞:(0) ⋅ 评论:(0)


前言

小滴课堂,旨在让编程不在难学,让技术与生活更加有趣。 随着互联网+的时代,在线教育技术越来越便捷,小滴课堂依托在线教育时间以及空间上的便利,为广大IT从业者提供了更为方便、快捷的学习交流途径、提供大量高质量的IT在线课程。更多教程请访问xdclass.net(添加VX:xdclass99)

第1集 接口压测和常用压力测试工具对比

简介:目前用的常用测试工具对比

  • LoadRunner

    • 性能稳定,压测结果及细粒度大,可以自定义脚本进行压测,但是太过于重大,功能比较繁多
  • Apache AB(单接口压测最方便)

    • 模拟多线程并发请求,ab命令对发出负载的计算机要求很低,既不会占用很多CPU,也不会占用太多的内存,但却会给目标服务器造成巨大的负载, 简单DDOS攻击等
  • Webbench

    • webbench首先fork出多个子进程,每个子进程都循环做web访问测试。子进程把访问的结果通过pipe告诉父进程,父进程做最终的统计结果。
  • Jmeter (GUI )

    • 开源免费,功能强大,在互联网公司普遍使用
    • 压测不同的协议和应用
        1. Web - HTTP, HTTPS (Java, NodeJS, PHP, ASP.NET, …)
        1. SOAP / REST Webservices
        1. FTP
        1. Database via JDBC
        1. LDAP 轻量目录访问协议
        1. Message-oriented middleware (MOM) via JMS
        1. Mail - SMTP(S), POP3(S) and IMAP(S)
        1. TCP等等
    • 使用场景及优点
      • 1)功能测试
      • 2)压力测试
      • 3)分布式压力测试
      • 4)纯java开发
      • 5)上手容易,高性能
      • 4)提供测试数据分析
      • 5)各种报表数据图形展示
  • 目录

    bin:核心可执行文件,包含配置
            jmeter.bat: windows启动文件(window系统一定要配置显示文件拓展名)
            jmeter: mac或者linux启动文件
            jmeter-server:mac或者Liunx分布式压测使用的启动文件
            jmeter-server.bat:window分布式压测使用的启动文件
            jmeter.properties: 核心配置文件   
    extras:插件拓展的包
    
    lib:核心的依赖包
    
  • Jmeter语言版本中英文切换

    • 控制台修改 menu -> options -> choose language
  • 配置文件修改

    • bin目录 -> jmeter.properties
    • 默认 #language=en
    • 改为 language=zh_CN

第2集 Jmeter5.X基础功能组件介绍+线程组和Sampler

简介:讲解Jmeter里面GUI菜单栏主要组件

  • 添加->threads->线程组(控制总体并发)

    线程数:虚拟用户数。一个虚拟用户占用一个进程或线程
    
    准备时长(Ramp-Up Period(in seconds)):全部线程启动的时长,比如100个线程,20秒,则表示20秒内 100个线程都要启动完成,每秒启动5个线程
    
    循环次数:每个线程发送的次数,假如值为5,100个线程,则会发送500次请求,可以勾选永远循环
    
  • 线程组->添加-> Sampler(采样器) -> Http (一个线程组下面可以增加几个Sampler)

    名称:采样器名称
    注释:对这个采样器的描述
    web服务器:
      默认协议是http
      默认端口是80
      服务器名称或IP :请求的目标服务器名称或IP地址
    
    路径:服务器URL
    
  • 查看测试结果

    线程组->添加->监听器->察看结果树
    线程组->添加->监听器->聚合报告
    
  • 常规压测流程

    • 内网环境

    • 非GUI下压测

    • 停止其他无关资源进程

    • 压测机和被压测机器隔离

第3集 调用第三方服务组件改造+Jmeter5.x性能压测实践

简介:调用第三方服务组件改造+Jmeter5.x性能压测实践

  • 埋点http请求得出请求响应耗时【粗略统计,非线上大量数据测试得出】

  • 增加代码NotifyController、NotifyService

    • test方法测试
  • 压测参数配置

    • 200并发
    • 2秒启动
    • 循环500次
  • 同步发送+resttemplate未池化

    • 错误:Connection timed out
    • 400到500 qps

第4集 高并发下异步请求解决方案- @Async注解应用实战

简介:高并发下异步请求解决方案一- @Async组件应用实战

  • 问题

    • 由于发送短信涉及到网络通信, 因此sendMessage方法可能会有一些延迟. 为了改善用户体验, 我们可以使用异步发送短信的方法
  • 什么是异步任务

    • 异步调用是相对于同步调用而言的,同步调用是指程序按预定顺序一步步执行,每一步必须等到上一步执行完后才能执行,异步调用则无需等待上一步程序执行完即可执行
    • 多线程就是一种实现异步调用的方式
    • MQ也是一种宏观上的异步
  • 使用场景

    • 适用于处理log、发送邮件、短信……等
    • 涉及到网络IO调用等操作
  • 使用方式

    • 启动类里面使用@EnableAsync注解开启功能,自动扫描
    • 定义异步任务类并使用@Component标记组件被容器扫描,异步方法加上@Async
  • 注意:@Async失效情况

    • 注解@Async的方法不是public方法

    • 注解@Async的返回值只能为void或者Future

    • 注解@Async方法使用static修饰也会失效

    • spring无法扫描到异步类,没加注解@Async 或 @EnableAsync注解

    • 调用方与被调方不能在同一个类

      • Spring 在扫描bean的时候会扫描方法上是否包含@Async注解,动态地生成一个子类(即proxy代理类),当这个有注解的方法被调用的时候,实际上是由代理类来调用的,代理类在调用时增加异步作用
      • 如果这个有注解的方法是被同一个类中的其他方法调用的,那么该方法的调用并没有通过代理类,而是直接通过原来的那个 bean,所以就失效了
      • 所以调用方与被调方不能在同一个类,主要是使用了动态代理,同一个类的时候直接调用,不是通过生成的动态代理类调用
      • 一般将要异步执行的方法单独抽取成一个类
    • 类中需要使用@Autowired或@Resource等注解自动注入,不能自己手动new对象

    • 在Async 方法上标注@Transactional是没用的,但在Async 方法调用的方法上标注@Transactional 是有效的

  • 编码实践

		//启动类增加 @EnableAsync
	
	  // @Override
    @Async
    public void testSend() {

//        try {
//            TimeUnit.MILLISECONDS.sleep(2000);
//        } catch (InterruptedException e) {
//            e.printStackTrace();
//        }

        long beginTime = CommonUtil.getCurrentTimestamp();
        ResponseEntity<String> forEntity = restTemplate.getForEntity("http://old.xdclass.net", String.class);
        String body = forEntity.getBody();
        long endTime = CommonUtil.getCurrentTimestamp();
        log.info("耗时={},body={}",endTime-beginTime,body);

    }

第5集 异步调用-压测高QPS后的背后原因和问题拆解

简介:异步调用-压测高QPS后的背后原因和问题拆解

在这里插入图片描述

  • 默认参数下压测结果

在这里插入图片描述

  • 现象:压测后很快跑完全部内容,是因为都在线程池内部的阻塞队列里面

    • 极容易出现OOM,或者消息丢失

    • 默认8个核心线程数占用满了之后, 新的调用就会进入队列, 最大值是Integer.MAX_VALUE,表现为没有执行

      • task-XXX 日志里面会出现递增
    • 设置下idea启动进程的jvm参数: -Xms50M -Xmx50M

在这里插入图片描述

  • 代码位置

    • TaskExecutionProperties
    • TaskExecutionAutoConfiguration
  • 说明:

    • 直接使用 @Async 注解没指定线程池的话,即未设置TaskExecutor时
    • 默认使用Spring创建ThreadPoolTaskExecutor
    • 核心线程数:8
    • 最大线程数:Integer.MAX_VALUE ( 21亿多)
    • 队列使用LinkedBlockingQueue
    • 容量是:Integer.MAX_VALUE
    • 空闲线程保留时间:60s
    • 线程池拒绝策略:AbortPolicy
  • 如何解决上面说的问题?

第6集 【底层原理】Async+ThreadPoolTaskExecutor自定义线程池进阶实战

简介:高并发下异步请求 @Async+ThreadPoolTaskExecutor自定义线程池实战

  • 自定义线程池可以解决上述的问题

在这里插入图片描述

  • 大家的疑惑 使用线程池的时候搞混淆ThreadPoolTaskExecutor和ThreadPoolExecutor

    • ThreadPoolExecutor,这个类是JDK中的线程池类,继承自Executor,里面有一个execute()方法,用来执行线程,线程池主要提供一个线程队列,队列中保存着所有等待状态的线程,避免了创建与销毁的额外开销

    • ThreadPoolTaskExecutor,是spring包下的,是Spring为我们提供的线程池类

      • Spring异步线程池的接口类是TaskExecutor,本质还是java.util.concurrent.Executor
  • 解决方式

    • spring会先搜索TaskExecutor类型的bean或者名字为taskExecutor的Executor类型的bean,
    • 所以我们最好来自定义一个线程池,加入Spring IOC容器里面,即可覆盖
  • 自定义线程池

@Configuration
@EnableAsync
public class ThreadPoolTaskConfig {

    @Bean("threadPoolTaskExecutor")
    public ThreadPoolTaskExecutor threadPoolTaskExecutor(){

        ThreadPoolTaskExecutor threadPoolTaskExecutor = new ThreadPoolTaskExecutor();
        //线程池创建的核心线程数,线程池维护线程的最少数量,即使没有任务需要执行,也会一直存活
        //如果设置allowCoreThreadTimeout=true(默认false)时,核心线程会超时关闭
        threadPoolTaskExecutor.setCorePoolSize(4);

			//最大线程池数量,当线程数>=corePoolSize,且任务队列已满时。线程池会创建新线程来处理任务
			//当线程数=maxPoolSize,且任务队列已满时,线程池会拒绝处理任务而抛出异常
				threadPoolTaskExecutor.setMaxPoolSize(8);

			//缓存队列(阻塞队列)当核心线程数达到最大时,新任务会放在队列中排队等待执行
				threadPoolTaskExecutor.setQueueCapacity(124);
			
      //当线程空闲时间达到keepAliveTime时,线程会退出,直到线程数量=corePoolSize
        //允许线程空闲时间60秒,当maxPoolSize的线程在空闲时间到达的时候销毁
        //如果allowCoreThreadTimeout=true,则会直到线程数量=0
        threadPoolTaskExecutor.setKeepAliveSeconds(30);
        
        //spring 提供的 ThreadPoolTaskExecutor 线程池,是有setThreadNamePrefix() 方法的。 
        //jdk 提供的ThreadPoolExecutor 线程池是没有 setThreadNamePrefix() 方法的
        threadPoolTaskExecutor.setThreadNamePrefix("小滴课堂Spring自带Async前缀:");
        threadPoolTaskExecutor.setWaitForTasksToCompleteOnShutdown(true);
        
        // rejection-policy:当pool已经达到max size的时候,如何处理新任务
        // CallerRunsPolicy():交由调用方线程运行,比如 main 线程;如果添加到线程池失败,那么主线程会自己去执行该任务,不会等待线程池中的线程去执行
//AbortPolicy():该策略是线程池的默认策略,如果线程池队列满了丢掉这个任务并且抛出RejectedExecutionException异常。
//DiscardPolicy():如果线程池队列满了,会直接丢掉这个任务并且不会有任何异常
//DiscardOldestPolicy():丢弃队列中最老的任务,队列满了,会将最早进入队列的任务删掉腾出空间,再尝试加入队列
        
        threadPoolTaskExecutor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        threadPoolTaskExecutor.initialize();
        return threadPoolTaskExecutor;
    }

}



//使用实战, 启动类可以不加@EnableAsync,改上面加
@Async("threadPoolTaskExecutor")
  • 总结【方便记忆】
    • 先是CorePoolSize是否满足,然后是Queue阻塞队列是否满,最后才是MaxPoolSize是否满足

第7集 ThreadPoolTaskExecutor线程池的面试题你知道怎么回答不

简介:ThreadPoolTaskExecutor线程池的面试题你知道怎么回答不

  • 请你说下 ThreadPoolTaskExecutor线程池 有哪几个重要参数,什么时候会创建线程

    • 查看核心线程池是否已满,不满就创建一条线程执行任务,否则执行第二步。
    • 查看阻塞队列是否已满,不满就将任务存储在阻塞队列中,否则执行第三步。
    • 查看线程池是否已满,即是否达到最大线程池数,不满就创建一条线程执行任务,否则就按照策略处理无法执行的任务。
  • 高并发下核心线程怎么设置?

    • 分IO密集还是CPU密集

      • CPU密集设置为跟核心数一样大小
      • IO密集型设置为2倍CPU核心数
    • 非固定,根据实际情况压测进行调整,俗称【调参程序员】【调参算法工程师】

第8集 实践出真知-线程池多参数调整-性能压测+现象对比分析

简介:实践出真知-线程池多参数调整-现象报告对比分析

  • 异步发送 + resttemplate未池化

    • 线程池参数
    threadPoolTaskExecutor.setCorePoolSize(4);
    threadPoolTaskExecutor.setMaxPoolSize(16);
    threadPoolTaskExecutor.setQueueCapacity(32);
    
    • qps少,等待队列小
  • 异步发送+resttemplate未池化

    • 线程池参数
    threadPoolTaskExecutor.setCorePoolSize(32);
    threadPoolTaskExecutor.setMaxPoolSize(64);
    threadPoolTaskExecutor.setQueueCapacity(10000);
    //如果等待队列长度为10万,则qps瞬间很高8k+,可能oom
    
    • qps,等待队列大(瞬间高)
  • 问题

    • 采用异步发送用户体验变好了,但是存在丢失的可能,阻塞队列存储内存中,如果队列长度过多则重启容易出现丢失数据情况
    • 采用了异步发送了+阻塞队列存缓冲,刚开始瞬间QPS高,但是后续也降低很多
    • 问题是在哪里?消费方角度,提高消费能力

在这里插入图片描述