ThreadpoolExecutor简单应用:
public class _ThreadPoor { /** * 自定义线程池 */ public static void main(String[] args) { ThreadPoolExecutor threadPoolExecutor = new ThreadPoolExecutor(2, 3, 10, TimeUnit.MILLISECONDS, new ArrayBlockingQueue<>(50), new ThreadFactory() { @Override public Thread newThread(Runnable r) {//需要注意的是 Thread thread = new Thread(r);//这里的代码一定要出入我们的r,不然就只是渐大的创建了一个线程 thread.setName("自定义线程1"); return thread; } }, new ThreadPoolExecutor.CallerRunsPolicy()); threadPoolExecutor.execute(()->System.out.println(Thread.currentThread().getName())); } }
自定义线程池的七个核心属性:
1. corePoolSize
(核心线程数)
- 含义:线程池维持的核心线程数量。当新任务提交到线程池时,如果当前线程数量小于
corePoolSize
,即便有空闲线程,线程池也会创建新线程来执行任务。 - 作用:保证有一定数量的线程随时准备处理任务,提高任务处理的响应速度。
2. maximumPoolSize
(最大线程数)
- 含义:线程池允许创建的最大线程数量上限。当任务队列已满,且当前线程数量小于
maximumPoolSize
时,线程池会创建新线程执行任务,直到达到该上限。 - 作用:限制线程池中的线程数量,防止因创建过多线程导致系统资源耗尽。
3. keepAliveTime
(线程存活时间)
- 含义:当线程池中的线程数量超过
corePoolSize
时,多余的空闲线程在被销毁之前,等待新任务的最长时间。 - 作用:合理释放多余的空闲线程,避免占用过多系统资源,同时在有新任务时能快速响应。
4. unit
(时间单位)
- 含义:
keepAliveTime
的时间单位,是TimeUnit
枚举类的实例,常见的有SECONDS
(秒)、MILLISECONDS
(毫秒)等。 - 作用:明确
keepAliveTime
的时间度量标准,确保时间设置的准确性。
5. workQueue
(任务队列)
- 含义:用于存储等待执行的任务的阻塞队列。当提交的任务数量超过
corePoolSize
时,新任务会被放入该队列等待执行。 - 常见类型及作用:
ArrayBlockingQueue
:有界队列,可设定队列大小,能有效防止资源耗尽,但可能导致任务拒绝。LinkedBlockingQueue
:无界队列(可指定容量),能容纳大量任务,可能使线程数始终维持在corePoolSize
。SynchronousQueue
:不存储元素的队列,每个插入操作必须等待另一个线程的移除操作,适合处理大量短时间任务。
6. threadFactory
(线程工厂)
- 含义:负责创建线程的工厂类,可自定义线程的名称、优先级、守护线程状态等属性。默认使用
Executors.defaultThreadFactory()
。 - 作用:方便对线程进行统一管理和调试,通过自定义线程名称可快速定位问题。
7. handler
(拒绝策略)
- 含义:当任务队列已满,且线程数达到
maximumPoolSize
时,新提交的任务会被拒绝,此时会调用拒绝策略处理被拒任务。 - 常见策略及作用:
AbortPolicy
:默认策略,直接抛出RejectedExecutionException
异常,阻止系统正常运行。CallerRunsPolicy
:由提交任务的线程来执行该任务,减缓新任务提交速度。DiscardPolicy
:直接丢弃新任务,不做任何处理。DiscardOldestPolicy
:丢弃任务队列中最老的任务,尝试执行新任务。
自定义线程池的有参构造
小编以代码+注释的方式为大家展示线程池的有参构造:
public ThreadPoolExecutor(
//核心线程数
int corePoolSize,
//最大线程数
int maximumPoolSize,
//非核心线程无任务时等待时间
long keepAliveTime,
//时间单位
TimeUnit unit,
//阻塞队列
BlockingQueue<Runnable> workQueue, //线程池工程
ThreadFactory threadFactory, //拒绝策略
RejectedExecutionHandler handler) {
//校验我们的参数是否合法
if (corePoolSize < 0 ||
maximumPoolSize <= 0 ||
maximumPoolSize < corePoolSize ||
keepAliveTime < 0)
throw new IllegalArgumentException();
if (workQueue == null || threadFactory == null || handler == null)
throw new NullPointerException();
this.corePoolSize = corePoolSize;
this.maximumPoolSize = maximumPoolSize;
this.workQueue = workQueue;
this.keepAliveTime = unit.toNanos(keepAliveTime);
this.threadFactory = threadFactory;
this.handler = handler;
}
ThreadPoolExecutor的核心属性
为了方便大家学习源码,这里首先为大家讲解一下我们在学习源码时需要了解的核心属性,小编建议大家还是要详细的了解一下,再去继续学习源码,尽量还是不要跳过
//这个是我们的一个核心的属性,就像是我们在学习ReentrantLock时的state一样核心
//ctl他是原子性的
//ctl他的高三位时状态,低29位是工作线程数量
private final AtomicInteger ctl = new AtomicInteger(ctlOf(RUNNING, 0));
//他的解决时29
private static final int COUNT_BITS = Integer.SIZE - 3;
//这个是将1左移29位-1 就是000 11111 11111111 11111111 11111111
private static final int CAPACITY = (1 << COUNT_BITS) - 1;
// runState is stored in the high-order bits
//这是五种状态 大家需要记住,只有状态是running时证明当前可以正常的接受和处理任务
//通过位运算有他们的值
private static final int RUNNING = -1 << COUNT_BITS;
//在SHUTDOWN状态下,当前正在执行的任务执行完毕,阻塞队列的任务会执行完
private static final int SHUTDOWN = 0 << COUNT_BITS;
//在STOP状态下当前正在执行的任务直接中断,阻塞队列的任务会舍弃
private static final int STOP = 1 << COUNT_BITS;
//这个是一个过度状态,证明将要结束
private static final int TIDYING = 2 << COUNT_BITS;
//这个是jeishule
private static final int TERMINATED = 3 << COUNT_BITS;
/**
获取高三位的值
*/
private static int runStateOf(int c) { return c & ~CAPACITY; }
/**
获取低29位的值
*/
private static int workerCountOf(int c) { return c & CAPACITY; }
源码分析
execute()方法:
他的流程是核心的执行流程。
他的主要任务是执行我们的任务
- 我们在添加任务时,首先校验任务是否是空,如果是空,直接抛出异常
- 如果不是空,就开始获取ctl,如果现在的线程数没有达到最大,就创建新的核心线程
- 如果创建失败,那就是看看状态是否改变,如果没改变,那就是达到了最大核心线程数直接将任务放到阻塞队列
- 放入之后,需要再次校验状态,查看状态是否改变,如果不是running状态,需要进行补偿操作。
- 如果改变了,那就创建非核心线程处理
public void execute(Runnable command) {
//如果传入的任务是空直接甩出异常
if (command == null)
throw new NullPointerException();
//获取ctl的数值
int c = ctl.get();
//如果当前的数量小于核心线程数
if (workerCountOf(c) < corePoolSize) {
//添加工作到新的核心线程中
if (addWorker(command, true))
// addWorker(任务,是核心线程吗)
// addWorker返回true:代表添加工作线程成功
// addWorker返回false:代表添加工作线程失败
// addWorker中会基于线程池状态,以及工作线程个数做判断,查看能否添加工作线程
//如果添加成功直接返回
return;
//没有成功的话,证明可能是状态改变或者是数量发生变化,再次获取ctl
c = ctl.get();
}
//如果状态没有改变,并且可以放到阻塞队列中
//这里也是证明既然是状态没有改变的话,那就是核心线程数到达最大值了
if (isRunning(c) && workQueue.offer(command)) {
//判断现在的ctl值,防止在这个过程中状态和数量发生改变
int recheck = ctl.get();
if (! isRunning(recheck) && remove(command))
//如果状态不是running那就将任务移除,执行拒绝策略
reject(command);
//证明是running或者是移除任务失败,但是在阻塞队列中有任务
else if (workerCountOf(recheck) == 0)
//添加非核心工作线程
// 发生这种情况有两种:
// 1. 构建线程池时,核心线程数是0个。
// 2. 即便有核心线程,可以设置核心线程也允许超时,设置allowCoreThreadTimeOut为true,代表核心线程也可以超时
addWorker(null, false);
}
//如果上面添加失败,添加非核心工作线程,如果失败的话
else if (!addWorker(command, false))
//执行拒绝策略
reject(command);
}
AddWorker()方法:
这个方法的作用是添加工作线程,为了添加工作线程去做的一些校验和启动我们的线程。
private boolean addWorker(Runnable firstTask, boolean core) {
//------------------------先展示校验的源码----------------------------
//首先时外层循环是校验当前状态
//内层循环校验的是线程数
retry://为了跳出内部循环
for (;;) {
//获取现在的ctl
int c = ctl.get();
//获取前三位
int rs = runStateOf(c);
// Check if queue empty only if necessary.
//如果现在的值是大于或者是等于SHUTDOWN的话,就是证明现在不是正常的状态
if (rs >= SHUTDOWN &&
//如果现在rs是shutdown,并且任务是空,但是阻塞队列里面有任务,证明现在需要创建一个非核心线程处理阻塞队列的任务。
//但是重要是一个不符合的话,就是false,配置千米那的!直接返回false,证明当前状态不允许创建线程处理
! (rs == SHUTDOWN &&
firstTask == null &&
! workQueue.isEmpty()))
return false;
//开始校验线程数
for (;;) {
//获取线程数
int wc = workerCountOf(c);
//如果线程数大于00011111 11111111 11111111 11111111 或者是大于我们设定的最大值
if (wc >= CAPACITY ||
wc >= (core ? corePoolSize : maximumPoolSize))
//也是不可以创建
return false;
//这是原子性操作,证明现在开始改变ctl的值,成功的话,直接跳出校验,开始创建
if (compareAndIncrementWorkerCount(c))
break retry;
//失败的话,重新获取ctl
c = ctl.get(); // Re-read ctl
//判断现在的状态是否改变
if (runStateOf(c) != rs)
//没有改变的话,再次校验西线程数量,如果改变的话,需要重新校验状态
continue retry;
// else CAS failed due to workerCount change; retry inner loop
}
}
//-----------------------创建工作线程,开始启动工作线程---------------------------------
//标记工作线程是否启动
boolean workerStarted = false;
//标记工作线程是否添加
boolean workerAdded = false;
//工作线程默认是null
Worker w = null;
try {
//创建一个新的工作线程
w = new Worker(firstTask);
//获取Thread,如果想要创建一个线程去工作的话,这个线程的创建这一定是线程工厂
final Thread t = w.thread;
if (t != null) {
//如果没有问题的话,加一个锁
//为什么加锁:因为我们下面的操作的两个成员变量largestPoolSize和workers是线程不安全的
final ReentrantLock mainLock = this.mainLock;
mainLock.lock();
try {
//获取状态
int rs = runStateOf(ctl.get());
//如果是running或是shutdown并且在阻塞队列中有任务的话,就是需要创建工作线程
if (rs < SHUTDOWN ||
(rs == SHUTDOWN && firstTask == null)) {
if (t.isAlive()) //检查当前线程是否是活跃的,如果是活跃的,还是我们的工厂出现问题,其实就是检查我们的t是否是可启动的
throw new IllegalThreadStateException();
//将工作线程放置到hashtable中
workers.add(w);
//获取线程的数值
int s = workers.size();
//如果是大于的话,更新数值
if (s > largestPoolSize)
largestPoolSize = s;
workerAdded = true;
}
} finally {
//最后关闭锁资源
mainLock.unlock();
}
if (workerAdded) {
//如果添加成功,开始启动线程
t.start();
//将状态设置为true
workerStarted = true;
}
}
} finally {
//如果启动失败,证明出现问题,做一些补救措施
if (! workerStarted)
addWorkerFailed(w);
}
//返回状态
return workerStarted;
}
addWorkerFailed()方法:
在我们线程启动失败时,对于我们的整体影响,在这个方法中,消除一下
//如果启动失败,但是这个时候我们已经创建了工作线程worker,并且将他放入了我们的hashtable中
private void addWorkerFailed(Worker w) {
//为了操作我们的成员变量,开始加锁
final ReentrantLock mainLock = this.mainLock;
mainLock.lock();
try {
//检查是否是空
if (w != null)
//如果不是空,将他移除
workers.remove(w);
//将我们在校验是将ctl加了一个1,这个时候将他-掉
decrementWorkerCount();
//对于状态进行一下校验,看看是不是可以直接转换为terminate状态
tryTerminate();
} finally {
mainLock.unlock();
}
}
ThreadPoolExecutor中的Worker工作线程:
private final class Worker
extends AbstractQueuedSynchronizer //继承AQS就是为了维持一个state,去达到中断的目的
implements Runnable //这个是为了执行任务,内部的Thread对象,在执行start时,必然要执行Worker中断额一些操作
{
private static final long serialVersionUID = 6138294804551838833L;
final Thread thread;
Runnable firstTask;
volatile long completedTasks;
//将任务传入
Worker(Runnable firstTask) {
//设置中断标记位
setState(-1); // inhibit interrupts until runWorker
//将任务赋值
this.firstTask = firstTask;
//在出入有参构造是出入的是我们worker本身
this.thread = getThreadFactory().newThread(this);
}
public void run() {
//实际上工作的线程,我们在下面的篇幅中详细介绍
runWorker(this);
}
protected boolean isHeldExclusively() {
return getState() != 0;
}
protected boolean tryAcquire(int unused) {
if (compareAndSetState(0, 1)) {
setExclusiveOwnerThread(Thread.currentThread());
return true;
}
return false;
}
protected boolean tryRelease(int unused) {
setExclusiveOwnerThread(null);
setState(0);
return true;
}
public void lock() { acquire(1); }
public boolean tryLock() { return tryAcquire(1); }
public void unlock() { release(1); }
public boolean isLocked() { return isHeldExclusively(); }
//实现中断的功能
void interruptIfStarted() {
Thread t;
//如果我们的state是一个>=0的数,就可以中断
//判断状态,如果每中断就中断,已经中断了,无需操作
if (getState() >= 0 && (t = thread) != null && !t.isInterrupted()) {
try {
t.interrupt();
} catch (SecurityException ignore) {
}
}
}
}
runWorker()方法:
一看这个方法的名字就像我们在spring源码中看见do..的方法一样,他是一个实际上干活的方法,他是工作线程启动后执行任务的方法。
final void runWorker(Worker w) {
//获取当前的线程
Thread wt = Thread.currentThread();
//获取到当前的出入的任务
Runnable task = w.firstTask;
//将原任务设置位空
w.firstTask = null;
//这里面的unlock是为了设置我们的state的值,标识当前线程是可以中断的
w.unlock(); // allow interrupts
//标志当前线程是否是中断结束,默认是中断结束
boolean completedAbruptly = true;
try {
//如果获取的工作任务是不是null,或者是在阻塞队列中成功获取到任务
while (task != null || (task = getTask()) != null) {
//上锁,是因为在执行任务是,如果状态是》stop时也就是假设我们现在即使是使用了shoutdown方法,因为我们添加的是互斥的锁,不能中断
w.lock();
//如果我们的状态是大于等于stop但是却没有中断的话,直接中断
if ((runStateAtLeast(ctl.get(), STOP) ||
(Thread.interrupted() &&
runStateAtLeast(ctl.get(), STOP))) &&
!wt.isInterrupted())
wt.interrupt();
try {
//钩子函数。便于拓展
beforeExecute(wt, task);
Throwable thrown = null;
try {
//执行了工作现成的run方法
task.run();
} catch (RuntimeException x) {
thrown = x; throw x;
} catch (Error x) {
thrown = x; throw x;
} catch (Throwable x) {
thrown = x; throw new Error(x);
} finally {
//钩子函数。便于拓展
afterExecute(task, thrown);
}
} finally {
//将任务丢弃
task = null;
//记录当前线程完成的工作数
w.completedTasks++;
//将状态设置位可以中断
w.unlock();
}
}
//执行之后,这个就是正常结束,将这个标记位设置位true
//如果是非正常结束的话,以为出现异常的原因,最后执行finally{}中的内容
completedAbruptly = false;
} finally {
//考虑是否干掉线程
processWorkerExit(w, completedAbruptly);
}
}
private void processWorkerExit(Worker w, boolean completedAbruptly) {
if (completedAbruptly)
//如果不是正常结束的话,将工作线程数--,ctl--
decrementWorkerCount();
//加锁,因为要改变workers
final ReentrantLock mainLock = this.mainLock;
mainLock.lock();
try {
//如果是正常结束,当前工作线程处理的任务个数累加到线程池处理任务的个数属性中
completedTaskCount += w.completedTasks;
//移除任务
workers.remove(w);
} finally {
mainLock.unlock();
}
tryTerminate();
//获取当前状态
int c = ctl.get();
//查看状态时候是running
if (runStateLessThan(c, STOP)) {
//如果是正常结束
if (!completedAbruptly) {
//这里是检验我们的核心线程时候设置的可以超时,或者是核心线程数是0
int min = allowCoreThreadTimeOut ? 0 : corePoolSize;
//如果是0的话,就需要避免出现在阻塞队列中有任务但是没有线程处理的情况出现
if (min == 0 && ! workQueue.isEmpty())
min = 1;
if (workerCountOf(c) >= min)
return; // replacement not needed
}
//创建非核心线程处理
addWorker(null, false);
}
}
大家可能会有一个疑问为什么在正常结束时,是不需要将ctl-1呢,这个是小编在看源码时出现的疑问,在这里为大家解答一下:
回答:在getTask里,等到时间了,没拿到任务,那里会对ctl-1, 线程干完活下一步是要去getTask拿任务的,这里就要带入我们下一个源码分析部分了
getTask()方法:
- 这个方法的功能是:我们的线程在阻塞队列中获取任务
- 如果是核心线程会阻塞,等待take方法(如果没有的话,会挂起等待)
- 非核形线程回去poll(如果节点数量是零,直接返回null)
- 打一个小广告,如果对于基本的阻塞队列不理解的话,请大家看小编的另一篇文章:阻塞队列系列-ArrayBlockingQueue和LinkedBlockingQueue-CSDN博客
private Runnable getTask() {
//设置超时标记,默认false
boolean timedOut = false; // Did the last poll() time out?
//死循环
for (;;) {
//获取ctl
int c = ctl.get();
//获取当前的状态
int rs = runStateOf(c);
// 如果状态不是running的话,并且阻塞队列中没有任务
if (rs >= SHUTDOWN && (rs >= STOP || workQueue.isEmpty())) {
//将工作线程数--,ctl--
decrementWorkerCount();
//直接返回null,如果返回的是null,结合我们上面的代码可以结束runWorker的while循环
return null;
}
//获取当前工作线程数
int wc = workerCountOf(c);
//如果允许核心线程超时或者是当前的线程数大于核心线程数就是true。
boolean timed = allowCoreThreadTimeOut || wc > corePoolSize;
//这个在第一次的循环中是不可能实现的
//因为在第一次的时候我们默认timeout是false
if ((wc > maximumPoolSize || (timed && timedOut))
//如果当前的工作线程数》1,或者没有工作的话,也是可以直接返回null
&& (wc > 1 || workQueue.isEmpty())) {
//进入这个if的话,只能是第二次循环,并且没有得到任务
if (compareAndDecrementWorkerCount(c))
//如果CAS失败,开始下一次循环,必须成功
return null;
continue;
}
try {
//如果是false是核心线程死等任务,如果是true非核心,没有拿到就开始下一次循环,在上面提到的部分返回null
Runnable r = timed ?
workQueue.poll(keepAliveTime, TimeUnit.NANOSECONDS) :
workQueue.take();
if (r != null)
return r;
//因为在这里改了状态
timedOut = true;
} catch (InterruptedException retry) {
timedOut = false;
}
}
}
shutdownNow();将线程池状态修改为STOP:
STOP这个装=状态的特点是:
- 如果是正在执行的任务直接中断
- 阻塞队列的任务也不会在执行
//执行这个方法之后,状态将转化为stop,注意他的返回值,证明没有完成的任务会返回给调用者
//调用者选择是舍弃还是交给其他线程处理
public List<Runnable> shutdownNow() {
//这个是存放任务的集合
List<Runnable> tasks;
final ReentrantLock mainLock = this.mainLock;
//开始加锁,
mainLock.lock();
try {
//这个是操作系统相关知识,不关注
checkShutdownAccess();
//将状态转化为STOP
advanceRunState(STOP);
//中断工作线程
interruptWorkers();
//将我们的未完成的线程直接付给tasks,清空我们的阻塞队列
tasks = drainQueue();
} finally {
//释放锁资源
mainLock.unlock();
}
//尝试转化为terminate状态
tryTerminate();
return tasks;
}
private void advanceRunState(int targetState) {
//这个死循环
for (;;) {
//获取ctl的值
int c = ctl.get();
//如果当前的装态是是小于STOP的
if (runStateAtLeast(c, targetState) ||
//或者是成功将状态设置为STOP直接结束循环
ctl.compareAndSet(c, ctlOf(targetState, workerCountOf(c))))
break;
}
}
private void interruptWorkers() {
final ReentrantLock mainLock = this.mainLock;
mainLock.lock();
try {
//开始遍历所有的工作线程
for (Worker w : workers)
//如果工作线程是正在工作的直接中断
w.interruptIfStarted();
} finally {
mainLock.unlock();
}
}
private List<Runnable> drainQueue() {
//获取工作队列
BlockingQueue<Runnable> q = workQueue;
//创建返回值的容器
ArrayList<Runnable> taskList = new ArrayList<Runnable>();
//调用阻塞队列的方法,他的作用是将阻塞队列的值给出入的容器,清空阻塞队列
q.drainTo(taskList);
//但是如果没有清空,遍历
if (!q.isEmpty()) {
for (Runnable r : q.toArray(new Runnable[0])) {
if (q.remove(r))
//清除并添加
taskList.add(r);
}
}
return taskList;
}
shutdown():将状态修改为SHUTDOWN:
SHUTDOWN状态特点:
- 正在执行的任务执行结束
- 阻塞队列的任务也必须处理完毕
public void shutdown() {
final ReentrantLock mainLock = this.mainLock;
mainLock.lock();
try {
//同上不关注
checkShutdownAccess();
//将状态设置为SHUTDOWN
advanceRunState(SHUTDOWN);
//中断线程
interruptIdleWorkers();
//一个钩子函数
onShutdown(); // hook for ScheduledThreadPoolExecutor
} finally {
mainLock.unlock();
}
tryTerminate();
}
private void advanceRunState(int targetState) {
for (;;) {
//获取状态
int c = ctl.get();
//如果是正在执行或者是成功设置,直接break
if (runStateAtLeast(c, targetState) ||
ctl.compareAndSet(c, ctlOf(targetState, workerCountOf(c))))
break;
}
}
private void interruptIdleWorkers(boolean onlyOne) {//onlyOne=false
final ReentrantLock mainLock = this.mainLock;
mainLock.lock();
try {
for (Worker w : workers) {
Thread t = w.thread;
//如果没有中短并且没有执行任务,
if (!t.isInterrupted() && w.tryLock()) {
try {
//中断
t.interrupt();
} catch (SecurityException ignore) {
} finally {
w.unlock();
}
}
if (onlyOne)
break;
}
} finally {
mainLock.unlock();
}
}
线程池核心参数设计规则:(面试常问)
- 线程池使用时他的难点在与如何设置核心参数
- 我们的任务主要是CPU密集型和IO密集型还有混合密集型
- io是我们无法直接控制的,所以无法借助书籍解决这部分的内容
- 最好的方式是去慢慢的调试,也就是测试测试最好的方式
- 将项目部署到测试环境中,或者是沙箱环境中,结果各种压测得到一个很符合的参数
- 但是每次修改项目都重新部署的话,成本太高。
- 实现一个动态监控和修改的方案
- 核心参数就是:核心线程数,最大线程数,工作队列
- 对于他们的监控和修改我们可以借助线程池为我们提供的get()和set()
- 采用一些开源项目提供的方式去监控例如:hippo4j