ThreadPoolExecutor
线程池在 JAVA 中是运用场景最多的并发框架，合理的运用线程池能够带来以下好处：
- 降低资源消耗。
- 提高响应速度。
- 提高线程的可管理性
构造
public ThreadPoolExecutor(int corePoolSize,
int maximumPoolSize,
long keepAliveTime,
TimeUnit unit,
BlockingQueue<Runnable> workQueue,
ThreadFactory threadFactory,
RejectedExecutionHandler handler) {
if (corePoolSize < 0 ||
maximumPoolSize <= 0 ||
maximumPoolSize < corePoolSize ||
keepAliveTime < 0)
throw new IllegalArgumentException();
if (workQueue == null || threadFactory == null || handler == null)
throw new NullPointerException();
this.acc = System.getSecurityManager() == null ?
null :
AccessController.getContext();
this.corePoolSize = corePoolSize;
this.maximumPoolSize = maximumPoolSize;
this.workQueue = workQueue;
this.keepAliveTime = unit.toNanos(keepAliveTime);
this.threadFactory = threadFactory;
this.handler = handler;
}
参数说明：
- corePoolSize ：核心线程数
- maximumPoolSize : 最大线程数
- keepAliveTime : 空闲线程最大存活时间
- unit : 空闲线程存活时间单位
- workQueue : 用于保存等待执行的任务的阻塞队列
- threadFactory : 用于创建线程的工厂
- RejectedExecutionHandler : 饱和策略，就是当队列和线程池满了之后，采用何种策略处理提交的新任务
线程池状态
private final AtomicInteger ctl = new AtomicInteger(ctlOf(RUNNING, 0));
private static final int COUNT_BITS = Integer.SIZE - 3;
private static final int CAPACITY = (1 << COUNT_BITS) - 1;
// runState is stored in the high-order bits
private static final int RUNNING = -1 << COUNT_BITS;
private static final int SHUTDOWN = 0 << COUNT_BITS;
private static final int STOP = 1 << COUNT_BITS;
private static final int TIDYING = 2 << COUNT_BITS;
private static final int TERMINATED = 3 << COUNT_BITS;
// Packing and unpacking ctl
// 计算 线程池运行状态
private static int runStateOf(int c) { return c & ~CAPACITY; }
// 计算 工作线程数
private static int workerCountOf(int c) { return c & CAPACITY; }
// 计算 ctl 值
private static int ctlOf(int rs, int wc) { return rs | wc; }
- RUNNING : 运行中，接收新的任务并且处理队列中的任务
- SHUTDOWN : 关闭，停止接收新的任务，但是可以处理队列中的任务
- STOP : 停止接收新的任务，也不处理队列中的任务；并中断处理中的任务
ThreadPoolExecutor 采用一个原子的整形变量按位存储线程池的状态和线程池的当前工作线程数。 前 3 位为线程池状态，后 29 位为线程池工作线程数
为什么采用高 3 位， 因为目前线程池状态值有 5 种，采用 3 位的话正好可以存储
execute
public void execute(Runnable command) {
if (command == null)
throw new NullPointerException();
int c = ctl.get();
// workerCountOf 获取当前工作线程数
// 若当前工作线程数小于核心线程数
if (workerCountOf(c) < corePoolSize) {
// 开启线程执行 command
// 成功执行则返回 true 退出
if (addWorker(command, true))
return;
// 执行失败
// 失败的原因 ：线程池状态变更为 SHUTDOWN 或 其他任务被提交执行导致工作线程数超过了核心线程数
c = ctl.get();
}
// 判断线程池状态是否为 RUNNING
// 将任务添加到 workQueue
if (isRunning(c) && workQueue.offer(command)) {
int recheck = ctl.get();
// 任务被添加到 workQueue 后，再次检查线程池的运行状态
// 若线程池状态非 RUNNING, 则将任务从 workQueue 中移除
if (! isRunning(recheck) && remove(command))
// 按指定的饱和拒绝策略处理任务
reject(command);
// 当工作线程数为 0 的时候，则开启新的线程从 workQueue 中获取任务并执行
else if (workerCountOf(recheck) == 0)
addWorker(null, false);
}
// 若队列满，任务无法加入队列中，则开启线程执行任务
else if (!addWorker(command, false))
// 若无法开启线程执行任务，说明当前工作线程数超过最大线程数
// 按指定饱和策略处理任务
reject(command);
}
创建 Worker
private boolean addWorker(Runnable firstTask, boolean core) {
retry:
for (;;) {
int c = ctl.get();
int rs = runStateOf(c);
// Check if queue empty only if necessary.
// 此处的判断说明当线程池状态为 SHUTDOWN 的时候，如果工作队列 workQueue 中还有任务的话，将会继续处理；反之不处理 （firstTask == null 说明不是新提交的任务， 也就是新提交的任务不予处理）
// 若状态大于 SHUTDOWN 也就是 STOP 时，无论工作队列中 workQueue 是否有任务都不予处理
if (rs >= SHUTDOWN &&
! (rs == SHUTDOWN &&
firstTask == null &&
! workQueue.isEmpty()))
return false;
for (;;) {
// 获取工作线程数
int wc = workerCountOf(c);
// 判断当前工作线程数是否超过线程池最大容量
// 判断当前工作线程数是否超过核心线程数或者最大线程数
// 若超过则退出，也就是开启线程执行任务失败
if (wc >= CAPACITY ||
wc >= (core ? corePoolSize : maximumPoolSize))
return false;
// 工作线程数加一
if (compareAndIncrementWorkerCount(c))
// 退出循环
break retry;
c = ctl.get(); // Re-read ctl
if (runStateOf(c) != rs)
// 运行状态发生变化 则继续轮询
continue retry;
// else CAS failed due to workerCount change; retry inner loop
}
}
boolean workerStarted = false;
boolean workerAdded = false;
Worker w = null;
try {
// 创建 worker 对象
w = new Worker(firstTask);
final Thread t = w.thread;
if (t != null) {
final ReentrantLock mainLock = this.mainLock;
mainLock.lock();
try {
// Recheck while holding lock.
// Back out on ThreadFactory failure or if
// shut down before lock acquired.
int rs = runStateOf(ctl.get());
if (rs < SHUTDOWN ||
(rs == SHUTDOWN && firstTask == null)) {
if (t.isAlive()) // precheck that t is startable
throw new IllegalThreadStateException();
// 添加到 workers 工作线程集合中
workers.add(w);
int s = workers.size();
if (s > largestPoolSize)
largestPoolSize = s;
workerAdded = true;
}
} finally {
mainLock.unlock();
}
if (workerAdded) {
// 线程启动
t.start();
workerStarted = true;
}
}
} finally {
if (! workerStarted)
addWorkerFailed(w);
}
return workerStarted;
}
如下图所示为线程池创建 Worker 流程：
从 addWorker 的实现可以看出，当线程池状态为 SHUTDOWN, STOP 时，将不会在接收新的任务
Worker 执行
接下来我们看下 Worker 的构建
Worker(Runnable firstTask) {
setState(-1); // inhibit interrupts until runWorker
this.firstTask = firstTask;
// 创建线程
this.thread = getThreadFactory().newThread(this);
}
从 Worker 的构建可以看出，当线程启动时，实际上执行的是 Worker 的 run 方法。
public void run() {
runWorker(this);
}
final void runWorker(Worker w) {
Thread wt = Thread.currentThread();
Runnable task = w.firstTask;
w.firstTask = null;
w.unlock(); // allow interrupts
boolean completedAbruptly = true;
try {
// 若能够获取一个待执行的任务
// 也即是 firstTask 不为空或者 workQueue 工作队列中有待执行的任务
while (task != null || (task = getTask()) != null) {
w.lock();
// If pool is stopping, ensure thread is interrupted;
// if not, ensure thread is not interrupted. This
// requires a recheck in second case to deal with
// shutdownNow race while clearing interrupt
if ((runStateAtLeast(ctl.get(), STOP) ||
(Thread.interrupted() &&
runStateAtLeast(ctl.get(), STOP))) &&
!wt.isInterrupted())
wt.interrupt();
try {
beforeExecute(wt, task);
Throwable thrown = null;
try {
// 任务执行
task.run();
} catch (RuntimeException x) {
thrown = x; throw x;
} catch (Error x) {
thrown = x; throw x;
} catch (Throwable x) {
thrown = x; throw new Error(x);
} finally {
afterExecute(task, thrown);
}
} finally {
task = null;
// 当前 worker 完成的任务数加一
w.completedTasks++;
w.unlock();
}
}
completedAbruptly = false;
} finally {
processWorkerExit(w, completedAbruptly);
}
}
接下来我们看下如何从 workQueue 中获取待执行的任务
private Runnable getTask() {
boolean timedOut = false; // Did the last poll() time out?
for (;;) {
int c = ctl.get();
int rs = runStateOf(c);
// Check if queue empty only if necessary.
// 线程池状态为 SHUTDOWN 并且 workQueue 为空的时候返回 null
// 线程池状态为 STOP 返回 null
if (rs >= SHUTDOWN && (rs >= STOP || workQueue.isEmpty())) {
decrementWorkerCount();
return null;
}
// 获取当前工作线程数
int wc = workerCountOf(c);
// Are workers subject to culling?
// allowCoreThreadTimeOut 该变量是指是否允许核心线程在指定存活时间内未获取到任务后回收;
// wc > corePoolSize 说明超过核心线程数的线程将会被回收
boolean timed = allowCoreThreadTimeOut || wc > corePoolSize;
// 工作线程数超过最大线程数 可销毁
// 工作线程数超过核心线程数且上次等待获取任务超时 可销毁
// 若工作线程数等于 1 且 workQueue 队列为空的时候 可销毁
if ((wc > maximumPoolSize || (timed && timedOut))
&& (wc > 1 || workQueue.isEmpty())) {
// 工作线程数减一
if (compareAndDecrementWorkerCount(c))
return null;
continue;
}
try {
// 从队列获取任务
// 若 timed 为 true, 则当前 worker 在指定的 keepAliveTime 时间内等待获取任务；若为空，那么 worker 在下次轮询的时候满足条件下将会退出被回收
Runnable r = timed ?
workQueue.poll(keepAliveTime, TimeUnit.NANOSECONDS) :
workQueue.take();
if (r != null)
return r;
timedOut = true;
} catch (InterruptedException retry) {
timedOut = false;
}
}
}
如下图所示为 worker 获取任务及执行任务的流程：
从 getTask 的实现可以看出在以下情况下将对 worker 执行退出销毁
- 线程池状态为 STOP
- 线程池状态为 SHUTDOWN, 且 workQueue 队列为空
- 线程池工作线程数超过最大线程数
- 线程池工作线程数大于 1，且允许核心线程回收（allowCoreThreadTimeOut = true）同时 worker 上次从队列获取任务时 timeout
- 线程池工作线程数大于核心线程数并大于 1，同时 worker 上次从队列获取任务时 timeout
- 线程池工作线程数等于 1 且 workQueue 为空
个人理解 ：当 workQueue 不为空的时候，线程池最少会保留一个 worker 去执行任务
接下来看下当 worker 退出后的逻辑 :
private void processWorkerExit(Worker w, boolean completedAbruptly) {
// completedAbruptly 表示 worker 是否正常退出； true 说明用户任务处理过程中出现异常，false 是正常退出
if (completedAbruptly) // If abrupt, then workerCount wasn't adjusted
// 若是异常退出的话，执行工作线程数减一
decrementWorkerCount();
final ReentrantLock mainLock = this.mainLock;
mainLock.lock();
try {
// 累加完成的任务数
completedTaskCount += w.completedTasks;
// 将 worker 从工作线程集合 workers 中移除
workers.remove(w);
} finally {
mainLock.unlock();
}
// 尝试终止线程池
tryTerminate();
int c = ctl.get();
if (runStateLessThan(c, STOP)) {
if (!completedAbruptly) {
// 计算线程池允许的最小线程数
int min = allowCoreThreadTimeOut ? 0 : corePoolSize;
if (min == 0 && ! workQueue.isEmpty())
// 若 min = 0，而 workQueue 不为空的话，说明有待处理的任务，则 min = 1，也就是至少有 1 个工作线程
min = 1;
// 若当前工作线程数 >= min, 则退出；反之创建新的 worker
if (workerCountOf(c) >= min)
return; // replacement not needed
}
// worker 非正常退出的话，重新创建新的 worker
addWorker(null, false);
}
}
shutdown
关闭线程池，运行状态改为 SHUTDOWN; 并中断空闲的工作线程
public void shutdown() {
final ReentrantLock mainLock = this.mainLock;
mainLock.lock();
try {
checkShutdownAccess();
// 线程池状态修改为 SHUTDOWN
advanceRunState(SHUTDOWN);
// 中断空闲 worker
interruptIdleWorkers();
onShutdown(); // hook for ScheduledThreadPoolExecutor
} finally {
mainLock.unlock();
}
// 尝试终止线程池
tryTerminate();
}
private void advanceRunState(int targetState) {
for (;;) {
int c = ctl.get();
// 当前状态值 小于 SHUTDOWN 的时候，执行更新
if (runStateAtLeast(c, targetState) ||
ctl.compareAndSet(c, ctlOf(targetState, workerCountOf(c))))
break;
}
}
private void interruptIdleWorkers() {
interruptIdleWorkers(false);
}
private void interruptIdleWorkers(boolean onlyOne) {
final ReentrantLock mainLock = this.mainLock;
mainLock.lock();
try {
for (Worker w : workers) {
Thread t = w.thread;
if (!t.isInterrupted() && w.tryLock()) {
// worker 对应的线程未被中断过，且能够获取到锁，说明线程空闲（因为 worker 在获取到任务执行的时候，会 lock）
try {
// 执行中断
// 此时会唤醒阻塞在 workQueue.take 或 poll 操作上的 worker; 当 worker 在 getTask 继续轮询的时候会退出
t.interrupt();
} catch (SecurityException ignore) {
} finally {
w.unlock();
}
}
if (onlyOne)
break;
}
} finally {
mainLock.unlock();
}
}
final void tryTerminate() {
for (;;) {
int c = ctl.get();
// 线程池状态为 STOP
// 线程池状态为 SHUTDOWN 且 workQueue 为空的时候可终止
if (isRunning(c) ||
runStateAtLeast(c, TIDYING) ||
(runStateOf(c) == SHUTDOWN && ! workQueue.isEmpty()))
return;
// 工作线程数等于 0 的时候可终止
if (workerCountOf(c) != 0) { // Eligible to terminate
interruptIdleWorkers(ONLY_ONE);
return;
}
final ReentrantLock mainLock = this.mainLock;
mainLock.lock();
try {
// 将工作线线程数改为 0，运行状态改为 TIDYING
if (ctl.compareAndSet(c, ctlOf(TIDYING, 0))) {
try {
// 执行终止操作，由子类实现
terminated();
} finally {
// 将运行状态改为 TERMINATED
ctl.set(ctlOf(TERMINATED, 0));
termination.signalAll();
}
return;
}
} finally {
mainLock.unlock();
}
// else retry on failed CAS
}
}
shutdownNow
关闭线程池，运行状态修改为 STOP, 中断所有线程； 并返回未处理的任务
public List<Runnable> shutdownNow() {
List<Runnable> tasks;
final ReentrantLock mainLock = this.mainLock;
mainLock.lock();
try {
checkShutdownAccess();
// 将线程池状态改为 STOP
advanceRunState(STOP);
// 中断所有的 Worder
interruptWorkers();
// 清除任务队列，并返回任务列表
tasks = drainQueue();
} finally {
mainLock.unlock();
}
tryTerminate();
return tasks;
}
private void interruptWorkers() {
final ReentrantLock mainLock = this.mainLock;
mainLock.lock();
try {
// 将所有 worker 执行中断
for (Worker w : workers)
w.interruptIfStarted();
} finally {
mainLock.unlock();
}
}
对于线程池的关闭操作 tryTerminate() 方法中的一段逻辑需要重点说明下，如下
if (workerCountOf(c) != 0) { // Eligible to terminate
interruptIdleWorkers(ONLY_ONE);
return;
}
interruptIdleWorkers(ONLY_ONE)是什么意思呢？中断闲置的Worker，直到回收全部的Worker。这里没有那么暴力，只中断一个，中断之后退出方法，中断了Worker之后，Worker会回收，然后还是会调用tryTerminate方法，如果还有闲置线程，那么继续中断
譬如有个场景 ： 线程池在执行 shutdown 操作后，假设工作线程 A, B 还在执行任务，此时假设 workQueue 队列中还有一个任务； 当 A, B 分别在继续执行 getTask 时，有可能 A 先获取到任务，B 被阻塞到 workQueue.task() 操作上，如果不进行 interruptIdleWorkers(ONLY_ONE) 处理，那么工作线程 B 将一直存活而无法回收。
