说在前面
在40岁老架构师 尼恩的读者交流群(50+)中,最近有小伙伴拿到了一线互联网企业如滴滴、极兔、有赞、希音、百度、网易的面试资格,遇到很多很重要的面试题:
- 如何设计线程池?
- 请手写一个简单线程池?
就在昨天, 一个小伙伴面试滴滴, 遇到一个与线程池底层原理有关的连环炮, 没有回答好,导致面试挂了。
小伙伴遇到的滴滴的面试真题,也就这个与线程池底层原理有关的连环炮,用小伙的原话来说吧。
小伙伴的原话如下:
恩哥,最近滴滴一面遇到一个问题,问的是
- 线程池底部是怎么进行线程调度的,
- 线程如何进行抢占和优先级设置,
- 对于有优先级要求的场景下,怎么设置线程池。网上一直没找到答案
尼恩提示:线程池的知识,既是面试的核心知识,又是开发的核心知识。 所以,这里尼恩给大家做一下系统化、体系化的线程池梳理,使得大家可以充分展示一下大家雄厚的 “技术肌肉”,让面试官爱到 “不能自已、口水直流”。
也一并把这个题目以及参考答案,收入咱们的 《尼恩Java面试宝典PDF》V110版本,供后面的小伙伴参考,提升大家的 3高 架构、设计、开发水平。
《尼恩 架构笔记》《尼恩高并发三部曲》《尼恩Java面试宝典》的PDF,请关注本公众号【技术自由圈】取
文章目录
滴滴的面试真题分析
第一问:线程池底部是怎么进行线程调度的?
![](/qrcode.jpg)
这个是一个基础题,具体的答案,请参考尼恩的 《Java 高并发核心编程 卷1 加强版》
第二问:线程如何进行抢占和优先级设置?
这个需要大家了解一下线程池的运作原理, 最好是自己手写一个简单的线程池,加深印象。
如何手写一个线程池呢? 请参考尼恩 架构团队的文章
第三问:对于有优先级要求的场景下,怎么设置线程池?
这个,使用本文给大家作答。
线程池的基本原理
一般而言,大家都使用线程池并发执行、并发调度任务,通过池化的架构去节省线程创建和销毁带来的性能损耗。
默认情况下,有了线程池之后,大家都通过提交任务的方式, 提交任务到线程池,由线程池去调度。
提交到线程池的任务,按照线程池的调度规则进行调度。线程池的调度规则,大致如下:
注意:请点击图像以查看清晰的视图!
如何线程池的核心线程都很忙,任务就需要排队了,进入线程池的内部工作队列,大致如下图所示:
注意:请点击图像以查看清晰的视图!
工作线程执行完手上的任务后,会在一个无限循环中,反复从内部工作队列(如LinkedBlockingQueue )获取任务来执行。
对于有优先级要求的场景下,怎么设置线程池?
普通的线程池, 任务之间是没有优先级特权的, 可以理解为 先进先出 的公平调度模式。
有的的时候, 任务之间是有 优先级特权的, 不是按照 先进先出 调度, 而是需要按照 优先级进行调度。
所以,如果不同的任务之间,存在一些优先级的变化,咋整呢?
办法很简单,就是替换掉 线程池里边的工作队列,使用 优先级的无界阻塞队列 ,去管理 异步任务。
首先,来看看几种典型的工作队列
- ArrayBlockingQueue:使用数组实现的有界阻塞队列,特性先进先出
- LinkedBlockingQueue:使用链表实现的阻塞队列,特性先进先出,可以设置其容量,默认为Interger.MAX_VALUE,特性先进先出
- PriorityBlockingQueue:使用平衡二叉树堆,实现的具有优先级的无界阻塞队列
- DelayQueue:无界阻塞延迟队列,队列中每个元素均有过期时间,当从队列获取元素时,只有过期元素才会出队列。队列头元素是最块要过期的元素。
- SynchronousQueue:一个不存储元素的阻塞队列,每个插入操作,必须等到另一个线程调用移除操作,否则插入操作一直处于阻塞状态
使用 优先级的无界阻塞队列 PriorityBlockingQueue 替代 没有优先级的队列 ArrayBlockingQueue 或者 LinkedBlockingQueue。
额外提一嘴, 如果是普通的任务,没有优先级的话, 一般情况,建议大家参考 rocketmq的源码, 使用 有界的 LinkedBlockingQueue 作为 任务队列。
rocketmq的源码, 用到大量的线程池,具体如下图:
这些任务队列,用的都是有界的 LinkedBlockingQueue ,具体如下图:
如果任务有优先级, 就需要引入任务队列并进行管理了。
这时候,就需要 使用 优先级的无界阻塞队列 PriorityBlockingQueue ,下面是一个例子。
优先级任务线程池的设计与实操
实现一个 优先级任务线程池,有2个关键点:
- 使用PriorityBlockingQueue 作为 线程池的任务队列。
- 提交的任务 具备 排序能力。
使用 PriorityBlockingQueue 作为 线程池的任务队列
还是基于ThreadPoolExecutor 进行线程池的构造, 我们知道, ThreadPoolExecutor的构造函数有一个workQueue参数,这里可以传入 PriorityBlockingQueue 优先级队列。
在 buildWorkQueue() 方法里边,构造一个 PriorityBlockingQueue<E>
,它的构造函数可以传入一个比较器Comparator,能够满足要求。
这里主要有两点:
- 替换线程池默认的阻塞队列为 PriorityBlockingQueue,响应的传入的线程类需要实现
Comparable<T>
才能进行比较。 - PriorityBlockingQueue 的数据结构决定了,优先级相同的任务无法保证 FIFO,需要自己控制顺序。
提交的任务 具备 排序能力
ThreadPoolExecutor的submit、invokeXxx、execute方法入参都是Runnable、Callable,均不具备可排序的属性。
我们可以弄一个实现类 PriorityTask,加一些额外的属性,让它们具备排序能力。
对自定义的优先级线程池,进行测试
提交三种不同优先级的任务,进行测试
- 优先级高的后面提交
- 优先级低的前面提交
优先级高的前面执行
优先级低的后面执行
PriorityBlockingQueue 队列的问题
主要是,PriorityBlockingQueue是无界的,它的offer方法永远返回true。
这样,会带来两个问题:
第一,OOM风险;
第二,最大线程数 失效
第三,拒绝策略 失效
怎么解决呢?
方法一:可以继承PriorityBlockingQueue , 重写一下这个类的offer方法,如果元素超过指定数量直接返回false,否则调用原来逻辑。
方式二:扩展线程池的submit、invokeXxx、execute方法,在里边进行 任务数量的 统计、检查、限制。
优先建议大家使用 方式一。
说说 PriorityQueue 的堆结构
面试进行到这里,很容易出现 PriorityQueue的堆结构的问题
因为, PriorityBlockingQueue 是 PriorityQueue 的阻塞版本
PriorityQueue 是 Java 提供的堆实现
PriorityQueue在默认情况下是一个最小堆,如果使用最大堆调用构造函数就需要传入 Comparator
改变比较排序的规则。
// 构造小顶堆
PriorityQueue<Integer> priorityQueue = new PriorityQueue<>((o1, o2) -> o1 - o2);
// 构造大顶堆
PriorityQueue<Integer> priorityQueue = new PriorityQueue<>((o1, o2) -> o2 - o1);
PriorityQueue
实现了接口 Queue
,它常用的函数如表所示
这就是为啥堆被称为优先级队列的原因
操作 | 抛异常 | 不抛异常 |
---|---|---|
插入新的元素 | add(e) | offer(e) |
删除堆顶元素 | remove | poll |
返回堆顶元素 | element | peek |
虽然Java中的PriorityQueue实现了Queue接口,但它并不是一个队列,也不是按照“先入先出”的顺序删除元素的。
PriorityQueue的删除顺序与元素添加的顺序无关。PriorityQueue是 按照最小堆 的 次序,进行元素操作的。
所以,PriorityQueue是一个堆,每次调用函数remove或poll都将删除位于堆顶的元素。
同理,PriorityQueue的函数element和peek都返回位于堆顶的元素,即根据堆的类型返回值最大或最小的元素,这与元素添加的顺序无关。
来到算法的基础知识,什么是堆?
堆(也称为优先级队列)是一种特殊的树形数据结构。
根据根节点的值与子节点的值的大小关系,堆又分为最大堆和最小堆。
- 在最大堆中,每个节点的值总是大于或等于其任意子节点的值,因此最大堆的根节点就是整个堆的最大值。
- 在最小堆中,每个节点的值总是小于或等于其任意子节点的值,因此最小堆的根节点就是整个堆的最小值
例如,图(a)所示是一个最大堆,图(b)所示是一个最小堆。
堆通常用完全二叉树实现。在完全二叉树中,除最低层之外,其他层都被节点填满,最低层尽可能从左到右插入节点。上图中的两个堆都是完全二叉树。
完全二叉树又可以用数组实现,因此堆也可以用数组实现。如果从堆的根节点开始从上到下按层遍历,并且每层从左到右将每个节点按照 0、1、2 等的顺序编号,将编号为 0 的节点放入数组中下标为 0 的位置,编号为1的节点放入数组中下标为1的位置,以此类推就可以将堆的所有节点都添加到数组中。上图(a)中的堆可以用数组表示成下图(a)所示的形式,而上图(b)中的堆可以用数组表示成下图(b)所示的形式。
如果数组中的一个元素的下标为 i,那么它在堆中对应节点的父节点在数组中的下标为 (i - 1) / 2
,而它的左右子节点在数组中的下标分别为 2 * i + 1
和 2 * i + 2
。
在堆中添加元素
为了在最大堆中添加新的节点,有以下三个步骤:
- 先从上到下、从左到右找出第 1 个空缺的位置,并将新节点添加到该空缺位置
- 如果新节点的值比它的父节点的值大,那么交换它和它的父节点
- 重复这个交换过程,直到新节点的值小于或等于它的父节点,或者它已经到达堆的顶部位置。
在最小堆中添加新节点的过程与此类似,唯一的不同是要确保新节点的值要大于或等于它的父节点。
所以,堆的添加操作是一个自下而上的操作。
举个例子,如果上图(a)的最大堆中添加一个新的元素 95:
- 由于节点 60 的右子节点是第1个空缺的位置,因此创建一个新的节点95并使之成为节点60的右子节点
- 此时新节点95的值大于它的父节点60的值,这违背了最大堆的定义,于是交换它和它的父节点
- 由于新节点95的值仍然大于它的父节点90的值,因此再交换新节点95和它的父节点90。此时堆已经满足最大堆的定义。
整体过程如下图:
堆的插入操作可能需要交换节点,以便把节点放到合适的位置,交换的次数最多为二叉树的深度,因此如果堆中有 n 个节点,那么它的插入操作的时间复杂度是 O(logn)
。
在堆中删除元素
通常只删除位于堆顶部的元素。
以删除最大堆的顶部节点为例:
- 将堆最低层最右边的节点移到堆的顶部
- 如果此时它的左子节点或右子节点的值大于它,那么它和左右子节点中值较大的节点交换
- 如果交换之后节点的值仍然小于它的子节点的值,则再次交换,直到该节点的值大于或等于它的左右子节点的值,或者到达最低层为止
删除最小堆的顶部节点的过程与此类似,唯一的不同是要确保节点的值要小于它的左右子节点的值。
所以,堆的删除操作是一个自上而下的操作。
举个例子,删除上图(a)中最大堆的顶部元素之后:
- 将位于最低层最右边的节点60移到最大堆的顶部,如下图(c)所示
- 此时节点60比它的左子节点80和右子节点90的值都小,因此将它和值较大的右子节点90交换,交换之后的堆如图(d)所示
- 此时节点60大于它的左子节点30,满足最大堆的定义
堆的删除操作可能需要交换节点,以便把节点放到合适的位置,交换的次数最多为二叉树的深度,因此如果堆中有 n 个节点,那么它的删除操作的时间复杂度是 O(logn)
。
说在最后
线程池面试题,是非常常见的面试题。
以上的内容,如果大家能对答如流,如数家珍,基本上 面试官会被你 震惊到、吸引到。
在面试之前,建议大家系统化的刷一波 5000页《尼恩Java面试宝典PDF》,并且在刷题过程中,如果有啥问题,大家可以来 找 40岁老架构师尼恩交流。
最终,让面试官爱到 “不能自已、口水直流”。offer, 也就来了。
推荐阅读
《阿里2面:你们部署多少节点?1000W并发,当如何部署?》
《网易一面:25Wqps高吞吐写Mysql,100W数据4秒写完,如何实现?》
《尼恩 架构笔记》《尼恩高并发三部曲》《尼恩Java面试宝典》PDF,请到下面公号【技术自由圈】取↓↓↓