Kafka高级篇知识点
44个Kafka知识点(基础+进阶+高级)解析如下
由于篇幅有限,小编已将上面介绍的**《Kafka源码解析与实战》、Kafka面试专题解析、复习学习必备44个Kafka知识点(基础+进阶+高级)都整理成册,全部都是PDF文档**
本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录
需要这份系统化的资料的朋友,可以点击这里获取
-
共享式获取同步状态:acquireShared(), doAcquireShared(), setHeadAndPropagate();
-
共享式释放同步状态:releaseShared(), doReleaseShared();
这个图总结了 AQS 整体架构的组成,和部分场景的动态流向,图中两个点说明一下,方便大家观看。
-
AQS 中队列只有两个:同步队列 + 条件队列,底层数据结构两者都是链表(在上一篇我们已经介绍过了);
-
图中有四种颜色的线代表四种不同的场景,1、2、3 序号代表看的顺序。
AQS 本身就是一套锁的框架,它定义了获得锁和释放锁的代码结构,所以如果要新建锁,只要继承 AQS,并实现相应方法即可。
一、获取锁
========================================================================
1.1 acquire排他锁
获取锁最直观的感受就是使用 Lock.lock () 方法来获得锁,最终目的是想让线程获得对资源的访问权。
Lock 一般是 AQS 的子类,lock 方法根据情况一般会选择调用 AQS 的 acquire 或 tryAcquire 方法。
acquire 方法 AQS 已经实现了,tryAcquire 方法是等待子类去实现。
acquire 方法制定了获取锁的框架,先尝试使用 tryAcquire 方法获取锁,获取不到时,再入同步队列中等待锁。tryAcquire 方法 AQS 中直接抛出一个异常,表明需要子类去实现,子类可以根据同步器的 state 状态来决定是否能够获得锁,接下来我们详细看下 acquire 的源码解析。
acquire 也分两种,一种是排它锁,一种是共享锁,我们一一来看下:
// 排他模式下,尝试获得锁
public final void acquire(int arg) {
// tryAcquire方法需要实现类去实现
// 实现思路一般都是 cas 给 state 赋值来决定是否能获得锁
if (!tryAcquire(arg) &&
// acquireQueued(addWaiter(Node.EXCLUSIVE), arg))
// 注意:上面这行代码是两个方法addWaiter和acquireQueued,这两个方法在下面我们会细说
// addWaiter入参代表是排他模式
acquireQueued(addWaiter(Node.EXCLUSIVE), arg))
selfInterrupt();
}
以上代码的主要步骤是(流程见整体架构图中红色场景):
-
尝试执行一次 tryAcquire,如果成功直接返回,失败走 2;
-
线程尝试进入同步队列,首先调用 addWaiter 方法,把当前线程放到同步队列的队尾;
-
接着调用 acquireQueued 方法,两个作用,第一个作用是阻塞当前节点,第二个作用是节点被唤醒时,使其能够获得锁;
-
如果 2、3 失败了,打断线程。
1.1.2 addWaiter
接下来我们先来看下 addWaiter 的源码实现:
方法的主要目的:node追加到同步队列的队尾;
// 方法传入的参数 mode 表示 当前线程的节点
// return node 表示新增的node
private Node addWaiter(Node mode) {
// 初始化node
Node node = new Node(Thread.currentThread(), mode);
// 这里的逻辑与 enq 方法的逻辑一样,只不过 enq 增加对队尾判空的操作
// 当前节点的前置节点为tail
Node pred = tail;
if (pred != null) {
node.prev = pred;
// 以CAS的方式去设置尾节点 compareAndSetTail
if (compareAndSetTail(pred, node)) {
pred.next = node;
return node;
}
}
// 有可能CAS会失败,因为存在竞争,所以进入 enq 环节
// enq 自旋保证node加入队尾
enq(node);
return node;
}
// 线程加入同步队列队尾的方法
// 这里注意一下,返回值是添加 node 的前一个节点
private Node enq(final Node node) {
// 自旋,直到成功为止,或者直到放弃为止
for (;😉 {
// 得到队尾节点
Node t = tail;
// 如果队尾为空,则说明当前同步队列没有进行初始化,进行初始化
if (t == null) {
if (compareAndSetHead(new Node()))
tail = head;
// 如果队尾不为空,则将当前节点追加到队尾
} else {
node.prev = t;
// node追加到队尾
if (compareAndSetTail(t, node)) {
t.next = node;
return t;
}
}
}
}
总结:就是把新的节点追加到同步队列的队尾。
1.1.3 acquireQueued
下一步就是要阻塞当前线程了,是 acquireQueued 方法来实现的,即队列中的节点什么时候阻塞,什么时候唤醒由 acquireQueued 去决定,我们来看下源码实现:
这个方法主要做了两件事:
-
通过不断的自旋尝试使自己的前一个节点的状态变成signal状态,然后阻塞自己;
-
获得锁的线程执行完毕之后,释放锁时,会把阻塞的 node 唤醒,node 唤醒之后再次自旋,尝试获得锁;
-
返回 false 表示获得锁成功,返回 true 则表示失败
final boolean acquireQueued(final Node node, int arg) {
boolean failed = true;
try {
boolean interrupted = false;
// 自旋
for (;😉 {
// 选择上一个节点,p 代表前置结点
final Node p = node.predecessor();
// 有两种情况会走到 p == head
// 1. node之前没有获得锁,进入 acquireQueued 方法时,才发现它的前置节点就是头节点,于是尝试获得一次锁
// 2. node之前一直在阻塞沉睡,然后被唤醒,此时唤醒 node 的节点正是其前一个节点,也能走到if
// 如果自己 tryAcquire (尝试抢锁) 成功,就立刻讲自己设置成为 head,并且把上一个节点移除
// 如果自己 tryAcquire 失败,尝试进入同步队列
if (p == head && tryAcquire(arg)) {
// 获得锁,将自己设置成 head 节点
setHead(node);
// p 被回收
p.next = null;
failed = false;
return interrupted;
}
// shouldParkAfterFailedAcquire 把 node 的前一个节点设置为signal
// 只要前一个节点的状态是 signal 了,那么自己就可以阻塞了
if (shouldParkAfterFailedAcquire(p, node) &&
// 线程是在这个方法中阻塞的,醒来的时候仍在无限 for 循环里面,就能再次自旋尝试获得锁
parkAndCheckInterrupt())
interrupted = true;
}
} finally {
// 如果获得 node 的锁失败,将 node 从队列中移除
if (failed)
cancelAcquire(node);
}
}
1.1.4 shouldParkAfterFailedAcquire
shouldParkAfterFailedAcquire,这个方法的主要目的就是把前一个节点的状态置为 SIGNAL,只要前一个节点的状态是 SIGNAL,当前节点就可以阻塞了。
// 当前线程可以安心阻塞的标准,就是前一个节点的线程状态是 signal 了
// 传入的参数 pred 表示前一个节点, node 表示当前节点
private static boolean shouldParkAfterFailedAcquire(Node pred, Node node) {
int ws = pred.waitStatus;
// 如果前一个节点 waitStatus 状态已经是 signal 了,直接返回,不需要再自旋了
if (ws == Node.SIGNAL)
return true;
if (ws > 0) {
// 找到前一个状态不是取消的节点,因为把当前 node 挂在有效节点的身上
// 因为节点的状态是取消的话,是无效的,是不能作为 node 的前置节点的,所以必须找到 node 的有效节点才行
do {
node.prev = pred = pred.prev;
} while (pred.waitStatus > 0);
pred.next = node;
// 否则直接把节点状态设置为 signal
} else {
compareAndSetWaitStatus(pred, ws, Node.SIGNAL);
}
return false;
}
acquire 整个过程非常长,代码也非常多,但注释很清楚,可以一行一行仔细看看代码。
1.1.5 总结
acquire 方法大致分为三步:
-
使用 tryAcquire 方法尝试获得锁,获得锁直接返回,获取不到锁的走 2;
-
把当前线程组装成节点(Node),追加到同步队列的尾部(addWaiter);
-
自旋,使同步队列中当前节点的前置节点状态为 signal 后,然后阻塞自己。
1.2 acquireShared 获取共享锁
acquireShared 整体流程和 acquire 相同,代码也很相似,重复的源码就不贴了,我们就贴出来不一样的代码来,也方便大家进行比较:
- 第一处尝试获得锁的地方,有所不同,排它锁使用的是 tryAcquire 方法,共享锁使用的是 tryAcquireShared 方法,如下图:
- 第二处不同,在于节点获得排它锁时,仅仅把自己设置为同步队列的头节点即可(setHead 方法),但如果是共享锁的话,还会去唤醒自己的后续节点,一起来获得该锁(setHeadAndPropagate 方法),不同之处如下(左边排它锁,右边共享锁):
1.2.1 setHeadAndPropagate
这个方法主要做了两件事:
-
把当前节点设置成头节点
-
看看后续节点有无正在等待,并且也是共享模式的,有的话唤醒这些节点
private void setHeadAndPropagate(Node node, int propagate) {
Node h = head;
// 当前节点设置成头节点
setHead(node);
// propagate > 0 表示已经有节点获得共享锁了
if (propagate > 0 || h == null || h.waitStatus < 0 ||
(h = head) == null || h.waitStatus < 0) {
Node s = node.next;
// 共享模式,还唤醒头节点的后置节点
if (s == null || s.isShared())
doReleaseShared();
}
}
// 释放后置共享节点
private void doReleaseShared() {
for (;😉 {
Node h = head;
// 还没有到队尾,此时队列中至少有两个节点
if (h != null && h != tail) {
int ws = h.waitStatus;
// 如果队列状态是 SIGNAL ,说明后续节点都需要唤醒
if (ws == Node.SIGNAL) {
// CAS 保证只有一个节点可以运行唤醒的操作
if (!compareAndSetWaitStatus(h, Node.SIGNAL, 0))
continue;
// 进行唤醒操作
unparkSuccessor(h);
}
else if (ws == 0 &&
!compareAndSetWaitStatus(h, 0, Node.PROPAGATE))
continue;
}
if (h == head)
break;
}
}
这个就是共享锁独特的地方,当一个线程获得锁后,它就会去唤醒排在它后面的其它节点,让其它节点也能够获得锁。
二、释放锁
========================================================================
释放锁的触发时机就是我们常用的 Lock.unLock () 方法,目的就是让线程释放对资源的访问权(流程见整体架构图蓝色路线)。
释放锁也是分为两类,一类是排它锁的释放,一类是共享锁的释放,我们分别来看下。
2.1 释放排它锁
排它锁的释放就比较简单了,从队头开始,找它的下一个节点,如果下一个节点是空的,就会从尾开始,一直找到状态不是取消的节点,然后释放该节点,源码如下:
2.1.1 release
public final boolean release(int arg) {
// tryRelease 交给实现类去实现,如果返回true则说明成功释放锁
if (tryRelease(arg)) {
Node h = head;
// 头节点不为空 && 非初始化状态
if (h != null && h.waitStatus != 0)
// 从头开始唤醒等待锁的节点
unparkSuccessor(h);
return true;
}
return false;
}
2.1.2 unparkSuccessor
// 当线程释放锁成功后,从 node 开始唤醒同步队列中的节点
// 通过唤醒机制,保证线程不会一直在同步队列中阻塞等待
private void unparkSuccessor(Node node) {
// node节点为当前释放锁的节点,也是同步队列的头结点
int ws = node.waitStatus;
// 如果节点已经被取消了,把节点的状态设置为初始化
if (ws < 0)
compareAndSetWaitStatus(node, ws, 0);
// 拿出 node 节点的下一个节点
Node s = node.next;
// s 为空,表示 node 的后一个节点为空
// s.waitStatus > 0 表示s节点已经被取消了
// 遇到上面两种情况,就从队尾开始,向前遍历,找到第一个 waitStatus 字段不是被取消的节点
if (s == null || s.waitStatus > 0) {
s = null;
// 这个for循环,从尾部开始迭代
// 主要是因为节点被阻塞的时候,是在acquiredQueued方法里面被阻塞的(上面已经介绍了这个方法)
// 所以唤醒的时候也一定是在acquiredQueued方法里面被唤醒
// 唤醒的条件是,判断判断当前节点的前置节点是否为头结点,这里是判断当前节点的前置节点
// 所以这里必须从尾部开始迭代,目的就是过滤无效的前置节点,不然节点被唤醒时,发现前置节点是无效节点的话,就又会陷入阻塞
for (Node t = tail; t != null && t != node; t = t.prev)
if (t.waitStatus <= 0)
s = t;
}
// 唤醒以上代码找到的线程
if (s != null)
LockSupport.unpark(s.thread);
}
2.2 释放共享锁
2.2.1 releaseShared
释放共享锁的方法是 releaseShared,主要分成两步:
-
tryReleaseShared 尝试释放当前共享锁,失败返回 false,成功走 2;
-
唤醒当前节点的后续阻塞节点,这个方法我们之前看过了,线程在获得共享锁的时候,就会去唤醒其后面的节点,方法名称为:doReleaseShared。
我们一起来看下 releaseShared 的源码:
// 共享模式下,释放当前线程的共享锁
public final boolean releaseShared(int arg) {
if (tryReleaseShared(arg)) {
// 线程在获得共享锁的时候,就会去唤醒其后面的节点
doReleaseShared();
return true;
}
return false;
}
三. 条件队列的一些重要方法
=================================================================================
3.1 为什么需要条件队列
Condition定义了等待/通知两种类型的方法,当前线程调用这些方法时,需要提前获取到Condition对
象关联的锁。Condition对象是由Lock对象创建出来的,换句话说,Condition是依赖Lock对象的。
当调用Condition的await()方法后,当前线程会释放锁并在此等待。而其他线程调用Condition对象的
signal()方法通知当前线程后,当前线程才从await()方法返回,并且在返回前已经获取了锁。
因为并不是所有场景一个同步队列就可以搞定的。
-
在遇到锁 + 队列结合的场景时,就需要 Lock + Condition 配合才行,先使用 Lock 来决定哪些线程可以获得锁,哪些线程需要到同步队列里面排队阻塞;
-
获得锁的多个线程在碰到队列满或者空的时候,可以使用 Condition 来管理这些线程,让这些线程阻塞等待,然后在合适的时机后,被正常唤醒。
同步队列 + 条件队列联手使用的场景,最多被使用到锁 + 队列的场景中。所以说条件队列也是不可或缺的一环。
接下来我们来看一下条件队列一些比较重要的方法,以下方法都在 ConditionObject 内部类中。
3.2 入队列等待 await
获得锁的线程,如果在碰到队列满或空的时候,就会阻塞住,这个阻塞就是用条件队列实现的,这个动作我们叫做入条件队列,方法名称为 await,流程见整体架构图中绿色箭头流向,我们一起来看下 await 的源码:
// 线程进入条件队列
public final void await() throws InterruptedException {
if (Thread.interrupted())
throw new InterruptedException();
// 加入条件队列的队尾
Node node = addConditionWaiter();
// 加入队列后,会释放 lock 时所申请的资源,唤醒同步队列的头结点
// fullyRelease 释放资源,自己马上就要阻塞了,所以要马上释放之前 lock 的资源
// 不然自己不被唤醒的话,别的线程永远得不到该共享的资源
long savedState = fullyRelease(node);
int interruptMode = 0;
// 确认 node 不在同步队列上,在阻塞,如果node在同步队列上的话,是不能够上锁的
// 为什么这么做?
// node刚被加入到条件队列,立马就被其他线程唤醒转移到同步队列当中了
// 线程之前在条件队列中沉睡,被唤醒后加入到同步队列当中
while (!isOnSyncQueue(node)) {
// 阻塞在条件队列上
LockSupport.park(this);
if ((interruptMode = checkInterruptWhileWaiting(node)) != 0)
break;
}
// 其他线程通过 signal 已经把 node 从条件队列中转移到同步队列中
// 所以这里尝试acquireQueued
if (acquireQueued(node, savedState) && interruptMode != THROW_IE)
interruptMode = REINTERRUPT;
if (node.nextWaiter != null)
// 如果状态不是CONDITION,就会自动删除
// CONDITION表示线程正在等待条件
unlinkCancelledWaiters();
if (interruptMode != 0)
reportInterruptAfterWait(interruptMode);
}
await 方法有几点需要特别注意:
-
fullyRelease(node);,节点在准备进入条件队列之前,一定会先释放当前持有的锁,不然自己进去条件队列了,其余的线程都无法获得锁了;
-
(acquireQueued(node, savedState) && interruptMode != THROW_IE),此时节点是被 Condition.signal 或者 signalAll 方法唤醒的,此时节点已经成功的被转移到同步队列中去了(整体架构图中蓝色流程),所以可以直接执行 acquireQueued 方法;
-
Node 在条件队列中的命名,源码喜欢用 Waiter 来命名,所以我们在条件队列中看到 Waiter,其实就是 Node。
await 方法中有两个重要方法:addConditionWaiter 和 unlinkCancelledWaiters,我们一一看下。
3.3 addConditionWaiter
addConditionWaiter 方法主要是把节点放到条件队列中,方法源码如下:
// 增加新的 waiter 到队列中,返回新添加的 waiter
// 如果尾节点的状态不是CONDITION状态,删除条件队列中所有状态不是CONDITION的节点
// 如果队列为空,新增的节点作为队列头节点,否则追加到尾节点上
private Node addConditionWaiter() {
Node t = lastWaiter;
// 如果尾节点的状态不是CONDITION状态,删除
if (t != null && t.waitStatus != Node.CONDITION) {
unlinkCancelledWaiters();
t = lastWaiter;
}
// 新建条件队列node
Node node = new Node(Thread.currentThread(), Node.CONDITION);
// 如果是空的,直接放在队列头
if (t == null)
firstWaiter = node;
互联网大厂比较喜欢的人才特点:对技术有热情,强硬的技术基础实力;主动,善于团队协作,善于总结思考。无论是哪家公司,都很重视高并发高可用技术,重视基础,所以千万别小看任何知识。面试是一个双向选择的过程,不要抱着畏惧的心态去面试,不利于自己的发挥。同时看中的应该不止薪资,还要看你是不是真的喜欢这家公司,是不是能真的得到锻炼。其实我写了这么多,只是我自己的总结,并不一定适用于所有人,相信经过一些面试,大家都会有这些感触。
**另外本人还整理收藏了2021年多家公司面试知识点以及各种技术点整理 **
下面有部分截图希望能对大家有所帮助。
本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录
需要这份系统化的资料的朋友,可以点击这里获取
中所有状态不是CONDITION的节点
// 如果队列为空,新增的节点作为队列头节点,否则追加到尾节点上
private Node addConditionWaiter() {
Node t = lastWaiter;
// 如果尾节点的状态不是CONDITION状态,删除
if (t != null && t.waitStatus != Node.CONDITION) {
unlinkCancelledWaiters();
t = lastWaiter;
}
// 新建条件队列node
Node node = new Node(Thread.currentThread(), Node.CONDITION);
// 如果是空的,直接放在队列头
if (t == null)
firstWaiter = node;
互联网大厂比较喜欢的人才特点:对技术有热情,强硬的技术基础实力;主动,善于团队协作,善于总结思考。无论是哪家公司,都很重视高并发高可用技术,重视基础,所以千万别小看任何知识。面试是一个双向选择的过程,不要抱着畏惧的心态去面试,不利于自己的发挥。同时看中的应该不止薪资,还要看你是不是真的喜欢这家公司,是不是能真的得到锻炼。其实我写了这么多,只是我自己的总结,并不一定适用于所有人,相信经过一些面试,大家都会有这些感触。
**另外本人还整理收藏了2021年多家公司面试知识点以及各种技术点整理 **
下面有部分截图希望能对大家有所帮助。
[外链图片转存中…(img-zAhrcP5B-1715804684962)]
本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录