分享好友 最新动态首页 最新动态分类 切换频道
AbstractQueuedSynchronizer源码解析(下)
2024-12-27 05:36

Kafka高级篇知识点

AbstractQueuedSynchronizer源码解析(下)

44个Kafka知识点(基础+进阶+高级)解析如下

由于篇幅有限,小编已将上面介绍的**《Kafka源码解析与实战》、Kafka面试专题解析、复习学习必备44个Kafka知识点(基础+进阶+高级)都整理成册,全部都是PDF文档**

本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友,可以点击这里获取

  1. 共享式获取同步状态:acquireShared(), doAcquireShared(), setHeadAndPropagate()

  2. 共享式释放同步状态:releaseShared(), doReleaseShared()

这个图总结了 AQS 整体架构的组成,和部分场景的动态流向,图中两个点说明一下,方便大家观看。

  1. AQS 中队列只有两个:同步队列 + 条件队列,底层数据结构两者都是链表(在上一篇我们已经介绍过了

  2. 图中有四种颜色的线代表四种不同的场景,1、2、3 序号代表看的顺序。

AQS 本身就是一套锁的框架,它定义了获得锁和释放锁的代码结构,所以如果要新建锁,只要继承 AQS,并实现相应方法即可。

一、获取锁

========================================================================

1.1 acquire排他锁


获取锁最直观的感受就是使用 Lock.lock () 方法来获得锁,最终目的是想让线程获得对资源的访问权。

Lock 一般是 AQS 的子类,lock 方法根据情况一般会选择调用 AQS 的 acquire 或 tryAcquire 方法。

acquire 方法 AQS 已经实现了,tryAcquire 方法是等待子类去实现。

acquire 方法制定了获取锁的框架,先尝试使用 tryAcquire 方法获取锁,获取不到时,再入同步队列中等待锁。tryAcquire 方法 AQS 中直接抛出一个异常,表明需要子类去实现,子类可以根据同步器的 state 状态来决定是否能够获得锁,接下来我们详细看下 acquire 的源码解析。

acquire 也分两种,一种是排它锁,一种是共享锁,我们一一来看下

// 排他模式下,尝试获得锁

public final void acquire(int arg) {

// tryAcquire方法需要实现类去实现

// 实现思路一般都是 cas 给 state 赋值来决定是否能获得锁

if (!tryAcquire(arg) &&

// acquireQueued(addWaiter(Node.EXCLUSIVE), arg))

// 注意:上面这行代码是两个方法addWaiter和acquireQueued,这两个方法在下面我们会细说

// addWaiter入参代表是排他模式

acquireQueued(addWaiter(Node.EXCLUSIVE), arg))

selfInterrupt();

}

以上代码的主要步骤是(流程见整体架构图中红色场景

  1. 尝试执行一次 tryAcquire,如果成功直接返回,失败走 2

  2. 线程尝试进入同步队列,首先调用 addWaiter 方法,把当前线程放到同步队列的队尾

  3. 接着调用 acquireQueued 方法,两个作用,第一个作用是阻塞当前节点,第二个作用是节点被唤醒时,使其能够获得锁

  4. 如果 2、3 失败了,打断线程。

1.1.2 addWaiter

接下来我们先来看下 addWaiter 的源码实现

方法的主要目的:node追加到同步队列的队尾

// 方法传入的参数 mode 表示 当前线程的节点

// return node 表示新增的node

private Node addWaiter(Node mode) {

// 初始化node

Node node = new Node(Thread.currentThread(), mode);

// 这里的逻辑与 enq 方法的逻辑一样,只不过 enq 增加对队尾判空的操作

// 当前节点的前置节点为tail

Node pred = tail;

if (pred != null) {

node.prev = pred;

// 以CAS的方式去设置尾节点 compareAndSetTail

if (compareAndSetTail(pred, node)) {

pred.next = node;

return node;

}

}

// 有可能CAS会失败,因为存在竞争,所以进入 enq 环节

// enq 自旋保证node加入队尾

enq(node);

return node;

}

// 线程加入同步队列队尾的方法

// 这里注意一下,返回值是添加 node 的前一个节点

private Node enq(final Node node) {

// 自旋,直到成功为止,或者直到放弃为止

for (;😉 {

// 得到队尾节点

Node t = tail;

// 如果队尾为空,则说明当前同步队列没有进行初始化,进行初始化

if (t == null) {

if (compareAndSetHead(new Node()))

tail = head;

// 如果队尾不为空,则将当前节点追加到队尾

} else {

node.prev = t;

// node追加到队尾

if (compareAndSetTail(t, node)) {

t.next = node;

return t;

}

}

}

}

总结:就是把新的节点追加到同步队列的队尾。

1.1.3 acquireQueued

下一步就是要阻塞当前线程了,是 acquireQueued 方法来实现的,即队列中的节点什么时候阻塞,什么时候唤醒由 acquireQueued 去决定,我们来看下源码实现

这个方法主要做了两件事

  1. 通过不断的自旋尝试使自己的前一个节点的状态变成signal状态,然后阻塞自己

  2. 获得锁的线程执行完毕之后,释放锁时,会把阻塞的 node 唤醒,node 唤醒之后再次自旋,尝试获得锁

  3. 返回 false 表示获得锁成功,返回 true 则表示失败

final boolean acquireQueued(final Node node, int arg) {

boolean failed = true;

try {

boolean interrupted = false;

// 自旋

for (;😉 {

// 选择上一个节点,p 代表前置结点

final Node p = node.predecessor();

// 有两种情况会走到 p == head

// 1. node之前没有获得锁,进入 acquireQueued 方法时,才发现它的前置节点就是头节点,于是尝试获得一次锁

// 2. node之前一直在阻塞沉睡,然后被唤醒,此时唤醒 node 的节点正是其前一个节点,也能走到if

// 如果自己 tryAcquire (尝试抢锁) 成功,就立刻讲自己设置成为 head,并且把上一个节点移除

// 如果自己 tryAcquire 失败,尝试进入同步队列

if (p == head && tryAcquire(arg)) {

// 获得锁,将自己设置成 head 节点

setHead(node);

// p 被回收

p.next = null;

failed = false;

return interrupted;

}

// shouldParkAfterFailedAcquire 把 node 的前一个节点设置为signal

// 只要前一个节点的状态是 signal 了,那么自己就可以阻塞了

if (shouldParkAfterFailedAcquire(p, node) &&

// 线程是在这个方法中阻塞的,醒来的时候仍在无限 for 循环里面,就能再次自旋尝试获得锁

parkAndCheckInterrupt())

interrupted = true;

}

} finally {

// 如果获得 node 的锁失败,将 node 从队列中移除

if (failed)

cancelAcquire(node);

}

}

1.1.4 shouldParkAfterFailedAcquire

shouldParkAfterFailedAcquire,这个方法的主要目的就是把前一个节点的状态置为 SIGNAL,只要前一个节点的状态是 SIGNAL,当前节点就可以阻塞了。

// 当前线程可以安心阻塞的标准,就是前一个节点的线程状态是 signal 了

// 传入的参数 pred 表示前一个节点, node 表示当前节点

private static boolean shouldParkAfterFailedAcquire(Node pred, Node node) {

int ws = pred.waitStatus;

// 如果前一个节点 waitStatus 状态已经是 signal 了,直接返回,不需要再自旋了

if (ws == Node.SIGNAL)

return true;

if (ws > 0) {

// 找到前一个状态不是取消的节点,因为把当前 node 挂在有效节点的身上

// 因为节点的状态是取消的话,是无效的,是不能作为 node 的前置节点的,所以必须找到 node 的有效节点才行

do {

node.prev = pred = pred.prev;

} while (pred.waitStatus > 0);

pred.next = node;

// 否则直接把节点状态设置为 signal

} else {

compareAndSetWaitStatus(pred, ws, Node.SIGNAL);

}

return false;

}

acquire 整个过程非常长,代码也非常多,但注释很清楚,可以一行一行仔细看看代码。

1.1.5 总结

acquire 方法大致分为三步

  1. 使用 tryAcquire 方法尝试获得锁,获得锁直接返回,获取不到锁的走 2

  2. 把当前线程组装成节点(Node,追加到同步队列的尾部(addWaiter

  3. 自旋,使同步队列中当前节点的前置节点状态为 signal 后,然后阻塞自己。

1.2 acquireShared 获取共享锁


acquireShared 整体流程和 acquire 相同,代码也很相似,重复的源码就不贴了,我们就贴出来不一样的代码来,也方便大家进行比较

  1. 第一处尝试获得锁的地方,有所不同,排它锁使用的是 tryAcquire 方法,共享锁使用的是 tryAcquireShared 方法,如下图
  1. 第二处不同在于节点获得排它锁时,仅仅把自己设置为同步队列的头节点即可(setHead 方法,但如果是共享锁的话,还会去唤醒自己的后续节点,一起来获得该锁(setHeadAndPropagate 方法,不同之处如下(左边排它锁,右边共享锁

1.2.1 setHeadAndPropagate

这个方法主要做了两件事

  1. 把当前节点设置成头节点

  2. 看看后续节点有无正在等待,并且也是共享模式的,有的话唤醒这些节点

private void setHeadAndPropagate(Node node, int propagate) {

Node h = head;

// 当前节点设置成头节点

setHead(node);

// propagate > 0 表示已经有节点获得共享锁了

if (propagate > 0 || h == null || h.waitStatus < 0 ||

(h = head) == null || h.waitStatus < 0) {

Node s = node.next;

// 共享模式,还唤醒头节点的后置节点

if (s == null || s.isShared())

doReleaseShared();

}

}

// 释放后置共享节点

private void doReleaseShared() {

for (;😉 {

Node h = head;

// 还没有到队尾,此时队列中至少有两个节点

if (h != null && h != tail) {

int ws = h.waitStatus;

// 如果队列状态是 SIGNAL ,说明后续节点都需要唤醒

if (ws == Node.SIGNAL) {

// CAS 保证只有一个节点可以运行唤醒的操作

if (!compareAndSetWaitStatus(h, Node.SIGNAL, 0))

continue;

// 进行唤醒操作

unparkSuccessor(h);

}

else if (ws == 0 &&

!compareAndSetWaitStatus(h, 0, Node.PROPAGATE))

continue;

}

if (h == head)

break;

}

}

这个就是共享锁独特的地方,当一个线程获得锁后,它就会去唤醒排在它后面的其它节点,让其它节点也能够获得锁。

二、释放锁

========================================================================

释放锁的触发时机就是我们常用的 Lock.unLock () 方法,目的就是让线程释放对资源的访问权(流程见整体架构图蓝色路线)。

释放锁也是分为两类,一类是排它锁的释放,一类是共享锁的释放,我们分别来看下。

2.1 释放排它锁


排它锁的释放就比较简单了从队头开始,找它的下一个节点,如果下一个节点是空的,就会从尾开始,一直找到状态不是取消的节点,然后释放该节点,源码如下

2.1.1 release

public final boolean release(int arg) {

// tryRelease 交给实现类去实现,如果返回true则说明成功释放锁

if (tryRelease(arg)) {

Node h = head;

// 头节点不为空 && 非初始化状态

if (h != null && h.waitStatus != 0)

// 从头开始唤醒等待锁的节点

unparkSuccessor(h);

return true;

}

return false;

}

2.1.2 unparkSuccessor

// 当线程释放锁成功后,从 node 开始唤醒同步队列中的节点

// 通过唤醒机制,保证线程不会一直在同步队列中阻塞等待

private void unparkSuccessor(Node node) {

// node节点为当前释放锁的节点,也是同步队列的头结点

int ws = node.waitStatus;

// 如果节点已经被取消了,把节点的状态设置为初始化

if (ws < 0)

compareAndSetWaitStatus(node, ws, 0);

// 拿出 node 节点的下一个节点

Node s = node.next;

// s 为空,表示 node 的后一个节点为空

// s.waitStatus > 0 表示s节点已经被取消了

// 遇到上面两种情况,就从队尾开始,向前遍历,找到第一个 waitStatus 字段不是被取消的节点

if (s == null || s.waitStatus > 0) {

s = null;

// 这个for循环,从尾部开始迭代

// 主要是因为节点被阻塞的时候,是在acquiredQueued方法里面被阻塞的(上面已经介绍了这个方法

// 所以唤醒的时候也一定是在acquiredQueued方法里面被唤醒

// 唤醒的条件是,判断判断当前节点的前置节点是否为头结点,这里是判断当前节点的前置节点

// 所以这里必须从尾部开始迭代,目的就是过滤无效的前置节点,不然节点被唤醒时,发现前置节点是无效节点的话,就又会陷入阻塞

for (Node t = tail; t != null && t != node; t = t.prev)

if (t.waitStatus <= 0)

s = t;

}

// 唤醒以上代码找到的线程

if (s != null)

LockSupport.unpark(s.thread);

}

2.2 释放共享锁


2.2.1 releaseShared

释放共享锁的方法是 releaseShared,主要分成两步

  1. tryReleaseShared 尝试释放当前共享锁,失败返回 false,成功走 2

  2. 唤醒当前节点的后续阻塞节点,这个方法我们之前看过了,线程在获得共享锁的时候,就会去唤醒其后面的节点,方法名称为:doReleaseShared。

我们一起来看下 releaseShared 的源码

// 共享模式下,释放当前线程的共享锁

public final boolean releaseShared(int arg) {

if (tryReleaseShared(arg)) {

// 线程在获得共享锁的时候,就会去唤醒其后面的节点

doReleaseShared();

return true;

}

return false;

}

三. 条件队列的一些重要方法

=================================================================================

3.1 为什么需要条件队列


Condition定义了等待/通知两种类型的方法,当前线程调用这些方法时,需要提前获取到Condition对

象关联的锁。Condition对象是由Lock对象创建出来的,换句话说,Condition是依赖Lock对象的。

当调用Condition的await()方法后,当前线程会释放锁并在此等待。而其他线程调用Condition对象的

signal()方法通知当前线程后,当前线程才从await()方法返回,并且在返回前已经获取了锁。

因为并不是所有场景一个同步队列就可以搞定的。

  1. 在遇到锁 + 队列结合的场景时,就需要 Lock + Condition 配合才行,先使用 Lock 来决定哪些线程可以获得锁,哪些线程需要到同步队列里面排队阻塞

  2. 获得锁的多个线程在碰到队列满或者空的时候,可以使用 Condition 来管理这些线程,让这些线程阻塞等待,然后在合适的时机后,被正常唤醒。

同步队列 + 条件队列联手使用的场景,最多被使用到锁 + 队列的场景中。所以说条件队列也是不可或缺的一环。

接下来我们来看一下条件队列一些比较重要的方法,以下方法都在 ConditionObject 内部类中。

3.2 入队列等待 await


获得锁的线程,如果在碰到队列满或空的时候,就会阻塞住,这个阻塞就是用条件队列实现的,这个动作我们叫做入条件队列,方法名称为 await,流程见整体架构图中绿色箭头流向,我们一起来看下 await 的源码

// 线程进入条件队列

public final void await() throws InterruptedException {

if (Thread.interrupted())

throw new InterruptedException();

// 加入条件队列的队尾

Node node = addConditionWaiter();

// 加入队列后,会释放 lock 时所申请的资源,唤醒同步队列的头结点

// fullyRelease 释放资源,自己马上就要阻塞了,所以要马上释放之前 lock 的资源

// 不然自己不被唤醒的话,别的线程永远得不到该共享的资源

long savedState = fullyRelease(node);

int interruptMode = 0;

// 确认 node 不在同步队列上,在阻塞,如果node在同步队列上的话,是不能够上锁的

// 为什么这么做?

// node刚被加入到条件队列,立马就被其他线程唤醒转移到同步队列当中了

// 线程之前在条件队列中沉睡,被唤醒后加入到同步队列当中

while (!isOnSyncQueue(node)) {

// 阻塞在条件队列上

LockSupport.park(this);

if ((interruptMode = checkInterruptWhileWaiting(node)) != 0)

break;

}

// 其他线程通过 signal 已经把 node 从条件队列中转移到同步队列中

// 所以这里尝试acquireQueued

if (acquireQueued(node, savedState) && interruptMode != THROW_IE)

interruptMode = REINTERRUPT;

if (node.nextWaiter != null)

// 如果状态不是CONDITION,就会自动删除

// CONDITION表示线程正在等待条件

unlinkCancelledWaiters();

if (interruptMode != 0)

reportInterruptAfterWait(interruptMode);

}

await 方法有几点需要特别注意

  1. fullyRelease(node);,节点在准备进入条件队列之前,一定会先释放当前持有的锁,不然自己进去条件队列了,其余的线程都无法获得锁了

  2. (acquireQueued(node, savedState) && interruptMode != THROW_IE),此时节点是被 Condition.signal 或者 signalAll 方法唤醒的,此时节点已经成功的被转移到同步队列中去了(整体架构图中蓝色流程,所以可以直接执行 acquireQueued 方法

  3. Node 在条件队列中的命名,源码喜欢用 Waiter 来命名,所以我们在条件队列中看到 Waiter,其实就是 Node。

await 方法中有两个重要方法:addConditionWaiter 和 unlinkCancelledWaiters,我们一一看下。

3.3 addConditionWaiter


addConditionWaiter 方法主要是把节点放到条件队列中,方法源码如下

// 增加新的 waiter 到队列中,返回新添加的 waiter

// 如果尾节点的状态不是CONDITION状态,删除条件队列中所有状态不是CONDITION的节点

// 如果队列为空,新增的节点作为队列头节点,否则追加到尾节点上

private Node addConditionWaiter() {

Node t = lastWaiter;

// 如果尾节点的状态不是CONDITION状态,删除

if (t != null && t.waitStatus != Node.CONDITION) {

unlinkCancelledWaiters();

t = lastWaiter;

}

// 新建条件队列node

Node node = new Node(Thread.currentThread(), Node.CONDITION);

// 如果是空的,直接放在队列头

if (t == null)

firstWaiter = node;

互联网大厂比较喜欢的人才特点:对技术有热情,强硬的技术基础实力;主动,善于团队协作,善于总结思考。无论是哪家公司,都很重视高并发高可用技术,重视基础,所以千万别小看任何知识。面试是一个双向选择的过程,不要抱着畏惧的心态去面试,不利于自己的发挥。同时看中的应该不止薪资,还要看你是不是真的喜欢这家公司,是不是能真的得到锻炼。其实我写了这么多,只是我自己的总结,并不一定适用于所有人,相信经过一些面试,大家都会有这些感触。

**另外本人还整理收藏了2021年多家公司面试知识点以及各种技术点整理 **

下面有部分截图希望能对大家有所帮助。

本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友,可以点击这里获取

中所有状态不是CONDITION的节点

// 如果队列为空,新增的节点作为队列头节点,否则追加到尾节点上

private Node addConditionWaiter() {

Node t = lastWaiter;

// 如果尾节点的状态不是CONDITION状态,删除

if (t != null && t.waitStatus != Node.CONDITION) {

unlinkCancelledWaiters();

t = lastWaiter;

}

// 新建条件队列node

Node node = new Node(Thread.currentThread(), Node.CONDITION);

// 如果是空的,直接放在队列头

if (t == null)

firstWaiter = node;

互联网大厂比较喜欢的人才特点:对技术有热情,强硬的技术基础实力;主动,善于团队协作,善于总结思考。无论是哪家公司,都很重视高并发高可用技术,重视基础,所以千万别小看任何知识。面试是一个双向选择的过程,不要抱着畏惧的心态去面试,不利于自己的发挥。同时看中的应该不止薪资,还要看你是不是真的喜欢这家公司,是不是能真的得到锻炼。其实我写了这么多,只是我自己的总结,并不一定适用于所有人,相信经过一些面试,大家都会有这些感触。

**另外本人还整理收藏了2021年多家公司面试知识点以及各种技术点整理 **

下面有部分截图希望能对大家有所帮助。

[外链图片转存中…(img-zAhrcP5B-1715804684962)]

本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

最新文章
百度站长平台:多种站内需求挖掘功能上线
站长之家(Chinaz.com)3月25日消息 百度站长平台昨日发布公告称,百度站内搜索上线了多种新功能:在站点的文章页中提供关键词推荐功能(包括嵌入式关键词推荐和悬浮式关键词推荐两种形式)、以及内文提词功能;搜索框新增了侧滑、弹窗、悬
杰奇cms网站自动生成文章自动配图发布站群系统
AI智能写作软件,批量生成自动发布到网站后台支持任意CMS批量导入关键词,自动生成、自动配图、自动发布、不限制网站、域名数量。支持生成中、英、越、日等所有语言文章。我们有专业的团队24小时维护,为您保驾护航。1.支持所有语言输出输入
谷歌SEO优化,如何助力我的Authority Site提升?
在当今互联网信息爆炸的时代,拥有一个高权威性的网站(Authority Site)是每个网站运营者的梦想。这不仅意味着更高的流量,更优质的用户,还意味着更多的商业机会。作为一名在SEO领域摸爬滚打多年的从业者,我深知谷歌SEO优化对于提升Auth
通过阅读《手机断舍离》,我们可以学会如何找回那些被手机夺走的时间和注意力。我们可以重新发现生活中的美好和纯粹的快乐。这是一次自我救赎的实践,也是对现代生活的深刻反思。
飞屏无法连接电脑版(飞屏无法连接电脑版网络)
好酷屋教程网小编为您收集和整理了飞屏无法连接电脑版(飞屏无法连接电脑版网络)的相关教程:飞屏无法连接电脑版网络先打开歪飞开关  点击右下角无线网络连接的图标或者点击左下角开始-设置-网络连接-双击无线网络连接-查看无线网络  在
短视频平台源码,短视频软件开发,短视频app源码搭建
一、短视频平台源码的功能1、短视频功能:短视频是短视频平台源码的主要功能,用户可以发布、编辑、观看短视频。2、直播功能:短视频软件开发实现直播功能,主播可以带货、连麦、进行PK。3、聊天功能:短视频app源码支持用户聊天,方便用户
金东一医生-哈尔滨市金东一医生产阴道紧致手术价格及案例口碑深解析
作为哈尔滨市产阴道紧致手术好的医生,金东一医生产阴道紧致手术精细、效果良好,引得哈尔滨市整友纷纷关注,大家想知道金东一产阴道紧致手术价位多少钱?金东一医生产阴道紧致手术贵不贵?金东一产阴道紧致手术收费价位合理,快来看看。下
自治区农业农村厅办公室关于印发2024年基层农业技术推广服务能力提升项目实施方案的通知(桂农厅办发〔2024〕10号)
各市、县(区)农业农村局,自治区蚕业技术推广站:为保证基层农业技术推广服务能力提升项目顺利实施,进一步激发各地农科院(所)改革创新活力,提升科研推广服务能力,推动现代特色农业高质量发展,现将《2024年基层农业技术推广服务能力
相关文章
推荐文章
发表评论
0评