← COMP5567 全部讲次
Lab2 · 第 7 周

Lab 2 把 3PC 跑起来:多出来的 PreCommit 和协调者崩溃恢复

按课件步骤在本地跑通课程仓库 5567-3PC:四个演示 case、三个练习,外加一个课件没有的变式。逐条标出课件命令写错的地方,以及程序和 L06 理论不一致的五处,其中恢复逻辑实测能造成三方账本不一致。

一句话版

这次 Lab 用课程仓库 5567-3PC 把 L06 的三阶段提交(3PC)跑起来,考试按 L06 答,程序的行为当反例记。

先认识这几个词

读之前最好先懂 2PC 和 3PC 的流程,见 L06a-2、L06b,环境搭法见 Lab1。

词 全称 / 读法 一句人话
3PC Three-Phase Commit,三阶段提交 在 2PC 中间多插一轮通知,让参与者崩溃后能推出结局
协调者 / 参与者 coordinator / participant 发起并宣布结局的程序 / 投票并执行的程序(P1、P2、P3)
CanCommit? 读「能提交吗」 第一阶段:协调者问大家能不能做,参与者回 Yes 或 No
PreCommit 预提交 第二阶段:协调者通知「投票结果是提交」,参与者回 ACK
DoCommit 正式提交 第三阶段:协调者让大家真正执行,参与者做完回 ack
Prepared 已就绪 参与者收到 PreCommit 并回了 ACK 的状态
ACK / ack acknowledgement,确认 「收到了」或「做完了」的回执
网络分区 network partition 网络断成两半,两边的机器互相联系不上

和 2PC 相比,这次多了两件事。一是 PreCommit 阶段:程序把它做成了第二轮 yes/no 投票,L06 里它只是「决定已定」的通知加 ACK。二是协调者的 crash / recover:恢复时程序只看自己记的阶段,不按参与者的状态决定。

题目地图

任务 在考什么 主要失分点
3PC 回顾 三段消息和各自的回复 把 PreCommit 写成第二次投票
代码准备 下载、解压、打开仓库 按正文找 5567-PC-main 找不到
程序结构图 每段谁发什么、谁回什么 被崩溃示意图的箭头标签带偏
启动系统 命令前缀 不带 cancommit / precommit 前缀
Case I、II 提交路径、一票 No 中止 以为 2/3 同意能进 PreCommit
Case III、IV PreCommit 一票 No;CanCommit 阶段崩溃 照抄课件 Case III 的 cancommit 命令
三个练习 超时当 No;PreCommit 阶段崩溃恢复 按练习 3 的标题判断崩溃阶段

崩溃示意图的箭头标的是 DoCommit,和上方文字「CanCommit 阶段崩溃」对不上,按文字理解。课件最后两页是关闭程序和致谢。

概念卡

1. PreCommit 的真实含义

人话定义:它让每个参与者先知道「结论是提交」,再真正动手。按 L06,协调者收齐全体 Yes 才发 PreCommit;参与者回 ACK,进入 Prepared,不再表态。

例子:程序里 PreCommit 发出后,参与者要敲 precommit vote yes 或 precommit vote no。Case III 的 precommit vote no 能让整笔中止,L06 里没有这个分支。

常见误解

课件回顾页写「All nodes respond whether the PreCommit is okay (e.g., Yes or No)」,就以为 3PC 投两次票 → 那是程序的行为,答题写 PreCommit → ACK。

回讲义:L06b 3PC 协议与恢复:多敲一锤「预备通过」,倒了也能自己收尾

2. 按状态恢复

人话定义:它解决协调者崩溃后「这笔到底提交没有」的问题。L06 的做法是恢复节点先问每个参与者处于什么状态,再按三种情形决定:

  • 有人已提交 → 提交;
  • 有人已 Prepared 但没人提交 → 补发 PreCommit、收齐 ACK 再提交;
  • 没人 Prepared → 中止。

例子:Practice 3 恢复时三人都报 PREPARED,程序决定提交。这和 L06 里「全体 Prepared 可以安全提交」的结论一致。

常见误解

以为程序也是按参与者状态决定 → 它只打印参与者状态,决定看的是协调者自己的阶段和 CanCommit 票。三人状态一致时看不出区别,变式里就暴露了。

回讲义:L06b 3PC 协议与恢复:多敲一锤「预备通过」,倒了也能自己收尾

3. CanCommit 阶段崩溃

人话定义:它是最容易处理的一种崩溃。协调者发出 CanCommit 后、发出 PreCommit 前崩溃,没有参与者到达 Prepared,恢复后中止不会和任何人冲突。

例子:Case IV 中协调者崩溃时打印 crashes in stage 1。恢复时状态 WAITING,三人都报 WAITED,决定中止。

常见误解

以为三人都投了 Yes 就该提交 → 协调者崩溃期间拒收了这三张票。恢复时没人 Prepared,中止才安全,这正是 L06 崩溃案例里的第一种。

回讲义:L06b 3PC 协议与恢复:多敲一锤「预备通过」,倒了也能自己收尾

4. 3PC 和 2PC 的取舍

人话定义:它回答「多花一轮消息换来了什么」。2PC 里投了 Yes 的参与者等不到决定只能阻塞(干等,不敢自己做主)。3PC 多一轮 PreCommit,让「提交已定」先传到每个人,崩溃后可以按状态推出结局。

例子:程序全部在本机 localhost(本机自己的网络地址)运行,演示不了网络分区。L06 指出分区时两边可能各自按状态推出相反结局。

常见误解

以为 3PC 在任何故障下都不阻塞且安全 → 它的非阻塞结论依赖无分区、超时可靠等假设,网络分区下不安全。

回讲义:L06b-2 分区弱点与取舍:网络一断,两边各判各的

逐题拆解

准备与启动

下载步骤和 Lab1 相同,仓库同样只用 Python 标准库。课件正文让你选 5567-PC-main,截图里的文件夹实际叫 5567-3PC-main,按截图选。macOS 上协调者换 5050 端口,参与者补第三个参数:

python coordinator.py 5050
python participant.py P1 6001 5050
python participant.py P2 6002 5050
python participant.py P3 6003 5050

参与者全部启动后,协调者 list 才有内容。投票命令按阶段区分:cancommit vote yes/no、precommit vote yes/no。第二阶段之后是 ack commit / ack abort。

Case I:全 Yes

发起交易后三人 cancommit vote yes,协调者打印 Voting result for CanCommit: 3/3 Agree 并发 PRECOMMIT。三人 precommit vote yes,进入 [Phase 3/3] COMMIT Phase。三人 ack commit,约 6 秒收齐,交易提交。日志里没有 Phase 2/3 标题,PreCommit 阶段只有一行 Send PRECOMMIT,不是漏了一段。

Case II:CanCommit 一票 No

P1 cancommit vote no,其余 Yes。协调者打印 2/3 Agree 后直接进入 Abort Phase (CANCOMMIT_ABORT),跳过 PreCommit。这一步和 L06 一致:任一 No 就向全体发中止。

Case III:PreCommit 一票 No

课件步骤 4–5 写的是 cancommit vote yes/no。照抄的话,参与者把票当作 CanCommit 票发出,协调者的 PreCommit 计数一直是 0/3。60 秒后三人都被判 No,Precommit: 0/3 agree,中止。改成 precommit vote … 才是课件想演示的结果:Precommit: 2/3 agree,中止。标题印的是 PRECOMMIT_ABORT,下面每行却是 Send CANCOMMIT ABORT。标题和实际发出的消息对不上,不影响结果。

Case IV:CanCommit 阶段崩溃

发起交易后协调者立刻 crash,三人的 Yes 票到达时被连拒三次(refused to handle it VOTE_RESPONSE)。recover 后找到 1 笔未完成交易,状态 WAITING,三人报 WAITED,决定 ABORT。结论和 L06 一致,理由不同:程序看的是自己的 WAITING。

一步一步看

目标:看协调者在 CanCommit 阶段崩溃后,恢复时凭什么决定 ABORT。

  1. 协调者发起交易,向 P1、P2、P3 各发一条 CanCommit?。

    Case IV 第 1 步时序图:协调者向 P1、P2、P3 各发一条 CanCommit?,三条消息青绿标出

  2. 协调者立刻 crash,打印 crashes in stage 1。此时还没有任何人收到 PreCommit。

    Case IV 第 2 步时序图:协调者崩溃,崩溃标记青绿,此后协调者的生命线变成虚线

  3. 三人 cancommit vote yes,三张票到达时协调者连打三次 refused to handle it VOTE_RESPONSE,这三票没有计入。

    Case IV 第 3 步时序图:P1、P2、P3 的三张 Yes 票到达已崩溃的协调者,标为拒收,三条青绿标出

  4. recover 找到 1 笔未完成交易,状态 WAITING;查询参与者,三人都报 WAITED,没人 Prepared。

    Case IV 第 4 步时序图:协调者恢复,状态 WAITING,三名参与者都回报 WAITED,这一组青绿标出

  5. 协调者决定 ABORT 并发给三人,三人 ack abort,交易 aborted。

    Case IV 第 5 步时序图:协调者向三人发 ABORT,三人回 ack abort,交易 aborted,这一组青绿标出

Practice 1

课件命令写成 cancommit: vote yes,带冒号,实测得到 Unknown command,去掉冒号才能投。P3 不操作,约 60 秒自动投 No,2/3 Agree,中止。参与者和协调者的投票超时都是 60 秒,这次 P3 的自动 No 先到。

Practice 2

CanCommit 全 Yes,PreCommit 阶段 P1、P2 投 Yes、P3 不动。实测 P3 打印的是 Automatically voting cancommit vote no。原因是程序的投票计时器共用一个槽:CanCommit 阶段遗留的计时器在 PreCommit 阶段到期,发出一张 CanCommit 的 No,协调者不计入。60 秒时协调者自己判 P3 为 No,Precommit: 2/3 agree,中止。

Practice 3:PreCommit 阶段崩溃

标题写「CanCommit 之后、PreCommit 之前崩溃」,和 Case IV 相同。实际步骤是三人 CanCommit 投完后才崩溃,协调者此时已发出三条 PRECOMMIT,打印 crashes in phase 2。所以这是 PreCommit 阶段崩溃。恢复时状态 PREPARING,三人报 PREPARED,决定提交。三人 ack commit 后约 6 秒收齐,COMMITTED。

一步一步看

目标:看协调者在 PreCommit 阶段崩溃后,恢复时为什么可以放心提交。

  1. 协调者发 CanCommit?,三人都投 Yes,3/3 Agree。

    练习 3 第 1 步时序图:协调者发 CanCommit?,三名参与者都回 Yes,这一轮六条消息青绿标出

  2. 协调者向三人发出三条 PRECOMMIT。

    练习 3 第 2 步时序图:协调者向 P1、P2、P3 各发一条 PRECOMMIT,三条青绿标出

  3. 协调者 crash,打印 crashes in phase 2,所以这是 PreCommit 阶段崩溃。

    练习 3 第 3 步时序图:协调者在发出三条 PRECOMMIT 之后崩溃,崩溃标记青绿

  4. 三人 precommit vote yes,三张票都被拒收。

    练习 3 第 4 步时序图:三名参与者的 PreCommit 票到达已崩溃的协调者,标为拒收,三条青绿标出

  5. recover 时交易状态 PREPARING,三人都报 PREPARED。全体 Prepared,按 L06 可以安全提交。

    练习 3 第 5 步时序图:协调者恢复,状态 PREPARING,三名参与者都回报 PREPARED,这一组青绿标出

  6. 协调者发 COMMIT,三人 ack commit,约 6 秒收齐,交易 COMMITTED。

    练习 3 第 6 步时序图:协调者向三人发 COMMIT,三人回 ack commit,交易 COMMITTED,这一组青绿标出

变式:P3 在 PreCommit 投 No 后协调者崩溃(课件没有)

恢复时 P3 报 WAITED,程序只看 CanCommit 票全 Yes,照样发 COMMIT。P3 打印 The transaction is not prepared and the submission is refused,P1、P2 写入数据。协调者等 60 秒收不到 P3 的 ACK,把交易记为 ABORTED。最后协调者记中止、P1 有这笔 700 元、P3 没有,原子性(要么全做要么全不做)被破坏。按 L06 的第二种情形,恢复节点应先补发 PreCommit 并收齐 ACK,P3 回不了就整体中止。

一步一步看

目标:看程序只认 CanCommit 票时,P3 投了 No 还收到 COMMIT,三方账本怎样变得不一致。

  1. 前面同练习 3:CanCommit 全 Yes,协调者发出 PRECOMMIT 后崩溃。P3 敲的是 precommit vote no,三张票都被拒收。

    变式第 1 步时序图:协调者崩溃后三张 PreCommit 票被拒收,其中 P3 那张是 no,三条青绿标出

  2. recover 时状态 PREPARING;P1、P2 报 PREPARED,P3 报 WAITED。程序只看 CanCommit 票全 Yes。

    变式第 2 步时序图:协调者恢复,P1、P2 回报 PREPARED,P3 回报 WAITED,这一组青绿标出

  3. 协调者照样向三人发 COMMIT,P3 打印 not prepared,拒绝提交。

    变式第 3 步时序图:协调者向三人发 COMMIT,P3 拒绝提交,三条 COMMIT 和 P3 的拒绝青绿标出

  4. P1、P2 ack commit 写入数据;协调者等 60 秒收不到 P3 的 ACK,把交易记为 ABORTED。三方账本不一致。

    变式第 4 步时序图:P1、P2 回 ack commit,协调者缺 P3 的 ACK 记为 ABORTED,这一组青绿标出

课件里的坑

  • [课件有误] p.9 文件夹名漏了「3」,截图里是 5567-3PC-main(p.9)。
  • [课件有误] p.13 下方示意图的箭头标签是 DoCommit? 和 ack,与上方文字说的 CanCommit 阶段崩溃不符,按文字和 p.22 的步骤理解(p.13)。
  • [课件有误] p.21 步骤 4–5 应为 precommit vote,照抄会一路走到 60 秒超时(p.21)。
  • [课件有误] p.23 的 cancommit: vote yes 带冒号,是未知命令(p.23)。
  • [课件有误] p.25 的标题和步骤不一致,步骤演示的是 PreCommit 阶段崩溃(p.25)。
  • [术语区别] p.3 说 PreCommit 和 DoCommit 都回 Yes/No,那是程序;L06 里 PreCommit 回 ACK,DoCommit 回 ack(p.3)。
  • [课件留白] p.4 指向 L06 第 28 到 43 页,3PC 部分实际到 p.45,其中 p.44 是 2PC/3PC 对照复习(p.4)。
  • [补充] 读代码可知协调者发出 COMMIT 后,只要 ACK 不齐就把交易记为 ABORTED;按 L06,DoCommit 时决定已定,缺 ACK 只能重发。变式里的不一致就是这条逻辑和恢复逻辑叠加出来的(p.12)。
  • [补充] 程序没有持久化,崩溃只是内存标志位,演示不了真实的掉电恢复(p.26)。

课后 10 分钟:考点复习

这 10 分钟怎么用:先默写 L06 的三段消息顺序,再默写 p.33 的三种恢复情形;然后做完整例题,每一行先写「按 L06 应该怎样」,再对照程序实际怎样;最后过一遍闪卡。

必背

  1. 按 L06,3PC 的消息顺序是 CanCommit? → Yes/No → PreCommit → ACK → DoCommit → ack,PreCommit 不是第二次投票
  2. CanCommit 阶段任一 No 或超时,协调者直接中止,不进入 PreCommit
  3. 协调者在 CanCommit 阶段崩溃,恢复时无人 Prepared,中止是安全的
  4. 协调者在 PreCommit 阶段崩溃,只有全体参与者都已 Prepared 才能直接提交,否则先补发 PreCommit 并收齐 ACK
  5. L06 的恢复规则按参与者报告的状态决定;程序只看协调者自己的阶段和 CanCommit 票,实测会造成不一致
  6. 3PC 用多一轮消息换掉了 2PC 的阻塞窗口,但在网络分区下不安全
  7. 程序的投票命令必须带阶段前缀:cancommit vote yes 或 precommit vote yes,带冒号是未知命令

完整例题

协调者发出 PreCommit 后崩溃。恢复时三名参与者报告的状态分别如下,写出按 L06 的决定和程序的决定。

情形 P1 / P2 / P3 状态 L06 决定 程序决定
A PREPARED / PREPARED / PREPARED 提交 提交
B PREPARED / PREPARED / WAITED 补发 PreCommit 给 P3,收齐 ACK 再提交 直接发 COMMIT,P3 拒绝,最终记 ABORTED
C WAITED / WAITED / WAITED 中止 CanCommit 全 Yes 则仍发 COMMIT(读代码推断,未实测)

逐步说明:

  1. 情形 A 就是 Practice 3,两者一致。
  2. 情形 B 就是变式:L06 p.33 情形 ② 要先让所有人到 Prepared,程序跳过了这一步,P1、P2 提交、P3 没有,协调者却记中止。
  3. 情形 C 按 L06 p.33 情形 ③,没人 Prepared 就中止。程序的规则只看 PREPARING 阶段和 CanCommit 票,所以这一行的程序列是推断,没有跑过。

变式题

(1) 三人 CanCommit 和 PreCommit 都投了 Yes,协调者发出 DoCommit 后、收到任何 ack 之前崩溃。按 L06 恢复后应该怎样?(2) 同样情形下,如果恢复后 P3 一直不回 ack,按 L06 和按程序的读代码结果分别会怎样?

提示

第 (1) 问看 L06 p.33 情形 ① 和 p.40 第三行。第 (2) 问回到「课件里的坑」最后两条关于缺 ACK 的那条。

参考答案与自检(非官方评分标准)

自检要点:① DoCommit 阶段决定已定为提交;② 缺 ack 只能重发,不能改判;③ 程序这一路径未实测,只能说读代码推断。

(1) 提交。DoCommit 已发出说明全体都到过 Prepared,有人可能已经提交,恢复节点只能继续提交(L06 p.33 情形 ①、p.40)。

(2) L06:继续重发 DoCommit,直到 P3 回 ack,结局仍是提交。程序:读代码看,ACK 不齐会把交易记为 ABORTED,和已提交的 P1、P2 不一致。这一路径没有实测。

闪卡自测

L06 里参与者对 PreCommit 回什么?ACK。PreCommit 是「决定已定」的通知,不再投票。
CanCommit 2/3 Agree,程序下一步做什么?直接发 CANCOMMIT_ABORT,跳过 PreCommit。
照抄 p.21 的 cancommit 命令,Case III 的结果是什么?PreCommit 计数停在 0/3,60 秒后三人都被判 No,中止。
Practice 3 的崩溃发生在哪个阶段?怎么判断?PreCommit 阶段。崩溃前已有三条 Send PRECOMMIT,崩溃提示是 crashes in phase 2。
Practice 2 里 P3 为什么打印的是 cancommit vote no?投票计时器共用一个槽,CanCommit 阶段遗留的计时器在 PreCommit 阶段到期;协调者不计入这张票,最后按自己的 60 秒超时判 No。
3PC 为什么在网络分区下不安全?分区两边各自按看到的状态推结局,可能一边提交一边中止(L06 p.34)。

下一步

先照 p.23 到 p.25 自己跑一遍,命令记得去掉冒号、带对前缀,每一步先在纸上写预期再看屏幕。然后回看 L06b p.33 和 p.40,把 Case IV、Practice 3 和变式分别填进三种恢复情形里,变式那一格要能说出程序跳过了哪一步。课件没演示的 DoCommit 阶段崩溃、3PC 下的 fail 和参与者崩溃都还没有实测,适合留作自己的练习;跑之前先按变式题写下 L06b 的预期,跑完对照程序是否偏离。

下一讲 →
L08a L08a VR 正常操作:2f+1 台机器,主节点排号,过半确认

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。