← Back to Index
Research & Engineering Archive

CO 8. Cache

By Jingnan Huang · April 25, 2026 · 3481 Words

Last Edit: 4/25/26

Physics of Memory
#

Cache Memory
#

image.png

Locality of Reference
#

缓存之所以有效,是因为大多数软件程序在特定时间内只使用主内存中有限的一部分数据。

Logic of Cache
#

1. 缓存读数据的操作逻辑
#

当处理器请求读取地址 A 的数据时,流程如下:

Direct-Mapped Caches
#

Blocks of Bytes
#

基本原理: 当缓存向主存(MM)请求数据时,它请求的是连续的一组字节,而不仅仅是一个地址。

The Direct-Mapped Cache
#

课件开始引入最简单的缓存结构:

image.png

课件提出了一个架构上的关键问题:主存块(MM Block)允许驻留在缓存的什么位置?

image.png

image.png

Ex. 0x00000054
#

我们将十六进制地址展开为 32 位二进制(重点看最后 8 位):0000 ... 0000 0101 0100

Processor Read Access
#

image.png

Write Policies
#

Dirty Bit
#

策略 Write-back(写回法) Write-through(写直方法)
核心逻辑 仅在被驱逐且“变脏”时才写回内存。 每次处理器写缓存时,同步写回内存。
脏位需求 需要(用来标记是否被改过)。 不需要(内存永远是最新的)。
性能 快(减少了访问慢速内存的次数)。 慢(如果写入频繁,主存访问会成为瓶颈)。

Hit Rate
#

理想状态:如果能把处理器想要的数据大部分都提前放进缓存,程序就会运行得飞快。命中率公式

$$ \text{Hit Rate} = \frac{\text{命中次数 (# hits)}}{\text{总访问次数 (# accesses)}} $$

Reprise of Read Access
#

image.png

Ex. Hit and Miss
#

image.png

image.png

image.png

Associative Caches
#

Direct-Mapped 的优缺点
#

规则:每个主存块(MM Block)只能存放在唯一固定的一个缓存行(Cache Line)中

Fully-Associative Cache
#

M-way Set-Associative Cache
#

由于直接映射太死板,全关联太贵,于是有了这个“中间地带”:

Ex. Example of M-way Set-Associative Cache
#

课件给出了一个具体的缓存配置,我们需要通过计算来还原它的“设计图”:

2. 结构推导计算
#

通过以上三个参数,我们可以得出:

  1. 总行数 (N):$32\text{ KB} \div 32\text{ Bytes/Line} = 1,024$ 条行。

  2. 组数 (Sets):$1,024\text{ Lines} \div 4\text{ Lines/Set} = 256$ 组。

3. 映射逻辑图示
#

右侧的手绘图展示了这种多对多的映射:

• MM Block 0 映射到 Set 0。但在 Set 0 内部,它有 4 个位置(Line 0, 1, 2, 3)可以选择。

• 同理,MM Block 256 也会映射到 Set 0(因为 $256 \mod 256 = 0$)。

• 对比:在直接映射中,Block 0 和 256 会打架;但在 4 路组相联中,如果 Block 0 已经占了一个位,Block 256 进来时可以坐剩下的 3 个位中的任何一个。冲突大大减少!

image.png

image.png

Cache Replacement Policies
#

LRU 算法:最近最少使用 (Least Recently Used)
#

它的逻辑是:如果一个数据很久没被访问了,那它未来被访问的概率也很低

image.png

image.png

Matric for Cache: Hit Time & Miss Penalty
#

image.png

AAC
#

$$ \text{AAC} = h \times c + (1-h) \times m $$

image.png

image.png

L2 Cache
#

image.png

image.png

Multi-level Cache Hierarchy
#

image.png

元素 访问周期 (#cycles) 容量 (Size) 关联度 (Organization)
L1 (Data/Inst) 5 48K / 32K 12-way (非常灵活)
L2 Cache 13 512K 8-way
L3 Cache 41 8M 16-way (容量大,命中率高)
Main Memory 391 16G n/a (极其缓慢)

image.png

Conflicting accesses
#

image.png

image.png

Cache Thrashing
#

image.png

Trashing
#

image.png

解决方案
#

image.png

image.png

Cache 与外部设备的冲突
#

“幽灵”是怎么产生的?
#

  1. 写回策略 (Write Back):当你代码里“擦除”一个方块时,CPU 只是在 Cache 里把那块区域改成了黑色。
  2. 不同步:此时主内存里还是原来的旧颜色。VGA 控制器从主内存读数据,依然画出了原来的方块。
  3. 延迟生效:只有当这个 Cache 行因为太挤被“驱逐”回主内存时,屏幕才会突然变黑。
  4. 结论:这就是所谓的“幽灵”。在处理像显存(Frame Buffer)这种需要实时展示的数据时,通常我们要么关闭 Cache,要么使用 Write Through(写直通) 模式。