Introduction to the Microprocessor and Computer¶

Note

本章概览¶

存储程序 (stored program)：von Neumann 率先提出把指令存入内存的系统——比重新接线编程高效得多，可编程机器由此催生了程序与编程语言
4004（第一款微处理器）：P-channel MOSFET 工艺，50 KIPs（千指令/秒）；对比 1946 年 30 吨的 ENIAC 的 100,000 指令/秒——差别是 4004 重量不足一盎司；4 位微处理器最早用于游戏机与小型控制系统
性能演进技术：superscalar（超标量）利用指令级并行，但后续指令往往相互依赖、第二条流水线利用率低 → 乱序执行 (Out-of-order Execution)：按数据流图而非程序顺序执行，在指令窗口中向前查找就绪指令
Intel 64 架构：线性地址空间 64 位、物理地址空间最高 52 位；引入 IA-32e 模式，含两个子模式——Compatibility mode（64 位系统直接运行旧 32 位软件）与 64-bit mode

IEEE 754 采用科学计数法的思想，由三部分组成：

\[(-1)^{\text{sign}} \times (1 + \text{fraction}) \times 2^{\text{exponent} - \text{bias}}\]

以 binary32（单精度）为例：sign 1 位 + exponent 8 位 + fraction 23 位，bias = 127。

课件 · IEEE 754 格式与 binary32 实例

定点整数用二进制补码表示，而浮点数改用符号-数值分离法，原因：
- 补码基于模运算原理，要求数字定长；浮点数是不定长的，补码的基本前提不存在
- 浮点数基本上没有无符号数，都是带符号的，干脆把符号位单独拿出来
- 补码表示中 0 只有一种表示（非对称）；符号-数值分离可以表示 +0 和 −0 两个 0——在微积分求极限时"趋向 0⁺ 还是 0⁻"是有意义的，浮点计算里有价值

介于最小 normal number（\(1.0 \times 2^{-126}\)）与 0 之间的数
表示：指数全 0、尾数非全 0，不加隐含 1（single 精度下指数为 \(-126\)）：

\[ \text{subnormal} = (-1)^{\text{sign}} \times \text{fraction} \times 2^{1-\text{bias}} \]
设计意图：按此公式计算的 subnormal 与最小的 normal number 衔接最紧密、最平滑——差在最末一个 bit，IEEE 委员会（图灵奖得主，数值计算专家）的精细设计
两种下溢处理策略（Abrupt Underflow vs Gradual Underflow）：
- Motorola：flush to zero——小到一定程度突然当作 0，保性能、降精度
- Intel：gradual underflow——subnormal 仍是数、仍可计算、精度保留，但用软件模拟的方式执行，保精度、降性能（速度慢 10 倍以上）
- 真实案例：早期 Matlab 解偏微分方程，解到一半速度突然慢 10 倍——就是掉进了 subnormal 区间；知道这个知识就可以调整算法跳出去

IEEE 754 明确定义了 5 种舍入，统一舍入保证不同实现的浮点结果一致：

模式	+11.5	+12.5	−11.5	−12.5
to nearest, ties to even（默认）	+12.0	+12.0	−12.0	−12.0
to nearest, ties away from zero	+12.0	+13.0	−12.0	−13.0
toward 0	+11.0	+12.0	−11.0	−12.0
toward +∞	+12.0	+13.0	−11.0	−12.0
toward −∞	+11.0	+12.0	−12.0	−13.0

两个浮点数做加法：

float sum = 0.0f, x = 1.0f;
for (int i = 0; i < N; i++) sum += x;

AI 训练/推理对精度不敏感（不像科学计算对精度和边界条件敏感），因此降精度换性能：

A100 上 TF32 相比 FP32 推理性能大幅提升。此外 IEEE 754-2019 还有十进制浮点的讨论（用十进制表示十进制、精度更高），但因巨大商业价值未形成共识——当年 Intel 敢把 8087 的标准推向全球也是同样的商业逻辑。

课件 · AI 的新浮点格式 TF32 / BF16 / FP16

Note