SVD 与低秩近似
一张图片摊开就是一个数字矩阵。奇异值分解（SVD）把这个矩阵拆成一摞“秩为 1 的薄片”，每片配一个奇异值 σ 当权重，按从大到小排好队。神奇的是：前几片就扛住了几乎全部信息，剩下一长串都是可以丢掉的细节。只留前 k 片重建出来的图，肉眼几乎看不出和原图的差别——这正是图像压缩、PCA 与大模型里 LoRA 低秩微调背后的同一个直觉。拖动滑块，看用几片就够了。
左边是原图，右边是只保留前 k 个奇异值 重建的结果。下方柱状图是各奇异值 σᵢ 的大小——它们陡降得很快，说明信息高度集中在头几个方向上。
控制
压缩率 —
相对误差 —
奇异值谱 σᵢ
蓝色是已保留的前 k 个，灰色是被丢弃的尾巴。尾巴又长又矮，丢了也无妨。
σ 排好了队
奇异值从大到小排列，第一个就装下了大半信息；越往后越小，贡献越微弱。
低秩 = 压缩
只存前 k 片（每片是一列 u、一行 v 加一个 σ），存储量从 m·n 降到 k·(m+n+1)。
同一个直觉
PCA 取前几个主成分、LoRA 用低秩矩阵微调大模型——都是“少数几个方向扛住了主要信息”。