范数

范数是定义在向量空间（包括向量、矩阵等元素构成的空间）上的一种函数，用于衡量 “大小” 或 “长度”。

核心分类与常用类型

矩阵范数主要分两类，实际应用中以诱导范数和 Frobenius 范数最为常用：

1. 诱导范数（算子范数）

由向量范数推导而来，衡量矩阵对向量的 “拉伸能力”，定义为 “矩阵 A 作用于所有单位向量后，向量范数的最大值”，记为 ||A||ₚ（对应向量 Lₚ范数）。

• L₁诱导范数（列和范数）：矩阵各列元素绝对值之和的最大值，适合衡量矩阵列方向的 “强度”。
• L₂诱导范数（谱范数）：矩阵 AᵀA 的最大特征值的平方根，是最常用的矩阵范数，反映矩阵的 “最优拉伸效果”，在机器学习、信号处理中广泛应用。
• L∞诱导范数（行和范数）：矩阵各行元素绝对值之和的最大值，适合衡量矩阵行方向的 “强度”。

2. 元素范数（直接基于矩阵元素计算）

不依赖向量范数，直接对矩阵元素进行运算，计算简单直观。

• Frobenius 范数（F - 范数）：最常用的元素范数，类似向量 L₂范数的推广，计算方式是 “所有元素平方和的平方根”。
• 特点：兼顾计算简便性和对矩阵大小的有效度量，常用于矩阵近似、优化问题（如矩阵分解、最小二乘）。

推导出正交矩阵：

1. 概念解读

• 左侧是向量的 L₂范数平方，即 $\parallel x{\parallel }^2=x^{\mathrm{\top }}x$，其值天然非负（这是向量长度的基本性质）。
• 右侧将其推广到二次型：$x^{\mathrm{\top }}Ax\ge 0$，其中 A 是矩阵。若对所有非零向量 x 都满足 $x^{\mathrm{\top }}Ax>0$，则称 A 是正定矩阵；若允许等于 0（仅当 $x=0$ 时），则称 A 是半正定矩阵。