更新时间：作者：小小条
一、内积
1.向量内积
最早可以追溯到17世纪笛卡尔的坐标系，但现代向量内积的定义主要由19世纪中的数学家发展。赫尔曼·格拉斯曼（Hermann Grassmann）在1844年提出了扩展理论（Ausdehnungslehre），其中包含了内积的雏形。同时，威廉·罗文·哈密顿（William Rowan Hamilton）在1843年引入四元数，其中涉及点积运算。后来，奥利弗·赫维赛德和约西亚·吉布斯在19世纪末独立发展了向量分析，正式定义了向量点积（内积）。
在二维或三维空间中，两个向量 u = (u₁, u₂) 和 v = (v₁, v₂) 的内积（点积）定义为：
u · v = u₁v₁ + u₂v₂
几何意义非常深刻！
度量相似度：
如果两个向量方向越接近，它们的内积就越大（如果向量长度固定）。如果相互垂直，内积为零。
投影：u · v 实际上是向量 u 在向量 v 方向上投影的长度与向量 v 长度的乘积。
函数内积作为泛函分析的核心概念，它是在20世纪初才被正式化的。大卫·希尔伯特在研究积分方程时引入了希尔伯特空间，其中函数的内积被定义为积分形式，如
〈f, g〉 = ∫ f(x)g(x) dx。
约翰·冯·诺依曼在1930年代进一步 形式化了这一理论。
函数内积的灵感直接来源于向量内积，将其推广到无限维函数空间。
向量内积是19世纪数学物理的产物，而函数内积是20世纪泛函分析的成果。
从向量到函数：思维的飞跃现在，我们把一个函数想象成一个无限维的向量。
向量 → 函数
分量索引 (离散) → 自变量 x (连续)
第 i 个分量 vᵢ → 函数值 f(x)
向量的内积：是对所有对应分量的乘积之和。
u · v = Σ (uᵢ * vᵢ) （i 从 1 到 n）
函数的内积：很自然地，我们也应该对所有“对应分量”的乘积求和。但是因为函数的分量是连续无限的，“求和”这个概念就必须升级为它的连续版本——积分。
函数 f 和 u 的内积就很自然地定义为：
<f, u> = ∫ f(x) u(x) dx （在某个区间上积分）
对于复函数，第二个函数要取共轭，即
∫ f(x) û(x)dx
这就是最核心的思想：积分是连续意义上的求和。
函数的内积定义为积分，并不是一个任意的规定，将有限维向量空间中内积的直观概念（衡量相似度、投影）平滑且自然地推广到无限维函数空间的必然结果。
内积的特性（1）度量相似性：
如果在某个 x点，f(x) 和 g(x) 同时为正或同时为负，那么 f(x)g(x) > 0，对这个点的相似度有正贡献。
如果在某个 x点，f(x) 和 g(x) 一正一负，那么 f(x)g(x) < 0，对这个点的相似度有负贡献（表示相反的方向）。
最终，积分∫ f(x)g(x) dx 就把所有这些局部的、点对点的相似性贡献累加（积分） 起来，得到一个全局的、整体的相似性度量。结果越大，说明两个函数在整个区间上的“形状”越相似。
（2）定义正交（垂直）：
在向量空间中，如果 u · v = 0，我们说向量 u 和 v 正交。
在函数空间中，如果
<f, g> = ∫ f(x)g(x) dx = 0，我们就说函数 f 和 g 在给定的区间上是正交的。
例如，sin(x) 和 cos(x) 在 [0, 2π] 上是正交的，因为
∫ sin(x)cos(x) dx (x∈[0，2π] )= 0。
（3）定义长度/模：
向量的模（长度）：
||u|| = √(u · u) = √(Σ uᵢ²)
函数的模（类似于长度，常称为L²范数）：
||f|| = √(<f, f>) = √(∫ [f(x)]² dx)
模的平方 ∫ [f(x)]² dx 在物理学中常常代表总能量。
离散的向量空间：离散求和 (Σ) 用于对有限个分量的计算。
连续无纤维的函数空间：连续积分 (∫) 用于对无限个连续分量的计算。
关于Lᵖ 范数范数与内积最根本的关系：范数是“自己与自己内积”的平方根。
它使得函数空间具有了类似欧几里得空间的几何结构：
（1）定义了“长度”
范数 ||f|| 衡量了函数 f 的“大小”。
（2）定义了“夹角”
通过内积，我们可以定义两个函数之间的“夹角” θ：
cosθ = <f, g> / (||f|| ||g||)
这与向量之间的夹角公式完全一致。如果 <f, g> = 0，称函数 f 和 g 是正交的（垂直的），就像在傅里叶分析中，sin(nx) 和 cos(mx) 是正交的一样。
（3）满足了柯西-施瓦茨不等式：
|<f, g>| ≤ ||f|| ||g||
这个不等式是函数空间理论（泛函分析）的基石之一，它确保了内积和范数的定义是“协调的”。
（4）确立了三角不等式：
||f + g|| ≤ ||f|| + ||g||
这是“范数”必须满足的数学性质之一，其证明依赖于柯西-施瓦茨不等式。
它的直观意义是“两边之和大于第三边”。
一个更广阔的视角：并非所有范数都来自内积！
需要强调的是，存在不是由内积诱导出来的范数。
L² 范数：
||f||₂ = √( <f, f> ) = √( ∫ |f(x)|² dx ) → 它来自内积。
L¹ 范数：
||f||₁ = ∫ |f(x)| dx → 它不来自任何内积。
L∞ 范数（最大模范数）：
||f||∞ = sup |f(x)| → 它也不来自任何内积。
如何判断一个范数是否由内积诱导？
一个范数 ||·|| 是由内积诱导的充分必要条件是它满足平行四边形法则：
||f + g||² + ||f - g||² = 2(||f||² + ||g||²)
可以验证，L² 范数满足这个法则，但 L¹ 范数和 L∞ 范数则不满足。
范数越大，图形越“方”！
二、傅里叶级数
周期性函数对于一个函数 f(x)，如果存在一个非零常数 P，使得在其定义域内的每一个 x点都满足：
f(x+P)=f(x)
那么，这个函数 f(x)就被称为周期性函数。
这个非零常数 P就称为该函数的周期。
周期性函数的定义域通常需要在整个实数轴上是“无界”的，或者至少是双向无限延伸的。
最小正周期 ：
在所有正周期中，最小的那个正数 P被称为最小正周期。
我们通常所说的“周期”，默认指的就是最小正周期。
例子：sin(x)和 cos(x)的周期是 2π。
tan(x)的周期是 π。
泰勒多项式与三角多项式三维或三维以上向量如何度量相似性？内积度量相似性！
3.1 三维空间
三维空间性质及其证明
三维正交基：
向量系数是向量自身在正交基上的投影（内积）！
三维正交基度量相似性证明：
正交基{r,s,t),向量V，则
三维向量在二维正交基平面上的投影最接近自身！即内积拥有最高相似度。
3.2 高维空间
内积拥有最高相似度在高维空间中的证明：
正交基与相似性度量
函数相似性度量4.1 正交函数
依据向量正交概念，类似定义函数正交：长度为0
向量的长度：
函数在区间连续可积例如【0,2π】，长度定义
示例：三角函数
函数正交，即长度为零，即完全不相似！我们重点讨论三角函数系列
4.2 函数内积
依据向量内积（离散）：
类似定义函数内积（连续）：
三角函数的正交性正交化：确保函数两两之间的内积为0。 例如<φᵢ, φⱼ> = 0 (对于 i ≠ j)完全不相似，彼此独立！
标准化/单位化：确保每个函数自己的范数为1，例如 ||φᵢ|| = √(<φᵢ, φᵢ>) = 1，完全相似！
标准化（单位化） 来得到标准正交基。
使一组函数两两正交，并且让每个函数的范数（模长）为1，这个过程的结果就叫作“标准正交基”：函数/模长
经过单位化后，在区间 [-π, π] 上关于部分三角函数标准内积的标准正交基：
函数的相似性函数的内积是彼此最接近最相似的结果！
7.傅里叶级数
7.1 傅里叶级数系数求取
实际运用案例
7.2 傅里叶级数收敛性
函数f，【0,2π】，f(0)=f(2π），周期2π，f可微且f’连续，则
吉布斯现象：n→∞,Mn不为0
7.3帕塞瓦尔定理（用于傅里叶级数）
设函数 f(x)在区间 [−π,π]上是平方可积的，其傅里叶级数为：
帕塞瓦尔定理指出：
左边：函数 f(x)的总能量（或功率）
右边：所有傅里叶分量的能量之和。
一个信号的总能量等于其所有频率分量的能量之和。
证明：
贝塞尔不等式 (Bessel's Inequality)
帕塞瓦尔定理之前，有一个更普遍的不等式。对于任何一组标准正交函数集 {φₙ(x)}（不一定是完备的），以及任意函数 f(x)，将其投影到这组基上：
那么，贝塞尔不等式成立：
当且仅当所使用的正交函数集 {φₙ(x)} 是完备的（即足够丰富，可以完美表示该函数空间中的任何函数），贝塞尔不等式中的 ≤ 就变成了 =，此时，贝塞尔不等式就升级为了帕塞瓦尔定理。
贝塞尔不等式 (≤) + 正交基的完备性 = 帕塞瓦尔定理 (=)
用于傅里叶变换，则
时域和频域的能量是守恒的！
三、“哈儿”小波
匈牙利数学家阿尔弗雷德·哈尔（Alfréd Haar）在1909年提出的，是历史上第一个小波系统（wavelet system），也是最简单、最直观的小波。
核心思想是用一系列简单的、“箱形”的基函数来表示一个复杂的信号。这些基函数具有不同的尺度（scale，或称频率） 和位置（position），允许我们同时从时域和频域分析信号。
傅里叶分析能完美地告诉你信号包含哪些频率，但无法告诉你这些频率在什么时间出现。而哈尔小波（以及后来的所有小波）则提供了这种“时间-频率”的局部化信息。这就是一个从宏观到微观的分析过程。
哈儿系统的构成主要由两个函数构成：
a. 哈儿尺度函数（Haar Scaling Function） / 父小波（Father Wavelet）
通常记为 φ(x)，也被称为“哈儿函数”。
定义：
作用：它代表信号的“平均值”或“整体轮廓”。
缩放和平移后的尺度函数用于捕获信号的低频、粗尺度信息。
b. 哈儿小波函数（Haar Wavelet Function） / 母小波（Mother Wavelet）
通常记为 ψ(x)，这才是真正的“小波”。
定义：
作用：它代表信号的“细节”或“差异”。缩放和平移后的小波函数用于捕获信号的高频、细尺度信息（如边缘、跳跃点）。
如何工作？多分辨率分析（MRA）哈儿系统通过缩放（scaling） 和平移（translating） 上述两个基函数来构建一组完备的正交基，从而分析任何有限能量信号。
缩放（改变尺度）：
通过压缩或拉伸基函数（ψ(2ʲx)）来捕获不同频率的信息。j 越大，函数越窄，频率越高，分析的尺度越精细。
平移（改变位置）：
通过移动基函数（ψ(x - k)）来覆盖整个时间轴，分析信号在不同时间点发生的事件。
最终，任何信号都可以表示为：
信号 = 粗尺度近似（用φ表示） + 一系列不同尺度的细节（用ψ表示）
优点：
计算简单、速度快：因为取值只有+1，-1，0，计算小波变换只需要简单的加、减、移位操作，效率极高。
完美局部性：在时域上完全紧支撑（Compactly supported），即只在有限区间非零。这使其能精准定位信号突变点（如边缘、噪声）。
正交性：所有基函数相互正交，意味着表示没有冗余，计算出的系数互不相关。
概念清晰：是理解小波理论最理想的入门工具。
缺点：
不连续性： Haar小波函数本身是不连续的（是阶跃函数），因此用于近似光滑信号时效果较差，会产生很多“人工痕迹”。
频域性能差：由于其时域形状简单，在频域的衰减很慢（频域局部性差），这意味着它的频率分离能力不如更复杂的小波（如Daubechies小波）。
4.哈儿系统中每一个函数都是单位函数
任意两个不同的哈儿函数必是正交的。
性质和应用示例
哈儿系统度量相似性（逼近函数）案例
增加解析度增强细节：从粗近似进一步增加细节（项）
多重解析递推：
递推依据，哈儿函数有收敛性：
哈儿小波与傅里叶级数关系6.1应用场景
傅里叶级数的典型应用场景：
经典物理与工程：分析周期性现象，任何涉及谐振和稳定周期行为的问题。
求解偏微分方程：在分离变量法中，傅里叶级数是求解热传导方程、波动方程等边界值问题的核心工具。
信号频谱分析：分析信号的频率成分。例如，确定一段音频中主导的频率是什么。
哈儿系统（及后续小波）的典型应用场景：
信号与图像压缩：这是小波分析最早大放异彩的领域（JPEG 2000标准就采用了小波变换）。原因在于：
能量集中性：自然图像和信号的很多能量集中在低频部分，而细节和边缘对应高频。
哈儿系统（及其它小波）可以将信号分解为不同尺度（频率）和位置的成分。
通过保留大的低频系数和少数重要的高频系数（代表边缘），而舍弃大量接近于零的高频系数，可以实现极高的压缩比且保持不错的质量。
边缘和突变检测：
信号或图像中的不连续点（如边缘、裂缝、尖峰）会产生大的小波系数。
通过检测小波系数的模极大值，可以精确定位突变发生的位置。应用于故障诊断、目标识别等。
去噪：
噪声通常表现为高频分量，且其小波系数幅值较小。
通过设置一个阈值，将幅值小于阈值的小波系数设为零（认为它们是噪声），然后重构信号，可以有效去除噪声的同时保留信号的主要特征。
多分辨率分析：
哈儿系统是多分辨率分析最简单的例子。先看信号的粗尺度近似（轮廓），再逐步添加细节，直到看清所有细微之处。这种“由粗到细”的分析方式非常符合人类认知和计算机高效处理的需求。
6.2 正交基大家庭中的两个“性格迥异”的成员
共同点：正交性
两者都构成了一组完备的正交基。这意味着任何函数（在平方可积的意义下）都可以被唯一地分解为这些基函数的线性组合。
它们都享受正交基带来的所有好处：计算系数简单（做内积）、有帕塞瓦尔定理（能量守恒）。
根本区别：基函数的“形状”
傅里叶基：是平滑且无限延伸的波。为了分析一个局部的突变（如一个尖峰），傅里叶级数需要调动几乎所有高频分量来相互抵消掉突变点之外的部分，导致效率低下并产生吉布斯振荡。
哈儿基：是局域且不连续的波。一个局部的突变只需要调动该位置附近的几个哈尔小波系数就能精确描述，不会影响到对信号其他部分的表示。
6.3 对比一览
特性 | 傅里叶级数 | 哈儿系统 (Haar Wavelet) |
基函数 | 正弦（Sine）和余弦（Cosine）函数 | 哈儿尺度函数和小波函数（方形波） |
本质 | 全局的振荡函数 | 局部的脉冲函数 |
分析视角 | 频域分析：回答“信号包含哪些频率？” | 时频域分析：回答“哪种频率在什么时间出现？” |
局部性 | 差。每个正弦/余弦分量都从 -∞ 延伸到 +∞，是全局性的。 | 极好。每个小波函数只在很短的一个区间内非零，是紧支撑的。 |
描述能力 | 擅长描述光滑的、周期性的现象。 | 擅长描述突变的、不连续的现象。 |
函数光滑性 | 要求函数相对光滑，否则会产生吉布斯现象（Gibbs Phenomenon）。 | 对函数光滑性无要求，能很好地处理间断点。 |
注：“哈儿“是四川方言，以此代替“哈尔”乃故意为之！方便记忆，印象深刻！当然不是指数学家阿尔弗雷德·哈尔（Alfréd Haar）是一个“哈儿”哈！要不然，我本哈儿了。
版权声明：本文转载于今日头条，版权归作者所有，如果侵权，请联系本站编辑删除