1Ocean Department of Dalian Navy Academy苍井空种子, Dalian Liaoning
2Navigation Department of Dalian Navy Academy, Dalian Liaoning
Received: Aug. 11th, 2016; accepted: Aug. 25th, 2016; published: Aug. 31st, 2016
Copyright © 2016 by authors and Hans Publishers Inc.
This work is licensed under the Creative Commons Attribution International License (CC BY).
ABSTRACT
The uncertainty principle is the elementary rule in the crossed fields of mathematics, information and physics and so on, which plays an important role in scientific sense and engineering value. This paper discussed the mathematical problems in the research of widely studied generalized uncertainty principles (i.e., the generalized uncertainty principles on time-frequency analysis and the generalized uncertainty principles on sparse representation), including the extension of the traditional inequalities to the generalized domains, the optimization of various p-norms, the optimal matrix factorization and so on. The review of these mathematical problems is the focus in this paper, and the disadvantages and the future work of these mathematical problems are discussed as well.
Keywords:Generalized Uncertainty Principle, Sparse Representation, Time-Frequency Analysis, Resolution Analysis, Norm, Entropy, Matrix Factorization
自拍广义测不准旨趣中的数学问题商量
徐冠雷1,王孝通2,周立佳1,邵利民1,刘永禄1,徐晓刚2
1舟师大连舰艇学院军事海洋系,辽宁 大连
2舟师大连舰艇学院帆海系,辽宁 大连
收稿日历:2016年8月11日;请托日历:2016年8月25日;发布日历:2016年8月31日
摘 要
测不准旨趣(Uncertainty Principle,又称不信赖旨趣)是数学、信息学与信号处理、物理学等交叉学科中的基本律例,具有热切的表面意旨和价值。本文从数学角度登程,针对比年来受到平凡关爱和商量的广义不信赖旨趣(即时频分析广义测不准旨趣和信号稀零示意广义测不准旨趣两大方面),给出了广义不信赖旨趣商量中所波及的主要数学问题,包括传统数学不等式在广义域内的推导解释、信号不同范数下的优化求解、矩阵优化确认等问题,既包括特定广义域内的推导解释,又包括不同变换基函数或框架下的数学优化,对于广义测不准旨趣中的数学问题进行了总结,并给出了其存在的问题,究诘了下一步可能的商量念念路和标的。
要津词 :广义测不准旨趣,稀零示意,时频分析,分辨率分析,范数,熵,矩阵确认
1. 序言
测不准旨趣当先由德国物理学家Heisenberg [1] 于1927年建议,又称Heisenberg测不准旨趣,它的建议解释了量子力学存在的基本问题,即不行同期信赖两个共轭变量(举例,位置和速率,时间和频率)的测量精度,这两个共轭变量准确度的乘集结鄙人界。Heisenberg测不准旨趣已解释其不仅是物理学领域的一个基本问题,而且在许多其它领域(数学、信息学、社会科学等)中 [2] - [31] 亦然一条通用的当然律例。跟着商量的深入,测不准旨趣得到了进一步的膨胀,先后建议了应用于时频平面分辨率分析的加窗测不准旨趣 [4] [9] [10] [14] [20] ,数学表面中的对数测不准旨趣 [4] [11] [12] ,量子力学与信息学中的熵(主要包括香农熵、Renyi熵外、Tsallis熵、黑洞普朗克熵等)测不准旨趣 [4] [5] [8] [21] - [30] ,广义域(分数阶Fourier变换域和线性正则变换域)内的测不准旨趣 [31] - [56] ,信号稀零示意 [57] - [83] 联系的广义测不准旨趣等,这些责任在各学科领域的表面和应用商量中施展出了热切的作用,同期也给出了一个热切的启示:在不同的域内,测不准旨趣具有不同的下限,商量和获取这些下限,不错进一步迷惑各样表面商量和工程应用责任。
在信息领域,Heisenberg测不准旨趣一般来讲有两层传统含义:一是时间分辨率和频率分辨率不巧协议期无收尾地提升,它们的乘集结在一个下限;二是时间分辨率和频率分辨率之间存在着相互制约的关系,即如果要提升频率分辨率就得裁减时间分辨率,反之亦然。但是,一直以来,测不准旨趣都被觉得是“绝望”的,东谈主们在该领域的商量 [1] - [56] 主如果如何更深切地调处和灵验地裁减这种绝望进程,这类广义测不准旨趣咱们称之为时频分析广义测不准旨趣。时频分析广义测不准旨趣把不同的基函数单独或孤独对信号进行示意,一般来讲只是对信号在单域内聚会进程(或孤独的两个域内聚会进程之和/积)进行表面论证和分析。
但是,最近Denoho等东谈主的压缩感知表面 [59] - [63] 却揭示了测不准旨趣“积极”的一面,任何由测不准旨趣带来的“积极”内容都将是令东谈主吃惊的(surprising) [69] 。举例,当某信号的基函数集的变换统统撑捏之和小于某个特定值时,信号就不错用这些基函数集独一地最好稀零示意,这就告诉了咱们如何取舍最好的基函数集对信号进行稀零示意,显露是“积极”的,这类广义测不准旨趣咱们称之为稀零示意广义测不准旨趣。稀零示意广义测不准旨趣一般把多个基函数作为信号示意的一个全体基函数进行信号的示意分析,其目的就是阐释信号如何材干最好稀零示意,因此不错对信号的最好稀零示意进行表面和工程迷惑。履行上,稀零示意表面(包括完备字典、过完备字典等成见)先于压缩感知成见 [79] [80] ,它不错看作压缩感知的构成部分,但又可孤独于压缩感知表面。尽管早期的稀零示意 [79] [80] 并不是从广义测不准旨趣着手的,但是目下的商量标明,稀零示意广义测不准旨趣是信号稀零示意的表面基础,不错对信号的最好稀零示意进行灵验的表面和工程迷惑。
时频分析广义测不准旨趣 [1] - [56] 与稀零示意广义测不准旨趣 [57] - [83] 最大的区别在于:稀零示意广义测不准旨趣一般把多个基函数作为信号示意的一个全体基函数进行信号的示意分析,其目的就是阐释信号如何材干最好稀零示意,包括信号最好稀零示意的表面条目、信号独一稀零示意的畛域条目、信号稀零示意的进程和范围、信号稀零示意的工程判据等等,因此不错对信号的最好稀零示意进行表面和工程迷惑;而时频分析广义测不准旨趣则把不同的基函数单独或孤独对信号进行示意,一般来讲只是对信号在单域内聚会进程(或孤独的两个域内聚会进程之和或积)进行表面论证和分析,多数用来分析时频分辨率及分辨率之间的关系。
本论文将从两类广义测不准旨趣的角度登程,针对信号处理中的广义测不准旨趣表面商量中所波及的数学问题进行分析商量,给出信号处理中的广义测不准旨趣商量中的数学问题,旨在为更好地商量广义测不准旨趣的表面终点信息学中应用提供一定的依据。
2. 时频分析广义测不准旨趣中的数学问题
时频分析广义测不准旨趣把不同的基函数单独或孤独对信号进行示意,一般来讲只是对信号在单域内聚会进程(或孤独的两个域内聚会进程之和/积)进行表面论证和分析,多数用来分析时频分辨率及分辨率之间的关系。
时频分析广义测不准旨趣主如果指在分数阶Fourier变换域和线性正则变换域内的传统时频平面分辨率分析的Heisenberg测不准旨趣、加窗测不准旨趣 [4] [14] [9] [10] [20] 、对数测不准旨趣 [4] [11] [12] 、熵(主要包括香农熵、Renyi熵外、Tsallis熵、黑洞普朗克熵等)测不准旨趣 [4] [5] [8] [21] - [30] 等的膨胀,把这些测不准旨趣从传统的时域与频域拓展到时域与广义域内(分数阶Fourier变换域和线性正则变换域内),或者拓展到广义域内与广义域内(即两个域均是分数阶Fourier变换域或线性正则变换域) [31] - [56] 。在这些广义测不准旨趣的推导解释流程中所波及的主要数学公式或性质(或主要数学问题)包括:变量代换、Parseval准则、Cauchy-Schwartz不等式、Minkowski 不等式、Hausdorff-Young不等式以及Pitt不等式等数学问题。
由于分数阶Fourier变换不错作为线性正则变换的特例对待,是以本文主要以线性正则变换为例加以究诘。登程点给出线性正则变换的数学界说及主要特质,以及这些特质的联系应用。然后究诘了广义测不准旨趣推导解释流程中常用的Minkowski不等式、广义Hausdorff-Young不等式、广义Pitt不等式、变量代换等数学问题,并给出了相应的广义形状推导和典型应用示例(具有启示作用)。
2.1. LCT基本界说和数学特质及应用
给定恣意信号(),其线性正则变换界说 [54] - [56] 如下:
, (1)
其主要性质:
1) 叠加特质:, (2)
其中。
2) 可逆性:, (3)
其中,。
3) 时移性:, (4)
4) 表率特质:, (5)
5) 乘积特质:,(6)
6) 广义Parseval准则:. (7)
Parseval准则/定理的物理意旨是能量守恒,时域能量等于频域能量,不会因为变换而发生窜改。而广义Parseval准则究诘了在广义域内(分数阶Fourier变换域和线性正则变换域内)的能量守恒问题,即时域能量等于广义频域能量。
除了Parseval准则之外,Cauchy-Schwartz不等式亦然广义测不准道确认释流程中常用的数学律例。数学上,Cauchy-Schwartz不等式,又称Schwartz不等式。Cauchy-Schwartz不等式标明,若f和g是实或复内积空间的元素,则有
,
等式设立当且仅当f和g是线性联系的。Cauchy-Schwartz不等式的一个热切收尾,是内积为贯穿函数,举例底下的解释流程:
字据乘积特质(6)和广义Parseval准则(7),可得
, (8)
. (9)
上述两式应用Cauchy-Schwartz不等式,可得
.
对于实数函数,有
.
是以,进一步得到一个广义测不准旨趣的收尾:
.
Cauchy-Schwartz不等式有另一形状,还不错用范数(见论文第三部分)的写法示意:
.
关连线性正则变换(及分数阶Fourier变换)的其他详备阐发可参阅文件 [54] - [56] 。
2.2. Minkowski不等式
Minkowski不等式在广义测不准旨趣的推导中也颇为热切,登程点简要总结下Minkowski不等式的推导流程。咱们接洽贯穿函数形状的p次幂:
用三角形不等式伸开:
.
用赫尔德不等式,上式右侧
.
愚弄关系式,最终得到Minkowski不等式:
.
肖似地,得到多路信号的Minkowski不等式 [53] 为:
,
.
应用该公式,不错得到多路信号的广义熵测不准旨趣:
.
2.3. 广义Hausdorff-Young不等式
使用变量替换旨趣,不错推导LCT域内的广义Hausdorff-Young不等式。
接洽W. Beckner的Hausdorff-Young不等式 [11] [12] [23] [26]
,
其中,,,。
登程点假设(),且设, ,。
应用等式,即得
,
即.
由于,是以
.苍井空种子
通过变量代换,并应用Fourier变换界说可得:
.
令,即得
和.
是以.
是以.
广义分数阶Fourier变换域的Hausdorff-Young不等式,与变换参数a、b关连,与c、d无关。
当和时,则
.
上式是传统Hausdorff-Young不等式的第二种书写版块。出奇是,当时,即可得到广义分数阶Fourier变换域的Parseval准则
.
字据和的关系,即可得到广义分数阶Fourier变换域的Hausdorff-Young不等式的第二种形状
和
.
对上式双方取对数,可得
,
其中,,,。
.
字据广义分数阶Fourier变换域的Hausdorff-Young不等式,以及Parseval准则,可得。
当时,,是以
.
趋承条目,可得
,
即.
这么,就不错应用广义Hausdorff-Young不等式得到广义熵测不准旨趣。
2.4. 广义Pitt不等式
肖似于上节,使用变量替换旨趣,不错推导LCT域内的广义Pitt不等式,从而进一步推导出广义对数测不准旨趣。
字据W. Beckner [11] [12] [23] [26] 的Pitt不等式
,
其中,,。
登程点,不妨假设和()。
设,,,可得:
,
是以.
字据的表率特质,可得
.
应用,并进行变量代换,可得
.
是以
.
令,并将其代入上式,可得:
.
设,则和。
综合上述各样,可得:
.
广义分数阶Fourier变换域的Pitt不等式与变换参数a、b关连,与c、d无关,因为c和d只起表率变换和调制的作用,其解释流程不错看出表率变换和调制的影响被抛弃了。当且时,可得:
.
上式是传统Pitt不等式的第二种书写形状。
当时,即为Parseval准则
.
设
是以
,
其中,
当时,,且和,是以
.
是以
,
即
.
当和时,则有
.
上式为分数阶Fourier变换域内的广义对数测不准旨趣。
2.5. 不同广义测不准道确认释流程中的数学问题
上头几个末节只是给出了几个广义测不准旨趣推到解释流程中的几个数学律例或不等式的应用,本部分采用表格的形状把整个时频分析广义测不准旨趣对应的数学律例或不等式(数学问题)进行总结,以提供一个直不雅的相比和分析(其中包括咱们前期商量的部单干作 [31] - [35] [41] - [43] [48] ) (表1~6)。
3. 信号稀零示意广义测不准旨趣中的数学表面及模范
关连信号稀零示意的广义测不准旨趣不错追忆到Denoho等东谈主于1989年建议的表面 [60] ,其主要发扬用栅栏基信号(spikes)和正弦基信号(二者称为时频原子基)示意有限撑捏的翻脸信号和模拟信号的测不准旨趣问题,给出了信号稀零示意广义测不准旨趣雏形,得出了给定能量(2-范数下的界说)的翻脸信号所对应局部撑捏乘积的下限。其后,Denoho等东谈主又于2001年精良给出了把时频原子基作为一个具有过完备性的字典来进行信号稀零示意的性能畛域条目 [63] 。由于信号稀零示意采用最小0-范数来进行量化和界定,但是最小0-范数的求解是个NP问题(即数学上需要把整个的情况都穷举完材干找到最优的解,目下NP问题亦然困扰数学界多年的难题之一),是以Denoho等东谈主又给出了信号稀零示意的最小0-范数和最小1-范数等价的广义测不准旨趣畛域条目,而最小1-范数在数学上是个凸问题,不错通过优化算法进行灵验的求解,从而简化了稀零确认问题。Denoho等东谈主尽管只是给出了时频原子基的广义测不准旨趣,但是该责任在其后Patrick等东谈主的论文 [70] 中被称之为信号稀零示意及重构方面商量的里程碑。
在此基础上,Elad等东谈主于2002年建议了恣意两个正交基集的稀零示意广义测不准旨趣 [64] ,从时频原子基膨胀到恣意两个正交基集,况兼给出了更为严格的0-范数和1-范数等价的测不准旨趣畛域条目。其后,Feuer和Nemirovski等东谈主解释了这些条目是充要条目 [65] [66] 。同期,Fuchs等东谈主也进行了肖似的责任 [67] [68] 并在一些膨胀空间上给出了相似的论断。
但是,从信号稀零确认的角度来看,当然界中的信号变幻多姿,用两个正交基集不一定巧合得到生机的稀零示意收尾,两个正交基集显露也不老是稀零确认的基函数集的最好取舍。是以,Patrick等东谈主于2012年又建议了两个非正交基集的广义测不准旨趣 [70] ,其中每个非正交基序列都是冗余的,不错孤独终了对信号的稀零示意(但不一定最好稀零示意),从而把两个正交基集膨胀到更为一般的两个基函数集,而且优化了广义测不准旨趣的畛域条目。2013年,Benjamin等东谈主则从撑捏和框架角度进行了时频分析广义测不准旨趣的表面发扬 [71] ,给出了一些新的成见和界说,为后期稀零示意方面熵的广义测不准旨趣的商量提供了一定的基础。另外,Yonina则针对平移不变模拟信号进行了稀零示意广义测不准旨趣的表面商量 [74] 。
在前东谈主商量基础上,咱们针对正交基集,对信号独一最好稀零示意广义测不准条目、最好稀零示意范数和最小熵关系等进行了商量 [57] [58] 。前期商量总结标明,稀零示意广义测不准旨趣的商量还处于热门商量阶段,还有许多问题莫得处理,同期也标明,稀零示意广义测不准旨趣属于典型的数学与信息学
表1. 广义Heisenberg测不准旨趣的数学问题
表2. 广义Shannon熵测不准旨趣的数学问题
表3. 广义Rényi熵测不准旨趣的数学问题
表4. 广义加窗测不准旨趣的数学问题
表5. 广义对数测不准旨趣的数学问题
表6. 广义Hausdorff-Young不等式和广义Pitt不等式
科交叉领域,但是归根结底都不错纳入到联系的数学问题中去(比如,不同范数及范数优化、稀零求解、稀零矩阵及矩阵确认等)。表7详细了稀零示意广义测不准旨趣的商量近况以及需要完善的商量内容,涵盖了不少数学问题,表8则概述了已有的稀零示意广义测不准旨趣所波及到的主要的数学问题。
底下就针对不同的数学问题进行伸开阐发。
3.1. p范数
p范数(p-norm)不错当作2范数的膨胀,但是:p的范围是[1, inf)。p在(0,1)范围内界说的并不是范数
表7. 稀零示意广义测不准旨趣基于数学角度的表面商量近况
表8. 稀零示意广义测不准旨趣的数学问题
(但是,咱们有时也刚硬地称之为0-范数、1/2-范数等),因为违犯了三角不等式。在p范数下界说的单元球(unit ball)都是凸集(convex set,苟简地说,若聚拢A中恣意两点的连线段上的点也在聚拢A中,则A是凸集),但是当0 < p < 1时,在该界说下的unit ball并不是凸集(谨慎:咱们没说在该范数界说下,因为如前所述,0 < p < 1时,并不是范数)。下图展示了p取不同值时单元圆(因为p取2时为标准的单元圆,故以单元圆为标准比对对象)的形状,见图1。
0-范数是稀零示意中常用的范数,其物理意旨就是求非零数据的个数。由于信号严格稀零示意采用最小0-范数来进行量化和界定,但是最小0-范数的求解是个NP问题(即数学上需要把整个的情况都穷举完材干找到最优的解),是以Denoho等许多学者又给出了信号稀零示意的最小0-范数和最小1-范数等价的广义测不准旨趣畛域条目,然后用1-范数代替0-范数进行问题的求解。
上述范数主要针对向量,履行上矩阵也有范数,一般来讲矩阵范数除了正定性,皆次性和三角不等式之外,还规矩其必须餍足相容性,是以矩阵范数频繁也称为相容范数。需要谨慎的是,如果不接洽相容性,那么矩阵范数和向量范数就莫得区别。引入相容性主如果为了保捏矩阵作为线性算子的特征,这一丝和算子范数的相容性一致,况兼不错得到Mincowski定理之外的信息。矩阵范数最常用的就是Frobenius范数(也叫Euclid范数,简称F-范数或者E-范数)和核范数。Frobenius范数即为求解矩阵A一齐元素平方和的平方根。由于向量的F-范数就是2-范数,是以F-范数和向量的2-范数相容。核范数(也叫奇异值的0-范数),其物理意旨是求解非零奇异值的个数,换句话说就是矩阵的最小秩求解。
对于范数的其他更详备先容不错参照文件 [84] 。
3.2. 数学优化问题
目下常用的三种范数优化模式为P0问题、P1问题以及Pe问题:
P0问题:
. (10)
P1问题:
. (11)
Pe问题:
, (12)
其中为香农熵界说式。
范数及熵最小优化问题波及到的算法主要包括基跟踪算法、筹办算法、迭代阈值算法等算法。底下就三种优化各自给出一个优化算法示例,从而不错有一个相比直不雅的意识。
1) 基跟踪算法
Chen等东谈主 [77] 建议了一种极小化1-范数的稀零求解念念路(P1问题)。履行上,需要出奇证明的是:基跟踪算法并非基于一个最优化原则,其旨趣履行是给定一些收尾条目后,通过极小化1-范数不错获取最稀零的解。主如果通过单纯形法、内点法或对数遏止发来进行求解。它需要最少的测度,但其高算法复杂性会影响到履行大鸿沟应用。假设线性系统有个非零的稀零解,也就是,。而且,假设。匹配跟踪或者基础跟踪不错到手的复原稀零解吗?不言而喻的,这么的到手并不是对于整个的矩阵A的整个的都不错的,因为这个可能和一般情况下的已知的NP问题发生突破。但是,如果这个等式有一个充分稀零的解,那么这些算法在寻址原始的宗旨(P0)的到手性就有所保证了。
图1. p取不同值时单元圆的形状
在这里咱们不错对变换矩阵和的列从头进行规章胪列,向量b被树立为中的第一个列的线性组合,亦然中的第一个列,则有。是以,
, (13)
进一步界说整个撑捏和,离别地,咱们不错得到关系式:及。
不时在算法第一步(k=0)中,算计额外的树立一般都是由以下的公式给出:
是以,对于在合适的个非零元素中,其中需要处理的第一步就是,咱们应该假设整个的和,得到
. (14)
此时咱们假设莫得一般性吃亏,是x中整个的非零元素中最大的,而且咱们但愿它是在这个模范中被取舍出来的。尔后咱们指向要求(#),然后转向相似模范中的第二个的处理。在等式(13)中这个的置换转机成
(15)
为了接洽较为复杂难于处理的情况,咱们构造一个下界和一个上界,然后再一次应用上头的不等式,对于左边则关连络式
, (16)
这里咱们假设是x中的最大的非零元素,使用不等式关系和。对于等式(15)的右边的一个相似的处理即不错导出
, (17)
将这两个畛域插入到(15)中的不等式咱们得到不等式关系:
, (18)
当咱们假设包含了最大的非零元素后,对于相背的情况一个平行的要求亦然必要的。
目下咱们接洽上边提到的要求($),然后字据不异的处理,左边的下界保捏不变,但是右边的上界变为如下不等式:
, (19)
且处处要求如下关系设立:
. (20)
紧接着,下一步就是对于额外的一个更新。在这个更新中,咱们减掉了乘以列的统统,因此新的额外仍然是一个不朝上个非零值的线性组合,况兼有着不异的撑捏和。是以,如果在的条目能达成一致,使用上述模范中不异的设定章巧合保证这些算法再一次从信得过的撑捏中找到一个设想。在经过准确的次这么的迭代之后,这个额外变为零况兼这个算法拆开,保证了在复原正确的解x中的整个的这些算法的到手。
2) 筹办算法
假设矩阵A有,况兼此时假设优化问题(P0问题)有最优解1,是以b是矩阵A的一些列向量的线性组合,况兼这个解亦然咱们的独一解。不错通过对矩阵A的每一列进行m次测试来信赖这
个列,则第j次测试不错通过将减小到最少加以处理,并导出,此时这个额外即为如下边幅形状:
.
如果这个额外是0,咱们就找到了适合的解。因此这个测试将要作念的只是是 (这个将等价于说Cauchy-Schwartz不等式将餍足等式条目),此时意味着b和是平行的。同理,假设矩阵A有,况兼此时假设这个优化问题有最优解值。那么b就是矩阵A的至多列的线性组合。依此类推,咱们算计矩阵A的列的整个的子聚拢,况兼相互测试。筹办策
略烧毁了穷举搜索支捏一系列的局部最好的更新。从运转,它通过保管了一套活跃的列向量(当先是空的)况兼每一个阶段都通过一个额外的列来进行膨胀迭代设想了一个k条的近似值。在每一步的列的取舍上都从刻下活跃的列中接近b的值中最大的减少了残留额外。在构造一个包括新的列的近似值之后,残留额外是不错料到出来的,直到某时间它达到了事前给定的阈值,此时算法拆开。
对于筹办算法的具体终了模范有许多种,主要有正交筹办算法 [85] 、规整化正交筹办算法 [86] 、分段正交筹办算法 [87] 和梯度筹办算法 [88] 等。筹办算法的基本念念想:每次搜索和信号最联系的基函数,然后把信号中所包含最多基函数对应的重量去除,一直到信号被基函数因素去除完结为止。
3) 熵优化模范
熵最小优化算法肖似于最小0-范数算法,是为了处理Pe问题而进行的优化,是NP问题,无法灵验地求解,因此文件 [58] 建议了一种熵筹办念念想,即每次求取最大熵对应的统统,规律从大到小抽取信号直至餍足给定阈值,算法拆开。
登程点,假设:
and.
在模范n,通过下式优化,登科:
. (21)
算计一个近似量和一个示意统统:
.(22)
叠加上述模范直到餍足事前给定阈值,这里为给定阈值。
此为还有其他多种模范不错处理上述三大类问题。极小化1-范数的模范巧合灵验处理压缩感知中的复原问题,但是当趋承其它的一些先验学问后,该问题不错被愈加灵验地处理,比如贝叶斯压缩感知模范 [91] [92] 和基于模子的压缩感知模范 [93] 。Ji等东谈主建议的BCS借助传统的贝叶斯模范和机器学习中的主动学习模范,通过将对于稀零性的先验信息用垂直先验散布来建模,建议了自稳妥的感知模范以及相应的复原模范。而Baraniuk等东谈主建议的针对基于模子可压缩信号的压缩感知模范中愚弄小波树模子和块稀零模子,仅需要与稀零进程至极的测度数即可终了信号的鲁棒性复原。制约0-范数问题(P0问题)求解的根源在于矢量的0-范数是该矢量的不贯穿函数,于是Mohimani等东谈主建议愚弄高斯函数族对这个不贯穿函数进行近似,并愚弄贯穿函数的最小化算法(如最速下落法)对其最小化,从而得到最小范数解,即平滑算法 [89] [90] 。
4) RIP条目
在针对上述优化流程中,对收尾条目中矩阵A有哪些要求呢?或者说,矩阵A餍足哪些条目则会保证咱们获取可靠、相识的优化解呢?为此,Candes 和Tao建议了受限等距性质(Restricted isometry property, RIP) [81] ,对于矩阵A的特质建议了要求,餍足该要求则使咱们的优化收尾分析变得更为苟简。
界说1:对于一个有标准化的列的大小为()的矩阵A,以及一个整数标量餍足,假设包含A中的s列的子矩阵为,且把()界说为最小的量,甚至
(23)
对于s列的任何取舍都是灵验的。那么A就是称为在常量下有一个s-RIP。
也就是说,如果A中的s列的任何子聚拢都是一个正交变换,那么信息老是莫得能量变化的。了了的,这个界说只是是对的时候是故意的。RIP常量的上述界限是很容易通过以下公式看出来
. (24)
在以上的叙述中咱们用了格拉姆矩阵中的最小量的结构,在主对角线上都是1在非主对角线上的元素都是通过来收尾的。对于长度为s的向量c,咱们也使用了经常的等值不等式。这个下界不错不异被信赖为
. (25)
这里咱们再一次使用经常的等值不等式。
3.3. 矩阵稀零及秩最小化问题
与压缩传感邃密联系的一个问题是矩阵秩最小化问题。低秩矩阵模子在信号处理等领域具有平凡的应用,举例系统辨识与限定、欧氏空间镶嵌和协同滤波等,这不时波及到仿射矩阵秩最小化的问题 [94] - [96] 。另一方面,低秩矩阵波及到核范数,即奇异值最稀零问题,是以矩阵秩最小化问题是稀零示意中的另外一大类。其数学模子如下:
. (26)
矩阵秩最小化的一个经典例子就是矩阵填充中的Netflix问题。Netflix公司是一个影碟租借公司,该公司让用户在不雅看影碟后对电影打分,然后该公司会字据用户的打分推测出用户对于影片的喜好,从而给用户保举嗜好的影碟。如果将每别称对电影打分的用户都当作矩阵的一溜,再把每一部被评分的电影当作矩阵的一列,用户对于电影的打分当作是矩阵的元素。在现实生存中,一个用户看过的电影老是有限的,因此评分矩阵中仅有少许的元素是已知的。该公司要瞻望用户对于影片的喜好,就是要通过这些已知的少许的矩阵元素,推测出空缺的矩阵元素,这就是一个典型的矩阵填充问题。另外,由于影响用户对于影片的喜好的因素不时唯独少数几个,因此这个矩阵将是一个低秩矩阵。也曾Netflix公司还举办过一个比赛,参赛戎行字据Netflix公司提供的用户对于影片的打分数据对用户喜好进行瞻望,设想新的瞻望模范,并与Netflix公司我方的瞻望软件收尾进行对比,其中能将瞻望准确度提升10%的戎行将获取100万好意思元的大奖。
某个矩阵如果唯独部分不雅测元素(可能占该矩阵元素很低的比例),咱们要推测出其他莫得不雅测到的元素,这就是矩阵填充问题。如果对于矩阵莫得任何条目收尾,矩阵填充问题的解无限多,但是在履行许多时候咱们遭遇的矩阵都是低秩矩阵或者渐进低秩矩阵。商量标明 [95] - [100] ,不错通过合适的模范准确复原出正本的矩阵,矩阵填充问题总结起来就是求解核范数最小化问题 [96] ,目下求解核范数最小化问题如故有了一些训练的算法,但是目下这些算法的复杂度一般都很高,处理高维矩阵的填充问题会陡然大批时间,也正因此,快速高效的矩阵填充算法亦然矩阵填充问题的一个商量热门。矩阵填充目下已有不少算法,最经典确当属由Cai等东谈主建议的SVT算法 [97] ,该算法受到压缩感知中Bregman迭代算法的启发,算法在迭代流程中对矩阵进行了奇异值确认,然后将较小的奇异值树立为0,生成新的矩阵进行反复迭代,此算法运行速率很快,对于高维低秩矩阵的回填效果很好。另外还有Ma等东谈主建议的FPCA算法 [99] ,该算法也用到了矩阵的奇异值确认,况兼在算法迭代流程中进行不动点贯穿处理。该算法不仅对于低秩矩阵的复原效果很好,对于秩适中的矩阵也有较好的复原效果。在这之后,又连续出现了许多对于矩阵填充的快速高效算法。目下矩阵填充问题与算法的商量如故取得了极大的进展,但是表面的不训练导致仍然存在许多问题,举例一些履行问题中需要填充的低秩矩阵,其核范数是固定的,此时应用核范数最小化模范求解显露没故意旨,对于这些问题,需要建议新的算法。本文将给出Cai等东谈主建议的SVT算法,其基本念念路如下:
对于给定的矩阵X,矩阵部分数据已知,即底下优化问题即是矩阵填充的数学模子:
, (27)
如果矩阵中数据采样对于给定的某个常数C餍足,上式就会以较高的概率()复原出矩阵缺失元素。这里示意的是矩阵的核范数,即整个奇异值的和,为矩阵的秩,为矩阵行数和列数中的最小值,为矩阵中已知数据个数。由于求解(27)较为费事,上式不错苟且成如下优化问题:
. (28)
进一步,Cai等东谈主把收尾条目进行了矫正 [97] ,不是径直至极不休,而是投影(投影算子设为)后具有交流的数值(即改为投影不休),即:
. (29)
因此,不错通过迭代优化算计模范(30)直到达到某个住手条目,获取最终的优化矩阵X:
, (30)
其中,,为一个非线性软阈值函数,阈值为,为k步相应的步长。这里使用了两个热切的特质:稀零性和低秩性。矩阵在迭代的流程中一直保捏着稀零性,同期矩阵必须是低秩的,不然该模范将失效。
很显露,矩阵填充问题是一个非适定性的问题。一般而言,如果一个矩阵只是由少许的采样元素构成,那么十足重构出原矩阵着实是不可能的,因为对矩阵未知元素的填充有无限种可能性。如果莫得其他不休条目,矩阵填充重构出的矩阵将不是独一的。但是如果咱们事前知谈原始矩阵数据餍足一定的条目,那么矩阵填充将变得可行,这个要津的条目就是矩阵的低秩性 [95] 。
4. 论断
时频分析广义测不准旨趣,出奇是在分数阶Fourier变换域以及线性正则变换域内的时频分析广义测不准旨趣如故获取了长足的发展 [15] - [20] [31] - [38] [41] - [53] 。本文对这些广义测不准旨趣中所波及到的主要数学问题进行了总结,分析了它们各自的使用模范,并给出了几个苟简的示例以示效应。
但是,目下公开辟表的时频分析广义测不准旨趣都主如果针对贯穿信号的,但翻脸信号与贯穿信号有许多不同点。登程点,在履行工程应用中翻脸信号的时间撑捏和频率撑捏都是有限的,而对于贯穿信号不设立 [54] - [56] ,因此,平凡应用于贯穿信号的数学不等式(举例广义Pitt不等式、广义Hausdorff-Young不等式等)终点解释模范(举例基于广义Jensen不等式的转折表面)都需要进一步完善。其次,目下翻脸信号的时间撑捏和频率撑捏的表述还莫得一个被平凡采纳的归拢界说,表面上尚不完善。还有,广义变换翻脸算计模范、翻脸性质等还有待进一步分析 [54] - [56] 。另外,业已解释:在传统域内,高斯信号不再是翻脸测不准旨趣等式设立的条目。是以,以上这些问题都是下一步在时频分析广义测不准旨趣中需要重心商量的对象。
对于稀零示意广义测不准旨趣,商量正处于尖锐化景况,也取得了不少进展,比如已有不少文件中的联系责任就涵盖了刻下稀零示意广义测不准旨趣的商量恶果 [57] - [59] [61] [63] - [70] [72] - [74] [76] [81] [86] 。本文对这些广义测不准旨趣中所波及到的主要数学问题也进行了总结,分析了不同的范数、优化算法等,并给出了几个典型的数学应用示例。
但是,尽管前期对于稀零示意广义测不准旨趣取得了始创性恶果,但这些表面收尾大多不具备工程可行性,无法在信号的稀零示意中进行灵验的应用,而且这些恶果仅限于稀零示意的广义Heisenberg测不准旨趣。Denoho、Elad等东谈主给出的论断都包含了信号的0-范数 [59] [63] [64] ,而0-范数既是确认的收尾又是稀零示意的条目。也就是说,如果得到了信号的0-范数,也就得到了信号稀零示意,则上述表面条目也就起不到对0-范数求解的迷惑作用。相背,要考据上述表面条目,必须登程点求解“信号的0-范数”。 不异,Patrick以及Yonina的论断也存在肖似的问题 [65] - [70] 。是以,这些条目无法应用于工程,尽管它们是充要条目。而且,对于熵测不准旨趣,目下也还莫得公开的报谈波及稀零确认问题,包括信号独一最好稀零示意条目、最小范数和熵等价条目、工程判据等。因此,对于熵的广义测不准旨趣的稀零示意问题有必要开展联系的表面商量,出奇是数学问题的表面商量。
基金神态
国度当然科学基金《广义测不准旨趣表面终点应用商量》(61002052)以及《信号稀零示意的广义测不准旨趣商量》(61471412)资助支捏。
著作援用
徐冠雷,王孝通,周立佳,邵利民,刘永禄,徐晓刚. 广义测不准旨趣中的数学问题商量Study on the Mathematical Problems of Generalized Uncertainty Principles[J]. 应用数学进展, 2016, 05(03): 536-559.
参考文件 (References)苍井空种子