矩阵条件数及高斯算法平滑分析的进一步研究

算法的复杂度平滑分析是对许多算法在实际应用中很有效但其最坏情况复杂度却很糟这一矛盾给出的更合理的解释.高性能计算机被广泛用于求解大规模线性系统及大规模矩阵的分解.求解线性系统的最简单且容易实现的算法是高斯消元算法(高斯算法).用高斯算法求解n个方程n个变量的线性系统所需要的算术运算次数为O(n³).如果这些方程中的系数用m位表示,则最坏情况下需要机器位数mn位来运行高斯算法.这是因为在消元过程中可能产生异常大的中间项.但大量的数值实验表明,在实际应用中,需要如此高的精度是罕见的.异常大的矩阵条件数和增长因子是导致矩阵A病态,继而导致解的误差偏大的主要根源.设-A为任意矩阵,A是-A受到微小幅度的高斯随机扰动所得到的随机矩阵,方差σ²≤1.Sankar等人对矩阵A的条件数及增长因子进行平滑分析,证明了Pr[K(A)≥α]≤(3.64n(1+4√log(α)))/ασ.在此基础上证明了运行高斯算法输出具有m位精度的解所需机器位数的平滑复杂度为m+71og₂(n)+3log₂(1/σ)+log₂log₂n+7.在上述结果的证明过程中存在错误,将其纠正后得到以下结果:m+71og₂n+3log₂(1/σ)+4√2+log₂n+log₂(1/σ)+7.367.通过构造两个分别关于矩阵范数和随机变量乘积的不等式,将关于矩阵条件数的平滑分析结果简化到Pr[K(A)≥α]≤(6√2n²)/α·σ.部分地解决了Sankar等人提出的猜想:Pr[K(A)≥α]≤O(n/α·σ).并将运行高斯算法输出具有m位精度的解所需机器位数的平滑复杂度降低到m+81og₂n+3log₂(1/σ)+7.实验结果表明,所得到的平滑复杂度更好.     

稀疏矩阵快速转置算法的分析与优化

介绍稀疏矩阵的三元组表压缩存储方案时,提出了利用数组首下标元素存储稀疏矩阵总行数、总列数和非零元素总个数三方面信息的改进的存储定义方式.给出了基于新的定义结构上用C语言编写的快速转置算法,并通过对算法性能进行分析,提出了仅使用一个数组的两种改进的快速转置算法.经过对比两种改进算法的时间复杂度和空间复杂度,总结出既具有原快速转置算法时间复杂度低的优点,又降低了算法的空间复杂度的优化算法,达到了对原快速转置算法进行优化的目的.     

求分块周期三对角矩阵逆矩阵的新算法

根据分块三对角矩阵逆矩阵的特殊结构,利用其LU和UL分解,并使用Sheman-Morrison-Woodbury公式,得到一个求分块周期三对角矩阵逆矩阵的新算法,并由该算法得到求周期三对角矩阵和对称周期三对角矩阵逆矩阵的新算法。新算法比传统算法的计算复杂度和计算时间要低。     

对SMS4密码算法改进的差分攻击

差分分析和线性分析是重要的密码算法分析工具.多年来,很多研究者致力于改善这两种攻击方法.Achiya Bar-On等人提出了一种方法,能够使攻击者对部分状态参与非线性变换的SPN结构的密码算法进行更多轮数的差分分析和线性分析.这种方法使用了两个辅助矩阵,其目的就是更多地利用密码算法中线性层的约束,从而能攻击更多轮数.将这种方法应用到中国密码算法SMS4的多差分攻击中,获得了一个比现有攻击存储复杂度更低和数据复杂度更少的攻击结果.在成功概率为0.9时,实施23轮的SMS4密钥恢复攻击需要2^113.5个明文,时间复杂度为2^126.7轮等价的23轮加密.这是目前为止存储复杂度最低的攻击,存储复杂度为2¹⁷个字节.     

高效的求解TSP问题的近似算法

提出了一种基于矩阵变换的方法,将n阶TSP问题近似转化为n-1阶TSP问题,然后用递归运算得出最后解。此算法的时间复杂度为O（n³）。而后又对此算法做了进一步的改进,近似度有很大提高但时间复杂度增加为O（n⁴）。经过实验表明,此类算法求解的近似度很高,尤其是在满足三角不等式的问题中,误差更低。利用TSPLIB数据库中的数据进行测试,得到的结果误差最多不超过10%。     

求实对称矩阵部分特征值的并行算法

提出了并行求解实对称稠密矩阵部分特征值的反幂法的预处理方法.该方法基于带状矩阵特征问题反幂法的信息传递复杂度低的特点,采用Householder变换并行算法约化大型实对称稠密矩阵为一定带宽的带状矩阵,针对带状矩阵用反幂法求解矩阵的在某一点的近似特征值;其中针对反幂法迭代中遇到的线性方程组,采用文献中的并行预处理共轭梯度算法求解.最后在Lenovo深腾1800集群上进行数值实验,并与预处理前反幂法的计算结果进行了比较,实验结果表明,经过预处理后的并行性远高于直接采用反幂法的并行性.     

部分哈达玛矩阵分段弱正交匹配追踪算法

为解决分段弱正交匹配追踪算法在测量过程中难以获得高精度重构信号的问题,首先对以高斯矩阵为测量矩阵的传统SWOMP算法进行了分析,指出问题的关键在于高斯矩阵列相干性过大会影响残差信号的匹配过程,从而导致部分信号丢失,使重构精度下降;然后,根据分析提出了一种基于部分哈达玛矩阵的分段弱正交匹配追踪(PH-SWOMP)算法,其中部分哈达玛矩阵根据偶数行抽取原则进行构造,可以显著降低测量矩阵的互相关性;最后,通过与传统SWOMP算法的图像重构对比仿真实验对PH-SWOMP算法性能进行了验证,其中传统SWOMP算法分别选取高斯矩阵、托普利兹矩阵等4种矩阵作为测量矩阵.仿真结果表明,在相同条件下,相比于传统SWOMP算法, PH-SWOMP算法信噪比最大提高了53.95%,相应的重构时间缩短了15.41%,具有更小的恢复残差以及更高的信号重构成功率.     

解决矩阵链相乘处理器调度问题的一种新算法

本文介绍了矩阵链相乘处理器分配问题和离散处理器分配算法,描述了Lee Heejo等人提出的解决MCSP的处理器分配算法,提出了一种解决MCSP的时间复杂度更低的算法,使处理器能尽量被充分利用,并对三种分配算法进行了比较分析.     

基于迭代线性矩阵不等式的奇异摄动系统同时镇定

研究了采用一个线性状态反馈控制器镇定多个线性奇异摄动系统的问题.同时镇定条 件可以表达为一组矩阵不等式条件,所得条件与摄动参数无关,从而有效地回避了病态问题.采 用基于快慢分解的两步法可以得到镇定控制器增益和相应的Lyapunov函数.而在每一步需要利 用迭代线性矩阵不等式技术求解相应的双线性矩阵不等式,相关定理研究了算法的收敛性.本文 所得结论可同时适用于标准与非标准奇异摄动系统.文末给出了相应的仿真算例.     

高阶高斯型积分计算机求解算法

提出一种新颖的高阶高斯积分算法.该算法不仅可以高效地求解高阶高斯积分问题,而且无论权函数是否为标准正交多项式均能统一处理,因而具有更广泛的工程应用价值和适用性.所提算法通过借助Hankel矩阵高效地解决了与高斯积分相关的非线性方程组的求解问题.算法只涉及矩阵乘法、求逆及求特征值等初等矩阵运算,而传统的方法需要应用到选代搜索等数值方法.因此新的算法具有更高的计算效率和精度.     

一种否定高信度规则的属性查找算法

粗糙集理论中可辨识矩阵是在整个论域U上构造的。该文扩展了可辨识矩阵的应用,提出一种否定高信度决策规则的属性查找算法,求出条件属性和决策属性的不可分辨二元关系在等价类上进行运算。在论域U的子集上构造可辨识矩阵,根据分辨函数求解问题。将算法应用于医学数据。实验结果表明,该算法局部采用可辨识矩阵可以有效地减少存储空间,提高查找效率。     

Asymptotic distributions associated to Oja''s learning equation forneural networks

We perform a complete asymptotic performance analysis of the stochastic approximation algorithm (denoted subspace network learning algorithm) derived from Oja's learning equation, in the case where the learning rate is constant and a large number of patterns is available. This algorithm drives the connection weight matrix W to an orthonormal basis of a dominant invariant subspace of a covariance matrix. Our approach consists in associating to this algorithm a second stochastic approximation algorithm that governs the evolution of WW(T) to the projection matrix onto this dominant invariant subspace. Then, using a general result of Gaussian approximation theory, we derive the asymptotic distribution of the estimated projection matrix. Closed form expressions of the asymptotic covariance of the projection matrix estimated by the SNL algorithm, and by the smoothed SNL algorithm that we introduce, are given in the case of independent or correlated learning patterns and are further analyzed. It is found that the structures of these asymptotic covariance matrices are similar to those describing batch estimation techniques. The accuracy or our asymptotic analysis is checked by numerical simulations and it is found to be valid not only for a "small" learning rate but in a very large domain. Finally, improvements brought by our smoothed SNL algorithm are shown, such as the learning speed/misadjustment tradeoff and the deviation from orthonormality.     

An improved attribute reduction scheme with covering based rough sets

Attribute reduction is viewed as an important preprocessing step for pattern recognition and data mining. Most of researches are focused on attribute reduction by using rough sets. Recently, Tsang et al. discussed attribute reduction with covering rough sets in the paper (Tsang et al., 2008), where an approach based on discernibility matrix was presented to compute all attribute reducts. In this paper, we provide a new method for constructing simpler discernibility matrix with covering based rough sets, and improve some characterizations of attribute reduction provided by Tsang et al. It is proved that the improved discernibility matrix is equivalent to the old one, but the computational complexity of discernibility matrix is relatively reduced. Then we further study attribute reduction in decision tables based on a different strategy of identifying objects. Finally, the proposed reduction method is compared with some existing feature selection methods by numerical experiments and the experimental results show that the proposed reduction method is efficient and effective.     

行满秩Toeplitz型矩阵Moore-Penrose逆的快速算法

通过构造对称分块矩阵给出了秩为m的m×n阶Toeplitz型矩阵Moore-Penrose逆的快速算法。该算法计算复杂度为O（mn）+O（m²）,而由T^T（TT^T）^-1直接求解所需运算量为O（m²n）+O（m3）。数值算例表明了该快速算法的有效性。     

一个新的差别矩阵及其在决策表中的应用

在利用差别矩阵求解决策表的相对核方法中,针对HU方法的错误,人们提出了各种各样新的差别矩阵及求相对核的方法,但计算代价高.把决策属性与条件属性放在一起构造出一个新的差别矩阵,得到了差别矩阵的若干性质和定理.在此基础上提出了求决策表的正区域、相对核、相对约简和最小约简的新算法,分析了该算法的时间复杂性.理论分析和实例表明,与现有的属性约简算法相比,该算法的时间复杂性较低.     

对称矩阵三对角化的有效并行块算法设计

在矩阵数值计算中,块算法通常比非块算法更有效,但这也增加了并行算法设计和实现的难度．在广义稠密对称矩阵特征问题并行求解器中,并行块算法的构造可应用到正定对称矩阵的Choleski分解、对称矩阵的三对角化和回代转化(back-transiation)操作中．本文将并行块算法的讨论集中在具有代表性的对称矩阵三对角化上,给出在非块存储方式下对称矩阵三对角化的并行块算法设计方法．分析块算法大小同矩阵规模和处理器数量的关系．在深腾6800上的试验表明,我们的算法具有很好的性能,并得到了比ScaLAPACK更高的性能．     

Three algorithms to compute covariance matrices: Comparison of their computational complexity

Three numerical algorithms for computing the solution of the covariance matrix differential equations of states of a linear time-invariant dynamical system forced by white Gaussian noise are analyzed. Estimates of errors due to truncation and roundoff are derived for each algorithm. The error analyses are based on the assumption that computation is performed in floating point mode and that it is not numerically ill-conditioned. Computational complexity of each algorithm is also discussed. Two numerical examples are presented to evaluate the performance of each algorithm.     

基于LDLT分解求实对称矩阵特征值的递归算法

基于线性代数与矩阵理论,给出利用LDLT分解计算实对称矩阵特征值的递归算法。该算法可求出实对称矩阵在给定区间内的特征值的个数,并可计算满足精度要求的特征值。理论分析和实际测试证明该算法是有效的。