一种改进的Criminisi图像修复算法
数字图像在传输、处理、保存等过程中容易受到各种因素的影响而丢失部分信息[1],因此图像修复技术的研究具有重要的意义。图像修复技术是利用图像中的已知区域信息对破损区域进行填充,使得修复图像尽可能与原图像相似,因此图像修复算法的好坏在一定程度上可以通过人眼进行主观判断。图像修复算法可以分为两类:基于变分PDE的图像修复算法[2-3]和基于纹理合成的图像修复算法[4-5]。经典的基于变分PDE的算法有BSCB[6](Bertalmio、Sapiro、Caselles、Bellester)算法、TV模型[7]和曲率扩散模型(CDD)[8]等,它们都适用于受损区域较小的图像。其中BSCB是最早提出的基于变分PDE的图像修复算法,在处理纹理丰富的受损图像时修复效果较差,同时计算量较大;TV模型是BSCB算法的改进算法,在修复图像时可以祛除噪声,但在修复结构性较强的图像时可能出现错位、断层等视觉不连续性问题;CDD模型改进了TV模型,解决了TV模型的视觉不连续性问题,但是计算量很大。
基于纹理合成的图像修复算法适用于受损面积较大的受损图像,Criminisi算法是最经典的基于纹理合成的图像修复算法,在处理纹理丰富和结构复杂的破损图像时都能取到较好的效果,但是在Criminisi算法的优先权计算过程中可能产生错误的修复顺序,同时,使用固定的样本块大小也可能导致不能将正确的纹理延伸到破损区域内部而产生错位、断层等现象,图像修复质量有待进一步提高。
由于不同压载舱水深不同,按照水深分成A、B、C等3类。A类压载舱包括D1和D2,B类舱包括L1、L2、L3,C类舱包括T1和T2。各舱由压载水表面至舱底的20个不同深度点进行采样,每个点采集5~15 L水样,测试水温。现场取5~8 L不等,使用15 μm孔径的筛绢进行过滤,水质澄清后灌入采样瓶,密封并带回实验室处理。采样船舶情况如表1所示。
1 Criminisi算法
Criminisi算法[9]的主要思想是:首先,通过优先权公式计算优先权值,选取待修复区域边缘上优先权最高的像素点;其次,在未破损区域为优先权最高的待修复块寻找最佳匹配块;最后,将最佳匹配块中的像素信息填充到待修复块中,其原理图如图1所示。重复上述过程,直到整个受损区域被填充修补完整。
在改革开放的不断深化、市场经济体制的逐步成熟的背景下,面对时代的机遇与挑战,化肥流通体制也迎来自身全新发展的新时期,进入了市场配置资源的化肥流通新阶段。1998年11月16日,国务院下发了1998(39号)文件《关于深化化肥流通体制改革的通知》,其核心就是打破原有化肥统购统销的计划模式,打破“一主两辅”经营格局,形成以供销社农资系统、生产企业和农业“三站”三条渠道并行的农资流通新格局,实行市场配置资源。由此,化肥流通“三驾马车”并驾齐驱,建立起了市场主导、国家调控的化肥价格体系,奠定了今天的化肥生产和流通行业的格局。
图1 Criminisi算法填充原理
图1中,I为整幅图像,Ω为待修复区域,∂Ω表示待修复区域的边缘;Φ表示图像未破损的区域,即为图像已知部分,Φ=I-Ω。算法具体步骤为:
1)计算待修复区域中优先权最高的像素块。选取边缘上一点p∈∂Ω,优先权P(p)为:
P(p)=C(p)D(p)
(1)
式(1)中,C(p)为置信度项;D(p)为数据项。分别定义为:
(2)
(3)
爱的冲动在时间上存在着这么间不容发的一点,可她没有切实地把握住,她终究是让他离开了,如野云孤飞,不留形迹。那时的她呆愣愣站在围墙边,就好似站在恶魔的通道前,而未意识到其瞬间的魔影将使她的一生黯然失色。有个时期,她企图依靠暴饮暴食来填补想念那只猫带来的空虚感,可始终收效甚微,往口中狂塞食物麻痹不了自己的心。然而说来也不可思议,那么透明无色的记忆竟会给她的人生涂上那样绯红的色彩,日居月诸,这色彩因为毫无指望而一天天变得焦黑。
Gx,y表示点P(x,y)处的梯度值,Gx表示P点在x方向上的梯度,Gy表示P点在y方向上的梯度。
(4)
式中:Ix表示像素点p在x方向上的偏微分;Iy表示像素点p在y方向上的偏微分。
2)在图像已知信息区域寻找与目标块匹配最佳的像素块,再将最佳匹配块的像素值填充到待修复区域的对应位置,根据纹理匹配的SSD标准搜索最佳匹配块Ψq,然后填充Ψp。
Gy= f(x,y)- f(x,y-1)
Ψq∈Φ
DDS发射信号类型和参数的选择对战术指标的实现至关重要,直接决定着目标的距离分辨力、速度分辨力、抗干扰能力和抗混响能力,同时与回波的处理息息相关。当前,DDS使用最多的2种信号是矩形脉冲(Continuous Wareform,CW)信号和线性调频脉冲(Linear Frequency Modulated,LFM)信号。本文利用模糊函数对这2种信号的分辨力和抗干扰能力进行分析,并简要阐释其在系统中的应用和实现,在此基础上展望DDS的信号形式的发展趋势。
(5)
3)填充完成后,更新图像的置信度C(p)。当优先权最高的像素块Ψp被填充之后,已经修复完后的点p的置信度C(p)就要更新为新的待修复块中心点的置信度:
式(16)中需判断σ2与(σ1+ωσ3)/(1+ω)大小关系,以确定使用式(16)中的第一式还是第二式。为判断两者大小,笔者引入俞茂宏等[20]和Lee等[21]研究成果:σ2=m(σ1+σ3)/2,m为中间主应力系数,0
∀q∈Ψp∩Ω
(6)
2.2.1 确定自适应样本块大小
2 自适应样本块的Criminisi算法
真实的图像中,图像的受损区域包含了丰富的纹理和复杂的结构,图像修复算法要求图像在修复后纹理一致,结构完整[10]。由于图像中不同位置所包含的纹理和结构信息不同,传统的Criminisi算法在选择样本块时,使用了固定大小的样本块,在结构性复杂的区域,可能由于样本块取值过大,搜索到错误的最佳匹配块,误差累计将导致修复结果不佳。而在纹理单一的区域,又可能由于固定样本块选择较小,导致算法的修复时间过长。
他的大殿够恢弘,方圆十里,包括李湾和周边几个小村庄,在养有母猪需要它下崽的人家。偶尔的,也会跋山涉水,去往更远的地方。民间尊崇有技术的人叫博士,木匠就是博士,做媒的叫花博士。“牵猪牯”的意思不懂吧?就是赶着公猪去给社员家养的母猪配种,所以我父亲被人戏称花博士。公猪是村小养的,村小养猪牯是为了增加收入。那时候气候有规律,夏天的午后到傍晚常有雷阵雨,雷雨来时伴有六级以上大风。气象预报总是很准确,雷雨大风如约而至,遭殃的是校舍的屋瓦和玻璃。公猪挣的钱能帮学校修修补补。
针对以上问题,本文提出了一种自适应调整样本块大小的Criminisi算法。针对纹理和结构不同的区域,自适应选择不同大小的样本块;同时,采用一种改进的优先权计算公式,防止产生错误的修复顺序。
2.1 优先权公式改进
图像中像素点的梯度值可以反映该点处的纹理信息[11],梯度值较大说明该点附近的纹理较为丰富。在图像修复过程中,通过修复破损区域边缘的点,使得在修复纹理的同时将结构扩散到待修复区域,所以应该优先修复梯度值较大的点[12]。
设置阈值γ1、γ2,当点P(x,y)处梯度值|Gx,y|有以下情况时,分别使用不同大小的样本块进行修复:
本文采用了一种改进的优先权计算公式:
P(p)=C(p)D(p)+C(p)α,α∈R+
(7)
引入C(p)α项后,使得P(p)不会出现等于0的情况,在一定程度上抑制了产生错误的修复顺序。
2.2 自适应样本快
传统的Criminisi算法在修复过程中使用的是9×9的样本块。然而,由于图像中不同区域具有不同的纹理结构,如果在所有的区域都采用大小相同的样本块进行修复,在一定程度上会影响修复效果。本文提出一种自适应选择样本块大小的方法,根据待修复区域内不同的结构信息,自动调节样本块大小,原理图2所示。
图2 自适应样本块选择原理
图2中,I为整幅图像;Ω为待修复区域,即图像的破损区域;∂Ω表示待修复区域的边缘;Φ表示图像未破损的区域,即为图像已知部分。P1、P2、P3为待修复区域边缘∂Ω上的点,ΨP1 (较小框)(较大框)、ΨP2、ΨP3分别为以P1、P2、P3为中心的待匹配块。图2中,P1、P2附近区域的结构变化比较明显,故选择较小的样本块进行修复,而P3附近区域的结构比较平坦,故选择较大的样本块进行修复。从图中可以看出,比较以点P1为中心的两个大小不同的样本块ΨP1 和中所包含的已知区域的结构信息较ΨP1更加复杂,在使用将无法使正确的纹理延伸到破损区域内部,从而出现断层、错位等现象,进一步说明了在结构复杂的区域应选择较小的样本块。
重复上述步骤,直到整个破损区域全部修复完成。
图像的梯度在一定程度上可以反映图像各区域中细节的反差和纹理结构的变化,通常,图像中某像素点的梯度值越大,其附近区域的纹理越丰富,结构差异越大,在该点处使用较小的样本块;对于梯度值较小的像素点,其附近的区域结构差异相对较小,则使用较大的样本块。
在数字图像中某点P(x,y)处的梯度值可以利用差分近似求导计算:
Gx= f(x,y)- f(x-1,y)
(8)
SSD(Ψp,Ψq)=∑(p-q)2 ∀p∈Ψp,q∈Ψq,
(9)
Gx,y=Gx+Gy
文中根据文献[16]提出一种改进型的电介质超表面结构,它采用更低介电常数材料,便于实际的加工,在毫米波频段对加工的样品进行测试,验证了所设计的宽带超表面。
(10)
梓轩是个男孩子,说起话来没必要那么绕弯。我们在很短的时间内就愉快地结束了谈心。梓轩说:“老师,您这么一说,我还真觉得我和小雨就是相互欣赏。您放心,从今以后我会把全部精力用在学习上,给同学们做最好的榜样!”
梯度的模为:
其中:|Ψp|表示Ψp的面积;β表示归一化因子,对于灰度图像来说,β=255;np为待修复区域边缘∂Ω上点p的法向量,为点p的等照度线,其方向与点p梯度方向垂直,可定义为:
(11)
传统的Criminisi算法中,优先权值P(p)可能会随着修复的进行而出现为0的情况。如式(3)中,当破损区域上点p点处的等照度线向量与该点处的法向量np垂直时,D(p)的值为0从而可能产生错误的修复顺序[13]。
1)当γ1<|Gx,y|<γ2时,选择大小为k×k的样本块进行该点处的修复;
2)当|Gx,y|≤γ1时,选择大小为(k+3)×(k+3)的样本块进行改点处的修复;
为了实现对电机进行矢量控制,需精确测量电机转子的转速及磁极的位置(相位),为此安装了解析器(电机转速位置传感器)。解析器采用旋转变压器的结构形式,由3个定子线圈(励磁线圈、检测线圈S、检测线圈C)和转子(随电机转子同步旋转)组成。
3)当|Gx,y|≥γ2时,选择大小为(k-3)×(k-3)的样本块进行修复。
2.2.2 本文改进算法流程
本文算法的步骤如下:
1)计算待修复区域内优先权最高的点,按照以下方法确定待修复块的大小:
若γ1<|Gx,y|<γ2时,选择k×k(k=9,取传统的Criminisi算法中的值)的样本块;
若|Gx,y|≤γ1时,选择(k+3)×(k+3)的样本块;
若|Gx,y|≥γ2时,选择(k-3)×(k-3)的样本块。
2)全局搜索最佳匹配块,并将最佳匹配块中的像素值填充到待修复块中对应的位置;
目前国家图书馆对于来华留学生学位论文的采访、加工和利用与一般学位论文并无二致。但相较于普通学位论文,来华留学生论文有着自身一些特点,导致留学生论文在采访、加工、利用环节存在不少“麻烦”。
Research on seismic performance of specially-shaped column composed of concrete-filled steel tubes frame-shear structures
3)更新置信度值C(p);
村内缺乏垃圾收集处理系统。主要收集点垃圾站。收纳方式主要为垃圾箱,无垃圾房,无分类垃圾处理站。现状垃圾收集设施较完善,但质量较差、破败不堪,生活垃圾随意倾倒现象,加上村庄养殖设施缺乏管理和规划,环境污染较严重。
4)重复以上步骤,直至修复完成。
3 仿真结果与分析
实验仿真过程中,对cloth、leaf和paper三幅具有不同破损程度和不同区域结构的测试图像分别采用Criminisi算法[9]和本文改进算法进行修复。图3、图4和图5分别是cloth、leaf和paper三幅破损图像的修复结果对比图。
由对比图中的修复结果可以看出,Criminisi算法在修复三张不同的测试图像时,均出现了不同程度的错位现象,cloth、paper原图像中部分区域结构性较强,若对这类图像进行修复时采用较大的样本块,则无法将正确的纹理延伸到破损区域的内部,从而导致了错位的产生。而本文的改进算法中,根据测试图像区域特征,修复过程中能够自适应地采用不同大小的样本块,对比三幅测试图像的修复效果,本文改进算法能够较好地修复破损区域,整体修复效果相对于Criminisi算法有较大提升,仿真结果说明了本文改进算法的有效性和优越性。
(2)能力评估假(Assessment of Competences Leave)。这一措施是在2004年5月颁布的终身职业培训法之后开始实施的。该措施允许员工休假以申请对其工作能力的评估和指导,以便为员工制定更为完善的职业或培训计划,这一类的评估主要由专业协会进行。能力评估假要求提出申请的员工至少有五年的工作经验,且在目前的公司至少工作一年的时间。
图3 图像cloth修复结果比较
图4 图像leaf修复结果比较
图5 图像paper修复结果比较
4 结语
本文研究了基于纹理合成的Criminisi图像修复算法,在采用改进的优先权计算公式,有效降低错误的修复顺序的基础上,通过进一步改进样本块大小的调整方式,提出了一种能够自适应调整样本块大小的方法,能够有效防止修复过程按错误的纹理方向进行。实验结果表明,本文的改进算法相较于Criminisi算法具有较好的修复效果。
参考文献:
[1]王晓华, 许雪, 王卫江,等. 一种稀疏度拟合的图像自适应压缩感知算法[J]. 北京理工大学学报, 2017(1):88-92.
[2]李梅菊, 祁清. 数字图像修复技术综述[J]. 信息通信, 2016(2):130-131.
[3]徐黎明, 吴亚娟, 张波. 基于八邻域的自适应高阶变分图像修复算法[J]. 图学学报, 2017, 38(4):558-565.
[4]胡云康, 姜苏, 吴志荣,等. 基于改进的纹理合成图像修复算法[J]. 软件, 2016, 37(4):60-63.
[5]李英, 杨秋翔, 雷海卫,等. 基于深度图像绘制技术的Criminisi算法的改进[J]. 计算机工程与设计, 2017, 38(5):1287-1291.
[6] 胡海平, 刘晓振. 一种基于非局部BSCB模型的图像修复方法[J]. 应用数学与计算数学学报, 2015, 29(3):374-382.
[7] 杨陈东, 侯海娜. 基于改进TV修复模型的椒盐噪声去除算法[J]. 计算机与数字工程, 2016, 44(11):2118-2123.
[8]王军锋, 裴艳侠, 王涛. 图像修复的CDD模型新算法[J]. 计算机系统应用, 2016, 25(8):135-138.
[9]韩明珠, 郭树旭, 臧玲玲,等. 基于样本块的图像修复改进算法[J]. 计算机工程与应用, 2015, 51(16):192-194.
[10]曾接贤, 王璨. 基于优先权改进和块划分的图像修复[J]. 中国图象图形学报, 2017, 22(9):1183-1193.
[11]胡昭华, 鞠蓉, 李容月,等. 基于梯度纹理特征的稀疏跟踪方法[J]. 小型微型计算机系统, 2016, 37(8):1857-1861.
[12]王相海, 孙丽, 万宇,等. 非局域样本填充和自适应曲率驱动模型的遥感图像修复算法[J]. 模式识别与人工智能, 2016, 29(8):735-743.
[13]亓卓亚, 苏红旗. 基于Criminisi算法的图像修复顺序的研究[J]. 无线互联科技, 2016(3):120-122.