1 引言

近年来,光电成像系统的动态范围一直制约着空间探测领域中空间目标观测的发展。应用摄像机、光电望远镜等光电成像系统观测空间目标,当视场内存在高亮物体或光电成像设备的光轴指向与太阳夹角较小时,受图像传感器动态范围的约束,不能对目标进行有效成像^[1],且容易造成目标成像过暗或过饱和,使得无法准确获取目标的亮度信息和位置信息。

针对空间目标观测中系统动态范围不足的问题,国内外进行了许多研究。Wilhem等^[2]在使用菲涅耳衍射阵列成像仪的基础上,改进了菲涅耳阵列的设计,优化了系统的菲涅耳环,提高了天基光电探测系统的动态范围,但是提升效果并不明显。Jefferies等^[3]利用图像处理算法开发了一种新的盲图像复原方法,并将其运用到配备自适应光学的大口径望远镜上,扩展了系统的动态范围,但该方法未能有效保留目标亮度信息。吕伟振等^[4]基于数字微镜阵列(DMD)设计了一种新型的像元级光强调制的高动态范围(HDR)成像系统,提高了图像传感器的动态范围,但是该方法的硬件造价昂贵,并且设计复杂。目前基于多重曝光的图像融合算法是高动态范围成像中普遍使用的方法,自从Debevec等^[5]提出一种从不同曝光量拍摄的多幅图像中恢复高动态范围辐射图的方法后,各国科研工作者进行了许多研究以改进和完善该方法。例如,Piao等^[6]提出了多曝光下高动态范围成像的快速曝光时间决策,Martínez等^[7]研究了自适应曝光下高动态范围成像技术。然而,在空间观测中,目标相对系统往往是运动的,因此单一传感器下的多重曝光融合算法不再适用。

为了使得光电设备能够在复杂背景下对空间目标进行有效观测,并且满足实时探测的需求,本文提出了一种基于相机阵列的高动态范围图像合成算法。通过对相机阵列的不同相机设置不同的曝光时间,同时对目标进行观测,得到空间区域的多曝光序列图像;再通过图像校正和配准,使得图像中像素一一对应;最后,结合标定的各台相机的逆相机响应函数(CRF),在辐射域上对图像进行合成。实验结果表明,该方法有效克服了光电成像系统动态范围不足的缺陷,解决了目标成像未曝光或过饱和的问题,有效提升了图像信噪比(SNR)。

2 基于相机阵列的高动态范围图像合成

空间目标观测过程中,获取的图像的特点^[8]会使得常规的面向日常场景的高动态范围图像合成方法无法正常使用,其特点主要有:

1) 噪声影响较大,主要包括传感器噪声和探测背景噪声;

2) 空间目标成像与恒星类似,在图像上表现为像斑,能量近似高斯分布;

3) 图像内容受大气湍流和宇宙射线的影响;

4) 目标相对成像系统是运动的,且镜头往往具有长焦距,所以需要在曝光过程中对目标进行良好的引导。

针对以上特点,为了有效地提取图像中的目标信息,结合相机阵列系统,提出了一种基于辐射域的高动态范围图像合成算法^[9],高动态范围图像合成流程如图1所示。

图 1. 高动态范围图像合成流程

Fig. 1. Flow chart of high dynamic range image synthesis

下载图片 查看所有图片

2.1 相机响应函数

相机响应函数是描述成像系统在实际成像过程中输入光信号受到的各种线性与非线性关系的总和,用于表示图像亮度信息与场景相对辐照度信息之间的映射关系,具有固定不变性、非线性、光滑连续性以及单调递增的性质。相机响应函数取决于每台相机,具有传感器的特性^[7],故在相机的R、G、B三色通道中的差异不大。

数字图像的成像过程如图2所示。由图2可见,一定量的场景亮度L在成像系统中由光学系统转变成为一定量的辐照度E,随后经过感光成像、模数转换(ADC)以及重构等步骤成为每个像素位置对应的具有一定灰度值Z的数字图像。则对于捕获到的低动态范围 (LDR)图像,其传感器的辐照度与像素灰度值关系可以表示为

Zj(x,y)=fXj(x,y)=fE(x,y)·tj,(1)

图 2. 数字图像成像过程

Fig. 2. Flow chart of digital image imaging

下载图片 查看所有图片

式中:f为相机响应函数;x,y为图像中像素点的空间索引;j为输入图像数目索引;t为曝光时间;E为传感器的辐照度信息;Z为图像像素点的灰度值;X为传感器的曝光度。因此,已知图像不同通道下不同像素的灰度值以及相应的曝光时间,可以计算出其对应的辐照度信息为

E(x,y)=f-1Z(x,y)t,(2)

式中:f^-1为逆相机响应函数。

实际运用中,可以通过分析单幅输入图像中边缘颜色分布信息的非线性转换线性的估计过程,实现对光电成像系统的逆相机响应函数的标定^[10]。标定得到实验部分佳能EOS-1DC的逆相机响应函数曲线如图3所示,红绿蓝3条曲线分别对应着相机的红色通道、绿色通道以及蓝色通道。

图 3. 佳能EOS-1DC的逆相机响应函数曲线

Fig. 3. Inverse camera response function curves of Canon EOS-1DC

下载图片 查看所有图片

2.2 多曝光图像获取与配准

高动态图像合成首先是通过结合不同曝光下的LDR图像的信息构建HDR图像^[11]。在获取HDR图像之前,需要预先获取一组LDR图像。这些LDR图像的差异在于曝光,可以通过改变曝光时间或光圈实现HDR图像的构建,但是为了不影响不同拍摄之间的景深,这里通过将相机阵列的不同相机设置成不同曝光时间,实现对整个场景辐照度信息的覆盖。由于相机阵列系统采取同步拍摄,相对单台相机利用多次曝光进行拍摄,极大地减少了多曝光图像获取所需时间,而且避免了目标在图像中的运动问题,满足了空间目标实时观测的需求。

为了将同一场景的一组不同曝光的图像序列合成到一幅HDR图像中,有必要找到各个图像之间像素的对应关系。由于相机阵列的各个镜头位置存在间距,采集图像的视场有一定的差异,因此需要对采集图像进行必要的图像配准^[12],即平移、旋转、尺度变换。由于星空背景观测下,空间目标图像的主体是恒星,且同一时刻下在空间中的位置基本不变,因此可以利用恒星的这些特点,结合星对间的角距等特征,以恒星质心作为图像配准的控制点,实现亚像素精度下的图像对齐与配准^[13]。设置不同曝光时间,同时进行拍摄,以第2台相机采集到的图像作为基准(曝光时间为0.5 s),对第3台相机采集到的图像进行配准(曝光时间为1 s),得到图像配准结果如图4所示,为了使图示更加清晰,图4为原始图像的左上局部子图 (1024 pixel×1024 pixel)。

图 4. 图像配准结果。 (a)待配准图像; (b)基准图像; (c)配准后图像

Fig. 4. Image registration results. (a) Image to be registered; (b) reference image; (c) image after registration

下载图片 查看所有图片

2.3 基于辐射域的高动态范围图像合成

针对空间目标图像的特点,精确实现HDR图像的合成是一个难题。因为空间目标图像包含信息量较少,受噪声的影响较大,并且不同图像区域中的物体的亮度之间存在很大的差距。常用的基于图像域的高动态范围图像合成算法不能有效保留目标的亮度信息,不利于目标的特性提取,因此选择基于辐射域的高动态范围图像合成算法。1) 通过标定好的各相机的逆响应函数,将不同曝光的图像序列的亮度信息映射至辐射域,有效保留了目标的相对辐照度信息,便于后续处理。2) 构建合理的权重函数,降低了噪声的影响,以及未曝光和过饱和像素的影响,实现了HDR图像的合成。

针对输入已配准的多曝光图像序列,高动态范围图像合成中权重函数的选取应弱化信息量少的图像区域,强化信息量多的图像区域,即弱化欠曝光以及过饱和的图像区域,强化曝光量合适的图像区域,从而有效表达场景信息。高斯函数能够较理想地满足权重选取的条件,结合后续构建的高动态范围融合函数,可以强化信息量多的图像区域信息,弱化信息量少的图像区域,从而降低对输出高动态范围图像结果的影响。

定义归一化的高斯函数为

ωn(z)=h(z)-m1-m,(3)

式中:h(z)=exp -(z-u)2/2σ2/(σ 2π),u为期望,σ为标准差; m=exp -(0-u)2/2σ2/(σ 2π)。

除此之外,考虑到空间目标观测中背景噪声的影响,需要在合成过程中减小背景噪声影响大的图像的权重,增大背景噪声影响小的图像的权重,从而降低背景噪声对高动态范围图像合成的影响。参考文献[ 9],设定高动态范围图像合成的权重函数为

ω(z,j)=ωnzσj,(4)

式中:σ_j为第j幅图像的背景噪声标准差估计,可采用基于局部直方图 Gauss拟合的背景参数估计方法^[14],由多曝光图像序列直接得到。

根据权重函数,结合标定的各台相机的逆相机响应函数,对输入的多曝光图像序列建立高动态范围图像融合公式

I(x,y)=∑j=1NωZ(x,y),jfj-1Z(x,y)/tj∑j=1NωZ(x,y),j,(5)

式中:N为输入图像序列数量,即相机个数; fj-1为第j幅图像对应相机的逆相机响应函数。

获得HDR图像后,采用RGBE编码的方法进行存储,该格式的优点是既保证了图像存储信息的精度,也能够节省空间。同时,为了有效、客观地评价处理效果,采用均方根误差(RMSE)和信噪比作为参数指标对图像进行分析。第j幅图像的均方根误差的表达式为^[9]

SRMSE=1NxNy∑k=0Nx∑l=0NyZjk,l-Z-j2,(6)

式中: Z-j为第j幅图像的平均灰度值; N_x和N_y为图像的大小。噪声的影响用信噪比表示为^[9]

RSNR=10lg∑k=0Nx∑l=0NyZjk,l2∑k=0Nx∑l=0NyZjk,l-Z-j2。(7)

为了更好地分析合成后的HDR图像的动态范围,以dB为单位对图像的动态范围进行表示。动态范围可定义为最大不饱和的输入信号I_max与最小可检测的输入信号I_min之比,表达式为^[15]

D0=20lgImaxImin。(8)

受到传感器动态范围的限制,当场景中的动态范围超过一定程度时,图像中会出现饱和像素和未曝光像素。采用多曝光图像融合的方法进行图像动态范围的扩展,由于序列图像的曝光量设置不同,目标场景中各个不同区域能够在某一幅图像中获得较为合适的曝光量,从而保证图像序列能够覆盖高动态范围场景的相对辐照度信息。已知合成后图像的动态范围与多曝光图像序列中不同曝光量之间的关系为^[15]

D1=20lgImaxImin×emaxemin,(9)

式中:e_max和e_min分别为多曝光图像序列中的最大曝光量和最小曝光量。

相对原多曝光图像序列,对应的动态范围增量为^[16]

ΔD=D1-D0=20lgemaxemin。(10)

2.4 色调映射

合成后的HDR图像具有较宽的动态范围,超出了一般显示设备的动态范围。为了使HDR图像能在普通显示器上显示,需要在不影响图像细节信息和对比度的前提下进行动态范围压缩。色调映射技术能够实现在不降低HDR图像有效识别信息的前提下,对高动态范围输入图像动态范围进行有效压缩,从而在保留图像细节等信息的同时,将图像动态范围变换到可以显示的范围。这里采用文献[ 17]提出的全局色调映射算法。

3 实验平台介绍

实验采用4台相同型号的佳能EOS-1DC相机,相机主要参数为:最高像元数为5184×3456,像元尺寸为6.94 μm×6.94 μm ,有效感光面积为36 mm×24 mm,量子效率约60%。为4台相机配备了4个同型号的佳能镜头,镜头主要参数为:有效口径为140 mm ,光圈系数为2.8,焦距为400 mm,视场达到5.15°×3.5°,光学结构为折射式。通过跟踪架将多台相机和镜头固定,具有较好的刚度和稳定性,实验平台如图5所示。

图 5. 实验平台。 (a)相机; (b)镜头

Fig. 5. Experimental platform. (a) Cameras; (b) lenses

下载图片 查看所有图片

4 实验结果与分析

选择天气状况较好的夜晚,将实验平台固定指向空间某一区域进行拍摄,4个镜头被刚性固定,保证视轴平行、像面平行。在不同时间内分别进行两组实验。

第1组实验中,将4台相机的曝光时间分别设置为0.1,0.5,1.0,2.0 s(其他曝光参数设置相同),同步进行图像采集、配准并适当裁剪。同曝光时间下不同相机采集的图像如图6所示。利用不同方法得到的第1组合成结果如图7所示。图7(a)为利用所提方法合成后得到的HDR图像,文献[ 18]所提算法合成结果如图7(b)所示。

第2组实验中,选择不同观测时间,将4个相机的曝光时间分别设置为0.05,0.2,0.8,3.2 s,其他设置与第1组实验一致,同时进行图像采集,经过配准并适当裁剪后的图像如图8所示。利用不同方法得到的第2组合成结果如图9所示,图9(a)为所提方法合成后得到的HDR图像, 图9(b)为文献[ 18]方法合成后的图像。

图 6. 不同曝光时间下不同相机采集的第1组图像。 (a) 0.1 s;(b) 0.5 s;(c) 1.0 s;(d) 2.0 s

Fig. 6. First set of images captured by different cameras at different exposure time. (a) 0.1 s; (b) 0.5 s; (c) 1.0 s; (d) 2.0 s

下载图片 查看所有图片

图 7. 利用不同方法得到的第1组合成结果。(a)所提方法;(b)文献[ 18]方法

Fig. 7. First combination results obtained by different methods. (a) Proposed method; (b) method in Ref.[18]

下载图片 查看所有图片

两组序列图像是在不同实验时间,采取不同曝光时间组合拍摄得到的。由图6和图8可知,当曝光时间较低时,图像中星点目标较少,暗弱目标不能有效成像。当曝光时间较长时,图像中星点目标较多,部分暗弱目标能较好地成像,但是此时明亮目标像元容易达到饱和,且背景噪声影响变得严重,这是由传感器动态范围不足导致的。而所提方法合成后的HDR图像在保证对暗弱目标成像的同时,一定程度上避免了明亮目标像元出现饱和(见图10),并有效降低了噪声的影响。

图 8. 不同曝光时间下不同相机采集的第2组图像。(a) 0.05 s;(b) 0.2 s;(c) 0.8 s;(d) 3.2 s

Fig. 8. Second set of images captured by different cameras at different exposure time.(a) 0.05 s; (b) 0.2 s; (c) 0.8 s; (d) 3.2 s

下载图片 查看所有图片

图 9. 利用不同方法得到的第2组合成结果。(a)所提方法;(b)文献[ 18]方法

Fig. 9. Second combination results obtained by different methods. (a) Proposed method; (b) method in Ref.[18]

下载图片 查看所有图片

图 10. 不同方向上的目标灰度分布。 (a) x轴;(b) y轴

Fig. 10. Target grayscale distributions in different directions. (a) x-axis; (b) y-axis

下载图片 查看所有图片

为了更好地评价目标成像的图像质量,对各项客观指标进行分析。对第1组序列图像进行处理,得到第1组图像合成前后数据对比,如表1所示。由表1数据可知,所提算法合成后的HDR图像的RMSE为2.85,低于曝光时间为0.5,1.0,2.0 s下所采集的图像,以及文献[ 18]算法合成后的HDR图像,接近0.1 s时的图像;所提算法合成后的HDR图像的SNR为27.95,高于其他不同曝光下的LDR序列图像,以及文献[ 18]算法合成的图像;对图像中星点目标进行提取,由结果可知,HDR图像所提取的目标数多于不同曝光下的LDR序列图像,且相比文献[ 18]所提算法,所提算法合成图像提取的星点目标更多。

对第2组序列图像进行处理,得到第2组图像合成前后数据对比,如图9所示。由表2数据可知,所提算法合成后的HDR图像的RMSE为4.39,低于曝光时间为0.2,0.8,3.2 s的图像,以及文献[ 18]算法合成后的HDR图像;所提算法合成后的HDR图像的SNR为26.01,高于其他图像;对星点提取结果进行比较可知,此时所提算法合成后的HDR图像提取的目标数相对较多。

以上结果表明,所提的基于辐射域的高动态范围图像合成算法能够有效提高图像信噪比和质量,从而利于目标的检测和提取,且处理效果优于文献[ 18]所提算法。由于系统中其他曝光参数的设置相同,只存在曝光时间的差异,因此根据(10)式可知,与原始图像相比,第1组利用所提算法合成的HDR图像动态范围增加了26.02 dB,第2组利用所提算法合成的HDR图像动态范围增加了36.12 dB,均在一定程度上提升了系统的动态范围。

对第1组不同曝光时间下和合成后HDR图像中同一目标的灰度分布进行提取[目标为图7(b)中标记部分],得到不同方向上的目标灰度分布如图10所示。一般情况下,目标在像面上表现为向四周弥散近似对称的像斑,且能量分布近似于高斯分布^[13]。在对目标进行观测的过程中,当曝光时间过短时,部分目标的信号强度过弱,受噪声的影响较大,从而使得目标定位精度低、检测困难、无法对目标进行有效观测。延长曝光时间可提高对暗弱目标的观测能力,但是当曝光时间过长时,容易造成目标像元饱和,使得目标定位精度下降,无法有效提取目标的光度特性。由图10可知,曝光时间为0.1 s时,目标的灰度值偏低,信号较弱,不利于观测。当曝光时间为2.0 s时,目标的部分像元达到饱和。相比于曝光时间为0.1 s和2.0 s的图像,所提算法合成的HDR图像更好地保持了目标的能量分布,有效克服了目标像元饱和以及目标信号弱的问题。

5 结论

为了克服空间目标观测过程中光电成像系统动态范围不足的缺陷,提出了一种基于相机阵列的高动态范围图像合成方法。该方法对相机阵列的不同相机设置不同曝光时间,同时对空间区域进行观测。针对图像中恒星相对位置固定的特点,对各台相机采集的图像进行配准。为了降低误差和噪声的影响,根据图像亮度和背景噪声估计,合理设置了融合权重函数,并结合拟合出的各相机的响应函数,在辐射域上对HDR图像进行合成。最后,通过色调映射技术进行显示。实验结果表明,所提方法有效提高了图像信噪比和质量,利于目标的检测和提取,并且在一定程度上扩展了系统的动态范围。