多曝光融合听起来像是某款相机App里的高级模式但本质上它就是一件事把同一个场景、不同曝光的几张照片合成为一张高光不过曝、阴影不瞎黑的图片。手机上的HDR、风光摄影里的包围曝光堆栈、监控里的宽动态增强底层逻辑基本都是在做这个事。这篇文章我打算把“多曝光融合”从原理到代码、再到实战中那些文档里不会写的坑完整捋一遍。适合想自己动手跑通一个图像融合流程或者单纯想搞清楚手机HDR背后到底在算什么的读者。对于做这一块的朋友我不会钓书袋直接讲怎么落地。1. 多曝光融合的动机与两条技术路线怎么选1.1 单帧照片到底缺什么动态范围瓶颈先看一个扎心的现象你在窗边拍一张照片窗外是蓝天白云室内是书架和台灯。单帧底片或手机传感器拍出来要么窗外白成一片要么室内黑成一片。这不是对焦问题也不是相机坏了而是传感器的动态范围扛不住这么大的明暗跨度。动态范围在相机上有个粗略刻度叫“档”。人眼在同一个场景里能感知到的亮度跨度大概有20档以上普通手机传感器一次曝光能记录的只有6到10档。也就是说你在同一个视角里能看到暗部台灯轮廓同时也能看清窗外云的层次但传感器一次只给你一块“亮度内存”超出部分直接剪切——高光被裁成纯白阴影被裁成纯黑。后期软件再怎么拉“阴影”和“高光”也只是把已经记录下来的信息重新分配没法无中生有造出细节来。多曝光融合的想法就非常朴素单帧记录不了全部档位那我就分多次记录。拍一张欠曝的专门保高光拍一张正常的保中间调拍一张过曝的把阴影细节全部捞起来。这三张图承载了不同亮度段的信息合成一张等于把传感器的有限动态范围“拼接”成更大的范围。这跟拼图是一个道理方案本身不难难的是怎么拼得自然、无痕。1.2 先合成HDR再色调映射还是直接融合更省事做这事有两条主流技术路线很多人一开始会混淆。一条流程是先求取一个浮点型的高动态范围图也就是真正的HDR图像把多张不同曝光的像素亮度映射回线性辐照度用算法估计相机响应曲线合成一张32位浮点图。得到这张HDR后再经过色调映射Tone Mapping压缩到普通8位图让人眼在屏幕上看舒服。这条路给后期调色留了极大余量因为里面保留了完整的真实亮度关系但复杂度高要处理响应曲线标定、色调映射风格选择等一堆坑。另一条路线就是我下面要重点展开的曝光融合直接把多张LDR原图在图像空间里计算权重、加权平均出一张高质量低动态范围图。它不追求物理上的亮度真实性只追求视觉效果好、细节全、颜色顺眼。2007年之前很多研究者都会做基于金字塔的直接融合效果稳定速度也快还不需要相机响应曲线。相比之下直接融合的好处是第一实现简单几段代码就能跑通第二融合结果不依赖标定在未知相机和未知环境下依然可用第三输出可直接用不需要后续色调映射参数调节。用一张表格来看两者差异对比维度先合成HDR再色调映射直接多曝光融合中间产物32位浮点HDR图无直接输出8位图相机响应曲线依赖需标定或估计不依赖实现复杂度高涉及响应函数和色调映射参数中核心是权重与金字塔后期调整空间大保留真实亮度关系小后期基本固化处理速度偏慢快适合实时或批量最后我选择了直接融合路线来做。原因很现实很多实际项目里输入只是一个批次抓拍的JPG文件没有RAW也没有相机的标定文件走HDR合成路线会非常吃力而曝光融合在JPG上也能给出相当好看的画面。下面所有内容都围绕这条直接融合的路线展开。2. 多曝光融合的核心算法权重图计算与金字塔重建2.1 三张权重图怎么算对比度、饱和度、曝光度直接融合的关键是“怎么决定每一张图哪些区域贡献大”。这就要用到权重图。对每张输入图像逐像素计算一个权重值。权重高的位置说明这张图在这个位置“可信”融合结果会优先采用它。一般会同时考虑三个维度的质量。第一个是对比度。把图像转成灰度图用拉普拉斯算子求边缘和纹理强度取绝对值作为该位置的结构丰富程度。高对比度区域通常意味着有清晰细节融合时应多保留。这个权重用卷积就能算非常快。第二个是饱和度。对彩色图像计算每个像素RGB三个通道的标准差标准差越大说明颜色越鲜艳。同一区域内饱和度高的RAW帧往往色彩信息更完整人眼也更喜欢鲜艳一点的区域。实际计算时可以对每个像素三个通道求均值然后算每个通道与均值的平方差求和再开方。第三个是曝光度。每个通道的像素是否接近中间调0.5用高斯函数来衡量把通道值套进 exp(-(x - 0.5)^2 / (2 * sigma^2)) 里。越接近0.5权重越高越接近0或1权重越低。这个权重能自动抑制过曝区间的像素和欠曝区间的像素把融合引向曝光良好的区域。sigma一般取0.2左右影响的是“多大亮度范围内算良好曝光”。三个权重相乘得到某一帧的总体权重。为什么要相乘而不是相加因为三个维度各有侧重相乘能在某一区域同时满足“有细节、颜色好、曝光适中”时才赋予高权重任一项拉垮都会压低该区域贡献效果更接近人眼选择。之后把三张图的权重图对齐相加做归一化。用一段伪代码方便理解def compute_weights(img, sigma0.2): gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) contrast np.abs(cv2.Laplacian(gray, cv2.CV_32F)) mean img.mean(axis2, keepdimsTrue) saturation np.sqrt(((img - mean) ** 2).sum(axis2)) well_exposed np.exp(-((img - 0.5) ** 2) / (2 * sigma * sigma)) well_exposed well_exposed.prod(axis2) return contrast * saturation * well_exposed这里有个值得注意的细节如果一张图整体过曝它的曝光度权重在大部分区域会接近0但边缘高对比度位置依然有很高对比度权重最终相乘后这些位置的贡献可能不是0。这其实是符合直觉的因为哪怕过曝区域其边缘往往还是可用的。2.2 拉普拉斯金字塔融合的原理与细节权重图算出来之后一个最粗糙的想法是每张图乘以自己的权重图然后叠加起来。但这样做的结果会有明显问题两张图像在同一位置虽然权重过渡平滑但像素值本身可能存在差异权重切换处会留下拼接痕迹形成暗边或光晕。尤其在高光边界这种“接缝感”特别明显。为了消除这个问题我们采用多分辨率融合。核心思想是把每张图像分解成不同频率的带通图低频、中频、高频分开融合再恢复回去。这样权重图的过渡可以在多个尺度上分别进行不同尺度的内容互不干扰光晕和接缝就消失了。具体来说先用高斯金字塔对原图不断做下采样和高斯模糊得到一组从精细到粗糙的图像序列。然后由高斯金字塔构造拉普拉斯金字塔每一层等于当前高斯层与下一层上采样后的差值。拉普拉斯金字塔每一层代表一个频段内的信息比如最底层是原始高分辨率细节最高层是很模糊的小图。权重图同样需要一组高斯金字塔因为参与每一层融合时权重也需要对应尺度的平滑版本。融合过程就是对每一层把几张图的拉普拉斯金字塔层分别乘以相应权重图的高斯金字塔层然后相加。最后从金字塔顶层开始逐层上采样并加上下一层的拉普拉斯层直到恢复出完整分辨率的结果。这一套流程用代码表达不复杂但理解时容易绕。用一个生活类比拉普拉斯金字塔就像把一张画按“铅笔草图”“底色”“细部高光”分开画在不同透明纸上权重图则是决定哪张原图的哪个图层占比更高最后一层层叠加回去。3. 多曝光融合完整实现从包围曝光到Python出图3.1 拍摄规范与素材准备包围曝光怎么拍算法再好拍摄端拉胯也白搭。我自己的经验是包围曝光拍摄要注意几个硬性规范。固定机位是第一位。手持拍摄时多帧之间会出现几像素偏移虽说可以做后面对齐但算法复杂度显著提升而且动态场景本来就容易出鬼影。有条件就上三脚架没三脚架就把手机或相机靠在稳定物体上。固定好拍摄参数锁定ISO、锁定白平衡、锁定光圈只通过调整快门速度或曝光补偿来改变曝光量。千万不能让ISO自动漂移否则三张图的噪点水平不一致融合时会看到明显的区域性噪点差异。曝光间隔取多大合适我常用的做法是三张-2EV、0EV、2EV。间隔2EV对大多数生活场景够了。如果场景亮度跨度特别大比如逆光建筑室内外同框我会拍到五张-4、-2、0、2、4。间隔过大时相邻两张的交叠区域太小容易在某些亮度段出现空洞间隔过小时多张图冗余度高意义不大。拍摄时尽量压低快门到不触发安全快门报警用最大光圈和最低ISO先保证画质。JPG还是RAW直接融合时JPG完全够用但如果还想在融合后做精细修图建议RAW连拍后导出16位TIF。注意不同EV的图在读取后需要统一到同一尺寸如果相机自动改变了裁切比例需要先做对齐裁切。3.2 Python OpenCV全流程代码与逐步解读我这边直接给一版完整可跑的核心代码。使用OpenCV和NumPy输入是三张BGR图像输出是融合后的8位图。import cv2 import numpy as np def compute_weights(img, sigma0.2): gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) contrast np.abs(cv2.Laplacian(gray, cv2.CV_32F)) mean img.mean(axis2, keepdimsTrue) saturation np.sqrt(((img - mean) ** 2).sum(axis2)) well_exposed np.exp(-((img - 0.5) ** 2) / (2 * sigma * sigma)) well_exposed well_exposed.prod(axis2) return contrast * saturation * well_exposed def gaussian_pyramid(img, levels): pyr [img] current img for _ in range(levels - 1): current cv2.pyrDown(current) pyr.append(current) return pyr def laplacian_pyramid(img, levels): gp gaussian_pyramid(img, levels) lp [gp[-1]] for i in range(levels - 1, 0, -1): h, w gp[i - 1].shape[:2] up cv2.pyrUp(gp[i], dstsize(w, h)) lp.append(gp[i - 1] - up) return lp[::-1] def exposure_fusion(image_list): images [img.astype(np.float32) / 255.0 for img in image_list] weights [compute_weights(img) for img in images] total sum(weights) weights [w / (total 1e-12) for w in weights] h, w images[0].shape[:2] levels min(int(np.log2(min(h, w))) - 2, 6) lps [laplacian_pyramid(img, levels) for img in images] gps [gaussian_pyramid(w[..., np.newaxis], levels) for w in weights] fused None for i in range(levels): layer sum(lps[n][i] * gps[n][i] for n in range(len(images))) if fused is None: fused layer else: fused cv2.pyrUp(fused, dstsize(layer.shape[1], layer.shape[0])) layer return np.clip(fused, 0, 1) * 255这段代码有几个关键点值得单独说。第一图片统一归一化到0到1区间再计算权重。如果不归一化Laplacian的绝对值范围会随像素位数漂移后面曝光度权重的0.5基准也对应不上。第二权重归一化加了1e-12的防零保护避免全黑区域出现除零问题。第三金字塔层数不能太深。我上面限制最大6层如果原始图像是3000x2000log2之后大约10减2再截到6刚好覆盖主要频带。太深会把整体亮度压成一块大面积低频色块太浅又起不到平滑作用。第四融合重建时每次pyrUp都要用dstsize指定目标尺寸。因为下采样后的尺寸可能因为奇数像素有细微出入不指定的话OpenCV会默认凑到某个尺寸最终叠加会报错。3.3 调参经验EV间隔、金字塔层数和权重sigma纯代码跑通只是第一步真正出效果需要调参。EV间隔决定输入图片之间的亮度信息互补关系。建议系统场景用±2EV三张起步。如果你发现高光或阴影部分仍然有断层就增加张数而不是盲目拉大间隔。±4EV的配对适合极限逆光但对齐和噪声控制非常麻烦不适合作为默认选择。sigma直接影响曝光度权重的分布。sigma越小权重越集中在0.5附近意味着只有非常接近中间调的区域才会被采信容易导致部分区域信息被丢弃sigma越大允许的范围越广融合图会偏向灰蒙蒙的中间亮度。我自己的经验是0.2是个稳妥的起手值在傍晚或夜景场景会因为暗部权重太低而偏黑可以提高到0.25到0.3把暗部拉进来。金字塔层数方面以我用过的三档分辨率举例800x600以内的图4层足够2000x1500左右5到6层合适4K级别7到8层才够平滑。越高层的金字塔融合范围越广但超过8层低频部分会过度模糊导致天空位置发生色块偏移。判断调参是否合适的标准很简单看高光边缘有没有光晕看阴影区域有没有因为权重过低而出现掉色看整张图的白色区域是否保留了层次感。4. 多曝光融合实操避坑鬼影、偏色、噪点与性能4.1 动态场景鬼影对齐与掩码克制融合最难缠的问题之一就是鬼影。场景里的行人、树叶、车在几张曝光图里位置不同直接融合后物体会出现半透明的重影。解决鬼影的思路一般有两条路子。一条是提前配准。用特征点匹配、光流估计或者相位相关把多张图对齐到参考帧。这个方法适合传感器位移、手持场景但对大位移和旋转效果不稳定。我的经验是在拍摄环节做坚固的固定比任何后对齐算法都靠谱手持拍摄能避免就避免。如果实在没法避免可以先做配准再做融合。一般用OpenCV的ORB特征点配合RANSAC找单应性变换矩阵就能解决大部分平移和旋转。另一条是动态掩码抑制。不需要把所有图都精确对齐而是在融合权重计算阶段识别“运动像素”把运动区域的权重梯度压低。简单有效的做法以中间曝光图为参考对每张图像做一个局部的绝对差图大于阈值的位置视为运动区把该位置权重乘以一个接近0的系数。更鲁棒一点的会用到中位数阈值图median threshold bitmap做参考但这部分就偏研究向了一些。4.2 颜色偏色在哪个色彩空间融合更稳多曝光融合最常见的一个槽点融合出来的颜色发灰或者暗部发青发绿。原因在于直接在sRGB色彩空间做融合其实有些“拧巴”。sRGB是个非线性空间加减乘除并不等于真实光线强度的加减乘除。不同EV的图在sRGB里的数值关系和真实亮度关系已经变了形。加权平均的操作等于在两个非线性值之间取均值结果大概率不自然。我自己最后的处理方法很简单先把sRGB图做反gamma线性化升到线性RGB空间完成融合最后再套gamma转回sRGB显示。也就是在代码开头和结尾各加一个幂运算。对JPG图sRGB的近似gamma是2.2对RAW直出的线性图可以直接融合。这一步改动小但对偏色改善非常明显。至于LAB之类的色彩空间可以只在Lab的L通道上做融合保留一张图的ab通道信息。不过这样做等于直接丢弃了另外几张图的色彩信息遇到不同EV下色温漂移时会得到更差的颜色所以我个人不推荐作为通用方案。4.3 噪点放大与后期降噪欠曝图里全是噪点如果它在某个区域权重较高融合结果就会把噪点也一并放大。尤其是阴影区域看似亮度和细节都保住了但放大看会看到明显的彩色噪点颗粒。我的调整策略有几个融合前对输入图片做一次轻度降噪尤其是最欠曝的那张。可以用cv2.fastNlMeansDenoisingColored强度控制在3到5不要过强否则会糊掉边缘细节。第二在计算曝光度权重时对暗部像素的权重做一个小幅抬升或下限截断避免暗部照片权重太低导致部分区域完全不参与融合。不过这一步要做减法过度抬升会让暗部噪声重新出现。第三在最终输出的暗部区域再做一次局部降噪亮部区域不做这样能在不损失细节的情况下把噪点压到人眼可接受的水平。4.4 批量处理与性能优化多曝光融合在代码层面不算重但真正批量处理大批量素材时性能问题就冒出来了。三张2K图的金字塔融合在我的机器上单张大约需要200毫秒。听起来不慢但处理1万张照片就要半小时以上。性能优化的第一要义是提前检查金字塔层数。层数越高重建步骤的循环越多时间越长。低分辨率图用高levels纯粹是浪费。第二不要在每个循环里重复调用OpenCV的pyrUp分配内存。一次性把所有层级的尺寸算好用固定尺寸的数组去接收。第三批量处理用多进程替代多线程因为OpenCV底层多线程操作会互相竞争。我自己常用Python的concurrent.futures.ProcessPoolExecutor跑多进程每个进程处理一组包围曝光速度基本线性增长。最后如果只是做预览和调参先把输入图统一缩到1280宽调好参数后再跑全分辨率能省很多时间。注意融合后如果发现大面积色块浑浊先检查金字塔层数是否过高如果发现边缘有白色光晕先检查权重图是否用了未归一化的float范围如果发现颜色发灰先测试反gamma线性化的效果。最后再分享一个我常干的小技巧多曝光融合的输出不要直接当最终成品用。我会在融合结果上再叠加一层局部对比度增强和暗角压暗相当于给画面做了二次“竞技润色”视觉上会比干巴巴的融合图通透很多。批量出图前花两分钟看三张不同场景的融合结果确认没什么参数上的意外再放开去跑全量。这一道确认流程省了我不少返工时间。