硬件数码频道

小米详解“夜枭”超级夜景算法

4月1日上午,小米手机对“夜枭”超级夜景算法进行了详细介绍,小米称经过“夜枭”超级夜景算法的计算,可以拍出噪声小、画面纯净的不像夜景照片;手持稳,达到三脚架长曝光30秒稳定效果;色彩准,AI测光和颜色矫正模块解决色彩失真问题。

小米详解全文:

有些拍照场景,你可能99%都碰不到:当环境光线照度在0.1Lux以下时,人眼几乎很难见物,甚至钥匙掉在地面上都难以找到,这时拍出的照片会完全无法使用。但我们为了这1%的极限拍摄场景,自主研发了一个神奇的算法:「夜枭」。

小米详解“夜枭”超级夜景算法

极暗光环境下拍摄时,传统相机和手机会遇到哪些问题?

难题一、环境亮度低、噪声大,现有深度学习技术很难采集数据,很难有效降噪。

难题二、使用传统算法进行多张堆栈,只能缓解噪声和色差的影响,很难对已失去的图像信息进行恢复。

难题三、采用长曝光方式,通过增长曝光时间来提升图像质量,用户手持拍摄容易糊成一片。

难题四、传统提亮算法会大幅提高去噪声难度,同时还会影响白平衡导致校正颜色失去准确性。

针对以上问题,小米11 Pro & Ultra首发自研「夜枭」算法,通过获取连续8张曝光正确的EV0照片,结合自研图像测光算法、图像配准融合算法、图像重建算法、图像色彩矫正算法,实现更好的去噪效果,恢复更多细节,最终获得清晰明亮图像。

小米详解“夜枭”超级夜景算法

深度学习技术最大难点在于训练数据的获得。考虑极暗光场景环境亮度低、噪声大,很大程度上增大了数据采集的难度。

噪声小

画面纯净的不像夜景照片

小米「夜枭」算法自主研发了极暗光场景下的噪声标定系统,充分了解极暗光场景噪声的分布和形态,从而补充大量模拟噪声数据,提升了训练数据的丰富度,使去噪过程更具有针对性;同时「夜枭」算法自主研发了极暗光场景数据采集系统,使用多种真实相机进行数据采集,补充真实相机数据来获取更好去噪效果。

小米详解“夜枭”超级夜景算法

手持稳

达到三脚架长曝光30秒稳定效果

极暗光场景的最大特点就是噪声大,首先最大难点在于如何有效在去除图像噪声的同时,恢复出更多的图像细节。目前,即使使用多帧图像叠加去噪的方式,也会存在图像边缘信息丢失和部分内容失真。而神经网络可以在进行图像去噪优化,通过深度学习的方式,即使出现局部信息残缺的现象,也能恢复出丰富细节的高质量局部图像。「夜枭」算法中的AI去噪算法,结合多帧EV0 RAW域图片信息,进行图像对齐,降低拍摄手抖的影响;还可实现充分利用图内信息和图间信息互相补充,从而获得更好的去噪效果,恢复更加丰富的细节信息。

小米详解“夜枭”超级夜景算法

色彩准

AI测光和颜色矫正模块解决色彩失真问题

亮度的提升和色彩的还原也是极暗光场景的另一大难题。进行过大的图像提亮会导致去噪难度提升,同时大量噪声会导致传统的白平衡过程无法获得准确关键信息点,导致矫正颜色失准。「夜枭」算法中还包含AI测光和颜色矫正模块,可根据场景信息、传感器信息综合计算出所需要的曝光参数、帧数以及颜色信息,根据不同的环境亮度和场景内容,实现不同程度的亮度提升和色彩还原过程,权衡了提亮和去噪的影响程度,有效解决了颜色失真问题,提升了夜枭算法的环境自适应能力。

「夜枭」算法通过创新的深度学习AI算法,突破了暗光视觉极限,实现了在即使伸手不见五指的环境下,依然能拍出清晰、明亮的图像。

展开全文
【责任编辑:Btx

推荐阅读