目录

利用AI算法实现动态视频降噪器

基于人工智能(AI)的解决方案已用于跨行业的各种应用中,以控制和优化特定用例的操作。这些解决方案涵盖了从农业、汽车到医疗保健和制造业的广泛应用。实时图像和视频处理就是这样一个用例,其中AI在分析、识别和从图像中提取所需信息方面发挥着重要作用。利用相机图像,各种专用传感器对数据进行处理,以便进一步分析。由于图像或视频的质量取决于诸如相机传感器的类型/大小、以及照明条件等因素,因此实现通用图像处理系统变得至关重要。

在弱光条件下,相机传感器捕获的光子较少,图像暗淡。除了照明条件差之外,大动态范围的光线、大雾、降雨和光强度的突变,都会使图像信号质量变差且充满噪声。这些图像或输入信号需要被放大以获得清晰的图像,但当放大这些输入信号时,其中的噪声亦会被放大,从而使图像失真更严重,分析则变得更困难。

位于耶路撒冷的以色列Visionary.ai公司,开发了基于AI的软件算法。该算法对图像输入进行处理,以备用于进一步分析。这家初创公司声称,在没有使用任何硬件设备的情况下,生成了极高质量的图像。该公司联合创始人兼首席执行官Oren Debbi告诉EE Times Europe,“他们的旗舰ISP(图像信号处理器)是一个软件解决方案,可以部署在边缘,来提供图像增强服务。该ISP具有对其他图像捕获系统的广泛兼容性,从而可以轻松集成几乎任何基于相机的设备。”

公司是包括Arm和BrainChip等知名公司的边缘AI和视觉联盟(Edge AI and Vision Alliance)的成员。公司基于软件的ISP,通过空中传送(OTA)技术简化了错误纠正和更新过程,该技术支持满足客户需求的定制软件。基于AI功能和OTA可升级性,支持实现灵活定制,从而确保产品的相关性,并且未来不会过时。

“用于笔记本电脑、医疗内窥镜检查、安全倒车、电子门铃、流水线质量检查等的摄像头、以及数百种其他应用的图像传感器市场正在强劲增长。我们基于软件的ISP正在不断更新优化算法,以使这些传感器能够创建尽可能高质量的图像,从而使人们能够保持高质量的连接、健康和安全,”Debbi说道。

视频降噪是该公司最新的产品之一,旨在放大微弱的光信号,同时防止图像中的噪声被放大,使图像更清晰。基于AI的算法以前也用于降低图像噪声,但主要都是用于静止图像,而不是实时视频。Debbi表示,“降噪器是一款小型的边缘和AI软件,可以部署在小型处理器上。从而可大幅降低成本,并节省为降低噪声和提高图像质量而所需的改善外部照明、采用更大的摄像头传感器、以及其他硬件更新所需的能耗。”

图1:用于不均匀照明场景的降噪器。

将图像传感器输出的原始数据馈送给降噪器,从而消除了因后处理而导致的退化。图像处理的传统方法是使用算法来压缩和平滑图像,这又擦除了连续帧之间的时间信息。输送给AI的原始拜耳图像传感器输出数据,可以识别并滤除更多的噪声。

图2:Visionary.ai的图像处理架构框图。

Debbi也声称,Visionary.ai是名列前茅家提供软件降噪器的公司,该降噪器可以独立使用,或与所提供的ISP一起使用。由于其灵活性,降噪器的应用极为广泛,从监控摄像机、无人机图像和卫星图像,到几乎所有使用摄像机的广泛应用。Debbi说:“市面上大约有70亿个图像传感器,其中85%的传感器应用领域没有受控的照明条件,这使得降噪器成为改善这些成像系统的强有力解决方案。”

图3:降噪器在车牌识别中的应用。

与开源降噪器相比,其架构和持续改进使降噪器代表着成像应用的“较高水平”。在AI和计算机视觉领域,像open CV和Detect这样的开源软件,虽然也提供了令人满意的准确性,但我们投入的大部分工作和努力,是将准确性从90%提高到95%及以上,并使产品具备批量生产条件。“我们对自己的降噪器的卓越性能充满信心,并希望在客户投入资源之前,让他们的工程团队尽可能轻松地体验、对性能进行充分评估和比较”,Debbi表示。

AI已经进入机器人、工业、医疗保健甚至农业等各个行业和应用领域。几乎所有这些应用场景都在动态照明条件下使用相机,并且捕获的图像中包含可能使其难以分析的噪声。这正是降噪器的用武之地。由于开源降噪器仅有90%的准确性,故尚未做好批量生产和商业推广的准备。Visionary.ai声称其基于AI的降噪器,是市场上最安全、最准确的基于软件的降噪工具,重量轻,易于更新和修改,可满足众多客户需求。

(参考原文:visionary AI introduces video denoiser for low light conditions

本文为《电子工程专辑》2023年1月刊杂志文章,版权所有,禁止转载。点击申请免费杂志订阅

文章来自:https://www.eet-china.com/