芯技术 | ISP和AI ISP不是非此即彼 而是1+1＞2

智能化的社会生活场景越来越丰富，对于图像处置的要求不竭提升，使得ISP（Image Signal Processor）的渗透率不竭增加，担当起安防监控、AIoT 及智能汽车等范畴的视频、图像的处置工作，满足分歧场景的数据处置需求。

与很多处置器芯片类似，ISP的展开也正在遭到AI技术的深化影响。经过AI模块的加入，连系深度进修算法，AI ISP可以对图像停止精准的处置，从而为某些场景实现更高质量的成像功效。

但AI ISP的显现并不意味着传统ISP的终结，很多利用处景仍然需要传统ISP来挑大梁。在相当长的时候内，两者还将携手谱写图像处置技术的华丽篇章。

从ISP到AI ISP


作为数字图像处置中的关键部分，ISP首要用于对从传感器中读取的原始图像数据停止预处置和优化，以进步图像的质量和了了度。它可以停止白平衡、曝光控制、色彩校正、锐化、降噪等处置，从而发生高质量的图像。



ISP在现实利用中的重要性不言而喻。对于消耗电子产物而言，ISP是影响摄影和录像质量的关键身分之一。智妙手机等移动装备中的ISP可以快速响应情况变化和用户需求，实现自动对焦、HDR、人像形式等功用，供给越发超卓的摄影体验。

除了消耗电子产物外，ISP在安防监控、医疗影象、产业检测、自动驾驶等范畴也有普遍利用。在安防监控方面，ISP可以自动检测行人、车辆等物体，削减误报率；在医疗影象方面，ISP可以进步图像对照度、锐度和了了度，辅佐医生做出越发正确的诊断；在自动驾驶范畴，ISP可以经过处置车载摄像头拍摄到的图像和视频数据，实现智能驾驶、车道偏离预警等功用。



不外，当面临越来越高的场景复杂度和特别的图像质量要求时，传统ISP正面临了参数库慢慢庞大、调试困难、开辟周期慢慢拉长等应战。以AI技术为帮助，经过机械进修的方式来强化ISP的功用就成为技术展开的重要标的目标，由此诞生了AI ISP。

操纵AI算力深度进修海量场景和数据，智能调优复杂参数，输出算法模子帮助图像处置，使图像质量获得大幅改良。AI与传统ISP的连系趋向在手机中很是突出，而且也在走入安防、无人机等范畴。

酷芯微电子AI IP总监沈沙指出，暗光条件下的降噪、对照度增强和场景的提亮，AI ISP在这三个方面的暗示跨越了传统的ISP。

在很多利用中，获得了端侧大算力的支撑，AI ISP的强大功用就可以获得全数阐扬，获得比传统ISP更优的结果。但这能否意味着AI ISP能够全数取代传统ISP呢？答案能够并非如此。

花开两支 各有胜场


AI ISP强大的功用也意味着更大的能耗，其练习和推理进程需要消耗大量的能量和资本。而传统ISP凡是采用硬件实现，可以在低功耗下停止高效的图像处置，因此在很多通用处景下，传统ISP的功耗要远低于AI ISP。
而且，假如要用AI ISP来替换传统ISP，就需要用AI来实现端到真个ISP流水线，以致间接对从传感器输出的原始数据停止AI算法处置。这无疑会加大芯片算力和功耗的承当。

据沈沙先容，现实利用中，芯片算力预留上可以给AI ISP的空间较小：摄像头分辨率的挑选、能否需要开启视频编解码功用满足视频的当地存储，每增加一个模块，功耗就会上升。比如，嵌入式利用中的15×15mm²封装尺寸SOC芯片，功率上限是4~5w，2~2.5w用于视频处置，2.5w用于NPU，假如功耗需要控制在2~3w，对于NPU算力就有更严苛的要求，而NPU正是AI ISP的AI焦点。

另一重应战来自对AI ISP的调教上。在这方面，传统ISP展开多年，在图像处置算法已经具有很多上风，面临碎片化场景，可以明白、精准的满足客户需求，便当具体追踪和针对性调试。与之相对，AI算法更基于模子练习，但对前期结果的调参缺少可追踪性，对换教工程师和AI算法工程师的配合工作提出很大应战。
即使如酷芯具有履历丰富的图像调试工程师、图像数据集、工具链，从0初步野生完成一个好的传统ISP算法调教需要3-5天。但练习一个成熟的神经收集模子需要一个星期到一个月的时候，且没法保证练习结果，再加上对分歧的镜头、传感器都需要重新练习，工作量宏大。同时，AI ISP还需要大量的练习数据和算力来停止模子练习和推理，而这些都需要较高的本钱支出。
沈沙还给出两条AI ISP临时没法替换传统ISP的来由：图像质量的黑白判定从人眼视角动身，没法了了给出可不雅观可追溯的标的目标指令；在设想和功用实现上难以兼顾多场景通用性、算法调剂灵敏性、芯周全积占用率、低功耗和DDR带宽需求。

“比如去除图像中的坏点，做一些简单的色彩空间转换，整体的亮度拉升，传统的ISP算法已经做得很好，业界还是偏向于对其停止保存。”沈沙因此判定，AI图像处置更合适在降噪、低光照、暗光提亮等方面，而传统ISP在一般情况下已经到达人眼视觉的结果，AI ISP将更多饰演功用补足的脚色，两者将持久共存。

以具体的利用为例。在手机等消耗电子产物中，对于夜视摄像的色彩复原度有较高要求，且消耗者愿意为夜景和高图像画质买单，AI ISP的展开远景会更宽广。在安防等产业利用中，对夜视结果下的物体和细节识别有较高要求，对拖影识别要求较低，对产物性价比和适用性有更高要求，合适以传统ISP为主，AI ISP为辅的技术标的目标。

两者融合将是大趋向


AI ISP和传统ISP并不是相互对峙的关系，厂商们正在尽力将两者停止连系，以到达最大的组合上风。

以视频中的活动场景为例，传统ISP需要借助AI ISP技术，将活动物体、其拖影、布景做响应的识别分袂，再操纵传统ISP停止调试。这对于汽车电子尤其重要，由于其对产物结果和适用性有极高要求，拖影识别会影象对前方物体位置的判定，整体影响汽车行路安好性的判定。

这就是最多见的以传统ISP为主，AI ISP为辅的合作形式。具体而言，针对性场景经过图像调试工程师算法调参的方式酬报把控，到达结果最优化。AI ISP首要处置超感来临噪，低照度以致暗光场景，或针对传统ISP今朝亏弱的环节，为AI ISP供给好坏对照明显的图像数据集对其停止正确练习。



按照营业展开和赛道挑选，以客户对图像画质、计较精度和芯片架构为考量，酷芯挑选了采用自力ISP+自力NPU的方式，并基于NPU在支流神经收集机关和算子支撑上按照芯片产物的实测结果，从算法集到芯片架构集，更偏向于挑选下降DDR带宽的更适用的战略。



▲深度进修与传统ISP连系，可明显下降夜间3D降噪致使的拖影，大大提升AI 识别正确度。



▲双光融合结果对照

视频画质相当重要，因此高性能的ISP也是边沿端芯片的焦点技术。酷芯完全自立研发的ISP画质良好，并在低照度、高亮度差画面、快速活动画面、电子防抖等范畴领先行业，在2D降噪、3D降噪、HDR、去雾、边沿增强等各方面也暗示良好。比如，AR9341芯片集成了酷芯自研的第二代HiFi-ISP，具有极佳的降噪和宽静态性能；除了可见光ISP外，还集成了红外热成像ISP的功用，具有很是普遍的顺应性；此外，ISP还可以与AI算法互动并自顺应调剂，进一步提升AI算法的运转正确度。

同时，酷芯100%自研的NPU，也在收集适配性、性能、功耗、操纵率、DDR占用、量化精度等周全超越今朝一切的第三方授权IP。



此外，酷芯自力开辟配套的软件工具链也能为利用开辟供给很好的支撑。以AI支撑才能为例，酷芯AR9341基于异构架构，其NPU供给有无缺的工具链软件包，支撑CAFFE, TensorFlow, Pytorch等支流AI框架，同时还支撑业界遍及采用的ONNX框架作为中心暗示层，假如客户采用了一些当前工具链尚不支撑的小众AI框架，只需要转换为ONNX模子，即可采用基于图形化界面的NPU工具链，支撑计划商将算法一键安插到AR9341上。

ISP的技术还在不竭演进，AI的融合只是其中一个标的目标，还有更多的前沿课题需要研讨。为此，酷芯与上海大学和复旦大学的尝试室已经展开了周密的科研合作，停止前沿技术课题的探讨。

经过这类强强连系，酷芯公司内部的软件、硬件团队才能不竭实现最新技术的转化，延续推出良好的产物，而公司和高校之间也组成了人材培育的一个良性渠道，为国内ISP专业人材的培育，奠基了一个坚固的根抵。

关于酷芯微电子
合肥酷芯微电子有限公司（前上海酷芯微电子有限公司）建立于2011年7月，努力于成为全球智能芯片指导者。公司依托智能感知、智能计较、智能传输三大焦点技术，经过自立研发芯片焦点架构、焦点IP，供给公用于野生智能的高性能低功耗芯片及相关工具链处置计划。产物首要利用于智能安防、智能硬件、智能车载等多个范畴。
酷芯微电子总部位于合肥高新区，并在上海、成都、深圳等多地开设分、子公司。今朝具有员工逾200人，技术开辟职员占比80%以上，均具有硕士或博士学位。2016年荣获“高新技术企业”称号，2017年被认定为上海市科技小伟人，2019年入选上海市“专精特新”企业名单。

-----------------------------