聚焦面向Smarter视觉的Zynq SoC

来源：Xilinx

发布时间：[2014-03-10]

　　Zynq All Programmable SoC加上全新赛灵思工具及IP，可为新一代嵌入式视觉产品奠定坚实基础。

　　您是否看过奥迪自动停车技术演示，轿车无需驾驶员干预，便可自动找到停车位并停泊。您是否使用Kinect控制器玩过Xbox 360游戏，或者刚刚咬下您从本地水果店购买的一块上好的水果。如果有，那您可能就是Smarter视觉系统时代到来的见证人了。从最高级电子系统到普通苹果，Smarter视觉技术影响着各种形式的产品。虽然当今各种系统已足以让人称奇，但一些专家预测未来10年，从汽车到工厂自动化、医疗、监控、消费、航空航天与国防的绝大多数电子系统，都将包含功能更加出色的Smarter视觉技术。

　　随着Smarter视觉系统高级程度的提高，我们很可能有机会乘坐网络化高速公路中川流不息的自动驾驶汽车。直觉外科等医疗设备令人惊讶的机器人辅助外科系统将进一步发展，可帮助外科医生实施远程外科手术。电视与网真将达到新的身临其境及互动水平，而电影院、家庭及店铺屏幕上显示的内容则将迎合每个消费者的兴趣，甚至是我们的情绪。

　　先进的视频系统不但可增强和分析图像，而且还可根据这些分析触发行动，从而显著控制了计算功能需求

　　Smarter视觉的赛灵思All Programmable解决方案处于这次革命的前沿。赛灵思以首款在单个芯片上整合ARM双核CortexTM-A9 MPCORETM、可编程逻辑以及各种重要外设的器件ZynqTM-7000 All Programmable SoC为基础，已推出一款工具与IP的支持性基础架构，其将在实现这些视觉创新开发与加速交付的过程中发挥重要作用。该支持性基础架构包含VivadoTM HLS(高级综合)、全新IP Integrator工具、OpenCV(计算机视觉)库、SmartCORETM IP以及专用开发套件。

　　赛灵思公司战略及市场营销高级副总裁Steve Glaser表示：“我们正在通过赛灵思All ProgrammableSmarter视觉技术帮助我们的客户开创新一代更智能系统。在过去十年里，客户已使用我们的FPGA为在其系统中使用的处理器上运行速度偏慢的功能提速。有了Zynq-7000 All Programmable SoC，处理器和FPGA逻辑将位于同一芯片上，这就意味着开发人员现在拥有一款非常适合更智能应用的硅芯片平台。”

　　就器件支持而言，Glaser表示：“我们已使用由Vivado HLS、全新IP Integrator工具、OpenCV库、SmartCORE IP以及开发套件组成的稳健开发环境为Zynq-7000 All Programmable SoC提供辅助。在这些Smarter视觉技术的帮助下，我们的客户不但能够跨越实现新一代设计，而且还可实现全新的效率水平，降低系统功耗，提升系统性能并大幅减少材料清单，从而可在提升盈利能力(因这些创新产品的推出步伐加快)的同时丰富生活，甚至挽救生命。”

　　从哑巴摄像机到Smarter视觉

　　更智能系统的根源是嵌入式视觉。根据迅速发展的行业组织“嵌入式视觉联盟”(www.embedded-vision.com/)的定义，嵌入式视觉融入了两种新兴技术：嵌入式系统(区别于使用处理器的计算机的任何电子系统)和计算机视觉(有时也叫机器视觉)。

　　嵌入式视觉联盟创始人兼咨询公司BDTI首席执行官Jeff Bier表示，嵌入式视觉技术已经给多个行业造成显著的影响，因为这个领域的发展已经远远超越了电机驱动旋转及变焦的模拟摄像机系统时代。Bier表示：“我们都已经在数字时代生活了一段时间，已经看到嵌入式视觉迅速从擅长于压缩、存储或者增强摄像头拍摄内容观感的早期数字系统，迅速发展成为如今能够知晓拍摄内容的Smarter嵌入视觉系统。”

　　此外，先进的嵌入式视觉系统不仅能增强和分析图像，而且还可根据那些分析触发行动。由此，处理量及计算功能以及算法高级程度都得到了显著提高。监控市场的快速发展就是这种显著发展的最好例证。

　　二十年前，监控系统厂商竞相提供得到机械系统强化的最佳透镜，其可执行能够实现更清晰、更宽广视野的自动对焦和旋转。这些系统基本上由通过同轴线缆连接模拟监控器的模拟视频摄像机和安保人员监测的视频录制设备组成，其清晰度、可靠性以及因此而产品的有效性主要取决于光学设备与透镜的质量以及监控摄像机播放内容的安保人员的尽职程度。

　　随着嵌入式视觉技术的推出，监控设备公司开始使用基于数字技术的较低成本摄像头。该数字处理技术为其系统带来了卓越的特性，不但性能远超基于透镜的模拟系统，而且价格更为低廉。鱼眼透镜以及采用各种视觉专用算法的嵌入式处理系统显著增强了摄像头所生成图像的质量。针对光照条件进行校正的技术可改善对焦、增强色泽和数字缩放观测区域，无需使用机械电机控制来执行平移、倾斜和缩放，从而可进一步提高系统可靠性。数字信号处理系统实现了1080p以及甚至更高的视频分辨率。

　　但可通过数字信号处理操纵的更清晰图像只是开始。监控系统制造商已经开始使用先进程度大为改观的像素处理技术开发更加高级的嵌入式视觉系统，其可在数字系统正在采集的高质量图像上实时执行分析。这些最初的嵌入式视觉系统只能检测具体的颜色、形状和移动。该功能迅速发展成了具有下列功能的算法：可检测某些事物是否跨越了摄像头视野中的虚拟栅栏，确定图像中的对象是否是一个人，以及链接到数据库后甚至可识别是哪一个人。

　　可疑行为

　　最先进的监控系统所提供的分析功能能够跟踪受监测个体穿越安保网络视野，甚至可跟踪他们离开摄像头视野后进入盲点，然后进入监控网络的另一部摄像头视野。视觉设计人员已经开发出一些此类系统，用于检测异常或可疑移动。赛灵思工业、科学及医疗(ISM)事业部系统架构师Mark Timmons表示：“分析是当今监控市场最大的趋势。它可克服人为错误，甚至取代细致的人工观察及决策。可以想象，在火车站和运动赛事等拥挤的环境中，监控难度极大。所以如果有分析功能，发现过渡拥挤的危险情况或跟踪表现有可疑行为或过激行为的个人，就会有明显的优势。”

　　为进一步增强这种分析功能，提升这些系统的有效性，监控以及众多其它使用Smarter视觉技术的市场正在更多地使用“融合”架构，将摄像头与热成像、雷达、声纳以及光/激光探测与测距(LIDAR)等其它感测技术相结合。这样系统可实现夜视功能，检测热温/热能签名，或捕获单凭摄像头无法采集或无法看到的对象。该功能可显著减少虚假检测，实现更精确的分析。毫无疑问，技术融合和数据分析会提高复杂性，需求更为强大的分析处理能力。

　　Timmons提到，这个市场的另一大趋势是执行所有此类复杂分析的产品都位于监控系统网络的“边缘”，即位于每一部摄像头中，而不是由每一部摄像头将其数据传输到中央大型机系统，再由大型机根据这些复馈进行更精细的分析。本地化分析功能会给整体安全系统增加灵活性，使系统中每个点都能够更加迅速准确地执行检测，因而如果摄像头真正发现了切实的威胁，就可更迅速地向操作人员发出告警。

　　本地化分析功能意味着每个单元不仅需要更强大的处理功能来强化和分析其所发现的事物，而且还必须相当紧凑，并能够整合高度集成的电子产品。并且由于每个单元都必须能够可靠地与网络其余部分通信，它还必须集成电子通信功能，进一步增大计算复杂性。这些监控单元逐渐通过无线网络连接，成为更大规模监控系统的组成部分;而且这些监控系统正日益成为更大规模企业网络乃至更大规模全球网络的组成部分，如美国军方全球信息网格。

　　这种高复杂性正出现在军事和防务市场中的各个领域，从步兵头盔到与中央司令部联网的防务人造卫星，无所不包。可能更让人惊叹的是，Smarter视觉技术进入其它市场，提高生活质量与安全性的速度。

　　Smarter视觉成就完美苹果

　　现在以苹果为例。有没有想过苹果是怎么以如此良好的状态进入你的杂货店的?赛灵思工业科学及医疗业务部架构师Giulio Corradi表示，食品公司正在将最新更智能视觉系统用于食品检验流水线，将坏苹果从好苹果中筛选出来。Corradi表示，高速食品检验流水线上使用的第一代嵌入式视觉系统通常使用一个或多个摄像头发现苹果或其它农副产品表面上的瑕疵。如果嵌入式视觉系统发现有非正常色泽，该苹果就会被打上标记/筛选出来进行进一步检测，或者扔掉。

　　皮下检测

　　但是如果在此之前的某个时候水果曾掉落过，但伤痕难以察觉会怎么样呢?Corradi表示：“在某些情况下，掉落造成的损坏摄像头可能难以发现，只能用肉眼查看。损坏可能实际位于苹果的果肉中。所以一些Smarter视觉系统在摄像头上整合了红外传感器，用以检验苹果表皮下的损坏。发现受损苹果，就可触发机械分拣机将苹果拣出流水线，以免其被包装发往杂货店。”如果没有更智能融合视觉系统，损坏的苹果会通过检测。损伤会在苹果摆放在杂货店货架上时变得明显，这样该水果可能就必须要扔掉了。一个坏苹果会弄坏一堆苹果。

　　此外，分析功能还可帮助食品公司判断受损苹果是否损伤不太大，还可转入新的检验流水线，由另一套Smarter视觉系统判断它是否适用于其它用途，如制作苹果酱、果脯或者如果损伤太大，可用于堆制肥料。

　　Corradi表示，工厂车间是应用Smarter视觉的另一场合。越来越多的工厂使用机器人辅助技术或完全自动化机器人生产线帮助制造商根据不同任务更换机械设备。机器人周围的传统安全笼过于约束(或太小)，无法满足其制造不同产品系列的移动需求。

　　虚拟屏障可降低工厂安全事故，然而为什么不在游乐场、在我们家中的游泳池周围或汽车上也安装虚拟屏障呢?

　　故为保护工人的安全，同时也避免制约自动化工厂生产线的动作范围，企业正在使用Smarter视觉建立安全系统。摄像头和激光会竖立“虚拟栅栏或屏障”，如果有人在产品正在生产时过于靠近工厂生产线，其可向工作人员(和安全监测人员)发出告警声。部分设施包含多相虚拟屏障系统，在有人跨越外部屏障时其将发出告警声，然后在此人跨越第二道屏障、接近机器人时自动关闭整条生产线，以避免发生伤害事故。嵌入式视觉联盟的Bier提到，这类虚拟屏障技术有广泛的应用性。Bier说：“它对降低工厂安全事故数量能起到明显的作用，然而为什么不在游乐场中，或是在我们家中的游泳池周围，在轿车上也安装上虚拟屏障呢?我想我们将很快看到大量虚拟屏障系统出现在我们的日常生活中。”

　　Smarter视觉技术可提升驾驶体验

　　汽车是另一个全力推崇Smarter视觉的市场，其可实现更轻松、更安全的驾驶体验。赛灵思汽车业务部系统架构师Paul Zoratti表示，高级驾驶员辅助系统(ADAS)就是使用包括Smarter视觉在内的远程传感技术的整体体现，其可辅助驾驶员安全驾驶。

　　过去十年中的每一年中，汽车制造商不但会在其豪华车型中新增各类甚至更优异的驾驶员辅助特性，同时还在其运动车和标准车系列中实现了数量日渐增多的驾驶员辅助功能。盲点检测、变道辅助、行人及标牌检测等众多此类功能会在感测到潜在危险情况时，向驾驶人员发出警告。汽车制造商最近推出的车型甚至还可提供更为高级的系统，如自动紧急制动和车道保持等。它们不仅可监测车辆环境，发现潜在问题，而且还可辅助驾驶员采取纠正措施，避免事故或减轻其严重性。

　　Zoratti指出，现今某些新型轿车装配有四个摄像头，分别位于车辆两侧及前后，可实现车辆周边环境的360度不间断环视。虽然第一代环视系统只是使用这些摄像头为驾驶员提供图像，但未来系统将融入更多的驾驶员辅助功能。使用这四个摄像头和图像处理分析功能，这些新一代系统不但可同步生成汽车鸟瞰图，而且还可在遇到行人时警示潜在危险。此外，在汽车以更高速度行进时，其可使用车身侧面及后面的摄像头进行盲点检测、辅助变道，并在偏离车道时告警。在挡风玻璃后新增一个前视摄像头，可支持交通标识识别和前方碰撞告警功能。最后，当驾驶员抵达目的地，并启动自动停车时，系统将使用这些摄像头及其它传感器帮助汽车半自动驶入停车位。

　　Zoratti还表示，实时执行这些任务需要大量的处理功能，这恰好是并行硬件计算的长处。这就是为什么许多早期驾驶员辅助系统将独立微处理器与FPGA搭配使用，由FPGA处理大多数并行计算，用微处理器执行串行决策。

　　与监视等在每个摄像头上执行分析功能的其它市场不同，各种汽车成本压力正在促进分析功能在中央计算中心执行。这样，汽车制造商可最大限度降低每个摄像头传感器的成本，进而最终降低整个系统成本。这就意味着中央单元的处理平台需要提供极高的性能和带宽，才能支持四路、五路乃至六路实时视频输入的同步处理。

　　Smarter视觉技术可延长使用寿命

　　另一个Smarter视觉正在实现显著差异化的领域是医疗电子行业，其在各种医疗成像系统中广泛使用Smarter视觉技术，从内窥镜及成像扫描装置(CT、MRI等)到诸如Intuitive Surgical公司的达芬奇(Da Vinci)等机器人外科系统，无一例外。

　　达芬奇高级3D视觉系统可帮助外科医生操纵极其精度、流畅以及触觉敏感的机器人外科仪器，完成各种精细而又复杂的外科手术。每诞生一代新系统，外科医生就能够执行更多数量的各种外科手术，确保更好的治疗效果和更短的恢复时间。控制和协调手术过程的技术精密程度令人叹为观止，这主要要归功于处理能力和逻辑的完美结合。因而，每一代更新技术都将从处理器和逻辑的更高集成中获益。

　　Smarter视觉可实现身临其境的体验

　　此外，Smarter视觉在让我们保持联系方面也在取得重大进步。如果您在现代办公楼里工作，您的公司很可能至少有一个会议室安装有高级网真会议系统。这不仅便于您与世界各地的参会者对话，而且还能亲眼看到他们，就像在身边面对面交流一样。这些视频会议系统的精密程度在不断提高，以致于能感知在桌边或者会议中发言的人是谁，然后可自动将镜头拉近并对准此人，用更高画质的逼真视频突出显示。

　　赛灵思广播及消费类市场营销总监Ben Runyan表示，开发网真技术的企业正在寻求为用户创造更加身临其境体验的途径。Runyan称：“这样做的目的是让用户感觉他们同处一间会议室，但实际上他们可能身处地球两端。要做到这一点，需要业界一流的摄像头及显示技术，这需要高级图像处理技术。随着这些技术日益变得更加高级，可带来更加逼真的体验，它不但将简化协作，让企业工作效率进一步提高，同时还可大幅降低差旅需求与费用。”

图1  在驾驶员辅助应用中，Zynq All Programmable SoC与多芯片多摄像头系统的对比