图像畸变的产生及消除畸变的方法

图像畸变的产生及消除畸变的方法什么是图像畸变？畸变作为光学系统中经常提到的一个参数，是限制光学量测准确性的重要因素之一。它是光学系统对物体所成的像相对于物体本身而言的失真程度，只引起像的变形，对像的清晰度并无影响。对于理想光学系统，在一对共轭的物像平面上，放大率是常数。但是对于实际的光学系统，仅当视场较小时具有这一性质，而当视场较大或很大时，像的放大率就要随视场而异，这样就会使像相对于物体失去相似性。这种使像变形的成像缺陷称为畸变。畸变定义为实际像高与理想像高差，而在实际应用中经常将其与理想像高之比的百分数来表示畸变，称为相对畸变，即常见的畸变类型桶形畸变：在桶形畸变中，图像放大率随与光轴的距离而减小，体现在图像呈球体（或桶）周围映射的效果。鱼眼镜头具有半球形的视角，它利用这种变形来将无限宽的物平面映射到有限的图像区域。在变焦镜头中，桶形畸变出现在镜头焦距范围的中间，而在该范围的广角端最严重。枕形畸变：在枕形畸变中，图像放大率随距光轴距离的增加而增加。可见的效果是，未穿过图像中心的线像枕形一样向内弯曲，朝向图像中心。机器视觉中的图像畸变图像畸变带来的影响光虎视觉认为许多检测应用需要非常精确的测量，尽管通过亚像素插值的软件算法可以提供非常精细的测量结果，但是如果创建的图像有任何变形，它们也无法提供准确或可重复的结果。所以，选择合适的光学器件是测量系统能否成功的关键。幸运的是，运用一些光学原理，可以使用双远心镜头，该类镜头可以克服物体位置的变化、物体上的高度差以及其他可能导致软件处理不正确的图像信息的问题。所以合理使用双远心镜头可以很好的解决图像的畸变问题。远心的重要性透视误差，也称为视差，是我们日常体验的一部分。实际上，视差是使得大脑解释3D世界的原因。距离我们较近的物体看起来相对较大，举个简单的例子：想象某人站在一组铁轨，紧挨着它们的前面，两根铁轨相距不远，看似平行。当朝地平线看去时，这些平行的轨道似乎会聚在一起。我们知道它们实际上并没有在远处的某个地方聚集在一起，否则火车会飞离轨道，但是这种感知方式至关重要。在常规成像系统中也存在该现象，其中物体的感知尺寸（其放大率）随着其距透镜的距离而变化。双远心镜头在光学上可以纠正这种情况，因此在镜头所定义的范围内，无论距离如何，物体都保持相同的感知大小。在铁轨的示例中，双远心镜头会使铁轨看起来相距相同的距离，而不管它们是在镜头的前面还是在地平线上。双远心镜头的优势光虎视觉认为对于许多应用，都需要双远心，因为它在一定的工作距离范围内提供近乎恒定的放大倍率，实际上消除了视角误差。这意味着对象移动不会影响图像放大率。在具有双远心的光学系统中，物体离近或远离镜头不会导致图像变大或变小。此外，沿光轴方向具有深度范围的对象不会出现倾斜。例如，圆柱的轴平行于光轴的圆柱物体在远心镜头的像平面中看起来是圆形的。在非远心镜头中，同一物体看起来顶部是椭圆形的，而不是圆形的，并且侧面是可见的。值得一提的是，在具有双远心的光学系统中，聚焦或故意散焦的图像平面运动不会改变图像大小。双远心镜头的另一个优点是，它可以提供极其均匀的图像平面照明。双远心镜头在大多数情况下可以提供当今市场上最低的失真水平（畸变），这大大的提高了它们提供可靠的视觉系统的能力。随着当今机器视觉系统的需求不断增长，选择正确的光学组件比以往任何时候都更加重要。光学系统是调节图像以进行分析的关键部分，因此不应忽视。每当需要进行关键测量时，都需要考虑使用双远心镜头来产生能够真正提供所需结果的系统。【来源：光虎视觉内部培训资料】

像方远心、物方远心、双远心镜头的区别

像方远心、物方远心、双远心镜头的区别 工业镜头是机器视觉系统中十分重要的成像元件，系统若想完全发挥其作用，工业镜头必须能够满足要求才行。随着机器视觉系统在精密测量领域的广泛应用，普通工业镜头难以满足要求，而远心镜头应运而生。 远心镜头主要为矫正传统工业镜头视差而设计，它可以在一定的物距范围内，使得到的图像放大倍率不变，从而弥补普通工业镜头“远大近小”的视觉效果，满足精密测量的要求。远心镜头按设计原理可分为：像方远心光路、物方远心光路和双侧远心光路。 --------------光路原理 1）像方远心光路 像方远心光路的光路图下图。它是将孔径光阑放置在物方焦平面上，像方主光线平行于光轴主光线的会聚中心位于像方无穷远。这种镜头的特点是放大倍率与像距无关，可以消除像方调焦不准引入的测量误差。 2）物方远心光路 物方远心光路的光路图如下图。它是将孔径光阑放置在光学系统的像方焦平面上，物方主光线平行于光轴主光线的会聚中心位于物方无限远。这种镜头的特点是在合理的活动范围内，物体的放大倍率与物距无关。即使物距发生改变，像高也并不会发生改变，即测得的物体尺寸不会变化。根据这个原理设计出来的镜头成为物方远心镜头，简称远心镜头。 3）双侧远心光路 双侧远心光路就是我们常说的双远心光路，光路图如下图。它综合了像方远心和物方远心的双重优点，在景深范围内，物体离得远近或者相机离得远近，都不会影响到成像系统的放大倍数，即像不随物距和相距的变化而变化。根据双侧远心光路设计出来的镜头成为双远心镜头。 镜头原型 正所谓“弱水三千，只取一瓢饮”。在远心镜头选型过程中，需要我们根据实际情况，从百万只镜头中，挑选出最适合我们的那一个。在了解了远心镜头的光路原理之后，让我们来康康镜头参数的含义吧！（1）物方远心镜头 前面提到，物方远心镜头简称为远心镜头。远心镜头常用参数包括倍率、工作距离、物方分辨率、景深、数值孔径NA等。在众多参数中，可能会让大家困惑的参数，应该是数值孔径NA了吧。 远心镜头中提到的数值孔径NA指像方数值孔径，数值孔径NA值越大，镜头分辨率和亮度越佳。数值孔径NA与物方分辨率的对应关系为： 物方分辨率=，λ为测试光波长。一般远心镜头参数中，也会给出镜头可匹配的像元大小。如果参数中并没有给出镜头的良配怎么办呢？不慌，不慌，一个公式解决烦恼：匹配相机像元尺寸=物方分辨率*镜头倍率。 （2）双远心镜头 双远心镜头常用参数相对于远心镜头来说更容易理解。它包括倍率、物方分辨率、工作距离、景深、远心度等。在这些参数中，各参数的对应关系与远心镜头的对应关系相一致。需要特别解释一下的，应该只有远心度了。它是评价远心镜头和双远心镜头好坏的重要参数之一。 远心度是指主光线偏离光轴的角度。角度越小，远心度越好，镜头的倍率误差越小。在测量过程中的表现为：在景深范围内，保证不同工作距下，物体的放大率是一样的。它是弥补普通工业镜头“远大近小”这一弊端的重要因素。 -------------双远心镜头优势远心镜头和双远心镜头常用于精密测量领域。在解释完他们的光路原理和参数意义后，大家有没有困惑，远心镜头和双远心镜头在景深范围内，工作距离都不会影响成像倍率，且畸变值都很小。那在选型过程中，如何取舍呢？双远心镜头当然是靠实力取胜啦。 双远心镜头相对于远心镜头景深更大。当其他参数相同的情况下，双远心镜头的工作范围比远心镜头的工作范围要大，可观测的范围更广。当我们需要观测的物体高度差比较大时，可以优先考虑双远心镜头。 双远心镜头相对于远心镜头远心度也更高。在精密测量的选型过程中，如果对观测物体精度要求很高时，双远心镜头会是一个更好的选择。 >>必发888官网登录入口<< >>公司网址：www.optiger.com.cn<<

3D无序抓取

什么是3D无序抓取？3D无序抓取就是利用3D成像系统对工件表面进行感知和分析，计算得到物体的实时空间坐标和姿态，无需示教即可无缝驱动机械臂可被广泛应用于料框堆叠工件的识别/无序抓取等多种需求。针对料框中散乱工件的上下料技术难点及机器代替人工的趋势，3D视觉引导定位机器人无序抓取系统解决方案采用3D相机进行三维数据的采集、匹配、识别，并将最合适抓取工件的坐标转换为机器人坐标，机器人根据限定条件进行最优路径规划完成散乱工件的抓取，最终实现无序抓取的整个流程。为什么要使用3D无序抓取？在工业上，机器人完成重复性工作已经很常见了，但是无序的应用环境则要复杂得多。这就意味着机器人无法依靠设定好的程序继续执行工作，而是需要对环境进行感知、分析，从而再做出判断。在没有应用3D视觉之前，杂乱无章的工作任务通常是用传统的工装实现定位的。这种方式无法满足不同产品使用一个工装定位的问题。随着电子行业的兴起，工业生产中无序类的应用需求越来越多。为了解决这个问题，3D视觉就成为了最佳的选择。专门针对散乱堆放的工件设计，来高效地完成3D智能抓取，来替代传统的工装夹具。3D无序抓取在实际工业中的使用使用3D无序抓取命令，可以做到：检测任何物体的每个位置和形状；在盒子中检测未分类的零件，用机器人将他们捡起来并送入生产机器；将盒子中每个检测到的零件的位置发送给机器人。通过3D匹配，可以只用1个3D传感器来配置之前的任何对象的形状和位置。因此，可以用来无序抓取复杂形状的零件。在这些方向上3D无序抓取也得到了应用：>> 多品种工件的机器人3D定位抓取上料>> 料框堆叠物体3D识别定位>> 复杂多面工件的柔性化3D定位抓取>> 大型物体3D定位抓取>> 工件的无序来料3D定位>> 多工序间机器人协作3D定位抓取>> 输送带上物体的快速3D定位抓取>> 喷涂机器人来料3D识别定位>> 大型设备的机器人装配3D定位3D无序抓取现状及未来发展从生产和环境适应性的角度来讲，未来几年的发展方向对3D视觉有着更广泛的需求。这要求3D相机能够通过对工件3D数据的扫描，帮助机器人快速准确的找到被测零件并确认其位置，引导机械手准确抓取定位工件，从而实现工业机器人自动化生产线的柔性工装。而在应用拓展方面，除了智能抓取，当前，机器人3D视觉在自动化焊接、自动化切割、自动化装配、自动化码垛等方面也有广泛应用。【来源：光虎视觉内部培训资料】

自动对焦技术

什么是自动对焦？ 自动对焦指的是能够根据被测物与视觉系统之间的距离，来自动调整镜头焦距以保持影像清晰。是利用物体光反射的原理，相机上的传感器接收反射的光，通过计算机进行处理，带动电动对焦装置进行对焦。自动对焦技术通常分为两类：主动式和被动式。 主动式 指的是相机上的红外线发生器、超声波发生器发出红外光或超声波到被测物。相机上的接收器接收反射回来的红外光或超声波进行对焦，其光学原理类似三角测距对焦法，即测距自动对焦。 被动式 即直接接收并分析来自被测物自身的反光，进行自动对焦的方式。这种自动对焦方式的优点是自身不需要一个发射系统，因而耗能少，对具有一定亮度的被测物有较为理想的自动对焦。通常为聚焦检测自动对焦。一般来说，工业上进行使用多数为被动式自动对焦。 如何进行自动对焦？ 配备有自动对焦功能的相机，通常使用软件搭配液态镜头来调整焦距，从而达到聚焦清晰的效果。 只有在需要对焦的区域中需要达到最佳聚焦点时才会有作用，然后会停止自动对焦的动作。这就是通过接收来自被测物自身反射的信息，进行图像数据分析，从而达到控制液态镜头，改变焦距的效果。 如何判断最佳聚焦点？ 有不同的方法来测量图像的清晰度，依据两个基本原理。第一个原理是图像的边缘清晰度。也就是在实际获取的图像中，搜索相邻像素之间的大的灰度值的跳跃，来突出显示边缘或者轮廓。这些边缘轮廓的对比度则用来决定图像的锐利度。边缘图像越清晰，原始图像的清晰度越高。（具体可以参考图像在时域和频域的转换中的高频部分）。 第二个原理是基于图像直方图的值的分析。可以用来计算图像的平均灰度值的像素值的变化量。方差越大，现有的灰度值边缘和图像的对比度就越高。如果图像变得不聚焦，那么之前的灰度值跳跃大的边缘就会呈现斜坡形式的梯度，导致图像的对比度降低。也就是说，图像越清晰，灰度扩散越高，图像中的对比度也就越高，图像也越清晰。 在使用自动对焦，焦距在改变过程中，图像的锐利度和方差是会实时改变的，通过软件进行图像锐利度以及方差的分析处理，达到一个效果显著的清晰图像。 自动对焦技术的优势在哪？ 自动对焦技术使用液态镜头来实现，与传统透镜有所不同，液体镜头是一种使用一种或多种液体制成的无机械连接的光学元件，可以通过外部控制改变光学元件的内部参数，有着传统光学透镜无法比拟的性能。简单来说就是透镜的介质由玻璃变为液体。更准确地来说就是一种动态调整透镜折射率或通过改变其表面形状来改变焦距的新型光学元件。 就像利用玻璃制成的传统光学镜头一样，液体镜头也属于单体光学元件，但其材质是可以改变形状的光学液态材料。玻璃镜头焦距取决于其材质和曲率半径。液态镜头也遵从相同的基本原理，但其独特之处在于可以改变曲率半径，从而改变焦距。这种半径变化采用电控方式，能够实现毫秒级的变化。生产厂家利用从电润湿到形变聚合物再到声光调节等各种技术，控制液态镜头曲率半径和折射率。 大多数成像镜头都是多元件镜头，单光学镜头的成像性能难以满足需要。因此只使用液态镜头是不明智的。但在多元件设计中结合使用液态镜头和成像镜头，就可以发挥液态镜头的速度和灵活性优势。液态镜头能够以毫秒级的反应时间在近距离或光学无穷远对焦，这对于条码读取、包装分类、安保和快速自动化等需要在多个位置进行对焦的应用来说是一种理想选择，这些被检测物体要么尺寸不同，要么与镜头之间的距离不同。在需要快速对焦的各种应用中，可以利用液态镜头提高成像系统灵活性。 【来源：光虎视觉内部培训资料】

CXP2.0与5、10、25GigE

CoaXPress2.0 CoaXPress是专业和工业成像应用（例如机器视觉、医学成像、生命科学、广播和国防）的全球最快标准。它是一种不对称的点对点串行通信标准，可通过单根或多根同轴电缆传输视频和静止图像，CXP 1.1相机已经面世了十年，它具有用于视频、图像和数据的每条电缆高达6.25 Gbps的高速下行链路特点，其使用的标准连接器为75ΩBNC和DIN1.0/2.3；目前CXP1.1引入的单个通道最大传输速度为6.25Gbps，对于CXP-10，CXP 2.0将其提高到10 Gbps，对于CXP-12，CXP2.0将其提高到12.5 Gbps。 作为CXP协议的制定商之一的Active Silicon，CXP-12采集卡上行速度提高一倍，达到42Mbps，因此现在可以实现超过500kHz的触发速率。实时触发是CoaXPress众所周知的优势，并且是许多工业检测系统中的关键功能，值得注意的是，CXP-12采集卡首选的连接器是Micro-BNC，也称为HD-BNC，使用更小的连接器能合并到更紧凑的硬件中；CXP2.0协议引入了多目标功能，因此可以将数据从单个摄像机输出到位于不同PC上的多个图像采集卡。 该标准的未来版本有望包括对GenDC的正式支持，与预期的光接口的兼容性以及对串行通信的支持。速度可能会随着技术的发展而提升。 5GigE IEEE 802.3bz-2016的发布旨在为双绞线以太网连接提供增强的标准，速度为2.5和5 Gbps。获得了当前1 Gb和10 Gb以太网标准之间的中间速度。产生的标准称为2.5GBase-T和5GBase-T，或2.5和5 GigE Vision。可通过标准的at5eC电缆以高达5 Gbps的速度传输，提供更大的灵活性。使用普通的铜双绞线，该技术可以将数据传输容量提高到100米，而铜双绞线往往是传统系统中的标准配置。 2.5G超过100米Cat5e(D类)非屏蔽双绞线铜缆 5Gb/s超过100米Cat5e(D类)非屏蔽双绞线铜缆 5Gb/s超过100米Cat6(E类)非屏蔽双绞线铜电缆 10GigE 10GigE(万兆以太网)，一种以太网的传输标准，最初在2002年通过，成为 IEEE Std 802.3ae-2002。它规范了以 10 Gbit/s 的速率来传输的以太网，因为速率是1GigE以太网的十倍，因此得名。 10GBase-T连接中使用的标准铜缆（Cat6，Cat6a和Cat7）支持的最大长度为100 m，这取决于所用电缆的类型。但是，Cat6电缆最多只能使用55 m的长度，Cat6a或Cat7电缆的距离更长；光纤电缆可提供更长距离的传输，但需要转换器来生成光信号和NIC卡中的光接收器，支持以太网供电（PoE）和同一根电缆。 25GigE 千兆以太网视觉发布于2006年，传输距离高达100m。当摄像头为低分辨率甚至现在使用中分辨率摄像头（例如12Mpx）和低帧速率要求时，这种方法就可以工作。现在，为了获得更高的分辨率并支持更高的帧速率（即更高的带宽），业界开始采用5、10和25 GigE视觉，这比原始GigE Vision接口快5、10和25倍。直到长度为25GigE的点式光缆接管为止，电缆的长度都会有所妥协。某些PC支持新的速度，但是实际上任何现代PC都可以添加相对便宜的网络接口卡（NIC），能实现更高的速度。 25GigE SFP28接口提供了三个选项，可以满足所有应用的电缆长度要求。第一种选择是使用SFP28多模光纤模块/收发器和LC-LC多模光纤电缆，电缆长度从1M到70M。第二种选择使用SFP28单模光纤模块/收发器和LC-LC单模光纤电缆，电缆长度范围从1M到10KM。第三种选择是使用低成本直接连接来连接1至5米之间的电缆。相比于CXP连接器，25 GigE的连接器硕大无比。 【来源：光虎视觉内部培训资料】

相机标定的理解及原理（二）

世界平面测量与校正 与观察和检查平面（平坦）表面或放置在此类表面（例如传送带）上的物体有关的视觉系统可以利用Adaptive Vision Studio的图像到世界平面转换机制，该机制可以： 从原始图像上的位置计算现实世界的坐标。例如，这对于与外部设备（例如工业机器人）的互操作性至关重要。假设在图像上检测到对象，并且需要将其位置传输到机器人。检测到的对象位置以图像坐标给出，但是机器人在现实世界中使用不同的坐标系进行操作，需要一个由世界平面定义的通用坐标系。 将图像校正到世界平面上。当使用原始图像进行图像分析不可行时（由于高度的镜头和/或透视失真），这是必需的。对校正图像执行的分析结果也可以转换为由世界平面坐标系定义的真实坐标。另一个用例是将所有摄像机的图像校正到公共世界平面上的多摄像机系统校正，从而在这些校正后的图像之间提供简单且定义明确的关系，从而可以轻松叠加或拼接。 下图显示了图像坐标系。图像坐标以像素表示，原点（0,0）对应于图像的左上角。X轴从图像的左边缘开始，并向右边缘。Y轴从图像的顶部开始向图像的底部开始。所有图像像素都具有非负坐标。 图像坐标中的方向和像素位置 这个世界平面是一个特殊的平面，在真实的三维世界中定义。它可以任意放置在相机上，有一个定义的原点和XY轴。 下面的图像显示了世界平面。第一幅图像呈现原始图像，这是由一个尚未安装在感兴趣物体上方的相机拍摄的。第二个图像显示的是世界平面，它已与物体所在的表面对齐。这允许从原始图像上的像素位置计算世界坐标，或者进行图像校正，如下一幅图像所示。 不完全定位的相机捕获的感兴趣对象 世界平面坐标系叠加在原始图像上 图像到世界平面坐标的计算 图像校正，在世界坐标下，将从点(0，0)到(5，5)的区域裁剪 如何实现相机标定？ 使用针孔相机模型 滤波器通过有效地最小化RMS重投影误差（图像上观察到的网格点之间的平均平方距离的平方根），从一组平面校准网格中估计摄像机的固有参数-焦距，主点位置和畸变系数，使用估计的参数（即网格姿态和相机参数）将关联的网格坐标投影到图像平面上。如果至少一个校准网格不垂直于相机的光轴，则可以通过滤镜计算焦距。或者，可以通过inFocalLength将焦距设置为固定值。inFocalLength以像素为单位测量，可以通过传感器和镜头参数计算得出： 其中f_pix焦距测量为像素，f_镜头焦距测量为毫米，pp-传感器像素间距测量为每像素毫米，d-摄像机结合或/和图像缩小因子。 InFocalLength也可以从视角获得，对于水平情况，适用以下公式： 其中f_pix焦距以像素为单位，w-图像宽度，α-水平视角 支持一些失真模型类型。最简单的部门支持大多数用例，即使校准数据稀疏也具有可预测的行为。高阶模型可能更准确，但是它们需要更大的高质量校准点数据集，通常需要在低于0.1 pix的整个图像量级上实现高水平的位置精度。当然，这只是经验法则，因为每个镜头都不同，并且有例外。 失真模型类型与OpenCV兼容，并使用标准化图像坐标用方程表示： 分部失真模型 多项式失真模型 多项式--薄棱镜畸变模型其中，x’和y’不失真，x”和y”是失真的归一化图像坐标。 相机模型可直接用于获取未失真的图像（该图像将由具有相同基本参数的相机拍摄，但不存在镜头失真），但是在大多数情况下，相机校准只是某些条件的先决条件其他操作。例如，当使用照相机检查平面（或放置在该表面上的物体）时，需要照相机模型来执行世界平面校准 一组用于基本校准的栅格图像 使用OUT ReprojectionErrorSegments用于识别图像点及其网格坐标的不良关联。 InImageGrids-两分交换校准网格的提取 相机校准和图像到世界平面的转换计算均使用具有网格索引的图像点阵列形式的提取的校准网格，即带注释的点。 网格的实际坐标是2D，因为平面网格上任何点的相对坐标都是0。 Adaptive Vision Studio为几种标准网格格式提供了提取过滤器（例如DetectCalibrationGrid_Chessboard和DetectCalibrationGrid Circles）。 获得高精度结果的最重要因素是提取的校准点的精度和准确性。校准网格应尽可能平坦且坚硬（纸板不是合适的支撑材料，厚玻璃是完美的选择）。拍摄校准图像时，请注意适当的条件：通过适当的相机和栅格安装座最大程度地减少运动模糊，防止来自校准表面的反射（最好使用漫射照明）。使用自定义校准网格时，请确保点提取器可以达到亚像素精度。验证真实网格坐标的测量结果是否准确。另外，使用棋盘格校准格时，请确保整个校准格在图像中可见。否则，将不会检测到它，因为检测算法需要在棋盘周围有几个像素宽的空白区域。请注意列数和行数，因为提供误导性数据可能会使算法无法正常工作或根本无法工作。 使用圆点标定板的图片示例： 使用棋盘标定版的图片示例，只需要拍摄标定板的图片，并通过ImageObjectsToWorldPlane：Points过滤器模块，输入棋盘格的尺寸以及棋盘格所对应的像素，即可实现相机标定以及畸变校正。 再输入棋盘格每个方形格的实际尺寸，即可实现世界坐标转换图像坐标。 【来源：光虎视觉内部培训资料】

相机标定的理解及原理（一）

相机标定，是一个估计相机模型参数的过程：一组描述图像捕获过程内部几何形状的参数。

必发888登录入口教学实验平台手册

必发888登录入口技术手册 2021年第3版

量子点CMOS

与可见光面阵相机相比，SWIR光子被对象反射或吸收，从而提供了高分辨率成像所需的强烈对比度。

荧光技术

荧光，是指一种光致发光的冷发光现象。