机器视觉是什么？

提到机器人视觉，不可避免地会想到计算机视觉和机器视觉，许多人会把这三种视觉混为一谈。

只有通过图片识别输出结果，计算机视觉是以图片认知为基础的科学，代表企业为谷歌。

机器视觉主要用于生产线的质量检测，一般以2D识别为基础，以康耐视为代表的企业广泛应用于3C电子行业。

机器人视觉是指为了让机器人真正成为一个机器人，而不是一个机器人手臂，不仅要将视觉信息作为输入，还要处理这些信息，然后向机器人提取有用的信息。

（一）

传统式机器人手臂只是自动化设备，是根据程序编写处理固定不动的动作，是不可以处理具备可变性的事情的工作能力。机器人视觉效果这要求机器人要有3D视觉效果，可以解决三维空间中的三维物理难题，而且有繁杂的算法，支撑点机器人对部位.动作.轨迹等繁杂信息内容的捕获，这必须依靠人工智能和深层学习培训来进行。

无论是检测还是定位引导，机器人视觉都是服务于认知机器人的，具有持续学习的功能尤为增长和变化，机器人的准确性就越高，这与人们的学习和成长能力相似。

机器人视觉是一种处理问题的研究方法。经过很长一段时间的发展，机器人视觉在定位、识别、检测等方面发展出了各种各样的方法。它以普通的摄像机为工具，以图像为处理媒介，获取环境信息。

1.相机模型。

摄像头是机器人视觉的主要武器，也是机器人视觉和环境传播的媒体。摄像头的数学模型是一个小孔模型，其核心在于相似三角形的解。有三个值得注意的地方：

焦距等于物距加像距。这就是成像定理，只有满足这个条件才能成为清晰的像。

如果焦距连续改变，摄像头同时改变Z，则可以使图像上的物体X的像素数量保持不变（X）。这就是dollyzoom的原理。如果物体在物体后面（较大z），两个物体在照片上的比例可以通过这一原则随意调整。

1.3

焦距越长，视野越小，可以清晰地拍摄远处的物体。同时，照片会有更大的景深。

2.消失点

消失点在照片中是的。这一点并不是直接存在于照片中，也不是直接存在于现实中。由于影像变换，照片中原来的平行线将有一种相交的趋势。如果图像中平行线的交点，则该点与实际上无限距离的点相对应。该点的图像坐标为[X1X11]。这个点变成了一个消失点。摄像机坐标系中相机中心和消失点的连接线指向消失点的方向。

另外，同一平面各方向的消失点会在图像中形成一条直线，称为水平线。这一原理可用来测量站在地面上的人的高度。值得注意的是，只有摄像机在水平时，摄像机的高度才是摄像机的高度。

2.预估位1。

如果我们能在一张图片中得到两个消失点。这两个消失点对应的方向是垂直的（网格），那么我们可以估计相机相对于这个图像的姿势（目标位置估计）。在获得相机相对目标的旋转向量后，如果相机的内部参数已知，并且射影转换矩阵已知，则可以计算相机相对目标的距离，因此可以估计机器人的位置。H=K^-1*（H影矩阵）

2.2点线对偶。

p1×p2=L12。

L12×L23=p2。

3.射影变换。

射影变化是空间中平面->平面的变化。对齐次坐标，任意可逆矩阵H都表示射影变化。简而言之，它可以表示为a=HB，其中AB是[XY1]形式的第二坐标。影子变化的主要作用之一是将一个形状投射到其他形状。例如，在游泳比赛运动员到达后，制作照片中的广告牌，或在比赛转播中的广告牌，或出现在BIU中的国旗。影子变化也是增强现实技术的基础。

H的求取是射影变换的核心。机器视觉教材可以看到普通的求解方法。

假设平面照片的四个点是A(0,0,1),B(0,1,1),C(1,1,1),D(1,0,1)。显然，这四个点需要投射到我们已知像素位坐标的四个图像区域。

此外，我们还可以根据像素位置计算两个有趣的点，V1(x1,y1,z1)，V2(x2,y2,z2)，这两个点都是图像点。它们对应的实际坐标是(0,1,0)，(1,0,0)。然后我们有三个非常有趣的实际点。它们分别是(1,0,0,1,0)，(0,0,1)，恰好是IntityMatix。这三个实际坐标可以通过影子转换获得像素坐标。像素又知道了。然后，H的列应该对应于beta*V2，第二列应该对应于alpha*V1。

第三列要对应gama*【A的像素坐标】。alphabetagama是常数。【射影变应以常数乘以其次坐标】。

如果我们能够解出alphabegama，那么我们就可以得到影子转换矩阵。显然，我们有三个方程和四个未知数（引入一个lamda）将C点的像素坐标带入方程。然而，lamda并不影响它。除了过去之后，我们只需要alpha/lamda，beta/lamda，gamamda可以解除射影矩阵作为一个未知数。

因此，射影变化矩阵的列表示消失点的V1，第二列表示消失点的V2，列和第二列的叉乘方程表示水平方程（点和线对偶）。

（二）

上回介绍了一些机器人视觉的基本信息，说到机器人视觉的核心任务是ESTIMation，理论框架是射影几何论。但已知像素点坐标，特别是多幅图中对应点的像素坐标，是整个ESTIMation的首要条件。

单个图像的处理方法不会重复。我想谈谈不变点检测和不变特性。由于机器人在不断移动，它们可能会从不同的方向拍摄同一个物体。拍摄距离远近，角有标题。由于影子转换本身的性质，不能保证两张图片中的物体看起来相同。因此，我们需要一种特征提取方法（特征点检测），它可以确保测试是旋转和不变的。此外，我们还需要一种特征描述方法，它也不会改变旋转和缩放。

1.提取SIFT特征。

(1)多尺度卷积；(2)构造金字塔；(3)3D非极值抑制，SIFT特征提取可分为以下步骤。

构建由近而远的图像是多尺度卷积的作用。金字塔由下采样构造。

我们可以跟踪不同尺度图像的相同像素的灰度变化。我们发现，如果某一点对不同sigma的模板反应不同，那么与反应（卷积后的灰度）相对应的sigmale将成为该点的标志。这有点像激励不同频率的机械结构。在某个频率下会产生共振。我们可以在一定程度上记录这个频率代表这个结构（单个摆动频率只与ml有关，系统可以通过f再现）。

因此，只要我们找到一个合适的模板（激励模式），然后找到的响应，我们就可以获得图片中每个点的Intricscale（本标准）。在不同距离拍摄后，同一个物体将在Intricscale下统一响应。这解决了规模不变的问题。

3D非值抑制是指在某一点的3*3*3邻域中，仅以响应作为特征点。因为这一点是空间邻域中反应强的点，所以这一点不变。从各个方向来看，这一点的反应强。

2.描述SIFT特征。

特征描述和特征描述实际上是两回事。在上一节中，特征描述结束了。如果有两张图片，则肯定会发现相同的特征点。特征描述的作用是为匹配做准备，并将两张图片中相同的特征点连接起来，以特征点的局部区域信息为标准。特征的本质是一种高维向量。要求规模不变，旋转不变。