像素坐标转世界坐标的计算

原理

下图表示了小孔成像模型(图片及公式参考 OpenCV官方资料

这个图里涉及4个坐标系:

  1. 世界坐标系:其坐标原点可视情况而定,可以表示空间的物体,单位为长度单位,比如MM(毫米),用矩阵$\begin{bmatrix} X_W \\ Y_W \\Z_W \end{bmatrix}$表示;
  2. 相机坐标系:以摄像机光心为原点(在针孔模型中也就是针孔为中心),z轴与光轴重合,也就是z轴指向相机的前方(与成像平面垂直),x轴与y轴的正方向与世界坐标系平行,单位为长度单位,比如MM(毫米),用矩阵$\begin{bmatrix}X_c \\ Y_c \\ Z_c\end{bmatrix}$表示;
  3. 图像物理坐标系(也叫成像平面坐标系):用物理长度单位表示像素的位置,坐标原点为摄像机光轴与图像物理坐标系的交点位置,单位为长度单位,比如MM(毫米),用矩阵$\begin{bmatrix}x \\ y \end{bmatrix}$表示。
  4. 像素坐标系:坐标原点在左上角,以像素为单位,有明显的范围限制,即用于表示全画面的像素长和像素长宽,矩阵$\begin{bmatrix}u \\ v \end{bmatrix}$表示。

以下公式描述了$\begin{bmatrix}u & v \end{bmatrix}^T$、$\begin{bmatrix}x & y \end{bmatrix}^T$、$\begin{bmatrix}X_c & Y_c & Z_c\end{bmatrix}^T$和$\begin{bmatrix}X_W & Y_W & Z_W \end{bmatrix}^T$之间的转换关系。

$z\begin{bmatrix}u \\ v\\ 1 \end{bmatrix}= \begin{bmatrix}1/d_x&0&c_x\\0&1/d_y&c_y\\0&0&1 \end{bmatrix} \begin{bmatrix}f&0&0\\ 0&f&0\\ 0&0&1 \end{bmatrix} \begin{bmatrix}r11&r12&r13&t1\\ r21&r22&r23&t2\\ r31&r32&r33&t3 \end{bmatrix} \begin{bmatrix}X_W \\ Y_W \\Z_W \\ 1\end{bmatrix}$

以上公式中,$d_x$和$d_y$表示1个像素有多少长度,即用传感器的尺寸除以像素数量,比如2928.384um * 2205.216um的传感的分辨率为2592 * 1944,每个像素的大小即约1.12um。

由于相机与物体的视角来看,都是三维坐标,因此两者之间的变换只需要进行矩阵的旋转、平移即可达到坐标系转换的目的(不同坐标系中,物体的绝对大小并不会随着坐标系的变化而变化,因此不涉及缩放处理)。对于变换矩阵  $\begin{bmatrix}r11&r12&r13&t1\\ r21&r22&r23&t2\\ r31&r32&r33&t3 \end{bmatrix}$ 需要理解,矩阵是由 3*3 的旋转矩阵 r (rotation) 和 3*1的平移向量 t (translation)组成。

$f$表示焦距,在上图中,根据相似三角形,P点和p点具有以下关系:

$\frac{X_c}{x} = \frac{Y_c}{y} = \frac{Z_c}{f}$ 即$x=X_c/(\frac{Z_c}{f})$ $y=Y_c/(\frac{Z_c}{f})$,可见:$f$越大,$x$和$y$越大,$Z_c$越大,$x$和$y$越小。

$c_x$和$c_y$表示中心点在像素坐标系中的位置。

要求像素坐标系中某像素点对应在世界坐标系中的位置,需要知道相机的内参、外参,相机的内参可以通过标定获得,外参可以人为设定。

第一步,将像素坐标变换到相机坐标系:

$z\begin{bmatrix}u \\ v\\ 1 \end{bmatrix} = \begin{bmatrix}f_x&0&c_x\\0&f_y&c_y\\0&0&1 \end{bmatrix} \begin{bmatrix}x \\ y\\ 1 \end{bmatrix} = K\begin{bmatrix}x \\ y\\ 1 \end{bmatrix}$

两边乘以K的逆后推导出:

$\begin{bmatrix}x \\ y\\ z \end{bmatrix}=K^{-1} \begin{bmatrix}u \\ v\\ 1 \end{bmatrix}$

第二步,从相机坐标系变换到世界坐标系:

$\begin{bmatrix}X_c \\ Y_c\\ Z_c \end{bmatrix} = R \begin{bmatrix}X \\ Y\\ Z \end{bmatrix} + t$

将方程乘以$R^{-1}$,可以推导出:

$\begin{bmatrix}X \\ Y\\ Z \end{bmatrix} = \begin{bmatrix}X_c \\ Y_c \\ Z_c \end{bmatrix}R^{-1} - t R^{-1}= z\begin{bmatrix}x\\ y\\ 1 \end{bmatrix}R^{-1} - t R^{-1}$

代码

通过输入相机的内参,旋转向量,平移向量和像素坐标,可以通过以下函数求出对应的世界坐标点。
以下代码中需求注意要对平移向量取转置,将1x3矩阵变为3x1矩阵后,才能实现3x3矩阵和3x1矩阵的乘法运算。

验证

先使用projectPoints生成像素点:

使用以下欧拉角:

对应的平移向量,表示空间坐标原点相对在相平面原点偏移x=134mm,y=132mm,z=200mm。

生成空间坐标点:

经projectPoints计算后对应的像素空间点是:

经函数求出的空间坐标点是:

可以对比按11*8格和30mm/格所生成空间坐标点结果,基本一致。

参考链接


Missing accessibility label: provide either a view with an `android:labelFor` that references this view or provide an `android:hint`

Android Studio 2021.2.1 新定义 layout 文件的时候,如果 EditTextTextView 相邻定义,如下:

会在 EditText 收到警告信息:

或者:

这个警告的原因是:一般情况下,EditTextTextView 相邻的时候,TextView 一般用于提示用户应该输入何种内容,尤其是有多个 EditTextTextView 对的时候,可以通过指定 android:labelFor  来指出两者的对应关系。也可以通过给每个 EditText 增加一个 android:hit 方便用户理解。

解决方法如下:

或者:

参考链接


Difference between android:id and android:labelFor?

摄像头和机械臂的手眼标定

一、背景

Calibration是机器人开发者永远的痛。虽然说方法说起来几十年前就有,但每一个要用摄像头的人都还是要经过一番痛苦的踩坑,没有轻轻松松拿来就效果好的包。其实人类不就是个手眼协调的先进“机器人”吗,O(∩_∩)O哈哈~

机器人视觉应用中,手眼标定是一个非常基础且关键的问题。简单来说手眼标定的目的就是获取机器人坐标系和相机坐标系的关系,最后将视觉识别的结果转移到机器人坐标系下。

手眼标定行业内分为两种形式,根据相机固定的地方不同,如果相机和机器人末端固定在一起,就称之为“眼在手”(eye in hand),如果相机固定在机器人外面的底座上,则称之为“眼在外”(eye to hand)。

eye to hand 眼在外
eye to hand 眼在外
eye to hand 眼在手
eye to hand 眼在手

二、手眼关系的数学描述

1. eye in hand,这种关系下,两次运动,机器人底座和标定板的关系始终不变。求解的量为相机和机器人末端坐标系的位姿关系。

2. eye to hand,这种关系下,两次运动,机器人末端和标定板的位姿关系始终不变。求解的量为相机和机器人底座坐标系之间的位姿关系。

手眼标定eye in hand 和eye to hand 的区别主要是机器人那边,一个是end相对于base,另一个是base相对于end。千万注意。

三、AX = XB问题的求解

旋转和平移分步法求解:

  • Y. Shiu, S. Ahmad Calibration of Wrist-Mounted Robotic Sensors by Solving Homogeneous Transform Equations of the Form AX = XB. In IEEE Transactions on Robotics and Automation, 5(1):16-29, 1989.
  • R. Tsai, R. Lenz A New Technique for Fully Autonomous and Efficient 3D Robotics Hand/Eye Calibration. In IEEE Transactions on Robotics and Automation, 5(3):345-358, 1989.

迭代求解及相关资料可以看看相关网上的英文教程 Calibration and Registration Techniques for Robotics 其中也有一些AX= XB的matlab代码可以使用。

ROS 下也有相关的一些package可以利用

四、其他参考资料

3D 视觉之手眼标定 邱强Flyqq 微信文章

手眼标定的两种方式_wzj5530的专栏-CSDN博客_手眼标定 图不错

深入浅出地理解机器人手眼标定_二毛的博客-CSDN博客_机器人手眼标定 部分halcon代码

eye-in-hand手眼标定系统_二毛的博客-CSDN博客 halcon代码

手眼标定之9点法_GoRunningSnail的博客-CSDN博客 部分原理

UR5、Kinect2手眼标定总结_zhang970187013的博客-CSDN博客 UR5 与easy hand eye

一般用“两步法”求解基本方程,即先从基本方程上式求解出旋转部分,再代入求解出平移部分。

经典手眼标定算法之Tsai-Lenz的OpenCV实现_YunlinWang的博客-CSDN博客

============== Halcon 官方示例-手眼标定 ==================

五、Matlab下手眼标定解算

相机与机器人是eye-to-hand模式,机器人为加拿大Kinova 6轴机械臂,机器人pose为基座相对于末端的x,y,z,rx,ry,rz,rw, 单位为米。姿态使用单位四元数表示。

2017.08.29Kinova_pose_all_8_1.txt

pattern pose为标定板相对于相机的x,y,z,rx,ry,rz,rw, 单位为米。姿态使用单位四元数表示。

2017.08.29Pattern_pose_all_8_1.txt

此Matlab文件调用数据进行离线解算。Calibration and Registration Techniques for Robotics 的这部分 Registering Two Sets of 6DoF Data with 1 Unknown,有code下载,下载好命名为shiu.m和tsai.m供下面程序调用就行。我这里贴出

Jaco_handeye_test_10.m 测试程序中用到了Peter Corke老师的机器人工具箱。我的Matlab版本R2013a,利用机器人工具箱的一些转换函数(四元数的构建,欧拉角转换等),它安装和基本使用参考这里:Matlab机器人工具箱_Learning by doing-CSDN博客_matlab机器人工具箱


稍微解释一下,程序做的就是读入机器人和相机的两两姿态信息,转换为4x4 的齐次变换矩阵,送入tsai.m程序求解。

手眼标定eye in hand 和eye to hand 的区别主要是机器人那边,一个是end相对于base,另一个是base相对于end。千万注意。

====================平面九点标定法====================

当利用RGB相机或者是机器人只进行平面抓取(也即固定姿态抓取,机器人六自由度位置和姿态简化为只考虑平移,姿态人为给定并且固定,这时机器人可以移动到目标点上方),问题可以简化为平面RGB图像的目标像素点集A(x1,y1)与机器人在平面(X1,Y1)的点对关系。具体做法是相机识别像素点给到A,然后利用示教器查看机器人在基座标系下的坐标,当做B。

相机坐标和机器人坐标写成齐次的形式,投影矩阵X是一个3x3的矩阵我们需要6组对应点来求解最小配置解。利用奇异值分解SVD来求取。

D:\opencv_work\cubeSolver\cv_solver\ConsoleApplication1\CV_SVD.cpp

D:\Matlab_work\handeye\NinePoints_Calibration.m

OpenCV: Operations on arrays

结果对比:左halcon C#(第三列为0,0,1,没做显示),右opencv c++,底下为Matlab结果,三者一致,算法检测通过。

=============

四轴平面机器人的手眼标定_Stones1025的博客-CSDN博客

这种方法利用点对,求仿摄变换矩阵

================= Eye in hand 数据及Ground truth =========================

Marker in Camera 八组数据,单位:米及弧度,姿态用的是RotVector表示

Robot end-effector in Base 八组数据,单位:米及弧度,姿态用的是RotVector表示

Ground truth:Camera in end-effector

参考链接


理解Intellj IDEA/Android Studio警告'Optional' used as type for parameter

在函数的形参中使用 Optional 类型的参数的时候,编译的时候会被 Intellj IDEA/Android Studio 发出警告,代码如下:

警告信息如下:

对于这个警告,初期是非常迷惑的,不清楚为什么 Optional 类型不能作为函数的形参。后来搜索了一下网络,加上自己理解,才豁然开朗。

其实 Optional 类型产生的本身是为了避免空指针异常而引入的,如果在函数的形参中使用 Optional 类型,那么如果传入的 Optional 类型的参数本身就是 null 的话,就会在使用 Optional 参数的时候抛出空指针异常了。因此干脆就希望不要在函数的行参中使用 Optional 类型。

通过测试,Intellj IDEA/Android Studio 对于函数返回值,是不发出这个警告的。

接口的话,可以使用类似下面的写法来规避这个警告:

虽然可以通过 @SuppressWarnings("OptionalUsedAsFieldOrParameterType") 来禁止这个警告的发出,但是还是建议遵守这个警告,尽量不要在函数的形参中使用 Optional 类型。

参考链接


Flutter CustomPaint自定义控件 时钟

时钟效果
时钟效果

我们将用 CustomPaint 来绘制我们的时钟。CustomPaint 的重要参数 paintersizepainter 是一个继承了CustomPainter 的对象,主要实现了绘画控件的功能。size 指定了控件的大小,如果 CustomPaintchild 不为空,size 的值就是 child 控件的大小,指定 size 的值则无效;如果 child 为空,所指定的 size 的值,就是画布的大小。

ClockPainter 继承了 CustomPainter,实现了其中两个重要方法:paintshouldRepaintpaint 当自定义控件需要重画时被调用。shouldRepaint 则决定当条件变化时是否需要重画。

首先先时钟的边框,代码如下,只需 drawCircle 就可以实现边框的绘制。

时钟边框
时钟边框

canvas 的起始点是画布的左上角坐标点为起点,即 x,y 都为零。drawCircle 画一个指定了半径的圆。圆的形状和样式由 Paint 对象指定。style 决定了是画圆盘(PaintingStyle.fill)还是圆环(PaintingStyle.stroke)。当 style 设定为PaintingStyle.stroke 时,strokeWidth 就是指定了圆环的宽度。

其次,可以画时钟刻度和数字了。

刻度
刻度

时钟的刻度占整个圆弧的 360/60=6 度,运用数学公式每个刻度点的坐标,然后用 drawPoints 画出每一个刻度点。

数字
数字

canvas.save() 保存当前画布,以便画完数字恢复。
canvas.translate(radius, radius) 把画布的起始点移到画布的中心。
再次保存画布后,再把起始点移到正上方位置,这里是把起始点数字 12 的位置。
TextPainter用来画文字。
canvas.rotate(-angle.toDouble() * i); 以当前画布起始点旋转一个角度,这是为了保证每个数字在下面旋转到对应的位置后保持竖直显示。
canvas.restore() 重置画布,即把画布的起始点定位到控件的中心位置。
canvas.rotate(angle.toDouble()) 以控件中心为原点旋转一个角度,即把数字旋转到对应的位置。数字 12 旋转角度为零,数字 1 旋转角度为 30 度。
所有的数字都画完并旋转到对应的位置后即可恢复起始点到控件的左上角。

最后,我们接着画时针,分针,秒针。

完整时钟
完整时钟

一个小时占时钟角度为 30 度,利用三角函数算出时针的两个点,用 drawLine 画出带宽度的时针。
每一分钟每一秒中所占的角度为 6 度,同样利用三角函数算出各自对应的两点,再画直线就可以得到分针,秒针。

完整的代码如下:

使用的代码如下:

参考链接


Flutter CustomPaint自定义控件 时钟

百度地图Poi检索、距离计算、调起百度地图

  • 百度API的简单应用——PoiSearch
  1. 创建POI检索实例

    在SDK组件初始化之后使用下列代码即可:

  2. 创建POI检索监听器

    在同一个Activity中编写以下代码:

    其中onGetPoiResult是主要的回调函数,所以涉及到搜索结果的操作基本都放在这个函数中进行,在我的源码中,我把MainActivity当作一个OnGetPoiSearchResultListener,这样有利于简化代码

  3. 设置检索监听器

  4. 设置PoiCitySearchOption,发起检索请求

    在我的源码中,使用的是周边检索,应用的接口应该是:

  5. 释放检索实例

    重要的声明周期管理:

  • 百度地图的简单应用——距离计算

两点距离计算
根据用户指定的两个坐标点,计算这两个点之间的直线实际地理距离。
返回值类型:double
返回值单位:米
核心代码如下:

其中p1和p2都是LatLng的对象

  • 百度地图的简单应用——调起百度地图

由于不可能设计的APP面向的需求是寻找附近的一个可供娱乐的地方,所以导航的功能可以直接使用现成的百度地图来提供

我们使用的是步行导航:

以上的代码即可完全地调起百度地图并直接进行步行导航

  • 综合教程——摇一摇地图
  1. 制作百度地图的API的综合运用——显示定位、POI检索、距离计算、调起百度地图

    关键代码:
    权限:

    显示定位:

    POI检索:

    调起百度地图:

  2. 制作摇一摇

    初始化

    监听Handler:

    编写监听函数:

    编写动画:

  3. 使用摇一摇调用POI检索,使用recyclerView调起百度地图

    摇一摇中onSensorChanged函数中在开始摇晃时加入POI检索函数:searchPoiNearBy
    recyclerView的每个holder加入调起百度地图的监听器;

参考链接


中级实训Android学习记录——Poi检索、距离计算、调起百度地图

Flutter 倒计时功能

参考链接


Flutter : LateInitializationError: Field ‘data’ has not been initialized

You don’t want a late variable, you want a nullable one. If you need to check if something is initialized, you should be using a nullable variable instead and your code is already set up to check for null

just change

to

E.g.

change to

参考链接


Flutter : LateInitializationError: Field ‘data’ has not been initialized, got error

Flutter画圆/虚线圆/渐变圆/进度圆

同一颜色的圆

例子样式:

废话不多说 直接上代码,注释清楚!

1.调用该方法 如果只要一个圆,赋值completeColor, completeWidth, completePercent就可以,剩下的不用赋值 就是一个圆
2.如果需要俩圆的话直接调用赋值就行
3.如果只需要一个虚线圆的话,赋值isDividerRound = true; ,lineColor, width, 剩下的不用写,completeWidth 不得大于0
这是一个全圆就是比例是百分之百的圆,可以自行修改

实践示例

我们用 Flutter 新建项目的例子代码来演示,如下: