姿态估计0-04:DenseFusion(6D姿态估计)-白话给你讲论文-翻译无死角(2)

news/2024/7/3 13:36:10 标签: 3D点云, 3维重建, 姿态估计, 6D自由态

以下链接是个人关于DenseFusion(6D姿态估计) 所有见解,如有错误欢迎大家指出,我会第一时间纠正。有兴趣的朋友可以加微信:17575010159 相互讨论技术。若是帮助到了你什么,一定要记得点赞!因为这是对我最大的鼓励。 文末附带 \color{blue}{文末附带} 文末附带 公众号 − \color{blue}{公众号 -} 公众号 海量资源。 \color{blue}{ 海量资源}。 海量资源

姿态估计0-00:DenseFusion(6D姿态估计)-目录-史上最新无死角讲解https://blog.csdn.net/weixin_43013761/article/details/103053585
话不多说,我们继续论文翻译

4. Experiments

实验做了如下内容:

1.稠密(像素/点云级别)融合和全部融合做比较。
2.稠密融合估算对语义分割偏差以及重度遮挡的鲁棒性怎么样?
3.我们提出的iterative refinement module(迭代优化提炼模型)是否对初始估算的姿态心进行了优化
4.该方法是否能够让机器人进行实时的抓取物体任务

为了回答第一个问题,我们再YCB-Video数据集和 LineMOD数据集上做了实验,YCB-Video数据集包含了各种形状,纹理,遮挡程度不一样的数据,所以用它来测试我们的模型是是否合适的。LineMOD数据集是当前比较流行的评估数据集,方便我们和其他的算法进行比较,我们再该数据集上对比了当前最先进的算法,以及该些算法的变体。最后,我们做了一个机器人抓取实验。

4.1. Datasets

YCB-Video Dataset. 一起有21个类别的物体,共92个RGB-D视频,每个视频都是不同的室内场景。这是视频都有6D姿态的注释,我们使用了80个视频进行训练,12个作为测试。在使用了ICP的算法进行了比较。
LineMOD Dataset. 一起13个物体类别,在这里我们和传统的方法做了比较,和带有ICP最先进的方法做了比较。

4.2. Metrics

在 YCB-Video 数据集,使用了两个评估标准:
1.点云之间的平局距离average closest point distance(ADD-S),他分别考虑的对称和不对称物体的评估。通过估算的姿态 [ R ^ ∣ t ^ ] [\hat R|\hat t] [R^t^]和ground truth pose [   R ∣   t ] [\ R|\ t] [ R t],ADD-S会计算由他们转换之后,对应点云之间的距离,然后取得平均值。然后我们求得了其AUC曲线,AUC得最大阈值设定为0.1m,
2.同时也做了低于2cm的实验。对于机器人抓取物体,能容忍的最大误差值就是2cm。

在 LineMOD数据集,使用ADD标准评估不对称的物体,ADD-S评估对称的物体。

4.3. Implementation Details

rgb_img特征的抽取(抽取颜色信息)是一个18层的编码解码网络,4个上采样作为解码过程。PointNe架构在全连接层之后跟随着average-pooling作为reduction function。color和geometric特征融合之后的特征向量是128维的,其中的超参数 w = 0.01 w=0.01 w=0.01。经过试验证明,对于refinement module 使用4个全连接层,连接起来对姿态进行评估效果比较好。所有的实验中,我们都使用了两次迭代进行优化提炼

4.4. Architectures

我们对DenseFusion进行了研究,出现了几个变体,去找到最合适的搭配。
1.PointFusion通过连接image feature以及geometry featur得到一个固定尺寸的feature,其余的架构和我们的都是相似的.
2.Ours (single):使用了稠密融合的方法,但是没有使用稠密(点云级别)的姿态估算,直接使用一个global feature,进行了一次姿态估算。
3.Ours (per-pixel):使用稠密融合,也使用稠密姿态估算。
4.Ours (iterative) :在Ours (per-pixel)的基础下,使用iterative refinement 。

4.5. Evaluation on YCB-Video Dataset

下面是上面的方法,在YCB-Video数据集上的评估结果
在这里插入图片描述
其中第一列表示的是目标物体的名称,带粗体标记的,表示的是对称的物体。从上面我们可以分析出各个模块对整个网络的影响。上面是定量的分析,下面是定性的分析:
在这里插入图片描述

4.6. Evaluation on LineMOD Dataset

使用LineMOD数据集,可以看到我们的网络相对于PonintFusion以及PoseCNN+ICP是要好很多的。下面和现在一些先进网络的比较:
在这里插入图片描述
然后是使用了Iterative refinement之后的对比:
在这里插入图片描述
明显的可以看到,效果是有不少改进的。

4.7. Robotic Grasping Experiment

最后还做了一个机器人抓取的实验,在代码的README.md有介绍的。

在这里插入图片描述


http://www.niftyadmin.cn/n/915832.html

相关文章

cscope 结果输出到 quickfix窗口

在$HOME/.vimrc下追加如下一行:set cscopequickfixs-,c-,d-,i-,t-,e- 表示显示结果必须追加到quickfix窗口。- 隐含着清空先前的的显示结果。0 表示不使用quickfix窗口。默认不使用quickfix窗口。注意:如果有多个匹配项,cscope会弹出窗口显示…

姿态估计0-09:DenseFusion(6D姿态估计)-源码解析(5)-PoseRefineNet网络与loss详解(重点篇)

以下链接是个人关于DenseFusion(6D姿态估计) 所有见解,如有错误欢迎大家指出,我会第一时间纠正。有兴趣的朋友可以加微信:17575010159 相互讨论技术。若是帮助到了你什么,一定要记得点赞!因为这是对我最大的鼓励。 文末附带 \color{blue}{文末附带} 文末附带 公众号 − \c…

去除 “existing swap file” 警告

在 .vimrc 里追加下面一行即可: set shortmessA 参考: :help shortmess: A dont give the"ATTENTION" message when an existing swap file is found.

姿态估计0-10:DenseFusion(6D姿态估计)-源码解析(6)-测试代码注释与详解

以下链接是个人关于DenseFusion(6D姿态估计) 所有见解,如有错误欢迎大家指出,我会第一时间纠正。有兴趣的朋友可以加微信:17575010159 相互讨论技术。若是帮助到了你什么,一定要记得点赞!因为这是对我最大的鼓励。文末…

Redis学习笔记一:基本安装和配置

1.安装  wget http://download.redis.io/releases/redis-3.2.3.tar.gz编译安装: tar xf redis-3.2.3.tar.gz cd redis-3.2.3 make && make install 配置: mkdir /etc/redis 建立配置文件存放目录 cp -a redis.conf /etc/redis/6379.conf 复制配…

vim -t 选项

vim -t 可以在 vim 启动时设置查找的函数名, 比如 $ vim -t start_kernel 就会直接跳转到 start_kernel 符号的位置。

姿态估计1-01:FSA-Net(头部姿态估算)-资源下载(前奏准备)

以下链接是个人关于FSA-Net(头部姿态估算) 所有见解,如有错误欢迎大家指出,我会第一时间纠正。有兴趣的朋友可以加微信:17575010159 相互讨论技术。若是帮助到了你什么,一定要记得点赞!因为这是对我最大的鼓励。文末附…

黑盒测试用例设计——PICT(QQ实践)

以QQ的状态设置来做一次实践。QQ用户可以对如下的状态方面的设置。后两张图是登录后的状态的可选项和鼠标键盘无动作后将状态切换至的可选项。默认的自动回复有三种,默认的快捷回复有四种。对于自动回复和快捷回复,用户都可以做增、删、改。登录状态: 我…