LiveScan3D: A Fast and Inexpensive 3D Data Acquisition System for Multiple Kinect v2 Sensors

LiveScan3D:用于多个Kinect v2传感器的快速、低成本的3D数据采集系统

源代码GitHub地址:https://github.com/MarekKowalski/LiveScan3D-Hololens

论文下载地址:http://home.elka.pw.edu.pl/~mkowals6/lib/exe/fetch.php?media=wiki:livescan3d_poster.pdf

LiveScan3D-Hololens

这个应用程序允许传输点云到HoloLens并呈现它们。和我们的另一个应用,LiveScan3D,它可以用来查看实时捕捉的3D数据(例如远程呈现)或预先录制的数据。

如何使它和LiveScan3D一起运行

首先,你需要下载LiveScan,并让它运行。完成此操作后,打开LiveScan即可,连接一个客户端并打开实时视图窗口(这是该窗口的内容传输到Hololens)。接下来在与服务器相同的机器上启动Unity应用程序,如果一切正常,它应该工作。如果它不起作用,请告诉我,我会试着解决它。

如果你做到了这一点,让它在Hololens上工作应该很简单,只要确保你使用XAML UWP构建类型而不是D3D(这是触摸键盘所要求的)来部署应用程序。一旦你在Hololens上部署并启动应用程序,你所需要做的就是输入服务器的IP号,你就会看到点云。如果有问题尝试在Release模式下重新构建网络通信,那么产生的dll文件应该自动复制到/assets/plugin/x86/

怎么样控制场景

这个场景可以移动、缩放和旋转在Y轴上,使用以下语音命令选择模式:

移动-场景可以使用点击和按住手势来移动。

旋转-这个场景可以通过使用点击和保持手势来旋转,并水平移动手。

扫描二维码关注公众号,回复: 3328270 查看本文章

缩放-场景可以使用轻拍和按住手势,并水平移动手。

重置-将场景重新设置为原来的位置,旋转和缩放。

文章翻译

引言:我们提出了一种利用多个Kinect v2传感器进行实时3D采集的方法。与使用单个传感器的方法不同,比如[1],我们可以同时记录多个视点的动态场景。

    我们的开源资源1系统允许在任何物理配置中使用任意数量的传感器。例如,一个面向内部的配置,可以用来捕获整个对象,或者一个面向外部的配置,允许捕捉3D“全景”视图。

    虽然已经为Kinect v1提出了类似的系统[2],但就我们所知,Kinect v2尚未提出。

系统描述:由于只有一个Kinect v2可以连接到一台机器,我们为每个传感器使用一台计算机。 每台计算机都运行一个客户端应用程序,该应用程序连接到管理所有传感器的服务器。 服务器允许用户执行校准,过滤,同步帧捕获,以及可视化获得的点云的实时情况。

    只有在知道所有设备的姿势时,才能实现来自多个Kinect的数据融合。 姿势通过两步校准程序估算。 第一步使用视觉标记执行粗略估计。 第二步使用迭代最近点来细化最终的姿势。

研究结果:我们展示了三个实验的结果,两个使用了内部配置,一个使用了外部配置。这两个配置如图1所示。所有实验的记录速度是25 fps。

    图2显示了一个在面向外部配置中使用三个设备捕获的点云。注意,墙的某些部分由两个不同的点云融合,这显示出了良好的排列(校准?)。

    图3和图4显示了LiveScan3D使用4个Kinect v2传感器记录的动态序列的帧。注意,当物体的某些部分由于运动而变得模糊时,它们的形状被正确地记录下来。这证明了在设备之间帧捕捉的良好同步。

参考文献:

[1] S. Izadi et al. Kinectfusion: Real-time 3d reconstruction and interaction using a moving depth camera. ACM Symposiumon User Interface Software and Technology, October 2011.
[2] J. Tong, et al. Scanning 3d full human bodies using kinects. Visualization and Computer Graphics, IEEE Transactions on, 18(4):643–650, April 2012.

猜你喜欢

转载自blog.csdn.net/GGlance/article/details/82798915