Student Projects

cancel
Showing results for 
Search instead for 
Did you mean: 

AIR_MAP

Contact Information

Competition Year: 2016

University: Harbin Institute of Technology

Team Members (with year of graduation): Yajun Wu2017)、Qingyang Xie2018)、Sennan Kong2019Lei He2017)、Zhen Ni2017

Faculty Advisers: Liyan Qiao

Email Address: Cherie_WuYajun@yahoo.com

Submission Language: Chinese

Project Information

Title: AIR MAP—QuaRotor Space Detecto

Description:  A instrument which can building 3D modelinng with Kinect V2 and Ladar by SLAM Theory. The quarotor is equiped with Kinect V2 and Ladar, so we can build a model without the limitation of heigh. Controlling by our PC, we can send the control command to our myRIO, which can our quarotor and get next control command to our xu4. Xu4 is our main control panel, the software concerning about 3D modeling is running on it. It can easily to build 3D modeling of builings in the ourdoors.

Products: labview2015,NI myRIO

The Challenge: The live transmission of our modeling. The harsh conditions of outdoors. The indoor modeling to detect a building’s layout.

The Solution:

1.整体方案

我们采用的方案是基于机器视觉的3D测绘四旋翼,如图

IMG_2759.jpg

四旋翼具有低成本、操作灵活、易于学会操纵飞行,我们决定将四旋翼作为 搭载机器视觉测量设备的飞行平台。至于机器视觉测量设备,我们决定采用微软的Kinect V2,即3D体感摄像机,因为Kinect具有即时动态捕捉功能。

方案的工作过程如下:搭载Kinect的四旋翼启动飞行之后采集周围环境的数据并实时传输到电脑控制端,电脑上处理数据后将规划好的飞行路径反馈给四旋翼,以此实现四旋翼的自主飞行。

四旋翼搭载的Kinect配合内置硬件视频处理引擎的开发板 ODROID-XU4在 飞行过程中获取建筑物的包含图像深度信息的数据流, ODROID-XU4控制板运行 rtabmap 软件来进行建模并存储这些信息,数据采集回来之后,在电脑端用LabVIEW程序处理数据,最终构建出建筑物精确的3D模型。

我们在电脑中增加了GPS定位功能和路径规划模块,可以通过LabVIEW处理 实时传回来的视频信息来控制四旋翼,对我们选中的物体进行扫描建模,这一功 能能够在未来进行进一步的拓展,把我们的AIR MAP的触角深入到建筑物的内部,进行建筑物内部的3D建模,并搭载红外人体识别模块,对内部的人类活动也进 行记录。

2.硬件、软件

2.1测绘平台

我们要测绘的建筑物往往很庞大,而且建筑物的高度不一、户外环境波动大。 四轴飞行器由于航拍的流行和开源项目的推动,目前十分成熟。鉴于四旋翼 具有以下特点: 结构简单、仅需机架、电机、螺旋桨和飞控即可组装完成,易于搭配、 购买和组装调试; 零件均已商品化,成本低廉; 由于搭配自由,四旋翼也可以按需要进行功能扩展; 四旋翼的飞行操作难度较低,易于入门。 因此我们选择了四旋翼作为我们的飞行测绘平台。我们综合了载重能力、续航能力和四旋翼本身的灵活性等因素,经过多次的计算和试验,选择了型号为飞越 650 四旋翼,其中电机选用的是 3508-kv380 的 电机,保证足够的动力;螺旋桨选择了 13 寸桨,保证有足够的升力;电池选用 了 4S-10000mA 的电池,保障它的续航能力。

2.2测绘工具

QQ图片20160531151657.jpg

kinect

Kinect 有三个镜头,中间的镜头是 RGB 彩色摄影机,用来采集彩色图像。 左右两边镜头则分别为红外线发射器和红外线 CMOS 摄影机所构成的 3D 结构光 深度感应器,用来采集深度数据。彩色摄像头最大支持 1280*960 分辨率成像, 红外摄像头最大支持 640*480 成像。Kinect 还搭配了追焦技术,底座马达会随 着对焦物体移动跟着转动。它包含手势识别和跟踪功能、可自动对齐深度图像和 RGB 图像,全身跟踪、关节旋转角度计算。

激光雷达 UBG-04LX-F01,它是日本 HOKUYO 公司出产的。它具有高精度,高 分辨率,宽视场的优点,非常适用于机器人在未知的环境中自主移动,它紧凑型 的设计可以节约安装空间,轻重量和低功耗可以节约更多的能源,增加续航时间, 它 28s 的扫描时间,比 URG-04LX 快四倍,适合于高速移动机器人,如我们使用 的四旋翼。

综上所诉,利用 Kinect 的摄像头和激光雷达的精度和灵敏度,我们使用了 Kinect V1 与激光雷达结合的方式,让建模更加细致,所采集到的数据更加精确, 建模效果更加完善。

2.3主板

我们采用 ODROID-XU4开发板来做主控板, odroid-xu4是新一代更强大的计算设备,更节能的硬件和一个小的形式因素。提供开源的支持,董事会可以运行各种风味的Linux,包括最新的Ubuntu 15.04和Android 4.4 KitKat 5棒棒糖通过实施eMMC 5,USB 3和千兆以太网接口,odroid-xu4拥有惊人的数据传输速度,这一特点是越来越需要支持先进的处理能力在ARM设备。我们的软件 rtabmap 正是 Ubuntu 系统下的软件。经过实际的实验,我们发现用它来搭载我们的软件,足够满足控制 Kinect 和激光雷达的需求。

QQ图片20160531151715.jpg

                         图 ODROID-XU4主板

2.4NI myRIO

作为一款配备NI工业级标准可重配置I/O (RIO) 技术的产品,NI myRIO使我们可以利用双核ARM Cortex-A9的实时性能以及Xilinx FPGA可定制化I/O。它的便携性、无缝软件体验以及丰富的配套资源和指导书,使我们能在较短时间内就可以实现完整的嵌入式工程项目。所以我们使用NI myRIO用来进行飞行控制,何电脑进行通信,控制四旋翼飞行给主板xu4发送指令。

QQ图片20160531151726.jpg  图NI myRIO

2.5建模软件

SLAM 是指机器人依靠自身传感器在未知环境中获得感知信息,递增地创建 周围环境的地图,同时利用创建的地图实现自主定位。Rtabmap 算法整合了 SLAM 领域里面的技术:图像特征、回环检测、点云、图优化等,是一个全面优秀的程 序。而且,它是开源的软件,所以非常方便我们根据自己的需求进行修改和调参, 在它的代码上继续开发。它不仅兼容不同的平台,而且具有不同语言的接口,非 常容易调用。

目前,它能使用 Kinect 和激光雷达,建成 3D 的实物模型,加上我们对它的 模型进行的去噪、平滑,表面重建等一系列处理,可以去除来原始模型中的一些 杂质和一些无用点,最终能够获得比较精确的 3D 模型。

2.6产品界面

我们决定使用美国 NI 公司的 LabVIEW 软件,LabVIEW 是 NI 公司推出的一种 通用虚拟仪器开发软件,它包含了丰富的功能函数库和完备的总线设备驱动程 序。LabVIEW 的最大特点是其基于图形(Graphics)的编程方式。LabVIEW 采用了 框图而非传统的文本方式的编程方法,这种编程方式强调信号处理的实际过程, 编程简单,调试方便。LabVIEW 虚拟仪器软件是当今世界最流行的一种仪器构成和检测控制方案,目前国内外大量先进的测控系统都采用其作为开发平台。

该软件强大的能力可以方便的编写对主控板的控制程序,同时拥有极其人性 化的操作界面。我们利用 LabVIEW 编写出一个可视化,便于用户操作的操作界面, 此界面的视觉效果和用户感受都比较好。

3.产品视频链接

https://youtu.be/3n3ds0sY6pE

4.Attach Poster

QQ图片20160531151736.jpg

                  零部件说明

QQ图片20160516192526.jpg

                            用户界面


QQ图片20160531151823.jpg

                  后面板程序图


                                    B2)32LQMFI24ZRD(MVS7%1C.png

产品海报

5.Nominate My Professor

He is very good at LabVIEW and everytime I run into trouble, I would choice to talk with him. He would get me introduction in the train of thought. He ofter shares us with the latest information about high-technoly and LabVIEW, which I think it very helpful to lead us to frontiers.

Download All
Contributors