研究工作

主要针对机器人视觉感知、运动规划与视觉控制展开了研究。

1. 移动机器人视觉伺服(Visual Servoing of Mobile Robots)

研究挑战:视觉系统所引入的不确定性,如位姿估计应用场景受限、深度信息未知、摄像机参数未知、摄像机视场角受限等, 叠加移动机器人本身的非完整性运动学约束(早期经典的视觉伺服方法主要针对完整性约束工业机械臂),给移动机器人位姿估计与视觉控制器的设计带来了巨大的挑战。

主要结果
(1)  在位姿估计方面,提出了一种普适性强的高效视觉位姿估计方法,可适用于平面或立体场景,打破了传统视觉位姿估计方法仅能适用于单一场景的限制。此外,该方法无需矩阵分解等复杂运算,且仅使用3个特征点便可得到相对位姿的唯一解(2011 IEEE TRO).
(2) 在控制器设计方面,在摄像机与机器人之间的外参数与深度信息均未知的情况下,移动机器人视觉伺服本质上变为一类违反三角型结构约束条件的不确定非完整系统的控制难题。提出了一种提出了一种两阶段的自适应鲁棒视觉伺服控制器方法,并严格地证明了系统的稳定性(2017 IEEE TIE).
(3) 针对现有方法中控制参数对初始条件敏感的问题,设计了一种基于极坐标的自适应视觉伺服方法,该方法参数易于整定,得到了具有一定拟人行为的高效、自然轨迹 (2015 IJRNC)

代表性论文
[VS1] X. Zhang, Y. Fang, X. Liu. Motion-estimation-based visual servoing of nonholonomic mobile robotsIEEE Transactions on Robotics (TRO), 2011, 27(6): 1167-1175.
[VS2] X. Zhang, Y. Fang, B. Li, J. Wang,Visual servoing of nonholonomic mobile robots with uncalibrated camera-to-robot parametersIEEE Transactions on Industrial Electronics (TIE), 2017, 64(1): 390-400.
[VS3] X. Zhang, Y. Fang, N. Sun. Visual servoing of mobile robots for posture stabilization: from theory to experimentsInternational Journal of Robust and Nonlinear Control (IJRNC), 2015, 25(1): 1-15.
[VS4] X. Zhang, Y. Fang, Y. Zhang. Discrete-time control of chained non-holonomic systems. IET Control Theory and Applications, 2011, 5(4): 640-646.
[VS5] Y. Fang, X. Liu, X. Zhang. Adaptive active visual servoing of nonholonomic mobile robots. IEEE Transactions on Industrial Electronics (T-IE), 2012, 59(1): 486-497.
[VS6] B. Li, Y. Fang, X. Zhang. Visual servo regulation of wheeled mobile robots with an uncalibrated onboard camera, IEEE/ASME Transactions on Mechatronics, 2015, 21(5): 2330-2342.
[VS7] B. Li, Y. Fang, G. Hu, and X. Zhang, Model-free unified tracking and regulation visual servoing of wheeled mobile robots, IEEE Transactions on Control System Technology, 2016, 24(4): 1328-1339.

实验录像

        

[2011 TRO实验录像]                                                                                       [2017 TIE实验录像]

         

不同初始位姿下视觉伺服录像                                                                             2011全国智能缩微车比赛录像

2. 无人平台运动规划与自主导航(Motion planning and Autonomous Navigation)

运动规划,包括路径规划与轨迹规划,是机器人以及先进机电系统学界的基础核心问题与关键共性技术。如何同时确保实时性、完整性与最优性仍是运动规划的一大难题。

研究挑战一:无人自动化吊车平台是一种典型的欠驱动系统,在核电站、无人港口、恶劣工厂环境(如高温钢水包吊运)等均具有广泛的应用前景。一方面,为了保证安全性,需要吊车在运输过程中保持较小的摆动幅度。另一方面,为了保证运输效率,往往需要较快加减速,会引起负载货物的摆动。综上,效率与安全在一定程度上相互矛盾。为此,如何在多种安全性与系统物理约束下(包括最大允许摆角、终端无摆动、最大速度、最大加速度、最大加加速度jerk等约束),实现最高的运行效率?

主要结果一:针对无人欠驱动自动吊车平台,利用类凸优化(Quasi-Convex)的求解方法,解决了多约束下(包括运输过程中最大允许摆角、终端无摆动、最大速度、最大加速度、最大加加速度jerk等约束)欠驱动吊车最短时间运动规划问题(2014 IEEE TIE)。进一步,基于机器学习对最优轨迹进行回归拟合,在FPGA-DSP控制板上进行了实现,并开发了远程遥控,进行参数设置等,在32吨实际吊车上得到了应用。

研究挑战二:针对移动机器人与工业机械臂,一种常用的方法是解耦式运动规划方法,即首先根据任务要求与环境约束,规划出一条无碰的路径;在此基础上,进行沿已知路径的轨迹规划。美国密西根大学的K. G. Shin教授(IEEE Fellow)提出了一种数值积分(NI)方法,解决了最大电机力矩约束下工业机械臂最短时间规划问题,鉴于其重要的理论意义与明显的应用价值,获得了1987年TAC的Best Paper Award。然而,除最大力矩外,在多种状态约束与控制约束存在的情况下,如最大加速度、最大速度以及关节角约束等情况下,如何进行最优(乃至实时最优)的运动规划,仍是机器人及机电系统领域面临的一大难题。

主要结果二:面向机械臂与移动机器人,当力矩约束与速度约束同时存在时,给出并严格证明了现有基于数值积分的最优轨迹规划算法失败的两个充分条件。在此基础上,提出了新的基于切换弧的沿已知路径时间最优轨迹规划方法,并严格证明了算法的完整性(Completeness)与最优性(Optimality)。(2017 IEEE RAL)

代表性论文
[MP1] X. Zhang, Y. Fang, N. Sun. Minimum-time trajectory planning for underactuated overhead crane systems with state and control constraints. IEEE Trans. on Industrial Electronics, 2014, 61(12): 6915-6925.
[MP2] P. Shen, X. Zhang*, Y. Fang, Essential properties of numerical integration for time-optimal path-constrained trajectory planningIEEE Robotics and Automation Letters (RAL with ICRA option), 2017, 2(2): 888-895.  arXiv:1610.0288
[MP3] Y. Fang, B. Ma, P. Wang, X. Zhang. A Motion Planning Based Adaptive Control Method for an Overhead Crane System. IEEE Transactions on Control Systems Technology (T-CST), 2012, 20(1): 241-248.
[MP4] N. Sun, Y. Fang, X. Zhang, and Y. Yuan, Transportation task-oriented trajectory planning for underactuated overhead cranes using geometric analysis, IET Control Theory and Applications, vol. 6, no. 10, pp. 1410-1423, Jul. 2012.
[MP5] X. Zhang, Y. Li, Y. Fang. Implicit feedback stabilizer-based explicit trajectory planning of mobile robots with kinematic constraints, Proc. of 2014 IEEE International Conference on Robotics and Automation (ICRA), Hong Kong, 2014, 4600-4605.
[MP6] C. Chen, Y. He, C. Bu, J. Han, X. Zhang, Quartic Bezier curve based trajectory generation for autonomous vehicles with curvature and velocity constraints, Proc. of 2014 IEEE International Conference on Robotics and Automation (ICRA), 2014, 6108-6113.

实验录像

     

[2014 TIE 吊车模型最优轨迹规划实验录像]                                                      [32吨工业吊车最优轨迹规划实验录像]

[基于2017_IEEE RA-L得到的速度约束下时间最优轨迹规划结果:能够保证完整性、最优性、实时性]

     

[高动态环境下机器人鲁棒定位与运动规划]                                                              [移动机器人实时运动规划]

3. 面向监控任务的智能视觉感知 (Monitoring-Oriented Intelligent Visual Perception)

课题组面向机器人监控任务,对机器人智能视觉感知的两个基本问题进行了研究:(1)基于背景建模的动态目标检测;(2)面向场景覆盖的摄像机观测位姿规划。

研究挑战一: 在背景建模方面,如何表征复杂动态背景是一个核心研究问题。现有方法大多单单考虑空间约束,而对随时间场景一致连续变化的时空一致性约束缺乏描述;此外,如何设计合适的深层的网络结构获取对复杂背景更强的表征能力,需要进一步深入研究。

主要结果一:针对动态复杂背景建模问题,基于深度学习、多层自组织神经网络与马尔科夫场等思想,提出了融入时空约束的背景建模方法,为监控机器人对运动目标提取、识别等任务奠定了的基础。(2015 IEEE TIP, CMSP 2012)

研究挑战二: 三维场景的精细化监控覆盖面临三维环境模型数据量大的问题,此时摄像机观测位姿规划本质上是一个考虑综合指标的视觉场景覆盖优化问题,其复杂度为NP-hard。为此,现有方法大多基于贪心算法或者全局搜索方法(如粒子群方法、遗传算法等),由于三维场景数据量大、复杂度高,贪心算法性能较差,而全局优化方法极其耗时。

主要结果二:针对基于多摄像机网络的三维场景监控问题,充分考虑了图像分辨率、模糊度、视场角约束,提出了一种迭代式凸优化的视觉覆盖优化方法,能够高效地对目标场景进行全面的监控。(2015 IEEE TMECH)

代表性论文:
[VP1] Z. Zhao, X. Zhang*, Y. Fang. Stacked multilayer self-organizing map for background modeling, IEEE Transactions on Image Processing, 2015, 24(9): 2841-2850.[Project Homepage][Source code]
[VP2] X. Zhang, X. Chen, J. Alarcon, Y. Fang, 3-D model-based multi-camera deployment: a recursive convex optimization approach, IEEE/ASME Transactions on Mechatronics, 2015, 20(6): 3157-3169.
[VP3] Z. Zhao, T. Bouwmans, X. Zhang*, Y. Fang. A fuzzy background modeling approach for motion detection in dynamic backgrounds. International Conference on Multimedia and Signal Processing (CMSP2012), pp. 177-185, 2012. (Acceptance ratio: 24.08%) [Source code]
[VP4] X. Zhang, X. Chen, X. Liang, Y. Fang. Distributed coverage optimization for deployment of directional sensor networks, IEEE Conference on Decision and Control (CDC), 2015, Osaka, Japan, pp. 246-251.
[VP5] 张雪波, 路晗, 方勇纯,李宝全. 室外环境下PTZ摄像机全自动标定技术及其应用[J]. 机器人, 2013, 35(4): 385-393. (期刊网站首页图片新闻推荐阅读)。[实验录像]
X. Zhang, H. Lu, FANG Yongchun etc. An Automatic Calibration Method for Outdoor PTZ Cameras and Its Applications[J]. ROBOT, 2013, 35(4): 385-393.

实验录像

    

[2012 CMSP 测试视频]                                                                                   [2015 IEEE TIP 测试视频-Highway]

  

[2015 IEEE TIP 测试视频-Fountain]                                                                   [2015 IEEE TIP 测试视频-Traffic]

 

[2015 IEEE TIP 测试视频-Fall]                                                                             [2015 IEEE TIP 测试视频-Lakeside]

    

[2013《机器人》-PTZ相机全自动标定与身高测量软件视频]                              [基于激光的直线检测方法–用于激光SLAM与定位]

4. 全方位移动机器人NK-OMNI I测试视频

   

 [全方位移动机器人折线运动测试录像]                                                           [全方位移动机器人沿直线旋转运动测试录像]