论文部分内容阅读
摘要：基于深度学习及IMU的SLAM技术正广泛应用于AR、自动驾驶、自动巡检等热点领域，本文介绍了基于深度学习及IMU的SLAM技术的相关特点、技术分类、技术主题、专利转让，便于更多的机构制定专利策略，开发基于深度学习及IMU的SLAM技术的产品。
关键词：SLAM;IMU;深度学习;专利分析
引言
同时定位与地图构建SLAM，全称为simultaneouslocalization and mapping，其是指搭载特定传感器，在运动过程中建立环境的模型，目的是同时解决定位和地图构建这两个问题。如果传感器为相机，就叫做视觉SLAM。视觉SLAM在运动过快时，由于两帧重叠区域太少，相机会出现运动模糊[1]。
惯性导航IMU可以测量传感器的角速度及加速度，可以在相机出现运动模糊数据无效时，保持一个较好的位姿估计，因而与视觉SLAM有良好的互补性[2]。
另一方面，在运动过程中，如果采用深度学习对物体分割、标签，会大幅度提升SLAM识别物体的准确性。
本文研究方法以incopat专利平台为分析数据来源，限定在基于深度学习及IMU的SLAM专利这一个技术分支进行分析。通过检索并做数据标引和清洗，数据集共计有263个专利，其中最近5年的专利呈现高速增长态势，且集中度高，占比为92%。
1技术构成
表1展示的是基于深度学习及IMU的SLAM专利技术在各技术方向的数量分布情况。通过该分析可以了解目前市场上的专利创新集中在图像处理、测量、数据识别等几个方向，前3者占比51%。
进一步的，通过分析技术构成功效可知，市场专利主要布局在G01C分类、G06T分类的精度提高、效率提高等方面。美国的专利主要集中在G06K分类上面，中国的专利主要集中在G01C分类上面。
而随着基础设施逐步夯实，从技术构成的角度来看，未来焦点关注在建模、数据处理、无线电定向、协同控制等技术手段也是一个好的方向。
2技术主题分析
在本文数据集中，中国申请专利占比约70%，美国次之。美国一些重要的专利主要集中在VR虚拟现实相关技术主题，国内相比而言专利覆盖主题范围较广，但通过SLAM实现VR这一方面技术储备不及美国。
值得注意的是，国内大学在本领域有浓厚的兴趣，专利申请占比接近三分之一。而研究高校的技术路线图我们发现，高校聚焦点从2018年的本领域的一些定位技术点，扩展到2019的地图融合技术面，再发展到2020的具体技术应用场景，这标志着不就将迎来基于深度学习及IMU的SLAM技术的广泛商用化[3]。比较典型的专利有：2018年，CN109211241A基于视觉SLAM的无人机自主定位方法、CN109166149A一种融合双目相机与IMU的定位与三维线框结构重建方法与系统、CN108921893A一种基于在线深度学习SLAM的图像云计算方法及系统、CN108711166A一种基于四旋翼无人机的单目相机尺度估计方法等;2019年，CN110097620A基于图像和三维激光的高精度地图创建系统、CN109934868A一种基于三维点云与卫星图匹配的车辆定位方法、CN111045017A一种激光和视觉融合的巡检机器人变电站地图构建方法等;2020年，CN111660313A基于ROS和人工智能算法的超市导购机器人、CN111652155A一种人体运动意图的识别方法及系统、CN111583136A一种救援场景下自主移动平台同时定位与建图方法、CN111288989A一种小型无人机视觉定位方法、CN111239790A一种基于5G网络机器视觉的车辆导航系统。
在产业界，相比与高校而言，比较注重基于深度学习及IMU的SLAM应用于导航技术以及自动化方面的发展。例如：CN110297491A基于多个结构光双目IR相机的语义导航方法及其系统、CN110275540A用于扫地机器人的语义导航方法及其系统等。
从年份来看，2018年，申请人开始研究无人机、机器人、自动驾驶等方面技术主题;2019年，申请人着重新增了語义识别、目标检测跟踪、三维场景方面的技术主题;2020年，随着应用逐步扩展，申请人着重新增了里程计、MR眼镜等电子设备方面的技术主题。例如有CN112556719A一种基于CNN-EKF的视觉惯性里程计实现方法、CN112181152A基于MR眼镜的广告推送管理方法、设备及应用等[4]。
3专利主要申请人分析
基于深度学习及IMU的SLAM技术主要申请人专利申请数表前5名有：北京航空航天大学、华南理工大学、浙江大学、南京航空航天大学、MAGIC LEAP INC，排名靠前的是国内的高校。
值得关注的是，国内的运营商也在这方面有一定的布局，例如电力系统运营商。布局的专利申请有一种基于CNN-EKF的视觉惯性里程计实现方法、一种神经网络的高鲁邦性无人机电力设备自动巡检系统、一种基于PCA的加权融合移动机器人定位方法一种智能寻找杆塔方法及系统、一种无人车队控制系统及其控制方法、一种面向电力巡检场景的定位方法及系统等。可见电力运营商主要关注的焦点在于电力杆塔智能巡检等方面[5]。
在智能交通方面，金龙联合汽车工业（苏州）有限公司、上海国际汽车城（集团）有限公司、上海汽车集团股份有限公司、南昌智能新能源汽车研究院等均有本领域的专利申请布局。
国外这领域有专利布局的有MAGIC LEAP INC、Carla R Gillett、TUSIMPLE等公司。其中MAGIC LEAP是一家AR科技公司，Magic Leap股东包括谷歌、阿里、高通、华纳兄弟、KKR，摩根斯坦利等。其技术核心为采用数字光场技术的头戴式显示器。
4专利转让分析 本领域专利申请共有38件专利发生了转让行为，占比为14.4%，这说明本领域专利交易比较活跃，共计有32个主体发生了专利收购行为，其中有7件为国内专利主体受让。收购专利活跃的公司前3名有FACEBOOK TECHNOLOGIES、TUSIMPLE、CITIBANK等公司。
其中FACEBOOK 公司收购的专利有Deep image localization、METHODS AND APPARATUS FOR PREDICTING MUSCULO- SKELETAL POSITION INFORMATION USING WEARABLE AUTONOMOUS SENSORS、REAL-TIME SPIKE DETECTION AND IDENTIFICATION、SYSTEM AND METHOD FOR MEASURING THE MOVEMENTS OF ARTICULATED RIGID BODIES等。这说明新一代互联网运营商脸谱公司正在加大对基于深度学习及IMU的SLAM技术应用可穿戴设备的布局。
本领域专利申请转让涉及的技术主题热点之一聚焦在自动驾驶。例如中国的专利申请有：一种自动驾驶对象探测和定位系统及方法、干扰环境下运动目标的定位方法、系统及电子装置、移动机器人组合式导航方法及装置、一种基于二元控制系统的智能农机、一种自动驾驶系统及方法、一种基于智能网联系统的自动驾驶货车运营控制系统等。国外的专利申请有：METHOD AND SYSTEM FOR IMPAIRED DRIVING DETECTION，MONITORING AND ACCIDENT PREVENTION WITH DRIVING HABITS等。
MAGIC LEAP公司有2件早期的专利转让给了CITIBANK（花旗银行），分别是FACE MODEL CAPTURE BY A WEARABLE DEVICE、METHODS AND SYSTEMS FOR CREATING VIRTUAL AND AUGMENTED REALITY等，持有1件专利为：METHODS AND SYSTEMS FOR CREATING VIRTUAL AND AUGMENTED REALITY。
考虑到基于深度学习及IMU的SLAM技术集中在2019年、2020年。因此说明该技术应用目前已经进入爆发期，相关市场主体正在快速确立产品原型，进行专利布局。
5结论
本文详细探讨了基于深度学习及IMU的SLAM技术这一细分领域的专利布局、技术主题、专利转让情况。经过分析发现，基于深度学习及IMU的SLAM技术正广泛应用于AR、自动驾驶、自动巡检等热点领域，随着5G网络快速商业化，基于深度学习及IMU的SLAM技术亦将快速商业化。
參考文献
[1]冯爱迪.基于学习方法的高精度SLAM算法研究[D].哈尔滨工业大学，2018.
作者简介：陈军（1975-），男，汉族，湖南隆回县，大专，工程师，高级咨询师，研究方向：5G、专利咨询。
关键词：SLAM;IMU;深度学习;专利分析
引言
同时定位与地图构建SLAM，全称为simultaneouslocalization and mapping，其是指搭载特定传感器，在运动过程中建立环境的模型，目的是同时解决定位和地图构建这两个问题。如果传感器为相机，就叫做视觉SLAM。视觉SLAM在运动过快时，由于两帧重叠区域太少，相机会出现运动模糊[1]。
惯性导航IMU可以测量传感器的角速度及加速度，可以在相机出现运动模糊数据无效时，保持一个较好的位姿估计，因而与视觉SLAM有良好的互补性[2]。
另一方面，在运动过程中，如果采用深度学习对物体分割、标签，会大幅度提升SLAM识别物体的准确性。
本文研究方法以incopat专利平台为分析数据来源，限定在基于深度学习及IMU的SLAM专利这一个技术分支进行分析。通过检索并做数据标引和清洗，数据集共计有263个专利，其中最近5年的专利呈现高速增长态势，且集中度高，占比为92%。
1技术构成
表1展示的是基于深度学习及IMU的SLAM专利技术在各技术方向的数量分布情况。通过该分析可以了解目前市场上的专利创新集中在图像处理、测量、数据识别等几个方向，前3者占比51%。
进一步的，通过分析技术构成功效可知，市场专利主要布局在G01C分类、G06T分类的精度提高、效率提高等方面。美国的专利主要集中在G06K分类上面，中国的专利主要集中在G01C分类上面。
而随着基础设施逐步夯实，从技术构成的角度来看，未来焦点关注在建模、数据处理、无线电定向、协同控制等技术手段也是一个好的方向。
2技术主题分析
在本文数据集中，中国申请专利占比约70%，美国次之。美国一些重要的专利主要集中在VR虚拟现实相关技术主题，国内相比而言专利覆盖主题范围较广，但通过SLAM实现VR这一方面技术储备不及美国。
值得注意的是，国内大学在本领域有浓厚的兴趣，专利申请占比接近三分之一。而研究高校的技术路线图我们发现，高校聚焦点从2018年的本领域的一些定位技术点，扩展到2019的地图融合技术面，再发展到2020的具体技术应用场景，这标志着不就将迎来基于深度学习及IMU的SLAM技术的广泛商用化[3]。比较典型的专利有：2018年，CN109211241A基于视觉SLAM的无人机自主定位方法、CN109166149A一种融合双目相机与IMU的定位与三维线框结构重建方法与系统、CN108921893A一种基于在线深度学习SLAM的图像云计算方法及系统、CN108711166A一种基于四旋翼无人机的单目相机尺度估计方法等;2019年，CN110097620A基于图像和三维激光的高精度地图创建系统、CN109934868A一种基于三维点云与卫星图匹配的车辆定位方法、CN111045017A一种激光和视觉融合的巡检机器人变电站地图构建方法等;2020年，CN111660313A基于ROS和人工智能算法的超市导购机器人、CN111652155A一种人体运动意图的识别方法及系统、CN111583136A一种救援场景下自主移动平台同时定位与建图方法、CN111288989A一种小型无人机视觉定位方法、CN111239790A一种基于5G网络机器视觉的车辆导航系统。
在产业界，相比与高校而言，比较注重基于深度学习及IMU的SLAM应用于导航技术以及自动化方面的发展。例如：CN110297491A基于多个结构光双目IR相机的语义导航方法及其系统、CN110275540A用于扫地机器人的语义导航方法及其系统等。
从年份来看，2018年，申请人开始研究无人机、机器人、自动驾驶等方面技术主题;2019年，申请人着重新增了語义识别、目标检测跟踪、三维场景方面的技术主题;2020年，随着应用逐步扩展，申请人着重新增了里程计、MR眼镜等电子设备方面的技术主题。例如有CN112556719A一种基于CNN-EKF的视觉惯性里程计实现方法、CN112181152A基于MR眼镜的广告推送管理方法、设备及应用等[4]。
3专利主要申请人分析
基于深度学习及IMU的SLAM技术主要申请人专利申请数表前5名有：北京航空航天大学、华南理工大学、浙江大学、南京航空航天大学、MAGIC LEAP INC，排名靠前的是国内的高校。
值得关注的是，国内的运营商也在这方面有一定的布局，例如电力系统运营商。布局的专利申请有一种基于CNN-EKF的视觉惯性里程计实现方法、一种神经网络的高鲁邦性无人机电力设备自动巡检系统、一种基于PCA的加权融合移动机器人定位方法一种智能寻找杆塔方法及系统、一种无人车队控制系统及其控制方法、一种面向电力巡检场景的定位方法及系统等。可见电力运营商主要关注的焦点在于电力杆塔智能巡检等方面[5]。
在智能交通方面，金龙联合汽车工业（苏州）有限公司、上海国际汽车城（集团）有限公司、上海汽车集团股份有限公司、南昌智能新能源汽车研究院等均有本领域的专利申请布局。
国外这领域有专利布局的有MAGIC LEAP INC、Carla R Gillett、TUSIMPLE等公司。其中MAGIC LEAP是一家AR科技公司，Magic Leap股东包括谷歌、阿里、高通、华纳兄弟、KKR，摩根斯坦利等。其技术核心为采用数字光场技术的头戴式显示器。
4专利转让分析 本领域专利申请共有38件专利发生了转让行为，占比为14.4%，这说明本领域专利交易比较活跃，共计有32个主体发生了专利收购行为，其中有7件为国内专利主体受让。收购专利活跃的公司前3名有FACEBOOK TECHNOLOGIES、TUSIMPLE、CITIBANK等公司。
其中FACEBOOK 公司收购的专利有Deep image localization、METHODS AND APPARATUS FOR PREDICTING MUSCULO- SKELETAL POSITION INFORMATION USING WEARABLE AUTONOMOUS SENSORS、REAL-TIME SPIKE DETECTION AND IDENTIFICATION、SYSTEM AND METHOD FOR MEASURING THE MOVEMENTS OF ARTICULATED RIGID BODIES等。这说明新一代互联网运营商脸谱公司正在加大对基于深度学习及IMU的SLAM技术应用可穿戴设备的布局。
本领域专利申请转让涉及的技术主题热点之一聚焦在自动驾驶。例如中国的专利申请有：一种自动驾驶对象探测和定位系统及方法、干扰环境下运动目标的定位方法、系统及电子装置、移动机器人组合式导航方法及装置、一种基于二元控制系统的智能农机、一种自动驾驶系统及方法、一种基于智能网联系统的自动驾驶货车运营控制系统等。国外的专利申请有：METHOD AND SYSTEM FOR IMPAIRED DRIVING DETECTION，MONITORING AND ACCIDENT PREVENTION WITH DRIVING HABITS等。
MAGIC LEAP公司有2件早期的专利转让给了CITIBANK（花旗银行），分别是FACE MODEL CAPTURE BY A WEARABLE DEVICE、METHODS AND SYSTEMS FOR CREATING VIRTUAL AND AUGMENTED REALITY等，持有1件专利为：METHODS AND SYSTEMS FOR CREATING VIRTUAL AND AUGMENTED REALITY。
考虑到基于深度学习及IMU的SLAM技术集中在2019年、2020年。因此说明该技术应用目前已经进入爆发期，相关市场主体正在快速确立产品原型，进行专利布局。
5结论
本文详细探讨了基于深度学习及IMU的SLAM技术这一细分领域的专利布局、技术主题、专利转让情况。经过分析发现，基于深度学习及IMU的SLAM技术正广泛应用于AR、自动驾驶、自动巡检等热点领域，随着5G网络快速商业化，基于深度学习及IMU的SLAM技术亦将快速商业化。
參考文献
[1]冯爱迪.基于学习方法的高精度SLAM算法研究[D].哈尔滨工业大学，2018.
作者简介：陈军（1975-），男，汉族，湖南隆回县，大专，工程师，高级咨询师，研究方向：5G、专利咨询。