论文部分内容阅读
摘 要：随着城市生活节奏的加快，人们对于自动化设备和智能家居的需求越来越多。如智能扫地机器人[1]，智能家居化空调[2]，洗鞋机[3-4]。传统的洗鞋机仅从清洗和消毒的角度考虑了洗鞋机的实用性，并没有考虑鞋的材质，有些鞋子需精细护理，若对所有鞋子进行相同方式的清洗，可能会对做工精细的鞋子形成磨损。本文以Jetson嵌入式系统为核心，基于OpenCV、TensorFlow的组合式框架，并结合多轴机器臂，设计了一种可以识别鞋子材质类型，并根据这些类型使用指定的方式清洗保养的洗鞋机。
关键词：洗鞋机;OpenCV;图像处理;神经网络;算法
1. Jetson简介
Jetson是一款由Nvidia设计的新型SoC，它的GPU计算能力强大，功耗较低，拥有Wi-Fi、摄像头接口和GPIO输出接口，最新版的还有两个摄像头接口。现有的洗鞋机中大多使用80C51和STM32系列的芯片进行控制[5]，若需实现分类和识别部分，使用Jetson Nano嵌入式系统不仅可以控制机械臂，还可以在本地端识别鞋子的类型，并能根据新添加进来的鞋子训练神经网络，生成更多材质的鞋子类型，进而使用合适的方案清洗，实现所设计的功能。
2. 设计部分
机器设计部分参考了文献[6]的部分设计，整个洗鞋机包括：Jetson嵌入式及配备的摄像头模块、Jetson与外设的通信模块、电机模块和外设模块、伸缩支架、多种类洗涤剂、烘干风扇、多种类毛刷、清洗仓。
洗鞋机可进行上传云端功能、清洗烘干并存放在存储箱中等待客户取走等流程。若洗鞋机检测到物品不属于认识的任一类鞋子，洗鞋机会判断是否为鞋子，若不是则会把鞋子退返，否则洗鞋机会把鞋子的材质上报云端，待云端发送指令或根据洗鞋方式执行一个最佳的清洗流程。完成流程后，洗鞋机询问云端或机主是否需要待机。若不需待机，洗鞋机继续工作。在需要节省功耗时，洗鞋机会进入待机模式，只有洗鞋机收到需要工作、启动的指令才会被唤醒。
3.识别算法
在本文的识别部分里使用开源的OpenCV库来识别鞋子的基本类型，OpenCV库可以调用Jetson的摄像头模块拍摄鞋子图像，并用相关算法判断鞋子类型，不同材质的灰度分布特性不同，可使用不同模板检测鞋子材质、类型相关度。
3.1 余弦灰度相似度算法
余弦灰度相似度算法利用灰度间相似性判断图像相似性[7]，借助直方图灰度分布相似性确定鞋子类别，将测试集和模板集的余弦灰度相似算法记作下式：
（1）
式中 是模板灰度级向量， 是测试鞋子灰度级向量，当 和 的图像材质较为相似的时候， 将趋近于1，θ将趋近于0°。否则， 将趋近于0，而θ将趋近于90°。基于以上分析，定义以下的准则以判断鞋子材质分类。
（2）
（3）
当测试材质 对应模板材质 的余弦相似度大于阈值t时，材质 被归为材质 类，后续部分加入了神经网络部分来辅助判别鞋子的信息。对于材质不相似，灰度相似的图片，该算法可以进行较精确的分类，只要合理地设置阈值，洗鞋机就能正确地进行分类。
3.2 TensorFlow分类算法
当OpenCV识别结果与所有类别鞋子不相似时，使用基于TensorFlow的Shoe Classifier[8]神经网络识别，此方式依赖Jetson的GPU模块，功耗较高，若使用余弦灰度相似度算法，设定洗鞋机尽可能不使用TensorFlow。在实际訓练中[8]，训练次数达到25000次后，精确度已达到90%左右。因此，洗鞋机只需要在云端训练好权重，将这个权重文件输入给Jetson核心板即可识别。
4. 结论
相比于传统洗鞋机使用的单片机和STM32系统，基于Jetson嵌入式处理器方案具有很多性能上的优势。但是Jetson嵌入式系统的成本相对较高，在后续的工作中，需要考虑成本和性能的权衡问题。
参考文献
[1] 薛慧心. 智能家庭扫地机器人设计原理研究与分析[J]. 信息技术，2014（11）：204-206.
[2] 周庆和. 智能家居空调控制系统的设计[J]. 江西建材，2016（15）：9-10.
[3] 张丽. 一种新型洗鞋机的设计[J]. 装备制造技术，2011，000（012）：159-160.
[4] 李国铭，刘任，雷佩红，等. 新型洗鞋机：CN.
[5] 谢嘉诚，安小雪，梁逸波，等. 一种新型自动布鞋洗鞋机的设计与制作[J]. 科技视界，2018，000（008）：262-263.
[6] 张敏，王亮，谢永召，等. 小型洗鞋机的机械机构设计[C]，全国机械设计年会. 2009.
[7] 刘英伟，秦永彬. 基于余弦相似性的m-类分类器设计与算法实现[J]. 计算机与数字工程，2014，042（003）：351-354.
[8] Deverall J，Lee J，Ayala M. Using generative adversarial networks to design shoes：the preliminary steps[J]. CS231n in Stanford，2017.
基金项目：本文系四川省教育厅2019年规划课题《2019年四川省大学生创新创业训练项目》（课题批准号：30800-2019DCXM134）的系列研究成果之一
作者简介：向宇涛（1999.7）男，汉族，四川南充人，成都理工大学本科生 研究方向：人工智能、地质勘探;
陈锦（2002.10）女，汉族，广东惠州人，成都理工大学本科生 研究方向：通信工程、信号处理;
苗靖（1999.6）男，汉族，山西太原人，成都理工大学本科生 研究方向：嵌入式系统、图像处理;
林凡强（1978.5）男，汉族，江苏连云港人，成都理工大学博士，成都理工大学，副教授，研究方向：人工智能，地质勘探。
关键词：洗鞋机;OpenCV;图像处理;神经网络;算法
1. Jetson简介
Jetson是一款由Nvidia设计的新型SoC，它的GPU计算能力强大，功耗较低，拥有Wi-Fi、摄像头接口和GPIO输出接口，最新版的还有两个摄像头接口。现有的洗鞋机中大多使用80C51和STM32系列的芯片进行控制[5]，若需实现分类和识别部分，使用Jetson Nano嵌入式系统不仅可以控制机械臂，还可以在本地端识别鞋子的类型，并能根据新添加进来的鞋子训练神经网络，生成更多材质的鞋子类型，进而使用合适的方案清洗，实现所设计的功能。
2. 设计部分
机器设计部分参考了文献[6]的部分设计，整个洗鞋机包括：Jetson嵌入式及配备的摄像头模块、Jetson与外设的通信模块、电机模块和外设模块、伸缩支架、多种类洗涤剂、烘干风扇、多种类毛刷、清洗仓。
洗鞋机可进行上传云端功能、清洗烘干并存放在存储箱中等待客户取走等流程。若洗鞋机检测到物品不属于认识的任一类鞋子，洗鞋机会判断是否为鞋子，若不是则会把鞋子退返，否则洗鞋机会把鞋子的材质上报云端，待云端发送指令或根据洗鞋方式执行一个最佳的清洗流程。完成流程后，洗鞋机询问云端或机主是否需要待机。若不需待机，洗鞋机继续工作。在需要节省功耗时，洗鞋机会进入待机模式，只有洗鞋机收到需要工作、启动的指令才会被唤醒。
3.识别算法
在本文的识别部分里使用开源的OpenCV库来识别鞋子的基本类型，OpenCV库可以调用Jetson的摄像头模块拍摄鞋子图像，并用相关算法判断鞋子类型，不同材质的灰度分布特性不同，可使用不同模板检测鞋子材质、类型相关度。
3.1 余弦灰度相似度算法
余弦灰度相似度算法利用灰度间相似性判断图像相似性[7]，借助直方图灰度分布相似性确定鞋子类别，将测试集和模板集的余弦灰度相似算法记作下式：
（1）
式中 是模板灰度级向量， 是测试鞋子灰度级向量，当 和 的图像材质较为相似的时候， 将趋近于1，θ将趋近于0°。否则， 将趋近于0，而θ将趋近于90°。基于以上分析，定义以下的准则以判断鞋子材质分类。
（2）
（3）
当测试材质 对应模板材质 的余弦相似度大于阈值t时，材质 被归为材质 类，后续部分加入了神经网络部分来辅助判别鞋子的信息。对于材质不相似，灰度相似的图片，该算法可以进行较精确的分类，只要合理地设置阈值，洗鞋机就能正确地进行分类。
3.2 TensorFlow分类算法
当OpenCV识别结果与所有类别鞋子不相似时，使用基于TensorFlow的Shoe Classifier[8]神经网络识别，此方式依赖Jetson的GPU模块，功耗较高，若使用余弦灰度相似度算法，设定洗鞋机尽可能不使用TensorFlow。在实际訓练中[8]，训练次数达到25000次后，精确度已达到90%左右。因此，洗鞋机只需要在云端训练好权重，将这个权重文件输入给Jetson核心板即可识别。
4. 结论
相比于传统洗鞋机使用的单片机和STM32系统，基于Jetson嵌入式处理器方案具有很多性能上的优势。但是Jetson嵌入式系统的成本相对较高，在后续的工作中，需要考虑成本和性能的权衡问题。
参考文献
[1] 薛慧心. 智能家庭扫地机器人设计原理研究与分析[J]. 信息技术，2014（11）：204-206.
[2] 周庆和. 智能家居空调控制系统的设计[J]. 江西建材，2016（15）：9-10.
[3] 张丽. 一种新型洗鞋机的设计[J]. 装备制造技术，2011，000（012）：159-160.
[4] 李国铭，刘任，雷佩红，等. 新型洗鞋机：CN.
[5] 谢嘉诚，安小雪，梁逸波，等. 一种新型自动布鞋洗鞋机的设计与制作[J]. 科技视界，2018，000（008）：262-263.
[6] 张敏，王亮，谢永召，等. 小型洗鞋机的机械机构设计[C]，全国机械设计年会. 2009.
[7] 刘英伟，秦永彬. 基于余弦相似性的m-类分类器设计与算法实现[J]. 计算机与数字工程，2014，042（003）：351-354.
[8] Deverall J，Lee J，Ayala M. Using generative adversarial networks to design shoes：the preliminary steps[J]. CS231n in Stanford，2017.
基金项目：本文系四川省教育厅2019年规划课题《2019年四川省大学生创新创业训练项目》（课题批准号：30800-2019DCXM134）的系列研究成果之一
作者简介：向宇涛（1999.7）男，汉族，四川南充人，成都理工大学本科生 研究方向：人工智能、地质勘探;
陈锦（2002.10）女，汉族，广东惠州人，成都理工大学本科生 研究方向：通信工程、信号处理;
苗靖（1999.6）男，汉族，山西太原人，成都理工大学本科生 研究方向：嵌入式系统、图像处理;
林凡强（1978.5）男，汉族，江苏连云港人，成都理工大学博士，成都理工大学，副教授，研究方向：人工智能，地质勘探。