论文部分内容阅读
摘 要：人工智能技术在移动终端的应用呈现出飞速发展的态势。基于神经网络的人工智能技术主要依靠构建人工智能的总体框架和网络模型的运行推理技术，来实现科学研究的实践化。本文将通过对移动终端上的人工智能技术应用分析，进一步深化研究移动智能终端的人工智能技术，从而提出关于未来终端人工智能技术发展的预测。
关键词：神经网络;人工智能;移动终端
一、人工智能技术在移动终端上的应用
随着智能手机、平板电脑、运动手环等移动终端在人类日常生活中的普及使用，人工智能技术已经在人类的日常生活中占据着非常重要的地位。AI技术能使各种设备愈发便捷化、人性化，主要是基于神经网络来实现的。相较于传统的遵循特定计算逻辑和规则的应用编程，神经网络可以通过程序员提供的样本进行自主选择学习、自动执行任务。多层次构成的神经网络，除了输入层和输出层，还包括隐藏层。每一层次的神经元都具备将抽象复杂的数据表示法进行简略化理解、操作的能力。
尽管神经网络运行的原理相同，但是人工智能技术在移动终端上的应用形式却存在一定差异。其中，较为简单的一种是端云结合的AI技术。移动客户端作为信息采集的据点，通过网络将收集到的信息数据传递至云端，经过云端的AI处理后再反馈给客户。这种形式主要适用于语音助手、在线翻译等对相应速度要求不高的功能服务。另外，还有一种是在移动客户端直接进行操作的AI技术。这样不仅能够使客户端的响应时间得到有效缩减，而且还能提高其使用的安全可靠性，更好地保护用户隐私的相关数据。同时，这种直接进行人工智能处理的技术还能不受网络环境的限制，在无网络信号覆盖的区域中依然支持使用。当然，如果想较为完美地发挥这些优势，还需要满足移动终端关于算力和功耗的一系列要求。
二、移动终端人工智能的总体构架
移动终端人工智能技术的正常运行，不可缺少端侧人工智能计算框架的支持。目前，端侧人工智能计算框架主要是基于神经网络进行向上、向下的推理计算。向上是通过UI用户界面向用户提供功能逻辑、数据储存等服务。向下则是通过调用人工智能计算框架进行AI任务处理，使数据得到获取、传递以及结果反馈。一般来讲，移动终端的人工智能计算构架主要包括通用构架和专用构架。通用构架指Tensorflow Lite、Caffe2等，它们能够支持Android、iOS多操作系统、多芯片平台的人工智能计算构架。专用架构指SNPE、HiAI等，这些人工智能计算构架仅支持部分芯片平台上的运行。
终端人工智能技术的推理计算，最终是要在硬件上得到落实。移动终端的人工智能技术在为人类的日常生活提供便利的前提下，也对终端的计算芯片的算力有着高标准的要求。目前，比较常见的硬件资源包括 CPU、GPU、DSP、NPU等。其中，CPU构架中大比重的控制器、寄存器等部件能够带动指令的准确执行、函数的调用，但适应于计算的逻辑单元较少，处理数据的能力较弱。相比而言，GPU能够提供的算力更高，用于图像处理的逻辑单元更丰富，但是算力依旧不能紧跟移动终端人工智能技术的脚步。为了更进一步满足移动终端对AI技术算力的要求，专门针对人工智能计算的AI硬件加速单元NPU、DSP等出现在了大众视野。通过采用程序和数据分开的结构，DSP芯片利用专门的硬件乘法器下达指令，在虚拟或增强现实、处理图像或视频、计算视觉等计算负载当中发挥重要作用。同时，各种神经网络模型的算法在这里得到了极速版实现，高通骁龙芯片的HVX矢量扩展技术（DSP）和张量加速器HTA就是很好的例子。
三、神經网络推理的四步骤
基于神经网络的人工智能技术在终端的应用，主要是通过推理计算实现的。神经网络的推理是利用模型进行数据的运转、预测的过程，执行一般需要四步骤：神经网络模型的转换与加载、数据转换、神经网络模型的运行推断、推理结果输出。
（一）神经网络模型的转换与加载
进行神经网络推理的第一步，就是关于神经网络模型的选择和使用。神经网络模型作为一种数据结构，是通过训练学习网络的逻辑和知识，整理计算所采集的数据，从而完成特定任务、解决相应问题。神经网络模型在首次进行人工智能操作前，需要搭建成型并进行数据训练，训练的精准程度达到推理应用的要求后才能付诸实践。在模型训练的过程中，会形成模型结构和参数两部分。同一个神经网络模型经过数据训练后，可以按照参数转换成不同的预训练模型，从而识别不同的目标对象，对不同的人工智能任务进行不同的处理操作。当然，预训练神经网络模型一般是由上一节中提及的人工智能计算框架生成，不同的端侧人工智能计算框架对应支持不同的神经网络模型格式。通过人工智能计算框架进行模型的转换，转换成各框架支持的格式之后，移动终端上的预训练模型的部署工作才能开展。比如TensorFlow模型是从TensorFlowLite架构中应运而生。
神经网络模型的转换与加载，是为了能够更加高效地执行设备命令，主要发挥两个作用。首先是可灵活适配人工智能计算构架。由于人工智能计算构架的端侧存在差异，支持神经网络模型的运行就会受到局限。当解释器无法“认同”预训练神经网络模型，就需要对其进行格式转换以适配相应的人工智能计算构架。这种格式转化的过程少不了模型转换工具的功劳。只有模型转换工具发挥了对预训练模型在结构和参数两方面的优化功能，准确率和处理速度就会得到满意的提升。
关于神经网络模型的转换与加载的第二个作用，是压缩和优化现有模型的作用。这种压缩和优化过程是模型的量子化过程。Float类型，是一般的神经网络模型的参数和数据参数类型，它通过在CPU或GPU上执行来提高准确率，但处理速度非常缓慢。随着终端人工智能计算的AI硬件加速单元NPU、DSP等的发展，更好算力的int类型就此出现。就如同其命名的一样，这是一类能够支持INT型数据的预训练的神经网络模型，通过模型量子化过程，使模型能够在AI加速度单元上执行任务。尽管这样的压缩会损失一部分的精确度，但其充分利用AI加速单元提升的速度和降低的功耗，给移动终端的用户带来了全新的体验。 （二）数据转换
人工智能任务开始之前，需要进行输入数据的预处理工作环节。比如在识别图像时，卷积核的大小、步长等参数都是神经网络模型处理的数据对象，根据处理图像规定的要求进行卷积等运算。一般情况下，不同的神经网络模型对图像都有不同的的尺寸要求。这就需要再执行图像处理任务时，需要在格式、大小上对采集的图像进行缩放或拉伸预处理，进一步加工以满足模型的尺寸要求。之后图像预处理后，可以将其转化为神经网络模型进行计算。为了适应终端硬件单元的处理特点，通常需要将图像转换成线性变量，如内存中的ByteBuffer。同时，根据模型的精度要求，将每个像素的值转换为浮点型或int型。
（三）神经网络模型的运行与推理
这一步骤涉及的神经网络模型的运行与推理，主要在于对人工智能解释器的构建和相关数据的分配工作。人工智能解释器在建构过程中，能够指定整个人工智能计算构架的预训练网络模型、各项数据参数、硬件适配等，驱动移动终端的硬件进行计算，支持不同的移动操作系统运转。例如，TensorFlowLite的解释器可以支持CPU、GPU、NN API。
CPU中运行的float浮点数，适用范围广泛，几乎在所有的移动终端都可运行使用，但是结构限制下出现的算力有足、推理结果不够精确、执行速度较慢等，是其无法避免的缺陷。
GPU则是设计用来完成大规模运算并行工作的。包含大量运算符的神经网络是应用GPU最多的一类，将大的输入张量划分为更小的工作负载同时执行，会在推理运算速度上得到大的提升。与CPU相比，利用GPU进行高效的推理运算的同时，还能消耗更少的电力和产生更少的热量。
区别于CPU和GPU的普及化推理运算，NN API是专门面向移动设备上的机器学习高密度运算而生。它作为一个基础性阶段，为训练神经网络的更高级机器学习框架的构建而做准备。
（四）推理结果输出
这一步骤是在模型执行完毕之后，向客户反馈特定的数据结构的过程。为了防止用户无法理解数据的含义，开发人员就需要附带完成关于反馈数据的解释工作，将数据结构以通俗易懂的形式解释给用户。例如在进行图像分类处理中，神经网络模型会自动生成图片处理结果相关的概率列表，而且结果会由多组数据组成，按照概率高低逐一展现出来。
四、结语
人工智能技术在移动终端的应用是打破传统编程逻辑的新发展方向，能够在人性化的智能时代为用户提供更智慧、更便捷的服务。无论是芯片厂商、终端厂商或人工智能框架开发商，都纷纷抓住移动终端智能化的商业发展契机，在各自负责的领域范畴投入了前所未有的支持力度，使基于神经网络的人工智能技术在移动终端的应用日益完善。相信人工智能技术在移动智能终端的应用发展将不会止步于此，一定会在未来伴随着技术的不断成熟、用户体验的不断反馈升级、服务质量的不断优化而走向颠覆性的新时代。
参考文献：
[1]解谦，张睿，刘红.移动智能终端基于神经网络的人工智能技术与应用[J].信息通信技术与政策，2019（12）：45-50.
[2]张伟.谈未来移动通信技术发展趋势与展望[J].数字通信世界，2017（05）：151-154.
[3]郭佳颖，解谦，陈诗洋.移动智能终端指纹识别率和识别处理时延测试方法[J].移动通信，2018（06）：1-6.
[4]成郁.信息通信技術的基本原理及5G移动通信技术发展的探究[J].数字通信世界，2018（07）131.
武汉商贸职业学院 覃 勤
关键词：神经网络;人工智能;移动终端
一、人工智能技术在移动终端上的应用
随着智能手机、平板电脑、运动手环等移动终端在人类日常生活中的普及使用，人工智能技术已经在人类的日常生活中占据着非常重要的地位。AI技术能使各种设备愈发便捷化、人性化，主要是基于神经网络来实现的。相较于传统的遵循特定计算逻辑和规则的应用编程，神经网络可以通过程序员提供的样本进行自主选择学习、自动执行任务。多层次构成的神经网络，除了输入层和输出层，还包括隐藏层。每一层次的神经元都具备将抽象复杂的数据表示法进行简略化理解、操作的能力。
尽管神经网络运行的原理相同，但是人工智能技术在移动终端上的应用形式却存在一定差异。其中，较为简单的一种是端云结合的AI技术。移动客户端作为信息采集的据点，通过网络将收集到的信息数据传递至云端，经过云端的AI处理后再反馈给客户。这种形式主要适用于语音助手、在线翻译等对相应速度要求不高的功能服务。另外，还有一种是在移动客户端直接进行操作的AI技术。这样不仅能够使客户端的响应时间得到有效缩减，而且还能提高其使用的安全可靠性，更好地保护用户隐私的相关数据。同时，这种直接进行人工智能处理的技术还能不受网络环境的限制，在无网络信号覆盖的区域中依然支持使用。当然，如果想较为完美地发挥这些优势，还需要满足移动终端关于算力和功耗的一系列要求。
二、移动终端人工智能的总体构架
移动终端人工智能技术的正常运行，不可缺少端侧人工智能计算框架的支持。目前，端侧人工智能计算框架主要是基于神经网络进行向上、向下的推理计算。向上是通过UI用户界面向用户提供功能逻辑、数据储存等服务。向下则是通过调用人工智能计算框架进行AI任务处理，使数据得到获取、传递以及结果反馈。一般来讲，移动终端的人工智能计算构架主要包括通用构架和专用构架。通用构架指Tensorflow Lite、Caffe2等，它们能够支持Android、iOS多操作系统、多芯片平台的人工智能计算构架。专用架构指SNPE、HiAI等，这些人工智能计算构架仅支持部分芯片平台上的运行。
终端人工智能技术的推理计算，最终是要在硬件上得到落实。移动终端的人工智能技术在为人类的日常生活提供便利的前提下，也对终端的计算芯片的算力有着高标准的要求。目前，比较常见的硬件资源包括 CPU、GPU、DSP、NPU等。其中，CPU构架中大比重的控制器、寄存器等部件能够带动指令的准确执行、函数的调用，但适应于计算的逻辑单元较少，处理数据的能力较弱。相比而言，GPU能够提供的算力更高，用于图像处理的逻辑单元更丰富，但是算力依旧不能紧跟移动终端人工智能技术的脚步。为了更进一步满足移动终端对AI技术算力的要求，专门针对人工智能计算的AI硬件加速单元NPU、DSP等出现在了大众视野。通过采用程序和数据分开的结构，DSP芯片利用专门的硬件乘法器下达指令，在虚拟或增强现实、处理图像或视频、计算视觉等计算负载当中发挥重要作用。同时，各种神经网络模型的算法在这里得到了极速版实现，高通骁龙芯片的HVX矢量扩展技术（DSP）和张量加速器HTA就是很好的例子。
三、神經网络推理的四步骤
基于神经网络的人工智能技术在终端的应用，主要是通过推理计算实现的。神经网络的推理是利用模型进行数据的运转、预测的过程，执行一般需要四步骤：神经网络模型的转换与加载、数据转换、神经网络模型的运行推断、推理结果输出。
（一）神经网络模型的转换与加载
进行神经网络推理的第一步，就是关于神经网络模型的选择和使用。神经网络模型作为一种数据结构，是通过训练学习网络的逻辑和知识，整理计算所采集的数据，从而完成特定任务、解决相应问题。神经网络模型在首次进行人工智能操作前，需要搭建成型并进行数据训练，训练的精准程度达到推理应用的要求后才能付诸实践。在模型训练的过程中，会形成模型结构和参数两部分。同一个神经网络模型经过数据训练后，可以按照参数转换成不同的预训练模型，从而识别不同的目标对象，对不同的人工智能任务进行不同的处理操作。当然，预训练神经网络模型一般是由上一节中提及的人工智能计算框架生成，不同的端侧人工智能计算框架对应支持不同的神经网络模型格式。通过人工智能计算框架进行模型的转换，转换成各框架支持的格式之后，移动终端上的预训练模型的部署工作才能开展。比如TensorFlow模型是从TensorFlowLite架构中应运而生。
神经网络模型的转换与加载，是为了能够更加高效地执行设备命令，主要发挥两个作用。首先是可灵活适配人工智能计算构架。由于人工智能计算构架的端侧存在差异，支持神经网络模型的运行就会受到局限。当解释器无法“认同”预训练神经网络模型，就需要对其进行格式转换以适配相应的人工智能计算构架。这种格式转化的过程少不了模型转换工具的功劳。只有模型转换工具发挥了对预训练模型在结构和参数两方面的优化功能，准确率和处理速度就会得到满意的提升。
关于神经网络模型的转换与加载的第二个作用，是压缩和优化现有模型的作用。这种压缩和优化过程是模型的量子化过程。Float类型，是一般的神经网络模型的参数和数据参数类型，它通过在CPU或GPU上执行来提高准确率，但处理速度非常缓慢。随着终端人工智能计算的AI硬件加速单元NPU、DSP等的发展，更好算力的int类型就此出现。就如同其命名的一样，这是一类能够支持INT型数据的预训练的神经网络模型，通过模型量子化过程，使模型能够在AI加速度单元上执行任务。尽管这样的压缩会损失一部分的精确度，但其充分利用AI加速单元提升的速度和降低的功耗，给移动终端的用户带来了全新的体验。 （二）数据转换
人工智能任务开始之前，需要进行输入数据的预处理工作环节。比如在识别图像时，卷积核的大小、步长等参数都是神经网络模型处理的数据对象，根据处理图像规定的要求进行卷积等运算。一般情况下，不同的神经网络模型对图像都有不同的的尺寸要求。这就需要再执行图像处理任务时，需要在格式、大小上对采集的图像进行缩放或拉伸预处理，进一步加工以满足模型的尺寸要求。之后图像预处理后，可以将其转化为神经网络模型进行计算。为了适应终端硬件单元的处理特点，通常需要将图像转换成线性变量，如内存中的ByteBuffer。同时，根据模型的精度要求，将每个像素的值转换为浮点型或int型。
（三）神经网络模型的运行与推理
这一步骤涉及的神经网络模型的运行与推理，主要在于对人工智能解释器的构建和相关数据的分配工作。人工智能解释器在建构过程中，能够指定整个人工智能计算构架的预训练网络模型、各项数据参数、硬件适配等，驱动移动终端的硬件进行计算，支持不同的移动操作系统运转。例如，TensorFlowLite的解释器可以支持CPU、GPU、NN API。
CPU中运行的float浮点数，适用范围广泛，几乎在所有的移动终端都可运行使用，但是结构限制下出现的算力有足、推理结果不够精确、执行速度较慢等，是其无法避免的缺陷。
GPU则是设计用来完成大规模运算并行工作的。包含大量运算符的神经网络是应用GPU最多的一类，将大的输入张量划分为更小的工作负载同时执行，会在推理运算速度上得到大的提升。与CPU相比，利用GPU进行高效的推理运算的同时，还能消耗更少的电力和产生更少的热量。
区别于CPU和GPU的普及化推理运算，NN API是专门面向移动设备上的机器学习高密度运算而生。它作为一个基础性阶段，为训练神经网络的更高级机器学习框架的构建而做准备。
（四）推理结果输出
这一步骤是在模型执行完毕之后，向客户反馈特定的数据结构的过程。为了防止用户无法理解数据的含义，开发人员就需要附带完成关于反馈数据的解释工作，将数据结构以通俗易懂的形式解释给用户。例如在进行图像分类处理中，神经网络模型会自动生成图片处理结果相关的概率列表，而且结果会由多组数据组成，按照概率高低逐一展现出来。
四、结语
人工智能技术在移动终端的应用是打破传统编程逻辑的新发展方向，能够在人性化的智能时代为用户提供更智慧、更便捷的服务。无论是芯片厂商、终端厂商或人工智能框架开发商，都纷纷抓住移动终端智能化的商业发展契机，在各自负责的领域范畴投入了前所未有的支持力度，使基于神经网络的人工智能技术在移动终端的应用日益完善。相信人工智能技术在移动智能终端的应用发展将不会止步于此，一定会在未来伴随着技术的不断成熟、用户体验的不断反馈升级、服务质量的不断优化而走向颠覆性的新时代。
参考文献：
[1]解谦，张睿，刘红.移动智能终端基于神经网络的人工智能技术与应用[J].信息通信技术与政策，2019（12）：45-50.
[2]张伟.谈未来移动通信技术发展趋势与展望[J].数字通信世界，2017（05）：151-154.
[3]郭佳颖，解谦，陈诗洋.移动智能终端指纹识别率和识别处理时延测试方法[J].移动通信，2018（06）：1-6.
[4]成郁.信息通信技術的基本原理及5G移动通信技术发展的探究[J].数字通信世界，2018（07）131.
武汉商贸职业学院 覃 勤