论文部分内容阅读
摘要：大数据给用户提供了信息检索便利的同时，信息过载现象极大影响用户获取有用信息的效率。在分析电子农务用户群体特性和移动智能终端的发展与使用现状的基础上，提出一种基于权重混合推荐策略。主要从移动应用推荐系统的云平台搭建、推荐算法选择和算法自适应设计等方面进行研究，设计了面向电子农务的移动应用推荐系统的基本框架和推荐流程，为大数据环境下快速获取信息提供全新的解决思路。
关键词：电子农务；移动应用；推荐系统
中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2017）14-0223-02
随着网络技术和移动技术的发展，农业信息化的不断深人和智能手机的普及，智能手机应用已经成为农民获取或发布农业信息的新手段。网络信息获取便利同时，大量三农信息充斥在各类电子农务平台，农民用户的信息技术能力有限，使得用户难以在电子农务平台的大数据环境中及时找到适合自己需求或可能感兴趣的信息。传统的搜索引擎基于关键词的信息检索服务给用户带来的极大便利的同时，往往置顶的信息出现大量广告或者是用户不需要的信息，用户真正需要的信息则淹没在搜索返回的信息海洋中。这种“信息过载”或“信息迷失”现象降低了农民获取信息效率。搜索和推荐是目前移动用户最主要的资源获取方式，前者是用户主动提出需求，后者是发现用户隐形需求。移动应用推荐系统已成为移动智能设备解决信息超载问题最重要的过滤工具，可以根据用户兴趣特点和行为模式，智能和主动地帮助用户在海量的数据中快速找到可用信息。系统设计主要目标是实时洞察用户需求，降低获取资源成本，提高获取资源效率。
现有推荐系统采用的推荐方法主要有三种：协同过滤推荐算法、内容过滤推荐算法和混合过滤推荐方法。当前最成熟的是协同过滤推荐算法，然而移动设备在显示、计算、存储、输入等能力比较受限，移动推荐面临巨大挑战。本文针对智能终端设备，把推荐系统搭建在云平台上，通过混合多种推荐算法快速推荐信息给用户，解决传统推荐算法在大数据环境下的移动平台中遇到的实时性、扩展性的问题。
1移动应用推荐系统模型设计
为了实现对电子农务的移动实时推荐，考虑到信息过载问题以及移动设备的数据处理能力，本文采用基于Hadoopt31开源分布式计算平台搭建推荐引擎。Hadoop平台具有应对数据量快速增长的能力和支持推荐算法扩充，平台架构模型如图1所示。为了能及时响应用戶的需求，采用在线计算推荐模式，数据存储介质采用关系型数据库系统。为了较全面的抓取网络资源，采用Hadoop系统爬行网络，离线计算推荐模式，数据存储介质采用HDFS文件系统。
在线计算推荐和离线计算推荐组合主要是为了快速响应和提供更全面的信息，推荐框架如图2所示。在线推荐模块主要负责及时与用户交互，通过收集用户的反馈信息或主动识别用户需求进行在线推荐计算，结合关系型数据库的推荐数据进行混合推荐，将最终TOP-N结果呈现给用户。系统实时跟踪用户的使用应用的过程中产生的操作日志记录，分析并提取用户行为信息存人关系型数据库中，为用户下次使用应用提供更准确的数据。离线推荐模块负责网络爬行、TEL数据清洗流程、Mahout挖掘原始数据、Map/reduce分布式计算等操作，最终训练学习后的数据转换为关系数据库能识别的原始推荐数据。
2基于权重混合推荐策略设计
使用电子农务的用户相对较不固定，用户的使用意图较难跟踪统计。这些不稳定因素会造成单一的推荐算法难以满足各类用户需求。为了提高推荐的准确性，组合多种推荐算法的方式对用户进行推荐。最后，推荐引擎可以使用相似性信息根据请求参数进行推荐提高推荐准确性，进而提高用户满意度。
混合推荐系统是把多个推荐引擎形成的推荐结果进行整合的推荐系统。然而多推荐引擎的使用缺乏对个性用户的自适应设计要求。为解决这一问题通常在并行的推荐引擎中采用加权重再求和得到混合推荐结果，即多个推荐引擎推荐结果进行加权混合。较为常见的权重混合是线性加权混合，如图3所示。基于权重混合推荐关键在于权重的确定，权重的确定往往需要在特定的测试数据集上反复实验，才能达到较好的推荐效果。然而，在实际应用中，要推荐的数据量远大于用户数量，反复实验工作量太大，效果不理想。本文提出的混合模型混合多个单一推荐引擎，将每个推荐引擎视为独立黑盒，暂不关心其具体内部运行机制，推荐引擎各自独立运行得出推荐数据，再通过学习模块对各预测结果进行权重计算并混合重排推荐数据，过滤后形成最终的推荐结果。
各独立的推荐引擎运行后得出各自的推荐数据，通过式（1）所示加权公式加权混合：
3结束语
移动应用推荐系统是解决信息过载的有效过滤手段，可以帮助用户快速定位到适合自己需求的信息，对提高电子农务的效率具有重要意义和商业价值。随着近年来大数据技术与智能终端技术的快速发展，推荐系统的设计架构也会随之改变。本文设计了一种用户自适应调整混合权重的推荐解决方案，并利用Hadoop分布式计算平台提升系统的扩展性。在未来的研究中将在设计的系统中融入更多的推荐技术与测试数据集，更深入分析大数据环境下推荐系统的部署与个性化推荐研究。
关键词：电子农务；移动应用；推荐系统
中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2017）14-0223-02
随着网络技术和移动技术的发展，农业信息化的不断深人和智能手机的普及，智能手机应用已经成为农民获取或发布农业信息的新手段。网络信息获取便利同时，大量三农信息充斥在各类电子农务平台，农民用户的信息技术能力有限，使得用户难以在电子农务平台的大数据环境中及时找到适合自己需求或可能感兴趣的信息。传统的搜索引擎基于关键词的信息检索服务给用户带来的极大便利的同时，往往置顶的信息出现大量广告或者是用户不需要的信息，用户真正需要的信息则淹没在搜索返回的信息海洋中。这种“信息过载”或“信息迷失”现象降低了农民获取信息效率。搜索和推荐是目前移动用户最主要的资源获取方式，前者是用户主动提出需求，后者是发现用户隐形需求。移动应用推荐系统已成为移动智能设备解决信息超载问题最重要的过滤工具，可以根据用户兴趣特点和行为模式，智能和主动地帮助用户在海量的数据中快速找到可用信息。系统设计主要目标是实时洞察用户需求，降低获取资源成本，提高获取资源效率。
现有推荐系统采用的推荐方法主要有三种：协同过滤推荐算法、内容过滤推荐算法和混合过滤推荐方法。当前最成熟的是协同过滤推荐算法，然而移动设备在显示、计算、存储、输入等能力比较受限，移动推荐面临巨大挑战。本文针对智能终端设备，把推荐系统搭建在云平台上，通过混合多种推荐算法快速推荐信息给用户，解决传统推荐算法在大数据环境下的移动平台中遇到的实时性、扩展性的问题。
1移动应用推荐系统模型设计
为了实现对电子农务的移动实时推荐，考虑到信息过载问题以及移动设备的数据处理能力，本文采用基于Hadoopt31开源分布式计算平台搭建推荐引擎。Hadoop平台具有应对数据量快速增长的能力和支持推荐算法扩充，平台架构模型如图1所示。为了能及时响应用戶的需求，采用在线计算推荐模式，数据存储介质采用关系型数据库系统。为了较全面的抓取网络资源，采用Hadoop系统爬行网络，离线计算推荐模式，数据存储介质采用HDFS文件系统。
在线计算推荐和离线计算推荐组合主要是为了快速响应和提供更全面的信息，推荐框架如图2所示。在线推荐模块主要负责及时与用户交互，通过收集用户的反馈信息或主动识别用户需求进行在线推荐计算，结合关系型数据库的推荐数据进行混合推荐，将最终TOP-N结果呈现给用户。系统实时跟踪用户的使用应用的过程中产生的操作日志记录，分析并提取用户行为信息存人关系型数据库中，为用户下次使用应用提供更准确的数据。离线推荐模块负责网络爬行、TEL数据清洗流程、Mahout挖掘原始数据、Map/reduce分布式计算等操作，最终训练学习后的数据转换为关系数据库能识别的原始推荐数据。
2基于权重混合推荐策略设计
使用电子农务的用户相对较不固定，用户的使用意图较难跟踪统计。这些不稳定因素会造成单一的推荐算法难以满足各类用户需求。为了提高推荐的准确性，组合多种推荐算法的方式对用户进行推荐。最后，推荐引擎可以使用相似性信息根据请求参数进行推荐提高推荐准确性，进而提高用户满意度。
混合推荐系统是把多个推荐引擎形成的推荐结果进行整合的推荐系统。然而多推荐引擎的使用缺乏对个性用户的自适应设计要求。为解决这一问题通常在并行的推荐引擎中采用加权重再求和得到混合推荐结果，即多个推荐引擎推荐结果进行加权混合。较为常见的权重混合是线性加权混合，如图3所示。基于权重混合推荐关键在于权重的确定，权重的确定往往需要在特定的测试数据集上反复实验，才能达到较好的推荐效果。然而，在实际应用中，要推荐的数据量远大于用户数量，反复实验工作量太大，效果不理想。本文提出的混合模型混合多个单一推荐引擎，将每个推荐引擎视为独立黑盒，暂不关心其具体内部运行机制，推荐引擎各自独立运行得出推荐数据，再通过学习模块对各预测结果进行权重计算并混合重排推荐数据，过滤后形成最终的推荐结果。
各独立的推荐引擎运行后得出各自的推荐数据，通过式（1）所示加权公式加权混合：
3结束语
移动应用推荐系统是解决信息过载的有效过滤手段，可以帮助用户快速定位到适合自己需求的信息，对提高电子农务的效率具有重要意义和商业价值。随着近年来大数据技术与智能终端技术的快速发展，推荐系统的设计架构也会随之改变。本文设计了一种用户自适应调整混合权重的推荐解决方案，并利用Hadoop分布式计算平台提升系统的扩展性。在未来的研究中将在设计的系统中融入更多的推荐技术与测试数据集，更深入分析大数据环境下推荐系统的部署与个性化推荐研究。