论文部分内容阅读
【摘 要】为响应“互联网+”战略思想，同时保证物资采购的公平公正，提升采购的效率，对物资电商化采购进行了持续的创新探索。本文通过基于拉普拉斯等距映射优化算法，对电商平台商品推荐功能进行重新设计实现，和传统协同过滤算法相比，提升了推荐效率，尤其在大数据处理方面。
【关键词】大数据处理;电力;电子商务;互联网+;拉普拉斯等距映射
1.集体企业设计的政策背景
工业互联网平台可实现产品、机器、数据、人的全面互联互通和综合集成，正成为国家工业新基础设施。近十年来，公司不断探索互联网采购业务创新，推进采购模式创新，进而实现多元化的采购模式。通过国网商城采购专区，对于公开透明程度非常高，且非必须公开招标的物资，突破传统思维定式，破除固有的“需求计划预测与集中报送—确定采购品牌和参数—谈判评审确定供应商及其产品价格—部署固化商品目录—采购结果匹配与执行”的流程，把物资采购过程在国网商城物资电商化采购专区上实现，实现“实时商品选购-下单-形成采购订单-审批-支付”全过程电子化;同时，针对集体企业采购特点，采购专区期望提供授权代理、平台模式、委托签约等多种业务运营模式，支持先款后货、先货后款、限额采购等付款模式。最终实现多元化采购模式，践行国网商城物资采购模式多方面创新思想，深化和完善公司物资采购业务，进一步提高公司发展质量、拓宽发展领域。
2.商品推荐模块的详细设计
2.1拉普拉斯等距映射的主要思路
随着数据慢慢变大，我们为了实验结果的准确性，要采用数据降维来使数据便于计算和可视化，其更深层次的意义在于有效信息的提取综合及无用信息的删除。
本实验中采用的方法是非线性降维中的流性学习LE（拉普拉斯等距映射）算法来进行数据降维。拉普拉斯特征映射（Laplacian Eigenmaps）是一种不常见的降维算法。它从与普通降维算法不同的角度来看问题。它从本地角度构建数据之间的关系。也许这是抽象的。具体而言，拉普拉斯特征映射是基于图的降维算法。它希望相关的点（图中连接的点）在尺寸减小的空间中尽可能接近，以便在减小尺寸后保持原始数据结构。
拉普拉斯特征映射通过构造其邻接矩阵为W的图来重建数据流形的局部结构特征（参见此处的邻接矩阵的定义）。主要思想是如果两个数据实例i和j非常相似，那么在维数减少之后，i和j应该在目标子空间中尽可能接近。设数据实例的数量为n*n，目标子空间的维度，即最终的降维目标，为 m。定义n * m大小的矩阵Y，其中每个行向量yT i是目标m 维子空间（即，简化数据实例i）中的数据实例i的向量表示。我们的目标是在降维后保持类似的数据样本i和j尽可能接近目标子空间。
具体步骤为：
第1步：构建图表
首先将所有的原始数据变成一个图，例如使用KNN算法将每个点的最近K点连接到顶部，即生产最小生成树。
2.2算法实际应用
集体企业项目主要围绕供应商统一管理、寻源管理、合同管理、供应商准备、下单选购、配送发货、支付结算、发票管理、履约支付这九个部分的需求展开建设实施，以实现集体企业平台模式、授权代理模式两种业务模式，一二三级专区依照管理需求部署，具备先款后货、先货后款、限额采购多种采购方式的业务需求;其中采购中心请购单2个二级模块、订单中心3个二级模块、付款单2个二级模块、采购额度1个二级模块、站内信2个二级模块、设置3个二级模块。
本次算法优化主要应用于采购专区的相关商品推荐模块。原先项目中采用的是传统协同过滤算法，直接进行商品推荐，采用余弦相似度作为相似度标准进行个体相似性数据化标准。此算法可以较为合理的进行相关推荐，但是在大数据的背景下，数据量越来越大，每条数据的维度也越来越多，整体算法的执行效率也越来越低。在调研了目前的大数据处理技术，最终选用拉普拉斯等距映射作为本次算法优化的技术基础。
拉普拉斯等距映射本质是将多维坐标系内的点，保持其之间的相对关系，同时将他们映射到一个低维甚至是二维空间，但数据变成低维數据后，算法的执行效率就得到了大幅提升。
在确定了算法的基本思路之后，还要进行算法可行性分析，利用目前比较流行的UserBehavior数据集，将数据集按照4：1分为数据组和测试组，按照算法思路对数据组进行分析，预测测试组结果，对测试结果和实际结果进行卡方检验，经测试，卡方值小于0.05，具有统计学意义，也就是说，算法预测结果较为可靠。
3.项目设计优势与未来展望
3.1项目设计总结
随着互联网+概念不断的深入人心，互联网也为物资采购提供了公开透明、便捷管理的大环境。物资集中化采购能够及时、准确地制定集团采购计划，实现按需采购;同时方便集团进行物资采购价格的有效分析，进一步优化集中采购物资的谈判定价工作;还能够有效对集中采购物资供应商进行科学、及时、准备的评估，最终使集团集中采购的优势得到有效发挥，达到降低采购成本、提高采购作业整体效率的作用;也实现了集团对下属单位物资采购的有效跟踪，建立有效的跟踪监督机制;为集团领导者进行采购决策提供及时、可靠的信息。集体企业物资采购，在对同类企业进行相关深入调研的基础上，以体系化、透明化的采购制度和监督要求出发，结合自身特点，优化设计采购流程，用创新的物资采购和管理模式，进行集体企业物资采购管理，真正实现公平、透明、阳光采购。
3.2未来展望
未来的集体企项目还会有很多可以发展的空间，代码方面的简洁合理，安全方面如何做到更加可靠，算法方面如何达到更好的执行效率，项目架构如何更好的适应大并发要求等。在保证开发进度的基础上，也会更加注重这些优化问题。为实现多元化采购模式，加快采购模式创新贡献自己的力量。
参考文献：
[1]黄启宏，刘钊.流形学习中非线性维数约简方法概述[J].计算机应用研究，2007，24（11）：19-25.
[2]刘爱萍.等距特征映射算法的改进及其应用[D].常州大学，2011.
[3]流形学习方法在图像处理中的应用研究[D].北京交通大学，2009.
[4]Belkin M，Niyogi P.Laplacian Eigenmaps for Dimensionality Reduction and Data Representation[J].Neural Computation，2014，15（6）：1373-1396.
（作者单位：国网电子商务有限公司）
【关键词】大数据处理;电力;电子商务;互联网+;拉普拉斯等距映射
1.集体企业设计的政策背景
工业互联网平台可实现产品、机器、数据、人的全面互联互通和综合集成，正成为国家工业新基础设施。近十年来，公司不断探索互联网采购业务创新，推进采购模式创新，进而实现多元化的采购模式。通过国网商城采购专区，对于公开透明程度非常高，且非必须公开招标的物资，突破传统思维定式，破除固有的“需求计划预测与集中报送—确定采购品牌和参数—谈判评审确定供应商及其产品价格—部署固化商品目录—采购结果匹配与执行”的流程，把物资采购过程在国网商城物资电商化采购专区上实现，实现“实时商品选购-下单-形成采购订单-审批-支付”全过程电子化;同时，针对集体企业采购特点，采购专区期望提供授权代理、平台模式、委托签约等多种业务运营模式，支持先款后货、先货后款、限额采购等付款模式。最终实现多元化采购模式，践行国网商城物资采购模式多方面创新思想，深化和完善公司物资采购业务，进一步提高公司发展质量、拓宽发展领域。
2.商品推荐模块的详细设计
2.1拉普拉斯等距映射的主要思路
随着数据慢慢变大，我们为了实验结果的准确性，要采用数据降维来使数据便于计算和可视化，其更深层次的意义在于有效信息的提取综合及无用信息的删除。
本实验中采用的方法是非线性降维中的流性学习LE（拉普拉斯等距映射）算法来进行数据降维。拉普拉斯特征映射（Laplacian Eigenmaps）是一种不常见的降维算法。它从与普通降维算法不同的角度来看问题。它从本地角度构建数据之间的关系。也许这是抽象的。具体而言，拉普拉斯特征映射是基于图的降维算法。它希望相关的点（图中连接的点）在尺寸减小的空间中尽可能接近，以便在减小尺寸后保持原始数据结构。
拉普拉斯特征映射通过构造其邻接矩阵为W的图来重建数据流形的局部结构特征（参见此处的邻接矩阵的定义）。主要思想是如果两个数据实例i和j非常相似，那么在维数减少之后，i和j应该在目标子空间中尽可能接近。设数据实例的数量为n*n，目标子空间的维度，即最终的降维目标，为 m。定义n * m大小的矩阵Y，其中每个行向量yT i是目标m 维子空间（即，简化数据实例i）中的数据实例i的向量表示。我们的目标是在降维后保持类似的数据样本i和j尽可能接近目标子空间。
具体步骤为：
第1步：构建图表
首先将所有的原始数据变成一个图，例如使用KNN算法将每个点的最近K点连接到顶部，即生产最小生成树。
2.2算法实际应用
集体企业项目主要围绕供应商统一管理、寻源管理、合同管理、供应商准备、下单选购、配送发货、支付结算、发票管理、履约支付这九个部分的需求展开建设实施，以实现集体企业平台模式、授权代理模式两种业务模式，一二三级专区依照管理需求部署，具备先款后货、先货后款、限额采购多种采购方式的业务需求;其中采购中心请购单2个二级模块、订单中心3个二级模块、付款单2个二级模块、采购额度1个二级模块、站内信2个二级模块、设置3个二级模块。
本次算法优化主要应用于采购专区的相关商品推荐模块。原先项目中采用的是传统协同过滤算法，直接进行商品推荐，采用余弦相似度作为相似度标准进行个体相似性数据化标准。此算法可以较为合理的进行相关推荐，但是在大数据的背景下，数据量越来越大，每条数据的维度也越来越多，整体算法的执行效率也越来越低。在调研了目前的大数据处理技术，最终选用拉普拉斯等距映射作为本次算法优化的技术基础。
拉普拉斯等距映射本质是将多维坐标系内的点，保持其之间的相对关系，同时将他们映射到一个低维甚至是二维空间，但数据变成低维數据后，算法的执行效率就得到了大幅提升。
在确定了算法的基本思路之后，还要进行算法可行性分析，利用目前比较流行的UserBehavior数据集，将数据集按照4：1分为数据组和测试组，按照算法思路对数据组进行分析，预测测试组结果，对测试结果和实际结果进行卡方检验，经测试，卡方值小于0.05，具有统计学意义，也就是说，算法预测结果较为可靠。
3.项目设计优势与未来展望
3.1项目设计总结
随着互联网+概念不断的深入人心，互联网也为物资采购提供了公开透明、便捷管理的大环境。物资集中化采购能够及时、准确地制定集团采购计划，实现按需采购;同时方便集团进行物资采购价格的有效分析，进一步优化集中采购物资的谈判定价工作;还能够有效对集中采购物资供应商进行科学、及时、准备的评估，最终使集团集中采购的优势得到有效发挥，达到降低采购成本、提高采购作业整体效率的作用;也实现了集团对下属单位物资采购的有效跟踪，建立有效的跟踪监督机制;为集团领导者进行采购决策提供及时、可靠的信息。集体企业物资采购，在对同类企业进行相关深入调研的基础上，以体系化、透明化的采购制度和监督要求出发，结合自身特点，优化设计采购流程，用创新的物资采购和管理模式，进行集体企业物资采购管理，真正实现公平、透明、阳光采购。
3.2未来展望
未来的集体企项目还会有很多可以发展的空间，代码方面的简洁合理，安全方面如何做到更加可靠，算法方面如何达到更好的执行效率，项目架构如何更好的适应大并发要求等。在保证开发进度的基础上，也会更加注重这些优化问题。为实现多元化采购模式，加快采购模式创新贡献自己的力量。
参考文献：
[1]黄启宏，刘钊.流形学习中非线性维数约简方法概述[J].计算机应用研究，2007，24（11）：19-25.
[2]刘爱萍.等距特征映射算法的改进及其应用[D].常州大学，2011.
[3]流形学习方法在图像处理中的应用研究[D].北京交通大学，2009.
[4]Belkin M，Niyogi P.Laplacian Eigenmaps for Dimensionality Reduction and Data Representation[J].Neural Computation，2014，15（6）：1373-1396.
（作者单位：国网电子商务有限公司）