论文部分内容阅读
8月15日，京东商城、苏宁易购两大电商拉开“价格战”大幕，电商市场更加纷繁迷乱。
对于中国电子商务企业而言，2012年绝对是个“冰火两重天”的年景。一方面，京东、当当、凡客等知名电商企业，业务仍旧不断亏损；另一方面，苏宁、顺风等传统企业高调进军电子商务。
摆在这些电商企业面前的问题其实很简单，就是如何让消费者能够产生更多的购买行为？打几个促销广告，让几个点的利润，这些传统的营销手段在激烈的竞争面前已经显得绵软无力。越来越多的电商企业已经认识到，需要审视自身营销的投入产出比是否合理、审视商品是否与其他网站雷同、审视网站转化率是否太低等方面的问题，从而实现精细化运营。
作为一家专注于为电子商务企业提供个性化技术和商业智能分析的企业，北京百分点信息科技有限公司（下称百分点）就把目光投向了电子商务背后的“大数据”。
以数据实现双赢
秦帅是百分点的研发总监，在他看来，百分点所做的事情更多意义上是在向电商网站、媒体资讯网站提供个性化整体解决方案。
“信息爆炸时代，说好听些，迎来了大数据时代，另一方面，那就是信息太多了。如何用合理的方式给用户推送合理的信息就变得至关重要，否则再好的营销手段都可能沦为一封垃圾邮件。”秦帅说，“百分点所做的就是基于大数据的个性化应用。这个过程中，数据是基础。数据会来自不同的平台，再进一步通过数据挖掘和分析，找到这些数据相对应的人群。再针对这些群体进行个性化的对比，并以此展开个性化的营销服务，例如发送EDM，或者流量对接，跟传统搜索结合。”
秦帅表示，根据目前的真实案例来看，电子商务企业在采用了百分点提供的分析数据后，其个性化服务能力大大提高。“以库巴网站为例，过去他们在网站上也有个性化推荐的功能，但是效果一般。在正式上线百分点个性化推荐引擎之后，百分点推荐引擎根据用户在库巴网站上的浏览和访问历史来挖掘他们的个性化偏好，从而向不同的用户推荐他们各自可能需要的商品，使他们在库巴上购物更有效率。消费者可以通过库巴网上的‘本月热销’（个性化热销榜）、‘猜您喜欢的’(个性化热览榜)浏览或购买自己感兴趣的商品。在使用百分点个性化推荐后，库巴尝试使用百分点个性化EDM，EDM打开率超过74%，销售转化率达到14.4%。”
秦帅表示，能够帮助用户实现这样的变化，一方面是因为百分点在底层技术、核心算法方面进行了大量优化工作。“传统电商推荐，多在使用协同算法，挖掘不同产品间的关联度。在百分点，这样的算法已经以基础服务形式，下沉到推荐引擎框架底层，不直接推荐结果。在百分点推荐引擎2.0（以下称“推荐2.0”）中，除了传统的算法以外，还包括一些全新的的概念。它是一个服务于客户KPI的产品，通过合理而精准推荐，提高用户体验，从而达到一个双赢，使我们的客户和消费者双赢。消费者既能获得更方便的购物流程，又能获得更好的用户体验。而且在不知不觉中，‘推荐2.0’还能引导了消费者的购物习惯，来达成客户KPI，这是竞争对手所不能实现的。”
除了在技术方面领先一步，秦帅认为百分点的第三方服务公司的性质也为它带来了别人所不具备的优势。“作为一家第三方服务公司，百分点的竞争力就是能够提供更优质、更稳定的服务，这也为百分点在业内带来了很好的口碑。”
全网数据分层处理
根据秦帅介绍，百分点每天获取的数据主要分为两类，一类是内容和商品基础数据容量，每天大约在TB级的规模。另一类是一些关于合作伙伴网络上的行为偏好数据，例如浏览过什么、收藏过什么、购买过什么等数据，这部分数据大约达到了GB级的规模。“这两类基本上已经涵盖了全网上有价值的数据，因为这些数据在整个互联网上离消费者最近的数据，可以说是电子商务最核心的数据。”
秦帅表示，这些数据搜集上来之后，百分点会先对它们进行一个分层处理，按数据的用途和类型，以及不同的来源，选择不同的处理平台。“这就如同一个数据工厂，不同的数据在这里被定义好，然后它们会被投入到相应的平台去计算。在百分点有两大数据处理平台，一个是流处理平台，另一个是批处理平台。前者会处理一些实时性比较高的数据，例如消费者购买意图或者点击预估数据。批处理平台上面更多的是做一些基础任务，例如全网行为的挖掘分析、BI分析、商务报表等，会按照时间调度来完成。”
据悉，随着百分点的业务不断扩大，他们正在筹建位于美国的新数据中心。“我们的一部分业务会放在第三方云平台上进行处理，另外一部分核心的数据我们都是在自己的数据平台上进行处理。目前自己的计算平台，主要是在国内租用的两个IDC，构建了基于英特尔至强双路服务器平台的计算集群。对于我们这样的企业而言，X86集群在扩展能力以及性价比方面的优势，使其对于提高数据运算规模和计算能力更有吸引力。”秦帅说。
秦帅表示，百分点从成立伊始，就将自己定位成一家基于大数据的个性化技术的公司，因此在大数据方面，百分点非常重视。“为了应对当前大数据的挑战，百分点在Hadoop方面也进行了相应的研究。我们甚至邀请了国内最顶尖的Hadoop方面的专家加入到百分点的技术团队，来运作整个数据平台相关的业务。我们在相关的Hadoop平台上也发布了自己的补丁，并做了一些底层上的修改，但是在相应的集群硬件资源上并没有进行优化。不过随着技术的发展，当纯软件层面发展到极至的时候，必然又会转向硬件层面。包括处理器运算、作业调度等方面，我相信英特尔等做硬件的企业会在这方面实现非常好的优化，这是一个必然规律。”
对于中国电子商务企业而言，2012年绝对是个“冰火两重天”的年景。一方面，京东、当当、凡客等知名电商企业，业务仍旧不断亏损；另一方面，苏宁、顺风等传统企业高调进军电子商务。
摆在这些电商企业面前的问题其实很简单，就是如何让消费者能够产生更多的购买行为？打几个促销广告，让几个点的利润，这些传统的营销手段在激烈的竞争面前已经显得绵软无力。越来越多的电商企业已经认识到，需要审视自身营销的投入产出比是否合理、审视商品是否与其他网站雷同、审视网站转化率是否太低等方面的问题，从而实现精细化运营。
作为一家专注于为电子商务企业提供个性化技术和商业智能分析的企业，北京百分点信息科技有限公司（下称百分点）就把目光投向了电子商务背后的“大数据”。
以数据实现双赢
秦帅是百分点的研发总监，在他看来，百分点所做的事情更多意义上是在向电商网站、媒体资讯网站提供个性化整体解决方案。
“信息爆炸时代，说好听些，迎来了大数据时代，另一方面，那就是信息太多了。如何用合理的方式给用户推送合理的信息就变得至关重要，否则再好的营销手段都可能沦为一封垃圾邮件。”秦帅说，“百分点所做的就是基于大数据的个性化应用。这个过程中，数据是基础。数据会来自不同的平台，再进一步通过数据挖掘和分析，找到这些数据相对应的人群。再针对这些群体进行个性化的对比，并以此展开个性化的营销服务，例如发送EDM，或者流量对接，跟传统搜索结合。”
秦帅表示，根据目前的真实案例来看，电子商务企业在采用了百分点提供的分析数据后，其个性化服务能力大大提高。“以库巴网站为例，过去他们在网站上也有个性化推荐的功能，但是效果一般。在正式上线百分点个性化推荐引擎之后，百分点推荐引擎根据用户在库巴网站上的浏览和访问历史来挖掘他们的个性化偏好，从而向不同的用户推荐他们各自可能需要的商品，使他们在库巴上购物更有效率。消费者可以通过库巴网上的‘本月热销’（个性化热销榜）、‘猜您喜欢的’(个性化热览榜)浏览或购买自己感兴趣的商品。在使用百分点个性化推荐后，库巴尝试使用百分点个性化EDM，EDM打开率超过74%，销售转化率达到14.4%。”
秦帅表示，能够帮助用户实现这样的变化，一方面是因为百分点在底层技术、核心算法方面进行了大量优化工作。“传统电商推荐，多在使用协同算法，挖掘不同产品间的关联度。在百分点，这样的算法已经以基础服务形式，下沉到推荐引擎框架底层，不直接推荐结果。在百分点推荐引擎2.0（以下称“推荐2.0”）中，除了传统的算法以外，还包括一些全新的的概念。它是一个服务于客户KPI的产品，通过合理而精准推荐，提高用户体验，从而达到一个双赢，使我们的客户和消费者双赢。消费者既能获得更方便的购物流程，又能获得更好的用户体验。而且在不知不觉中，‘推荐2.0’还能引导了消费者的购物习惯，来达成客户KPI，这是竞争对手所不能实现的。”
除了在技术方面领先一步，秦帅认为百分点的第三方服务公司的性质也为它带来了别人所不具备的优势。“作为一家第三方服务公司，百分点的竞争力就是能够提供更优质、更稳定的服务，这也为百分点在业内带来了很好的口碑。”
全网数据分层处理
根据秦帅介绍，百分点每天获取的数据主要分为两类，一类是内容和商品基础数据容量，每天大约在TB级的规模。另一类是一些关于合作伙伴网络上的行为偏好数据，例如浏览过什么、收藏过什么、购买过什么等数据，这部分数据大约达到了GB级的规模。“这两类基本上已经涵盖了全网上有价值的数据，因为这些数据在整个互联网上离消费者最近的数据，可以说是电子商务最核心的数据。”
秦帅表示，这些数据搜集上来之后，百分点会先对它们进行一个分层处理，按数据的用途和类型，以及不同的来源，选择不同的处理平台。“这就如同一个数据工厂，不同的数据在这里被定义好，然后它们会被投入到相应的平台去计算。在百分点有两大数据处理平台，一个是流处理平台，另一个是批处理平台。前者会处理一些实时性比较高的数据，例如消费者购买意图或者点击预估数据。批处理平台上面更多的是做一些基础任务，例如全网行为的挖掘分析、BI分析、商务报表等，会按照时间调度来完成。”
据悉，随着百分点的业务不断扩大，他们正在筹建位于美国的新数据中心。“我们的一部分业务会放在第三方云平台上进行处理，另外一部分核心的数据我们都是在自己的数据平台上进行处理。目前自己的计算平台，主要是在国内租用的两个IDC，构建了基于英特尔至强双路服务器平台的计算集群。对于我们这样的企业而言，X86集群在扩展能力以及性价比方面的优势，使其对于提高数据运算规模和计算能力更有吸引力。”秦帅说。
秦帅表示，百分点从成立伊始，就将自己定位成一家基于大数据的个性化技术的公司，因此在大数据方面，百分点非常重视。“为了应对当前大数据的挑战，百分点在Hadoop方面也进行了相应的研究。我们甚至邀请了国内最顶尖的Hadoop方面的专家加入到百分点的技术团队，来运作整个数据平台相关的业务。我们在相关的Hadoop平台上也发布了自己的补丁，并做了一些底层上的修改，但是在相应的集群硬件资源上并没有进行优化。不过随着技术的发展，当纯软件层面发展到极至的时候，必然又会转向硬件层面。包括处理器运算、作业调度等方面，我相信英特尔等做硬件的企业会在这方面实现非常好的优化，这是一个必然规律。”