滴滴出行是一个规模巨大的网约车出行互联网公司,如何把握市场变化来扩大公司运营规模,获取用户第一意愿是非常重要的。原本各业务部门的问卷调研方式都是自行维护,用户都是独自分开的,同一时段不同部门下发不同调研任务,会存在对同一用户下发多个调研信息的情况,造成用户反感。并且由于调研数据的不互通,无法有效的对调研整体情况进行分析优化。调研问卷系统应运而生,将所有的用户调研归于一处,为整个公司提供调研服务。被调研用户量的激增对系统的健壮性带来考验。所以针对这些问题本系统设计了调研管理、调研NPS(Net Promoter Score)问卷、数据去重、调研发送等主要模块来解决。调研管理模块通过调研组和调研任务的关联关系来保证同一调研组内,同一个调研问卷被调研用户的范围,是这个系统的基石。考虑用户对调研问卷内容和占用时长的忍耐性,确保可以实时得到用户的全部或者部分调研信息,使用调研NPS问卷可以保障获取用户阶段性答案。创建调研任务的时候会添加去重频率的选项,所以在调研短信下发前存在批量的用户去重操作。数据去重模块在对比了多种去重方法并参考其去重特点的情况下,选择了依据布隆过滤器原理的去重方法来保证在低误识别率情况下的快速去重和低内存占用。调研发送模块采用多进程多任务设计,提高业务处理性能。同一时段内会存在多种调研任务,分钟级别处理几十万事务数据。在结合缓存、数据库,通过任务管理和进程调度等方面来实现系统的稳健性。在用户去重过程中,本文主要对比了、HASH去重,基于BITMAP去重和基于布隆过滤器原理(Bloom-Filter)去重方法。通过依次对比,采用BITMAP思想来做数据存储减少内存空间的占有量,在通过Bloom-Filter支持对业务的大数据用户信息快速去重。本文将这通过两者相结合来做大数据用户信息去重。在系统设计和开发方面,进程管理模块通过使用任务管理模块构造的多种Redis数据,调度和协调所有进程进行任务处理,实现多进程多任务并行来达到多业务数据处理速度提升。并通过异常处理模块负责任务及进程相关异常的处理及自动修复,对于无法自动修复的问题,进行实时监控及报警。经过实际项目完成和运行,整个系统在千万级用户数据去重情况下运行稳定,调研短信下发业务涉及事务处理量可以达到20W/min的速度,符合预期效果。