内容风控算法管理平台的设计与实现

来源 :浙江大学 | 被引量 : 0次 | 上传用户:wangtianxin1818
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网内容风控已成为各互联网企业和政府重点关注的技术,由于互联网数据具有产生速度快,更新频率高的特点,单纯的依靠人工审核成本高、误差率高。目前的审核方法主要是基于规则和算法模型的机审与人审结合的方式。这就需要依赖于算法和模型的快速迭代以及数据处理的周期需要尽可能的短,而传统的算法管理平台无法实现这些需求。风控算法管理平台的需求应运而生。传统的算法管理平台存在着算法和模型耦合、数据处理性能低,模型迭代能力弱等缺点。风控场景下,需要对模型进行快速迭代以适用违规内容的快速变更和对抗,并且对数据处理的速度具有较高的要求。本文结合风控场景下算法管理平台的需求,以国内某大型互联网公司的风控系统为背景,设计并实现了风控算法管理平台,解决了如下问题:通过组件化设计和对模型的原子化管理,解耦了算法和模型,使得算法人员和特定的模型研发人员能够各司其职,提高风控的整体迭代效率;通过数据缓存、并行化、数据预处理等技术使得平台的数据处理性能得到了极大的提高,目前在高峰期能很稳定的运行;通过模型文件拆分、镜像与数据分离、自动化AB测试等技术,大大提高了模型的迭代效率和部署速度,使得各类风控模型能快速稳定的迭代。目前,本平台已在大型互联网公司投入使用。在模型迭代效率和易用性上,模型和算法的平均迭代速度提高了1,5倍,得到了算法团队的好评。性能上,在平均QPS为5000,峰值QPS达20000的场景下,运转稳定高效。
其他文献
渗透脱水是由渗透压差驱动的水分流失与蔗糖溶质渗入的过程,是芒果果脯生产中必不可少的工艺环节。但在渗透脱水过程中,由于芒果组织细胞内部阻力的存在,水分和溶质的迁移受到影响,因此工业生产中采用的常压、静置渗透脱水法传质效率低、耗时长。本文首先利用低场核磁共振技术分析了渗透脱水过程中芒果内部水分存在状态及空间分布的变化,并基于有限元仿真探究了芒果微观结构中水分的迁移规律,以期为后续渗透脱水工艺的优化提供
应用了工业机器人的生产线(以下简称工业机器人生产线或机器人生产线)在设计完成后由于生产目标的变化,需要进行优化调整以适应新的生产要求,其中主要的优化内容包括生产线的平衡优化、工作单元的布局优化和能耗优化。针对上述三种优化内容,本文进行以下研究:研究基于NSGA-II算法的机器人生产线多目标平衡方法。基于第一类和第三类生产线平衡问题建立机器人生产线多目标平衡问题的数学模型。以NSGA-II算法为基础
大黄鱼(Larimichthys Croceus)是我国特有的海洋经济鱼种,其肉质鲜美,深受消费者的喜爱。然而,过度捕捞导致野生大黄鱼产量逐渐减少,养殖大黄鱼已逐渐成为满足消费需求的重要途经。相较于野生大黄鱼,养殖大黄鱼存在着体色较浅,脂肪含量较多,腥味较重等问题,这严重影响了大黄鱼的食用品质,不利于大黄鱼养殖的可持续发展。营养调控被认为是一种改善养殖大黄鱼品质的安全有效方法。月桂酸单甘油酯(Gl
本论文基于无人机篮球竞技自演化智能系统项目,项目难点主要有:大型室内场景快速准确定位,运动物体轨迹预测以及飞行器姿态改变的悬停定位问题。本文对上述问题进行了深入地研究,并取得了以下成果。(1)大型室内场景快速准确定位。本文设计并搭建了基于三维运动捕捉的无人机定位系统,考虑到建设成本问题,本文提出了基于空间编码的室内快速定位技术。该技术将不同光色在编码位的排列组合作为特征光源的特征信息,采用空间编解
云机器人一词是云计算与机器人的结合,最早于2010年由James J.Kuffner在卡耐基梅隆大学的一次学术会议上提出。早期的云机器人研究大多针对于某个特定应用场景或特殊类别的机器人,不具有通用性。本文使用Kubernetes以及容器化技术,设计并实现了一个基于微服务的机器人容器云平台。本文研究内容主要包括以下方面:(1)明确了当下机器人云平台功能需求和非功能需求是什么;提出了一种较为通用的智能
随着社会节奏的加快和经济水平的提高,人们的饮食方式逐渐由每餐独立烹饪转变为购买便捷高效的方便食品,使方便食品行业得到高速的发展。自热食品作为一种健康美味的方便食品,已受到广大消费者的青睐。但目前的研究中,大多是对于加热装置的升级优化,鲜有对延长和预测自热食品货架期的报道,降低了消费者对食品营养和品质的期待,同时增加了企业由于货架期预估不准确而造成的生产成本,从而限制了自热食品行业的进一步发展。本论
随着信息科技的快速发展,社会对小型化移动机器人,特别是家用机器人的需求越来越高。家用机器人需求最多的当属扫地机器人,市场潜力巨大。目前扫地机器人进行环境感知的方式主要分为:超声波、红外、激光雷达、单目视觉、立体视觉、全景视觉等。属于全景视觉范畴的全景环带光学系统具有实时获得大视场、大景深的图像等优点,因而非常适合扫地机器人的应用需求。为了适应扫地机器人体积小的特点,重新设计了一个结构紧凑、光学总长
基于深度神经网络(DNN)的OCR技术目前已能够在较为规范的数据集上取得较高的准确率。但是,当应用于真实场景时,图片重要信息丢失、图片倾斜、图片质量差等问题会导致仅基于DNN的OCR系统无法正确工作。为了应对上述问题,出现了许多OCR后纠错技术。目前OCR后纠错领域的工作较多基于英文或者类似的基础字符较少的语言,由于字符类别的数目少,它们之间的相似性小,所以纠错较为简单。但是在中文、日文等字符类别
为满足日渐庞大的失能老人群体的洗浴护理需求,缓解护理人员工作负担,本文设计研究一种能够实现淋浴、擦洗、烘干、消毒和生命体征实时监测等功能的失能老人用洗浴辅助机器人,对缓解医疗卫生和养老事业压力,提高老人晚年生活质量,具有重要的社会应用价值。本文主要研究内容包括:(1)结合国内外洗浴护理研究现状,分析总结洗浴辅助机器人的主要功能,提出系统组成及关键指标,设计洗浴辅助机器人主要结构,分析关键结构的力学
截止到2018年底,油气使用量占全球能源市场的57.48%,而管道运输因安全、经济、运输量大的优势,使得管线铺设得越来越广。近几年随着城乡建设的发展,管道第三方破坏事故屡屡发生,不仅造成了重大的经济财产损失,而且危害了人身和公共环境安全。因此,管网公司经常派遣巡检员,但很多高后果区管线地处偏远,人工巡检困难,工作量大。同样在第三方施工现场,通常采用传统视频监控,无法检测识别可能对管道造成破坏的大型