论文部分内容阅读
机器学习技术特别是深度学习技术的发展与日益完善,使得机器学习在企业中尤其是互联网企业中的应用频率越来越高,使用范围也越来越广泛。尽管目前各种机器学习算法的理论基础日益完善,应用机器学习必备的硬件设备(CPU、GPU、存储训练数据的磁盘等)成本也越来越低,但是在机器学习技术的应用过程中还存在许多其他问题。机器学习属于比较专业的领域,而在互联网公司中需求是快速迭代的,对于一个需要使用到机器学习的小需求,算法建模和参数调优过程也需要算法工程师的参与,模型开发的人力成本比较大。而且在模型开发完成后,如何落地使用对于只是精通于算法设计,模型调优的算法工程师来说是个很大的挑战。据知名AI服务提供商Algorithmia发布的《2020年企业机器学习行情》报告显示,许多企业在部署机器学习以及后续的服务维护过程中面临着许多问题。针对上述在实际应用机器学习过程中遇到的问题,本文做了相关的研究并设计实现了一个一站式机器学习平台系统。该系统提供一站式的机器学习解决方案,功能可以覆盖机器学习业务的整个流程。该系统的核心功能包括:1.通过参数配置的形式快速构建模型训练作业。2.提供可视化建模工具,大大降低了模型开发的门槛。3.提供统一的模型管理平台,方便算法人员管理机器学习模型。4.提供一键部署模型到线上提供服务的功能和模型服务的监控功能。该平台主要使用JAVA语言开发,采用了 SpringBoot构建了整体项目架构,后端数据库采用了关系型数据库MYSQL、非关系型数据库Tair等。系统设计符合高内聚低耦合的设计思想,代码规范采用了阿里官方Java代码规范标准。该平台已经在公司内上线,并平稳运行中,用户量和访问量也在不断增加。截止到今日,平台已有在线服务1000+,各类模型和实验2000+,算法组件100+。平台的上线为公司内的算法团队提供了许多便利,极大的缩减了模型开发与上线的成本,平台每月的活跃用户达到了很可观的数量,新用户数量也在稳定增长中,达到了平台建设的预期目标。