近年来,随着科学技术的不断发展,人们已经进入了大数据、人工智能时代。计算机视觉作为人工智能的重要领域之一,更是对人们的生活产生了重大影响。计算机视觉发展的三要素是数据、算法、算力,数据在其中起到至关重要的作用。由于日常生活中产生的原始数据杂乱无章且无标签,原始数据集需要清洗标注后才可用于算法模型训练。目前公司内部图片数据集清洗标注主要采取人工的方式,该方式不仅效率低,且成本高。本文研发的图片自动清洗标注平台是通过利用机器学习算法模型,以更加高效、智能、低成本的方式实现图片自动清洗标注,帮助公司降低数据集清洗标注成本,提升数据集清洗标注效率。作者在项目研发过程中首先参与了项目的可行性分析和需求分析,确立了项目的总体目标。通过分析平台需求,将平台划分为用户交互子系统和数据集处理子系统,其中用户交互子系统包括用户管理模块、数据集管理模块、运营管理模块,数据集处理子系统包括图片清洗标注模块。在概要设计阶段,作者设计了系统架构、系统核心流程、数据库表结构、图片清洗标注流程。在详细设计阶段,作者采用Spring Boot框架、Kafka消息队列、Open CV库、Mysql数据库、OSS对象存储服务等技术设计并开发了该平台。该项目在数据集处理方面,为实现高效、智能的图片清洗,使用Laplacian算法进行模糊图片自动清洗,使用差异值哈希算法进相似图片自动清洗,使用Haar分类器进行无人脸图片自动清洗,并通过远程调用百度AI开放平台人脸识别服务进行图片自动标注。在数据存储方面,平台将异构数据分类存储,使用Mysql数据库存储平台基础业务数据,使用OSS对象存储服务存储数据集文件。在系统部署方面,为实现服务高可用,使用Tomcat+Nginx+Keepalived部署用户交互子系统,使用Docker集群部署数据集处理子系统。最后作者对平台进行了全面测试并部署上线。该平台提供的图片自动清洗标注服务,使得公司内部的图片清洗标注效率大大提高,并且极大地节约了时间成本和人力成本。