随着各个行业都开始进行业务的数字化转型,测试作为软件生命周期中非常重要的一环,具有不可或缺的作用,但为了解决成本高、测试人力资源紧张与需求高之间的矛盾,众包测试相比较传统测试成为了更好的解决方案。但在实际众包测试流程中,数量大、冗余多、缺陷重要性程度不明的众包测试报告,耗费了软件管理人员大量的时间在审核。对于众包测试报告的质量缺乏有效、客观的评估方式,同时对众包测试人员酬金发放确定,认定众包测试人员的工作能力及态度没有相对科学、合理的方法。学术界对于众包测试报告的评估主要集中在规范性程度的度量上,缺乏完整的指标体系,综合评估方法也大多依赖于主观的专家调查法。因此我们期望通过全面、客观地梳理分析得出众包测试报告的影响因素,并建立客观的综合评估模型,来对报告质量进行评估。针对以上的现状,本文主要对以下三个问题进行了研究和分析:1.如何通过聚类识别报告描述的缺陷类型,提高报告阅读效率。2.众包测试报告的质量应该从哪些因素去考虑和评价。3.如何对众包测试报告质量进行综合评价,能够更有效筛选出有价值的报告。主要取得了以下研究成果:1.为了提高软件管理人员在众包测试报告流程中的效率,本文提出了如何通过文本聚类将报告进行分类的问题。为了解决问题,本文对文本分类算法进行了分析,并应用LDA主题模型和基于Bert、Word2vec、TF-idf三种词向量的K-means和DBSCAN算法进行聚类。其中结合LDA改进的K-means算法进行聚类,迭代次数上明显减少,从轮廓系数上看聚类效果也有所上升。通过比较可得K-means算法取得聚类效果最好,并可将簇内数量其作为质量评估的指标。2.为了帮助软件管理人员预测在有限的资源内,一个测试报告是否应当被选择进行审查,本文尝试求解质量评估应考虑哪些影响因素的问题。本文基于文献整理和综合分析,针对众包测试报告分析得出了缺陷影响程度、报告规范程度、缺陷可复现性度量和众包测试人员水平四层8个指标,并建立了指标框架体系,较完整、全面地概括了众包测试报告质量的影响因素,能够为之后的研究提供参考。3.为解决如何科学、客观地综合评估众测报告质量,本文构建了多指标综合评价方法。应用了4种客观赋权法和BP神经网络综合评价方法,对众包测试报告的质量进行评估,得出结论变异系数法是综合评价方法中更好的一种,能实现高分报告识别正确率82.12%,整体预测成功率71.83%,能够将其得到的结果作为判断一个测试报告是否应当被选择进行审查的数据支持。根据已有的研究结论,本文分别对众包测试报告进行文本聚类,得出了相对全面的指标体系,以及研究了质量综合评估的模型,找出了准确率最高的客观赋权方法。希望能在一定程度上丰富了众包测试报告质量评估的指标体系,补充质量评估的研究;同时,为提高众包测试流程的效率,客观地评估报告质量,对众包测试人员的评价、酬金发放确定提供一定的帮助。