作为一种新兴业态，众测虽优势显着，却也不是“万能药”，尤其是其支撑方法、技术和服务模式还远远不够成熟。
为此，去年7月，国家重点研发计划“现代服务业共性关键技术研发及应用示范”重点专项“信息产品及科技服务集成化众测服务平台研发与应用”正式启动。最近，牵头这一重点专项的中国科学院软件研究所在众测人员推荐研究中率先取得了进展。该成果还获得了第42届软件工程国际会议杰出论文奖。
测试是产品开发生命周期中非常重要的一环。中国科学院软件研究所研究员、互联网软件技术实验室主任王青坦言，测试越充分，发现的缺陷就越多。但每一项测试都有成本，测试边界的覆盖是件难事。
众测，是一种依托互联网技术衍生的全新测试服务业态。它通过众包的分发形式，根据应用类型、用户群类别或者业务功能等测试需求，找到符合条件的测试者。
王青认为，众测变革了传统的测试服务模式，利用共享经济的特征，采用分布、协作的方式组织生产，协同测试需求和测试资源，聚合形成规模效益。
“此外，跟其他众包服务不同的是，众测的结果是众测工人完成的任务集合。这正是它的独特之处基于群体智能来提高测试效率。”王青表示。
“但作为一种新的业态，众测的支撑方法、技术和服务模式并不成熟，特别是存在资源不协同、过程不可控、想测不敢测、需测不能测、能测不可信等痛点问题。”王青直言。
王青解释，当前众测平台选择测试人员的方式大多是自发选择测试项目。它面临的一个重要问题是测试人员是否适合本次招募任务。
她指出，测试工人的能力不齐，测试报告质量也就参差不齐，还有的可能是重复报告。如何对测试结果进行整合，去除重复信息、垃圾信息，高质量地完成报告，是众测的生存之本。
经过调研，王青团队还发现，现有的许多测试机构资源闲置率很高。这些机构有测试资源，但缺乏测试工人，而社会上很多有能力又有闲的人，没资源、也没有测试设备。因此，急需通过一些虚拟化的手段，在人和设备之间做好协同。
她还提醒，从测试结果、测试行为、测试主体三个维度研究众测服务的评估、评价技术和标准，是不可忽视的一个方向。“只测不评，是当下很多测试平台的通病。当它们直接把测试结果交给客户时，客户通常还需要请一个专家团队来对测试结果做评价，这是一笔很大的支出。”
据悉，“信息产品及科技服务集成化众测服务平台研发与应用”重点项目最终会在这些研究基础上，形成标准驱动与检测认证相结合的第三方在线众测服务平台。
说到众测领域最核心的资源，非人莫属，因为众测质量的好坏很大程度上和招募到的测试工人有关。但目前，众测面临的一个棘手问题就是无法做到对测试工人进行有效的监控。
在传统认知里，关于测试人员的推荐，主要根据报名人员的资质或历史数据来对人员进行筛选，找到合适本项目的人，对人员的把控也到此为止。
论文第一作者、中国科学院软件研究所研究员王俊杰解释，众测的场景下，测试任务是多轮迭代进行的，而且，众测需要不断有新人加入，除了确保测试的多样性，更多测试工人也能够获得快速成长。因此，过程监控非常重要，必须进行动态优化。
王俊杰表示，团队通过对测试工人历史表现的感知建立模型，从而捕获任务的进展状态和人员属性信息，比如测试的充分性、人员效能的发挥、群体协作的情况等，并基于排序学习得到测试工人发现缺陷的概率，同时还能对他们未来的表现进行预测。
“正是基于这种动态变化，实时地进行测试人员推荐和更替，才能使得整个众测过程中群体作用发挥到极致。”王俊杰说，该实验表明，使用这种人员推荐的方法能够缩短50%~58%的测试周期。
这项研究改变了传统静态的、针对任务初始前后历史的推荐方式，对众测资源优化配置和群体协同具有意义，并有助于推动众测这种新型科技服务模式的广泛应用。
