有米科技-测试与工程质量保障部

基于 HttpRunner 建设自动化测试平台

公司(业务)介绍

有米科技是一家基于大数据与人工智能技术为客户提供数据/工具 SaaS 产品与移动营销服务的科技公司。自 2010 年成立以来,有米科技已成为国内领先的移动营销大数据 SaaS 服务商及提供移动互 联网营销服务的科技公司,同时设有广东省移动互联网营销大数据工程技术研究中心。

公司将多年积累的行业数据与技术商业化深入应用于内容电商大数据选品及投流素材分析、互联网营销情报洞察、广告创意追踪、广告素材智能优化、广告投放管理等方面,为客户提供领先的产品与服务,助力客户用户增长、获取商机、高效选品、开拓市场。公司的业务包括有米云产品业务和移动营销服务业务。

案例提供人:张楚昭有米科技-测试与工程质量保障部-技术经理

为什么选择 HttpRunner

这几年公司重心逐步从一家移动营销服务商迈向一家移动营销大数据 SaaS 服务商,从基于客户端的全球广告 SDK 产品,转向基于以多维海量移动营销数据为基础的智能营销大数据产品。数据产品的质量保障逻辑跟客户端 SDK 产品有着非常大的不同,核心在于数据质量。在日常产品敏捷快速迭代中,如何保障产品数据的准确性、完整性、时效性、稳定性、一致性、合规性,给质量团队带来了前所未有的的挑战,此时单纯仅靠人工测试肯定是完全无法满足产品质量的需求。因此,深入开展自动化测试成为我们的必然选择。

自动化测试主要是 API 自动化和 UI 自动化,对于其中的 API 自动化,在 HttpRunner 之前,团队使用过各种各样的工具,比如 Postman、JMeter、Python Requests、Pytest、自研脚本工具等等,但总有一些不如意的地方。

主要问题是:

  • 有些工具上手简单,但是效率不高,如 Postman、JMeter等;
  • 有些工具效率很高,但是有一定门槛,无法让所有成员快速上手,如Python Requests、Pytest、自研脚本工具;
  • 由于上述两个问题,同时团队各成员能力上下不一,另一方面产品在持续敏捷迭代,所以在一开始没能找到统一的共识工具,姿势不一,造成脚本维护成本增加,团队能力积累不明显,效率不高;

而 HttpRunner 的出现让我们如获珍宝,因为它就是我们自研脚本工具在努力的方向,相比其他工具,HttpRunner 优势明显:

  • 小巧、灵活、功能齐全,满足日常数据接口验收需要;
  • 开源,支持定制和扩展,可以进行 Web 可视化;
  • 用例与代码分离,实现用例标准化,方便生成和转换,方便统一和维护,降低了使用门槛,适合不同团队成员,而且极大提升用例设计效率;

HttpRunner 的使用情况

通过借助 API 自动化开源工具 HttpRunner 和 UI 自动化开源工具 Cypress,经过一年多的努力和实践,我们的自动化测试覆盖到了公司所有的产品线,同时搭建了自己的 Web 自动化工具平台 AutoQA,并初步建立起了相对完整自动化落地策略、自动化执行机制和自动化价值衡量指标,极大地推进了公司各条产品线的自动化测试进程和覆盖度。

核心亮点有:

  • API 自动化用例 3200+,核心项目覆盖率平均 85%以上;
  • UI 自动化用例 1500+,核心项目覆盖率平均 70%以上;
  • 搭建了自动化测试平台,实现测试任务、用例、数据的复用和可视化,进一步提升日常质量工作的效率和推进公司质量工作全流程线上化;

有米自动化测试平台

后续展望

随着公司产品的发展,产品数据量、用户量的与日俱增,产品性能问题逐步也提上日程,后续我们质量团队将持续加大对 AutoQA 的投入,刚好结合近期 HttpRunner v4 底层更好的性能测试能力,来拓展 AutoQA 对性能测试任务的支持,打通自动化测试到性能测试的转换,提升对自动化脚本的复用能力,助力产品高效开展日常持续性性能测试。

也期待 HttpRunner 继续发光发热,早日实现对 UI 自动化测试的支持与落地。同时,祝愿HttpRunner 早日成为行业家喻户晓的国人原创测试利器。