HttpRunner 首轮用户调研报告(2022.02)
2022.02.09,我发起了首轮面向 HttpRunner 用户的调研问卷,截至当前,共收集到 252 份有效问卷。在此非常感谢所有填写问卷的朋友们,感谢你们的认可和建议!
我最近也花了包括周末在内的整整 3 天时间逐一阅读了大家填写的内容,并对内容进行了整理汇总,最终形成了这份用户调研报告。
本报告分为三个部分:客观统计数据、主观评价及建议、HttpRunner 的初步规划。文末会再说明下核心用户群的建设情况。
客观统计数据
这部分是选择题,可以比较好地获得出各个维度的统计数据。
你当前使用的 HttpRunner 版本?
HttpRunner 最开始是使用 Python 开发的,而当前采用 Golang 开发的 HttpRunner+ 还未开始推广,因此使用 Python 版的用户占比 95.2%,符合预期。
在 Python 版本中,可以看出 74.2% 的用户已经在使用 HttpRunner v3.x 了,但还有近 20% 的用户在使用 v2.x,甚至 v1.x。从用户的问答题中,也有不少用户表明了更喜欢 v2.x 的形式。
后续,Golang 版的 HttpRunner+ 将会是重点投入的方向,功能层面除了覆盖原 Python 版已有的功能外,还会在网络协议、性能测试、数字体验监测等方面进行更多的拓展。但大家可以放心,HttpRunner+ 虽然是采用 Golang 开发,但在使用方式方面会与原 Python 版基本保持一致,而且自定义函数后续会支持多种主流的编程语言(Go/Python/Java 等),因此不需要用户具备 Golang 的开发能力。同时,考虑到很多用户具有基于 Python 版 HttpRunner 进行二次开发的诉求,因此 Python 版的 v3.x 也会持续进行维护。
你对当前使用的 HttpRunner 整体满意度评分?
HttpRunner 当前整体满意度平均分 4.3。欣喜的是大家普遍给出的评分都是 4 星和 5 星,没有给出 1 星和 2 星的用户,在此非常感谢大家的认可和鼓励!
你重点关注的使用场景有哪些?
大家关注的使用场景主要聚焦在接口自动化测试、性能测试、线上监控 等,这也是之前 HttpRunner 项目的核心目标。
而在数字体验监测(DEM)方面,大家的关注度明显偏低(4.2%),估计是数字体验监测还是一个比较新的概念,很多公司还没有开始重视。但可以明确告诉大家的是,数字体验监测(DEM)具有非常大的业务价值收益,后续 HttpRunner+ 也会重点加强这方面的能力建设,并且会分享较多的教程文档、成功案例,甚至公开课等。
你是否愿意与 HttpRunner 共创成功案例?(在 HttpRunner 官网上宣传展示)
愿意与 HttpRunner 共创成功案例的用户达到了 60.1%,着实令我感动。
在此我也想说明的是,共创成功案例是一个双赢的事情,后续 HttpRunner 会加大开源项目运营力度。对HttpRunner 而言,我们期望能触达更多用户,将开源项目做大做强。对企业而言,HttpRunner 可以成为一个品牌宣传的渠道,团队宣传和招聘广告都是欢迎的。
接下来我会整理下共创成功案例的方案和计划,然后跟有意向的朋友联系进行细节沟通。看到这里感兴趣的朋友,也可以主动跟我联系。
主观评价及建议
这部分是问答题,可以最真实准确地获得用户对 HttpRunner 的使用感受,同时也可以比较好地作为核心用户群体的筛选条件。
最开始我想过采用多选题的方式,我自己罗列一些点,让大家进行选择。这样的好处是问卷填写和统计都非常方便,用户和我都会轻松得多。但坏处就是我个人的主观判断会严重影响到用户的评价,从而掩盖了最真实的用户声音。另外这种方式也没法区分出真正的铁杆用户,不利于核心用户群体的筛选。
实际上,这部分整理工作的确也花费了我非常多的时间,主要是要对大家填写的内容进行结构化和归类,从而筛选出高优共性问题。但最后从实际结果来看,这部分投入真的非常值得!
统计说明:统计次数都是基于针对具体维度的评价,笼统的描述不计入统计,例如「非常好用」、「都喜欢」等。同时单个用户针对多个维度的具体评价,都会计入到统计数据。 如果大家期望看到原始的问卷内容,可在公众号 HttpRunner 中发送「首轮问卷原始内容」获得查看链接(已去除用户个人相关信息)。
在当前使用的 HttpRunner 版本中,你最喜欢的功能有哪些?👍
从统计数据来看,HttpRunner 用户最喜欢的三大方面分别为:脚本能力、易用性、整体设计;并且票数显著高于其它方面。
在细分功能层面,HttpRunner 用户最喜欢的功能点为:用例生成(har2case)、动态函数(debugtalk.py)、整体设计(用例分层)。
在当前使用的 HttpRunner 版本中,你最想吐槽的点有哪些?👎
在吐槽点方面,首当其冲是文档指引,票数显著高于其它维度。然后其它的吐槽点主要聚集在:易用性(缺乏 UI 界面)、问题排查(报错信息排查定位)、流程控制、性能测试(locust 鸡肋)等方面。
你最期望 HttpRunner 增加的功能有哪些?👻
在期待新增的功能和改进方面,更高的易用性(UI 界面)、更完善的性能测试、更丰富的网络协议 是呼声最高的三个方向。同时在项目支持层面,文档、案例、demo 也是大家普遍期望改进的。
HttpRunner 的初步规划
基于本轮用户调研的结果,我们可以看到 HttpRunner 具有一些亮点和优势,但同时还存在非常多的不足。我们会认真听取用户的反馈,并进行相应的改进,这也是我发起本轮用户调研问卷的初衷。
这里先罗列一些初步的规划,后续我会再发布一份更完整的规划文档。
1、承诺永久保持开源免费!
在问卷中有朋友提到了这样的期望,虽然只有一位,但我想在此进行下郑重申明。
HttpRunner,以及当前重点投入的 HttpRunner+,承诺会永久保持开源免费。并且在开源协议上,我们选择了非常宽松的 Apache-2.0 协议,不管是对个人还是商业化公司,都十分友好,大家不需要有任何顾虑。
但同时需要说明的是,HttpRunner 自身在保持开源免费的情况下,不排除我们会基于 HttpRunner 提供一些商业化的增值服务,后续也可能会有一些商业化的广告。期望大家能多多理解,在方便的时候也期待大家能给予支持,毕竟纯粹的靠爱发电是无法长久的,能找到一些利益平衡点,互惠互利才能走得更远!
2、HttpRunner 开源社区建设
在针对 HttpRunner 的吐槽和期望改进方面,用户支持、文档案例建设、交流途径 被提及的比较多,这的确是当前 HttpRunner 做得很不好,严重阻碍 HttpRunner 普及和发展的问题。
接下来,HttpRunner 会重点加强文档(中文优先)的建设,并且会设计一些案例,方便用户快速上手实践。甚至我们也在考虑可以定期搞一些 HttpRunner 的公开课,直播进行案例演示,对某些新手用户可能会更友好些。
同时,我最近也在考虑建设 HttpRunner 自身的交流社区,方便用户更好地交流,及时获得问题答疑。构建核心用户群是当前第一阶段在做的工作,但更多具体形式我还在探索中,核心目标就是要解决大家在问卷中提到的相关问题。
3、基于 HttpRunner 的 UI 客户端产品
之前我在我的 2021 年终总结中有简单介绍过,我们团队当前在基于 HttpRunner+ 研发一款商业化的桌面客户端性能检测(压测)工具,简单易用、功能强大是该产品最核心的目标。
虽然核心目标是压测,但压测的基础是接口测试,因此该产品同样会具有接口自动化测试的所有功能。而在商业化方面,我们期望能有更广大的用户群体,因此绝大多数基础功能都会免费开放给用户。
大概在今年 3 月份,我们的 UI 客户端工具 alpha 版本会先面向 HttpRunner 核心用户群开放试用,后续会逐步开放给更多用户。相信后续在有了该款 UI 客户端工具之后,问卷中普遍提及的易用性(缺乏 UI 操作界面)、性能测试不完善等问题就可以得到较好的解决。
4、HttpRunner+ 的迭代方向
首先,HttpRunner+ 会延续之前的项目目标,打造成一个面向 HTTP(S) 的一站式测试解决方案。因此大家在问卷中反馈的共性问题(票数>=3)我们都会按照优先级进行解决。
其次,HttpRunner+ 在应用场景上会进行更多的拓展和突破,包括覆盖更多的网络协议、支持更完善的性能测试、融合数字体验监测等更多能力。
下图中展示了当前 HttpRunner+ 已经具备的能力,以及近期要重点实现的功能特性。
核心用户群的建设情况
在首轮用户调研问卷之后,我逐一阅读了收集的所有问卷内容,并初步与一批用户进行联系,组建了一个微信交流群,当前群成员大概有 50+ 的样子。
还有一些用户的填写质量也非常高,但有的是没有留下联系方式,有的是填写的联系方式无法添加好友,有的是添加好友申请后一直没有通过,还有的是添加好友成功后没有交流。如果存在这些情况的用户,麻烦再跟我联系下。
另外我再说明下,我并不是在有意控制群的规模,而是期望在社区建设初期能筛选出一批真正喜欢 HttpRunner,并愿意一起帮助 HttpRunner 成长的用户。筛选机制可能存在一定的主观性,但大家如果去看下问卷的原始内容,也许就会清楚真正的铁杆用户具有怎样的特性了。
查看原始问卷内容的方式:在公众号 HttpRunner 中发送「首轮问卷原始内容」获得查看链接(已去除用户个人相关信息)。
最后,如果还有特别想进群的用户,那就再加下我微信(leolee023)吧,但需要在加好友的时候做下稍微详细点的自我介绍,包括:姓名、所在公司、所在公司使用 HttpRunner 的情况。
最后的最后,麻烦大家再填个【问卷】吧,只有一个问题,在 HttpRunner 永久保持开源免费的情况下,你最期望获得的增值服务有哪些?
再次感谢大家的理解和支持!
问卷链接:https://wj.qq.com/s2/9708369/b6b2/