目录
1.什么是bug?
2.如何描述一个bug?
①发现问题的版本
②问题出现的环境
③错误重现的步骤
④预期行为的描述
⑤错误行为的描述
⑥其他
⑦不要把多个bug放到一起
PS:案例1
PS:案例2
3.如何定义bug的级别?
①Blocker(崩溃)
②Critical(严重)
③Major(一般)
④Minor(次要)
4.bug的生命周期
PS:Bug的跟踪以及状态变更应该遵循一些基本原则:
1.什么是bug?
第一个bug :
1945年9月的某天,在一间老式建筑里,从窗外飞进来一只飞蛾,此时Hopper正埋头工作在一台名为 Mark Il的计算机前,并没有注意到这只即将造就历史事件的飞蛾。
这台计算机使用了大量的继电器(电子机械装置,那时还没有使用晶体管)。突然,Mark II死机了。Hopper试了很多次还是不能启动,他开始用各种方法查找问题,最后定位到了某个电路板的继电器上。
Hopper观察这个继电器,惊奇地发现一只飞蛾已经被继电器打死。Hopper小心地用镊子将飞蛾夹出来,用透明胶布贴到“事件记录本”中, 写上“第一个发现虫子的实例”。Hopper的事件记录本,连同那只飞蛾,现在都陈列在美国历史博物馆中。
- 当且仅当规格说明(软件需求)是存在的并且正确,程序与规格说明之间的不匹配才是软件错误。
- 当需求规格说明书没有提到的功能,判断标准以最终用户为准:当程序没有实现其最终用户合理预期的功能要求时(执行结果 != 预期结果),就是软件错误。
即:
当软件功能不存在,用户需求(软件需求)存在且合理,软件功能和用户需求不相符合,说明软件是错误的。
2.如何描述一个bug?
一个合格的bug描述应该包括以下几个部分:
①发现问题的版本
开发人员需要知道出现问题的版本,才能够获取对应版本的代码来重现故障。并且版本的标识也有利于统计和分析每个版本的质量。
②问题出现的环境
环境分为硬件环境和软件环境,如果是web项目,需要描述浏览器版本,客户机操作系统等;如果是 app项目,需要描述机型、分辨率、操作系统版本等。环境还可分为本地环境和服务器环境。详细的环境描述有利于故障的定位。
③错误重现的步骤
描述问题重现的最短步骤。
④预期行为的描述
要让开发人员指导怎么样才是正确的,尤其要以用户的角度来描述程序的行为是怎样的。如果是依据需求提出的故障,能写明需求的来源是最好的。 要相信:测试人员是最懂需求的。
⑤错误行为的描述
描述错误的现象。crash等可以上传log,UI问题可以有截图。
⑥其他
某些公司会有一些其他的要求,例如故障的分类:功能故障,界面故障,兼容性故障等;BUG复现的前置条件;BUG优先级:严重影响测试需要开发人员优先修改的,可以设置优先级为高;BUG给谁。
⑦不要把多个bug放到一起
在无法确认是同一段代码造成的故障时,不要将bug放在一起提交。
PS:案例1
提交了如下bug:
- 在短信列表,选择一条短信,进行删除,删除失败。
- 在短信列表,选择一条短信,进行查看,在查看页面,进行删除,删除失败。(这个更好,要记录详细)
PS:案例2
- 故障发现版本:VPS20180226_01
- 故障类别:兼容性
- 故障优先级:中
- 故障标题:ie下界面显示异常,界面文字有重叠
- 故障描述:
- 测试环境:win7+IE8
- 测试步骤:1)、打开vps首页,点击“通知”链接,进入通知页面
- 预期结果:通知页面显示正确,一页显示10条通知,按时间顺序倒序排列
- 实际结果:页面显示10条通知,通知顺序正确,但是页面文字有重叠
- 附件:上传截图
3.如何定义bug的级别?
bug的定义每个公司都不一致,在定义级别之前需要查看公司规范。
以下为样例:
①Blocker(崩溃)
阻碍开发或测试工作的问题。
造成系统崩溃、死机、死循环,导致数据库数据丢失,与数据库连接错误,主要功能丧失,基本模块缺失等问题。
如:代码错误、死循环、数据库发生死锁、重要的一级菜单功能不能使用等。
(该问题在测试中较少出现,一旦出现应立即中止当前版本测试,测试打回:测试写一个报告给上级领导,打回给开发。接下来开发就需要去修复,修复完自己得仔细地测试一下)
②Critical(严重)
系统主要功能部分丧失、数据库保存调用错误、用户数据丢失,一级功能菜单不能使用但是不影响其他功能的测试。
功能设计与需求严重不符,模块无法启动或调用,程序重启、自动退出,关联程序间调用冲突,安全问题、稳定性等。
如:软件中数据保存后数据库中显示错误,用户所要求的功能缺失,程序接口错误,数值计算统计错误等。
(该等级问题出现在不影响其他功能测试的情况下可以继续该版本测试)
③Major(一般)
功能没有完全实现但是不影响使用,功能菜单存在缺陷但不会影响系统稳定性。
如:操作时间长、查询时间长、格式错误、边界条件错误,删除没有确认框、数据库表中字段过多等。
(该问题实际测试中存在最多)
④Minor(次要)
界面、性能缺陷,建议类问题,不影响操作功能的执行,可以优化性能的方案等。
如:错别字、界面格式不规范,页面显示重叠、不该显示的要隐藏,描述不清楚,提示语丢失,文字排列不整齐,光标位置不正确,用户体验感受不好,可以优化性能的方案等。
(此类问题在测试初期较多,优先程度较低;在测试后期出现较少,应及时处理)
4.bug的生命周期
每个公司、每一个工具对bug生命周期的定义都是不一致的,下面仅是一个常见的例子。
测试人员应该跟踪一个Bug的整个生命周期,从Open到Closed的所有状态。
BUG状态转换图:
- New:新发现的Bug,未经评审决定是否指派给开发人员进行修改。
- Open:确认是Bug,并且认为需要进行修改,指派给相应的开发人员。
- Fixed:开发人员进行修改后标识成修改状态,有待测试人员的回归测试验证。
- Rejected:如果认为不是Bug,则拒绝修改。
- Delay:如果认为暂时不需要修改或暂时不能修改,则延后修改。
- Closed:修改状态的Bug经测试人员的回归测斌验证通过,则关闭Bug。
- Reopen:如果经验证Bug仍然存在,则需要重新打开Bug,开发人员重新修改。
无效的bug:
- open->closed
- open-rejected-closed
缺陷状态变更流程每个项目团队的实际做法可能不大一样,需要结合实际的开发流程和协作流程来使用。
例如,测试人员新发现的Bug,必须由测试组长评审后才决定是否Open并分派给开发人员。测试人员 Open的Bug可以直接分派给Bug对应的程序模块的负责人,也可以要求都先统一提交给开发主管,由开发主管审核后再决定是否分派给开发人员进行修改。
PS:Bug的跟踪以及状态变更应该遵循一些基本原则:
- 测试人员对每一个缺陷的修改必须重新取一个包含更改后的代码的新版本进行回归测试,确保相同 的问题不再出现,才能关闭缺陷。
- 对于拒绝修改和延迟修改的Bug,需要经过包含测试人员代表和开发人员代表、用户方面的代表 (或代表用户角度的人)的评审。