目录
想着做,做着想
一、软件测试的生命周期(重点)
软件测试贯穿于软件的整个生命周期。
- 软件测试的生命周期是指测试流程,这个流程是按照⼀定顺序执行的一系列特定的步骤,去保证产品质量符合需求。
- 在软件测试生命周期流程中,每个活动都按照计划的系统的执行。每个阶段有不同的目标和交付产物。
1、软件测试 & 软件开发生命周期
(1)需求分析
测试人员了解需求、对需求进行分解,得出测试需求。
- 用户角度:软件需求是否合理。
- 技术角度:技术上是否可行,是否还有优化空间。
- 测试角度:是否存在业务逻辑错误、冗余、冲突等问题。
(2)测试计划
- 根据需求编写测试计划 / 测试方案。
- 制定测试计划:什么时候开发测试,什么时候结束测 试,耗 时多久。
(3)测试设计与开发
- 测试人员适当的了解设计,对于设计测试用例是很有帮助的,测试人员搭建测试用例框架,根据需求和设计编写一部分测试用例。
- 参考需求文档、技术文档等编写测试用例写测试文档,明确标注使用到的测试方法,测试工具, 测试形式等等。
(4)测试执行
- 充分利用测试用例和测试工具对项目尽可能做到全方面的测试覆盖。
- 测试人员一般是不需要编码的,但已经编码的模块,专业的白盒测试人员可以计划执行单元测试,完善、细化测试用例以及调整测试计划和方案。
(5)测试评估
- 测试是否通过,本次测试是否有遗留的 BUG,最终测试人员需要产出⼀个测试报告。
- 测试阶段是软件测试人员最为重要的工作阶段,根据测试用例和计划执行测试,在执行的过程中记录、管理缺陷,测试完成后编写测试报告。
- 测试执行结束后,不能认为项目 100% 的问题被发现了,问题是不可能被完全发现的。
(6)上线
- 项目测试结束后,将项目发布到线上环境,测试人员需求跟踪上线并测试线上环境下软件的运行是否正确。
- 我们平时在本地写的代码提交到 gitee / 部署到服务器上,可以称为一个上线流程。
- 实际在工作中,上线要分为多个步骤:
-
- 沙盒(企业内部的线上环境,可以供内部人员进行测试)
- 小流量(部分线上真实的用户可以使用到,测试人员要在线上手动测试,还要观察有没有错误日志,真实用户是否在使用过程中发现了问题)
- 全流量、全线上。
- 因为上线的过程中也可能存在问题,线下测试没有问题,如果推到线上可能会出现问题。
- 线上环境和线下环境并不是完全一样的,所以每一步都需要跟进测试。
(7)运行维护
- 测试人员需要参与项目的实施工作。测试人员对项目产品的业务和操作非常了解,加上测试人员的沟通表达能力一般都比较强
- 所以测试人员可以参与用户使用软件的培训,在试运行项目时收集问题并及时反馈给相关负责人。
软件测试的生命周期:
需求分析(需求是否完整、正确)
- → 测试计划(确定软件由谁测试,测试的开始和结束时间,测试哪些模块)
- → 测试设计、测试开发(写测试用例,包括手工测试用例和自动化测试用例,编写测试工具)
- → 测试执行(执行测试用例)
- → 测试评估(测试人员需要产生测试报告)
二、如何描述一个 Bug(重点)
1、Bug 的概念
定义:⼀个计算机 Bug 指在计算机程序中存在的一个错误(error)、缺陷(flaw)、疏忽(mistake)或者故障(fault),这些 Bug 使程序无法正确的运行。
Bug 产生于程序的源代码或者程序设计阶段的疏忽或者错误。
准确的来说:
- 当且仅当规格说明是存在的并且正确,程序与规格说明之间的不匹配才是错误。
- 当需求规格说明书没有提到的功能,判断标准以最终用户为准:当程序没有实现其最终用户合理预期的功能要求时,就是软件错误。
2、描述 Bug 的要素
为什么描述 Bug 还有要素要求?
- 在心理学上说,人们在编写文档的时候,经常会出现自己想表达的和写出来的内容往往南辕北辙。
- Bug 描述:浏览器打开链接失败。
- 该描述下,没有明确说明哪个浏览器,失败的具体表现是什么
- 对于开发⼈员来说无法捕捉到更多有效的信息,会造成沟通效率低下,工作质量低下等问题。
描述 Bug 的基本要素:问题出现的版本、问题出现的环境、问题出现的步骤、预期结果、实际结果案例。
一个合格的 bug 描述应该包括以下几个部分:
1、发现问题的版本
- 浏览器 / 软件产品的版本。
- 开发人员需要知道出现问题的版本,才能够获取对应版本的代码来重现故障。
- 并且版本的标识也有利于统计和分析每个版本的质量。
2、问题出现的环境
- 产品运行的环境。
- 环境分为硬件环境和软件环境,如果是 W eb 项目,需要描述浏览器版本,客户机操作系统等,如果是 app 项目,需要描述机型、分辨率、操作系统版本等。
- 详细的环境描述有利于故障的定位。
版本和环境也没有强区分,只要能够给出关键信息供开发人员去复现即可。
3、错误重现的步骤
- 描述问题重现的 最短 步骤。
4、预期行为的描述
- 要让开发人员指导怎么样才是正确的,尤其要以用户的角度来描述程序的行为是怎样的。
- 如果是依据需求提出的故障,能写明需求的来源是最好的。
- 要相信:测试人员是最懂需求的。
5、错误行为的描述
- 描述错误的现象。 crash 等可以上传 log , UI 问题可以有截图。
6、其他
- 某些公司会有一些其他的要求,例如故障的分类:功能故障,界面故障,兼容性故障等。
- 有些有优先级的分类,严重影响测试需要开发人员优先修改的,可以设置优先级为高。
7、不要把多个 Bug 放到一起
- 在无法确认是同一段代码造成的故障时,不要将 B ug 放在一起提交。
【案例】
提交了如下 bug:
- 在短信列表,选择一条短信,进行删除,删除失败。
- 在短信列表,选择一条短信,进行查看,在查看页面,进行删除,删除失败。(详细 √)
故障发现版本:VPS20180226_01
故障类别:兼容性
故障优先级:中
故障标题:ie下界面显示异常,界面文字有重叠
故障描述:
测试环境:win7+IE8
测试步骤:1、打开vps首页,点击“通知”链接,进入通知页面
预期结果:通知页面显示正确,一页显示10条通知,按时间顺序倒序排列
实际结果:页面显示10条通知,通知顺序正确,但是页面文字有重叠
附件:上传截图
三、Bug 的级别(重点)
- bug 的定义每个公司都不一致,在定义级别之前需要查看公司规范。
- 通过定义 bug 的级别,能够明确看出问题的严重程度。
- ⼯作中开发人员通常需要按照 bug 的级别来分配优先级来处理 bug,除此之外,通过 bug 级别也能够体现出开发人员的开发质量。
1、Blocker(崩溃)
- 阻碍开发或测试工作的问题;造成系统崩溃、死机、死循环,导致数据库数据丢失,与数据库连接错误,主要功能丧失,基本模块缺失等问题。
- 如:代码错误、死循环、数据库发生死锁
- 重要的一级菜单功能不能使用等(该问题在测试中较少出现,一旦出现应立即中止当前版本测试,打回给开发,开发就需要修复,修复完之后开发需要自己再仔细测试一下)。
2、Critical(严重)
系统主要功能部分丧失、数据库保存调用错误、用户数据丢失,一级功能菜单不能使用但是不影响其他功能的测试。
- 功能设计与需求严重不符,模块无法启动或调用,程序重启、自动退出,关联程序间调用冲突,安全问题、稳定性等。
- 如:软件中数据保存后数据库中显示错误,用户所要求的功能缺失,程序接口错误,数值计算统计错误等(该等级问题出现在不影响其他功能测试的情况下可以继续该版本测试)。
3、Major(一般)
- 功能没有完全实现但是不影响使用,功能菜单存在缺陷但不会影响系统稳定性。
- 如:操作时间长、查询时间长、格式错误、边界条件错误,删除没有确认框、数据库表中字段过多等( 该问题实际测试中存在最多)。
4、Minor(次要)
界面、性能缺陷,建议类问题,不影响操作功能的执行,可以优化性能的方案等。
- 如:错别字、界面格式不规范,页面显示重叠、不该显示的要隐藏,描述不清楚,提示语丢失,文字排列不整齐,光标位置不正确,
- 用户体验感受不好,可以优化性能的方案等(此类问题在测试初期较多,优先程度较低;在测试后期出现较少,应及时处理)
类比生活当中:
四、Bug 的生命周期(重点)
- 每个公司、每一个工具对 bug 生命周期的定义都是不一致的,下面仅是一个常见的例子。
- 测试人员应该跟踪一个 Bug 的整个生命周期,从 Open 到 Closed 的所有状态。
1、BUG 状态转换图
- 测试人员在执行测试的过程中如有发现 Bug,需要在对应的 Bug 管理平台来创建 Bug(Bug 生命起源)
- 创建好的 Bug 需要被开发人员修复,以及测试人员的持续跟踪和测试。
- New:测试人员新发现的 Bug,未经评审决定是否指派给开发人员进行修改。
- Open:确认是否为有效 Bug,并且认为是否需要进行修改,无效的 Bug 则状态流转为 Rejected(拒绝),否则指派给相应的开发人员。
- Fixed:优先级高、时间充裕,开发人员进行修改后标识成修改状态(将 Bug 修复结束了),有待测试人员的回归测试验证。
- Rejected:如果认为不是 Bug,则拒绝修改。
- Delay:如果认为暂时不需要修改或暂时不能修改(优先级低),则延后修改。
- Closed:修改状态的 Bug 经测试人员的回归测试验证通过,确认 Bug 已修复,则关闭 Bug。
- Reopen:如果经验证 Bug 仍然存在,则需要重新打开 Bug(打回),开发人员重新修改。
无效的 bug :
- open->closed
- open-rejected-closed
缺陷状态变更流程每个项目团队的实际做法可能不大一样。
并且需要结合实际的开发流程和协作流程来使用。
例如
测试人员新发现的 Bug
- 必须由测试组长评审后才决定是否 Open 并分派给开发人员。
- 测试人员 Open 的 Bug 可以直接分派给 Bug 对应的程序模块的负责人,也可以要求都先统一提交给开发主管
- 由开发主管审核后再决定是否分派给开发人员进行修改。
Bug 的跟踪以及状态变更应该遵循一些基本原则:
- 测试人员对每一个缺陷的修改必须重新取一个包含更改后的代码的新版本进行回归测试,确保相同的问题不再出现,才能关闭缺陷。
- 对于拒绝修改和延迟修改的 Bug,需要经过包含测试人员代表和开发人员代表、用户方面的代表(或代表用户角度的人)的评审。
delay 的 bug 一定要修复吗?
- 理论上来说是一定要被修复的。
五、如何开始第一次测试
1、充分理解需求
- 文档(产品文档 + 技术文档)
- 项目功能问产品,模块底层如何实现问开发
2、确定测试计划
3、执行测试
Bug 开发修复了之后一定要验收。
4、项目上线 + 维护
⭕作为一个 小白 在进入测试团队开始第一次测试的时候,我们需要做很多的准备:
- 阅读所有项目有关的文档,包括:需求文档、设计文档、用户手册。
- 尽可能参加各种项目会议,了解项目的背景、人员组成、尽可能的了解需求和业务。
- 特别针对业务专业性较强的项目,例如银行业务,需要了解各种业务知识,如高低柜、一二三类账户等、存款、贷款等。
- 熟悉项目所使用的测试管理工具、配置管理工具,获取对应的地址和登录方式。
- 阅读已有的测试方案和测试案例。
- 阅读旧有的bug库,了解系统功能。尤其重要的是和现有的测试团队保持一致的故障定级原则。
- 了解公司的规范要求,特别是用例编写规范、用例执行规范、bug提交规范、测试工具工具使用规范等。
在进行了以上的准备工作之后,第一次测试工作到来了,我们需要与测试组长确认具体的工作内容:
- 测试的计划是什么?
- 测试的内容是什么?test case 有多少?安排了几天执行?有没有自由测试的时间?
- 我要测试的内容开发人员是谁?需求人员是谁?
- 分配给我的测试内容是否需要特殊的测试资源?资源是否满足需要?
在我们确认了以上内容之后,就可以开始测试的执行了。
六、测试的执行和 BUG 管理
开始进行测试:
- 打开待测试的系统。
- 打开测试管理工具用例模块,开始执行用例。
- 发现 bug,进行复现并确认 bug 的复现步骤。
- 记录 bug。
- 沟通 bug。
- 验证以前提交的 bug。
- 确认本次测试完成。
- 编写测试报告。
执行测试时处理要做到测试用例和需求的覆盖外,还要有临时发挥的能力。
- 根据自己的经验、对测试的感悟以及随机测试可以发现很多根据测试用例无法发现的缺陷。
- 不能拘泥于测试用例或者已经有的测试方法,在测试执行过程中要不断总结测试方法和测试故障模型。
- 真正优秀的测试人员在执行测试时是想着做,做着想,这样的测试效果才好,尤其是在测试过程中,对程序的处理相当了解的情况下,测试的思路会更加清晰和全面。
如何发现更多的 bug?
- 软件测试同样存在二八原则,80% 的故障集中于 20% 的模块,如果某部分问题较多,加强测试广度和深度。
- 开发人员也存在二八原则,80% 的故障集中于 20% 的开发人员,如果某些开发人员的 bug 较多,加强他们开发模块的测试广度和深度。
- 多进行逆向思维和发散性的思维(依赖测试人员经验)。
- 不要局限于用例和需求文档。
- 尽早介入项目(就会尽早理解需求),不要等到开发的差不多了再介入项目。
发散一下:注册的需求来进行一次测试?
功能:所有需求描述的功能
功能其他:需求未考虑到的:邮件内容是否正确?连续注册?
边界:最大值、最小值等
界面:美观,整齐
校验:email格式校验,错误校验,已注册校验、输出校验,为空等
兼容性:IE,CHROME,360.....
安全性:验证码能否起效?http请求直接发送?
性能:多用户并发
其他?
48小时真的是48小时么?