 Curve质量监控与运维 - 网易数帆单个模块的误差积累是否会放大,从而 达到不可接受的程度。  功能测试 站在使用者的角度,对模块提供的功能进行完备 的测试。  异常测试 制造或模拟系统异常(磁盘错误、网络错误、资源 冲突等)、依赖服务异常、应用本身异常等非正常 情况,测试软件的性能和稳定性是否符合预期。  规模测试 测试模块在一定规模下是否能够正常工作,是否 会出现异常或者崩溃, 14/33系统测试 系统测试是对整个系统的测 度。因此,需要通过组合测试的方法,尽量用较少的用例数量覆盖绝大 多数情况:  两因素组合测试 通过测试集覆盖任意两个变量的所有取值组合。理论上两因素组合测 试最多可发现95%的缺陷,平均缺陷检出率也达到了86%,在用例数量 和缺陷检测能力上达到了平衡。因此,一般测试用例应该保证两因素组 合的100%覆盖。  多因素组合测试 生成的测试集可以覆盖任意t个变量(t>2)的所有取值组合。  Case通用性(兼顾curve、ceph等)  Tag规范(优先级、版本、运行时间)  最大化覆盖率(打乱操作顺序、随机 sleep)  精确性(checkpoint)  稳定性(避免环境因素、其他模块干扰) Curve使用Robotframework框架进行异常自动化测试, 相关代码见curve/robot at opencurve/curve (github.com) 17/33CI测试与异常测试报表0 码力 | 33 页 | 2.64 MB | 6 月前3 Curve质量监控与运维 - 网易数帆单个模块的误差积累是否会放大,从而 达到不可接受的程度。  功能测试 站在使用者的角度,对模块提供的功能进行完备 的测试。  异常测试 制造或模拟系统异常(磁盘错误、网络错误、资源 冲突等)、依赖服务异常、应用本身异常等非正常 情况,测试软件的性能和稳定性是否符合预期。  规模测试 测试模块在一定规模下是否能够正常工作,是否 会出现异常或者崩溃, 14/33系统测试 系统测试是对整个系统的测 度。因此,需要通过组合测试的方法,尽量用较少的用例数量覆盖绝大 多数情况:  两因素组合测试 通过测试集覆盖任意两个变量的所有取值组合。理论上两因素组合测 试最多可发现95%的缺陷,平均缺陷检出率也达到了86%,在用例数量 和缺陷检测能力上达到了平衡。因此,一般测试用例应该保证两因素组 合的100%覆盖。  多因素组合测试 生成的测试集可以覆盖任意t个变量(t>2)的所有取值组合。  Case通用性(兼顾curve、ceph等)  Tag规范(优先级、版本、运行时间)  最大化覆盖率(打乱操作顺序、随机 sleep)  精确性(checkpoint)  稳定性(避免环境因素、其他模块干扰) Curve使用Robotframework框架进行异常自动化测试, 相关代码见curve/robot at opencurve/curve (github.com) 17/33CI测试与异常测试报表0 码力 | 33 页 | 2.64 MB | 6 月前3
共 1 条
- 1













