Q/SY
中国石油天然气集团公司企业标准
Q/SY 1355.3—2010
计算机软件测试规范第3部分：系统测试
Specification for computer software testing-
Part 3: System testing
2010—09—09 发布
2010－1001实施
中国石油天然气集团公司 发布 Q/SY 1355.3—2010
目 次
前言
范围 2 规范性引用文件 3 术语和定义
7
系统测试 4. 1 测试对象和目的 4.1.1测试对象 4. 1.2测试目的 4. 2测试的组织和管理 4. 2. 1 人员配备情况 4.2.2准入条件 4.2.3准出条件 4. 3 测试技术要求 4. 4 测试内容 4. 4. 1 功能性 4. 4. 2 可靠性 4. 4.3 易用性 4. 4. 4 效率 4. 4. 5 维护性 4. 4. 6 兼容性 4. 4. 7 可移植性 4. 4.8 依从性 4. 5 测试环境 4. 6 测试方法 4. 7 测试过程 4. 7. 1测试计划 4. 7. 2 测试设计 4.7.3测试执行 4.7.4测试总结 4.8　测试文档附录A (资料性附录) 软件测试参考模板附录B (资料性附录) 系统测试流程图
4
10
16 Q/SY 1355.3—2010
前言
Q/SY1355一2010《计算机软件测试规范》分为五个部分：一第1部分：单元测试;
第2部分：集成测试;
一
一第3部分：系统测试; 一第 4部分：验收测试; 一第5部分：回归测试。 本部分为Q/SY1355一2010的第3部分。 本部分按照GB/T1.1一2009《标准化工作导则第1部分：标准的结构和编写》给出的规则
起草。
本部分由中国石油天然气集团公司信息管理部提出本部分由中国石油天然气集团公司信息技术专业标准化技术委员会归口。 本部分起草单位：中国石油勘探开发研究院、中国石油大学（北京）。 本部分主要起草人：朱丽萍、李洪奇、孙长虹、于爱丽、张、谢立红、黄文辉、邹国平、党
娜、张聪辉、陈光辉、赵艳红。
II Q/SY 1355.3—2010
3. 6
极限吞吐量limit throughput 在最大负载条件下，在给定的时间周期内，系统能处理的最多并发任务数
3.7
周转时间 turnaround time 从发出一条指令开始到一组相关的任务完成的时间。 注：改写GB/T 11457—2006，定义2.1775。
3.8
平均周转时间 average turnaround time 在一定的负载条件下，对一些并发任务，从发出请求到任务完成所需要的平均时间。
3.9
周转时间极限 turnaround time limit 在最大负载条件下，系统完成一项任务所需要时间的极限。
4 系统测试
4.1 测试对象和目的
4.1.1 测试对象
软件系统测试的对象是由已经集成的软件系统与计算机硬件、外设、某些支持软件、数据和人员等其他系统元素结合在一起的完整的计算机系统。
4.1.2测试目的
软件系统测试的目的是验证在真实系统工作环境下被测试软件系统是否能正确运行，并满足系统/子系统设计文档和产品规格说明书规定的要求。
4.2测试的组织和管理
4.2.1人员配备情况
软件系统测试应由软件的需方或软件的供方组织，由独立于软件开发的人员实施，也可委托国家认可的第三方测试机构实施，软件开发人员配合。
软件测试人员的工作角色和具体职责见Q/SY1355.1一2010中表1。 4.2.2准入条件
软件系统测试的技术依据是产品规格说明书。其测试工作的准入条件应满足表1的要求
表 1软件系统测试准入条件条件
是/否
具有测试合同或测试任务书具有软件系统测试所需的各种文档，如软件需求规格说明书等软件源代码正确通过编译或汇编被测软件系统已通过集成测试评审需要固化运行的软件已提供固件 2 Q/SY 1355.3—2010
4.2.3准出条件
软件系统测试工作的准出条件应满足表2的要求。
表 2软件系统测试准出条件条件
是/否
已按要求完成了软件系统测试的任务
实际测试过程遵循了原定的软件系统测试计划和软件系统测试说明
客观、详细地记录了软件系统测试过程和软件系统测试中发现的所有问题
软件系统测试文档齐全、符合GB/T9386一2008的要求
软件系统测试中的问题或异常有合理解释或正确有效的处理软件系统测试工作通过了评审
4.3测试技术要求
4.3.13 系统的每个特性应至少被一个正常测试用例和一个被认可的异常测试用例所覆盖。 4.3.2 测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值。 4.3.3应逐项测试系统/子系统设计文档说明规定的系统功能、性能等特性。 4.3. 4 应测试系统的输出及其格式。 4. 3. 5 应测试运行条件在边界状态和异常状态，或在人为设定的状态下，系统的功能和性能。 4.3.6 应测试系统访问权限和数据安全性。 4.3.7 应测试系统的全部存储量、输入/输出通道和处理时间的余量。 4.3.8 应按系统/子系统设计文档的要求，对系统的功能、性能进行强度测试。 4.3.9 应测试设计中用于提高系统安全性与可靠性的结构、算法和容错、余、中断处理等方案。 4.3.10对完整性级别要求高的系统，应对其进行安全性、可靠性分析，明确每一个危险状态和导致危险的可能原因，并对此进行针对性的测试。 4.3.11对有恢复或重置功能需求的系统，应测试其恢复或重置功能和平均恢复时间，并且对每一类导致恢复或重置的情况进行测试。 4.3.12对不同的实际问题应外加相应的专门测试。 4.3.13对具体的系统，可根据软件测试合同及系统的重要性、完整性级别等要求对4.3.1～4.3.12 的内容进行裁剪。 4.4测试内容 4.4.1 功能性 4.4.1.1 适合性
应对系统/子系统设计文档规定的系统的每一项功能进行测试。
4. 4.1.2 准确性
可对系统中具有准确性要求的功能和精度要求的项（如数据处理精度、时间控制精度、时间测量
3 Q/SY 1355.3—2010
精度）进行测试。
4.4.1.3互操作性
可测试系统/子系统设计文档规定的系统与外部设备的接口、与其他系统的接口。测试其格式和内容，包括数据交换的数据格式和内容；测试接口之间的协调性；测试软件对系统每一个真实接口的正确性；测试软件系统从接口接收和发送数据的能力；测试数据的约定、协议的一致性；测试软件系统对外围设备接口特性的适应性。
4.4.1.4安全保密性
可测试系统及其数据访问的可控制性。 测试系统防范非法入侵的能力，防止非授权的创建、删除或修改程序或信息，必要时做强化异常
操作的测试。
测试系统防止数据被篡改和被破坏的能力。 测试系统的加密和解密功能功能性检查参见表A.1。
4.4.2可靠性
4.4.2.1成熟性
可基于系统运行剖面设计测试用例，根据实际使用的概率分布随机选择输入，运行系统，测试系统满足需求的程度并获取失效数据，其中包括对重要输入变量值的覆盖、对相关输入变量可能组合的覆盖、对设计输人空间和实际输入空间之间区域的覆盖、对各种使用功能的覆盖、对使用环境的覆盖。应在有代表性的环境中，以及可能影响系统运行方式的环境中运行软件，验证系统的可靠性需求是否正确实现。对一些特殊的系统，如容错软件、实时嵌人式软件等，应考虑多种测试环境。
测试系统的平均无故障时间。 选择可靠性增长模型，通过检测到的失效数和故障数，对系统的可靠性进行预测。
4.4.2.2容错性
4.4.2.2.1 系统对中断发生的反应。 4.4.2.2.2系统在边界条件下的反应。 4.4.2.2.3系统的功能、性能的降级情况。 4.4.2.2.4系统的各种误操作模式。 4.4.2.2.5系统的各种故障模式（如数据超出范围、死锁）。 4.4.2.2.6测试在多机系统出现故障需要切换时系统的功能和性能的连续平稳性。
4. 4. 2.3 易恢复性
4. 4. 2. 3. 1 具有自动修复功能的系统的自动修复时间。 4.4.2.3.2系统在特定时间范围内的平均岩机时间。 4.4.2.3.3系统在特定时间范围内的平均恢复时间。 4.4.2.3.4系统可重启动并继续提供服务的能力。 4.4.2.3.5系统还原功能的还原程度。
可靠性检查参见表A.2。
4 Q/SY 1355.3—2010
4.4.3易用性 4.4.3.1易理解性 4.4.3.1.1系统的各项功能，确认它们是否容易被理解、被识别。 4.4.3.1.2要求具有演示能力的功能，确认演示是否容易被访问，演示是否充分和有效。 4.4.3.1.3界面的输入和输出，确认界面输入和输出内容的格式和含义是否容易被理解。 4.4.3.2 易学性
可测试系统的在线帮助，确认在线帮助是否容易定位，是否有效；还可对照用户手册和操作手册
执行系统，测试用户文档的有效性。
4.4.3.3易操作性 4.4.3.3.1输人数据，确认系统是否对输入数据进行有效性检查。 4.4.3.3.2要求具有中断执行的功能，确认它们能否在动作完成之前被取消。 4.4.3.3.3要求具有还原能力（数据库的事务回滚能力）的功能，确认它们能否在动作完成之后被撤销。 4.4.3.3.4包含参数设置的功能，确认参数是否易于选择、是否有缺省值。 4.4.3.3.5要求具有提示的消息，确认它们是否明确。 4.4.3.3.6要求具有界面提示能力的界面元素，确认它们是否有效。 4.4.3.3.7要求具有容错能力的功能和操作，确认系统能否提示出错的风险、能否纠正错误的输入、 能否从差错中恢复。 4.4.3.3.8要求具有定制能力的功能和操作，确认定制能力的有效性。 4.4.3.3.9要求具有运行状态监控的功能，确认它们的有效性。 4.4.3.4 吸引性
可测试系统的人机交互界面能否定制。 易用性检查参见表A.3。
4.4.4效率 4.4.4.1时间特性
可测试系统的响应时间、平均响应时间、响应极限时间、系统的吞吐量、平均吞吐量、极限吞吐量、系统的周转时间、平均周转时间和周转时间极限。
在测试时，应标志和定义适合于软件应用的任务，并对多项任务进行测试，而不是仅测试一项任务。
4.4.4.2资源利用性
可测试系统的输入/输出设备、内存和传输资源的利用情况： a）执行大量的并发任务，测试输入/输出设备的利用时间。 b）在使输入/输出负载达到最大的条件下，运行系统，测试输入/输出负载极限。 c）并发执行大量任务，测试用户等待输入/输出设备操作完成需要的时间。 d）在规定的负载下和规定的时间范围内运行系统，测试内存的利用情况。 e）在最大负载下运行系统，测试内存的利用情况。 f）并发执行规定的数个任务，测试系统的传输能力。 g）在系统负载最大的条件下和在规定的时间周期内，测试传输资源的利用情况。
5