随着国内客户对一致性测试的逐渐重视,如何采用ttcn-3来开发和定义协议和软件的一致性测试系统是很多测试工程师和项目经理十分希望了解的知识。本文将粗略介绍一致性测试遵循的国际标准和一致性测试系统开发需要定义和完成的文档。在以后的介绍中,我们会结合TTworkbench和TTCN-3行业应用开发案例来介绍具体流程。
ETSI ES 201 873-1 – TTCN-3 Core Language (CL)
ETSI ES 201 873-2 – TTCN-3 Tabular Presentation Format (TFT)
ETSI ES 201 873-3 – TTCN-3 Graphical Presentation Format (GFT)
ETSI ES 201 873-4 – TTCN-3 Operational Semantics
ETSI ES 201 873-5 – TTCN-3 Runtime Interface (TRI)
ETSI ES 201 873-6 – TTCN-3 Control Interfaces (TCI)
ETSI ES 201 873-7 – Integration of ASN.1
ETSI ES 201 873-8 – Integration of IDL
ETSI ES 201 873-9 – Integration of XML
ETSI ES 201 873-10 – T3Doc
Conformance Testing Methodology Recommendations by ITU-T
X.290 – General Concepts
X.291 – Abstract Test Suite Specification
X.292 – TTCN-2 (renewed by Z.140 series recommendations)
X.293 – Test Realization
X.294 – Requirements on Test Laboratories and Clients
X.295 – Protocol Profile Test Specification
X.296 – Implementation Conformance Statements
Z.140 through Z.146 – Testing and Test Control Notation
Conformance Testing by ISO/IEC9646
Part1:General Concepts
Part2 :Abtract Test Suite Specification
Part3:The Tree and Tabular Notation(TTCN)
Part4:Test Realization
Part5:Requirements on test
Part6:Protocol profile test Specification
Part7:Implementation Conformance Statements
文档1:协议实现一致性声明(PICS)
文档2:测试套结构和测试目的(TSS&TP)
文档3:抽象测试集(ATS) 及部分协议实现测试的额外信息(PIXIT)
其中,文档2是最重要的,在文档2基础上定义可执行测试集。
在一致性测试中,SUT可以被看作一个黑盒,检查的是被测实现的输入输出行为。如下图,TTCN-3测试系统发出请求的信息(Request message),待测(System Under Test)返回一个信息(Reply message),测试系统(Tester)在收到消息后与预期进行比对(Match),如果与预期相符(match)则是通过,如果预期不相符(mismatch)则是失败。在ttcn-3对测试结果的判定中,测试结果定义是TTCN-3作为测试语言的特点。TTCN-3定义五类判定结果:Error,Fail,Inconc,Pass,None.
TTCN-3一致性测试流程示例图(2)