作者:Glen.He
出处:http://www.cnblogs.com/puresoul/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
前言:
本文主要针对http接口进行测试,使用Jmeter工具实现。
Jmter工具设计之初是用于做性能测试的,它在实现对各种接口的调用方面已经做的比较成熟,因此,本次直接使用Jmeter工具来完成对Http接口的测试。
一、开发接口测试案例的整体方案:
- 第一步:我们要分析出测试需求,并拿到开发提供的接口说明文档;
- 第二步:从接口说明文档中整理出接口测试案例,里面要包括详细的入参和出参数据以及明确的格式和检查点。
- 第三步:和开发一起对接口测试案例进行评审。
- 第四步:结合开发库,准备接口测试案例中的入参数据和出参数据,并整理成csv格式的文件。
- 第五步:结合接口测试案例文档和csv格式的数据文档,做接口测试案例的自动化案例开发。
二、接口自动化适用场景:
目前设计的自动化接口测试案例有两个运行场景:
1. 测试前置、开发自测:一个新的自动化接口测试案例开发完成后,直接发给接口对应的开发,安排在开发本地环境执行,一旦开发确认完成接口开发,就开始执行接口测试案例,基本上可以实时拿到测试结果,方便开发快速做出判断。【开发本地运行的方式就是打开JMeter工具,导入JMX文件,开始执行可。】
2. 回归测试:开发本地测试通过后,或整个需求手工测试通过后,把自动化的接口测试案例做分类整理,挑选出需要纳入到回归测试中的案例,在持续集成环境重新准备测试数据,并把案例纳入到持续集成的job中来,这些用于回归的接口测试案例需要配置到持续集成平台自动运行。
三、接口测试环境准备
- Jdk1.6或以上:http://www.oracle.com/technetwork/java/javase/downloads/index.html
- Jmeter,下载址址:http://jmeter.apache.org/download_jmeter.cgi
- 插件的下载安装地址:http://www.jmeter-plugins.org/
四、创建工程:
1、打开Jmeter:下载好Jmeter后,双击bin目录下的jmeter.bat文件:
2、添加线程组:在“测试计划”上点击鼠标右键-->添加-->threads(Users)-->线程组,添加测试场景设置组件,接口测试中一般设置为1个“线程数”,根据测试数据的个数设定“循环次数”。
3、添加“HTTP Cookie管理器”:
4、添加“Http请求默认值”组件,当被测系统有唯一的访问域名和端口时,这个组件很好用:
5、在“HTTP 请求默认值”组件配置页面,填写被测系统的域名和端口,http请求的实现包版本以及具体协议类型,线程组里的所有“HTTP Sampler”可默认使用此设置。
6、在“线程组”里添加“HTTP 请求”的Sampler
7、在HTTP请求设置页面,录入被测接口的详细信息,包括请求路径,对应的请求方法,以及随请求一起发送的参数列表:
8、设置检查点:在被测接口对应的“HTTP 请求”上,添加“响应断言”
9、在设置页面上添加对相应结果的正则表达式存在性判断即可:
10、添加监听器:方便查看运行后的结果
运行结果:
上述步骤完成了一个简单测试案例的创建,复杂测试案例均在此基础上扩展完成。使用Jmeter工具开发的接口测试案例,一个子系统建议放在同一个 “测试计划”中,流程测试可以通过“线程组”来区分,这样也便于设定不同的测试数据个数。比较独立的接口,可以统一放在一个线程组内,顺序完成测试。
流程性接口的测试:如果要测试的接口可以组成一个流程,只需要顺序添加多个“HTTP 请求”的Sampler,各请求之间可以提取需要在上下文传递的数据作为参数,以保证流程中数据的一致性。
------------------------------------------------------------------------------分割线------------------------------------------------------------------------------------------------------------------------------------
一、使用CSV Data Set Config:
1、添加CSV Data Set Config:
2、配置参数:
- Filename:文件名,指保存参数化数据的文件目录,可以相对或者绝对路径。
- File encoding:文件的编码格式,可以使用电脑自带的笔记本另存为时选择编码方式即可
- Variable Names(comma-delimited):参数名称(如:有几列参数,在这里面就写几个参数名称,每个名称中间用分隔符分割,分隔符在下面的“Delimitet”中定义,为了和文件中的“,”对应,这里也用“,”分割每个参数名,引用方法:${username},${password}
- Delimitet:定义分隔符,这里定义某个分隔符,则在“Variable Names”用这里定义的分隔符分割参数。
- Allow quote data:选项选为“true”的时候对全角字符的处理出现乱码
- Recycle on EOF:是否循环读入,因为CSV Data Set Config一次读入一行,分割后存入若干变量中交给一个线程,如果线程数超过文本的记录行数,那么可以选择从头再次读入
3、使用变量:
二、使用Jmeter函数助手:
1、点击 选项-->函数助手 调出函数助手对话框
2、选择 _CSVRead 函数(下图第一个框)
3、函数参数:
1)第一个参数:填写文件路径。
2)第二个参数:文件列号是从0开始的,第一列0、第二列1、第三列2、依次类推,然后点击【生成】按钮,则会自动生成我们需要的参数化函数。
3) 复制生成的参数化函数, copy过程需要使用的地方即可。
另外,在Jmeter的bin\templates目录下面有些模板可供学习参考,这些都是非常不错的资料:
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
一、Jmeter关联的方式:
Jmeter中关联可以在需要获取数据的请求上 右键-->后置处理器 选择需要的关联方式,如下图有很多种方法可以提取动态变化数据:
二、正则表达式提取器:
1、比如需要提取如下响应文本中的 “<title>百度一下,你就知道</title>” 里面的 “百度一下,你就知道”:
2、设置正则表达式提取器:
说明:
(1)引用名称:下一个请求要引用的参数名称,如填写title,则可用${title}引用它。
(2)正则表达式:
():括起来的部分就是要提取的。
(3)模板:用$$引用起来,如果在正则表达式中有多个正则表达式,则可以是$2$$3$等等,表示解析到的第几个值给title。如:$1$表示解析到的第1个值
(4)匹配数字:0代表随机取值,1代表全部取值,通常情况下填0
(5)缺省值:如果参数没有取得到值,那默认给一个值让它取。
3、使用2中获取到的值:
三、关于正则表达式的举例说明:
1、提取单个字符串:
假如想匹配Web页面的如下部分:name = "file" value = "readme.txt">并提取readme.txt。一个合适的正则表达式:name = "file" value = "(.+?)">。
():封装了待返回的匹配字符串。
.:匹配任何单个字符串。
+:一次或多次。
?:不要太贪婪,在找到第一个匹配项后停止。
2、提取多个字符串:
假如想匹配Web页面的如下部分:name = "file.name" value = "readme.txt">并提取file.name和readme.txt。一个合适的正则表达式:name = "(.+?)" value = "(.+?)"。这样就会创建2个组,分别用于$1$和$2$
比如:
引用名称:MYREF
模板:$1$$2$
如下变量的值将会被设定:
MYREF: file.namereadme.txt
MYREF_g0: name = "file.name"value = "readme.txt"
MYREF_g1: file.name
MYREF_g2: readme.txt
在需要引用地方可以通过:${MYREF}, ${MYREF_g1进行使用。
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
ANT批量执行Jmeter脚本
一、环境准备:
1、Jdk1.6或以上:http://www.oracle.com/technetwork/java/javase/downloads/index.html
命令行输入:java -version,出现如下提示说明安装成功
2、ANT下载:http://ant.apache.org/bindownload.cgi
命令行输入:ant -v,出现如下提示说明安装成功
3、Jmeter下载:http://jmeter.apache.org/download_jmeter.cgi
4、将 jmeter的extras目录中ant-jmeter-1.1.1.jar包拷贝至ant安装目录下的lib目录中
5、修改Jmeter的bin目录下jmeter.properties文件的配置:jmeter.save.saveservice.output_format=xml
二、Jmeter脚本:
1、如何编写脚本请参见:http://www.cnblogs.com/puresoul/p/4740436.html
2、脚本目录:D:\apache-jmeter-2.13\demo
3、脚本内容:
测试百度.jmx Google1.jmx
三、build.xml代码:
1 <?xml version="1.0" encoding="UTF-8"?> 2 3 <project name="ant-jmeter-test" default="run" basedir="."> 4 <tstamp> 5 <format property="time" pattern="yyyyMMddhhmm" /> 6 </tstamp> 7 <!-- 需要改成自己本地的 Jmeter 目录--> 8 <property name="jmeter.home" value="D:\apache-jmeter-2.13" /> 9 <!-- jmeter生成jtl格式的结果报告的路径--> 10 <property name="jmeter.result.jtl.dir" value="D:\apache-jmeter-2.13\demo\report\jtl" /> 11 <!-- jmeter生成html格式的结果报告的路径--> 12 <property name="jmeter.result.html.dir" value="D:\apache-jmeter-2.13\demo\report\html" /> 13 <!-- 生成的报告的前缀--> 14 <property name="ReportName" value="TestReport" /> 15 <property name="jmeter.result.jtlName" value="${jmeter.result.jtl.dir}/${ReportName}${time}.jtl" /> 16 <property name="jmeter.result.htmlName" value="${jmeter.result.html.dir}/${ReportName}${time}.html" /> 17 18 <target name="run"> 19 <antcall target="test" /> 20 <antcall target="report" /> 21 </target> 22 23 <target name="test"> 24 <taskdef name="jmeter" classname="org.programmerplanet.ant.taskdefs.jmeter.JMeterTask" /> 25 <jmeter jmeterhome="${jmeter.home}" resultlog="${jmeter.result.jtlName}"> 26 <!-- 声明要运行的脚本。"*.jmx"指包含此目录下的所有jmeter脚本--> 27 <testplans dir="D:\apache-jmeter-2.13\demo" includes="*.jmx" /> 28 29 <property name="jmeter.save.saveservice.output_format" value="xml"/> 30 31 </jmeter> 32 </target> 33 34 <target name="report"> 35 <xslt in="${jmeter.result.jtlName}" 36 out="${jmeter.result.htmlName}" 37 style="${jmeter.home}/extras/jmeter-results-detail-report_21.xsl" /> 38 <!-- 因为上面生成报告的时候,不会将相关的图片也一起拷贝至目标目录,所以,需要手动拷贝 --> 39 <copy todir="${jmeter.result.html.dir}"> 40 <fileset dir="${jmeter.home}/extras"> 41 <include name="collapse.png" /> 42 <include name="expand.png" /> 43 </fileset> 44 </copy> 45 </target> 46 </project>
四、运行脚本:
1、cmd进入脚本目录:D:\apache-jmeter-2.13\demo
2、输入:ant 或 ant run(run为build.xml中的task名),执行结果:
D:\apache-jmeter-2.13\demo>ant Buildfile: build.xml all: test: [jmeter] Executing test plan: D:\apache-jmeter-2.13\demo\Google1.jmx ==> D:\apache-jmeter-2.13\demo\report\jtl\TestReport201509141114.jtl [jmeter] Creating summariser <summary> [jmeter] Created the tree successfully using D:\apache-jmeter-2.13\demo\Google1.jmx [jmeter] Starting the test @ Mon Sep 14 23:14:32 CST 2015 (1442243672984) [jmeter] Waiting for possible shutdown message on port 4445 [jmeter] summary + 1 in 1s = 1.9/s Avg: 248 Min: 248 Max: 248 Err: 1 (100.00%) Active: 1 Started: 1 Finished: 0 [jmeter] summary + 5 in 1s = 7.8/s Avg: 119 Min: 107 Max: 137 Err: 0 (0.00%) Active: 0 Started: 1 Finished: 1 [jmeter] summary = 6 in 1.2s = 5.2/s Avg: 140 Min: 107 Max: 248 Err: 1 (16.67%) [jmeter] Tidying up ... @ Mon Sep 14 23:14:34 CST 2015 (1442243674232) [jmeter] ... end of run [jmeter] Executing test plan: D:\apache-jmeter-2.13\demo\测试百度.jmx ==> D:\apache-jmeter-2.13\demo\report\jtl\TestReport201509141114.jtl [jmeter] Creating summariser <summary> [jmeter] Created the tree successfully using D:\apache-jmeter-2.13\demo\测试百度.jmx [jmeter] Starting the test @ Mon Sep 14 23:14:35 CST 2015 (1442243675376) [jmeter] Waiting for possible shutdown message on port 4445 [jmeter] summary + 1 in 0.5s = 2.1/s Avg: 196 Min: 196 Max: 196 Err: 0 (0.00%) Active: 1 Started: 1 Finished: 0 [jmeter] summary + 5 in 1s = 8.4/s Avg: 113 Min: 107 Max: 133 Err: 0 (0.00%) Active: 0 Started: 1 Finished: 1 [jmeter] summary = 6 in 1.1s = 5.6/s Avg: 126 Min: 107 Max: 196 Err: 0 (0.00%) [jmeter] Tidying up ... @ Mon Sep 14 23:14:36 CST 2015 (1442243676535) [jmeter] ... end of run report: [xslt] Processing D:\apache-jmeter-2.13\demo\report\jtl\TestReport201509141114.jtl to D:\apache-jmeter-2.13\demo\report\html\TestReport201509141114.html [xslt] Loading stylesheet D:\apache-jmeter-2.13\extras\jmeter-results-detail-report_21.xsl [copy] Copying 2 files to D:\apache-jmeter-2.13\demo\report\html BUILD SUCCESSFUL Total time: 5 seconds
3、测试报告目录:D:\apache-jmeter-2.13\demo\report\html,其中有一个红色失败的案例是我故意设置失败,以便查看的。
四:最后,说一个我在使用过程中碰到一个问题,上面build.xml文件第29行有一句必须要加上:<property name="jmeter.save.saveservice.output_format" value="xml"/>,否则会报如下的错误:
report: [xslt] Processing D:\Tools\apache-jmeter-2.13\demo\report\jtl\TestReport201509210923.jtl to D:\Tools\apache-jmeter-2.13\demo\report\html\TestReport201509210923.html [xslt] Loading stylesheet D:\Tools\apache-jmeter-2.13\extras\jmeter-results-detail-report_21.xsl [xslt] : Error! 前言中不允许有内容。 [xslt] : Error! com.sun.org.apache.xml.internal.utils.WrappedRuntimeException: 前言中不允许有内容。 [xslt] Failed to process D:\Tools\apache-jmeter-2.13\demo\report\jtl\TestReport201509210923.jtl
因为不加上这一句,生成的.jtl文件是文本文件不是xml文件,使用xsl去转换.jtl文件时就会报错。
更新补充:
上面生成的报告有如下两个问题,解决办法参见Jmeter自带报告优化(一):
1、Date report这里的时间没有正确显示出来
2、Summary里的字段Min Time和Max Time显示的是NaN,没有显示正确的时间。
作者:Glen.He
出处:http://www.cnblogs.com/puresoul/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
一、环境准备:
1、Jdk1.6或以上:http://www.oracle.com/technetwork/java/javase/downloads/index.html
命令行输入:java -version,出现如下提示说明安装成功
2、ANT下载:http://ant.apache.org/bindownload.cgi
命令行输入:ant -v,出现如下提示说明安装成功
3、Jmeter下载:http://jmeter.apache.org/download_jmeter.cgi
4、将 jmeter的extras目录中ant-jmeter-1.1.1.jar包拷贝至ant安装目录下的lib目录中
5、修改Jmeter的bin目录下jmeter.properties文件的配置:jmeter.save.saveservice.output_format=xml
二、Jmeter脚本:
1、如何编写脚本请参见:http://www.cnblogs.com/puresoul/p/4740436.html
2、脚本目录:D:\apache-jmeter-2.13\demo
3、脚本内容:
测试百度.jmx Google1.jmx
三、build.xml代码:
1 <?xml version="1.0" encoding="UTF-8"?> 2 3 <project name="ant-jmeter-test" default="run" basedir="."> 4 <tstamp> 5 <format property="time" pattern="yyyyMMddhhmm" /> 6 </tstamp> 7 <!-- 需要改成自己本地的 Jmeter 目录--> 8 <property name="jmeter.home" value="D:\apache-jmeter-2.13" /> 9 <!-- jmeter生成jtl格式的结果报告的路径--> 10 <property name="jmeter.result.jtl.dir" value="D:\apache-jmeter-2.13\demo\report\jtl" /> 11 <!-- jmeter生成html格式的结果报告的路径--> 12 <property name="jmeter.result.html.dir" value="D:\apache-jmeter-2.13\demo\report\html" /> 13 <!-- 生成的报告的前缀--> 14 <property name="ReportName" value="TestReport" /> 15 <property name="jmeter.result.jtlName" value="${jmeter.result.jtl.dir}/${ReportName}${time}.jtl" /> 16 <property name="jmeter.result.htmlName" value="${jmeter.result.html.dir}/${ReportName}${time}.html" /> 17 18 <target name="run"> 19 <antcall target="test" /> 20 <antcall target="report" /> 21 </target> 22 23 <target name="test"> 24 <taskdef name="jmeter" classname="org.programmerplanet.ant.taskdefs.jmeter.JMeterTask" /> 25 <jmeter jmeterhome="${jmeter.home}" resultlog="${jmeter.result.jtlName}"> 26 <!-- 声明要运行的脚本。"*.jmx"指包含此目录下的所有jmeter脚本--> 27 <testplans dir="D:\apache-jmeter-2.13\demo" includes="*.jmx" /> 28 29 <property name="jmeter.save.saveservice.output_format" value="xml"/> 30 31 </jmeter> 32 </target> 33 34 <target name="report"> 35 <xslt in="${jmeter.result.jtlName}" 36 out="${jmeter.result.htmlName}" 37 style="${jmeter.home}/extras/jmeter-results-detail-report_21.xsl" /> 38 <!-- 因为上面生成报告的时候,不会将相关的图片也一起拷贝至目标目录,所以,需要手动拷贝 --> 39 <copy todir="${jmeter.result.html.dir}"> 40 <fileset dir="${jmeter.home}/extras"> 41 <include name="collapse.png" /> 42 <include name="expand.png" /> 43 </fileset> 44 </copy> 45 </target> 46 </project>
四、运行脚本:
1、cmd进入脚本目录:D:\apache-jmeter-2.13\demo
2、输入:ant 或 ant run(run为build.xml中的task名),执行结果:
D:\apache-jmeter-2.13\demo>ant Buildfile: build.xml all: test: [jmeter] Executing test plan: D:\apache-jmeter-2.13\demo\Google1.jmx ==> D:\apache-jmeter-2.13\demo\report\jtl\TestReport201509141114.jtl [jmeter] Creating summariser <summary> [jmeter] Created the tree successfully using D:\apache-jmeter-2.13\demo\Google1.jmx [jmeter] Starting the test @ Mon Sep 14 23:14:32 CST 2015 (1442243672984) [jmeter] Waiting for possible shutdown message on port 4445 [jmeter] summary + 1 in 1s = 1.9/s Avg: 248 Min: 248 Max: 248 Err: 1 (100.00%) Active: 1 Started: 1 Finished: 0 [jmeter] summary + 5 in 1s = 7.8/s Avg: 119 Min: 107 Max: 137 Err: 0 (0.00%) Active: 0 Started: 1 Finished: 1 [jmeter] summary = 6 in 1.2s = 5.2/s Avg: 140 Min: 107 Max: 248 Err: 1 (16.67%) [jmeter] Tidying up ... @ Mon Sep 14 23:14:34 CST 2015 (1442243674232) [jmeter] ... end of run [jmeter] Executing test plan: D:\apache-jmeter-2.13\demo\测试百度.jmx ==> D:\apache-jmeter-2.13\demo\report\jtl\TestReport201509141114.jtl [jmeter] Creating summariser <summary> [jmeter] Created the tree successfully using D:\apache-jmeter-2.13\demo\测试百度.jmx [jmeter] Starting the test @ Mon Sep 14 23:14:35 CST 2015 (1442243675376) [jmeter] Waiting for possible shutdown message on port 4445 [jmeter] summary + 1 in 0.5s = 2.1/s Avg: 196 Min: 196 Max: 196 Err: 0 (0.00%) Active: 1 Started: 1 Finished: 0 [jmeter] summary + 5 in 1s = 8.4/s Avg: 113 Min: 107 Max: 133 Err: 0 (0.00%) Active: 0 Started: 1 Finished: 1 [jmeter] summary = 6 in 1.1s = 5.6/s Avg: 126 Min: 107 Max: 196 Err: 0 (0.00%) [jmeter] Tidying up ... @ Mon Sep 14 23:14:36 CST 2015 (1442243676535) [jmeter] ... end of run report: [xslt] Processing D:\apache-jmeter-2.13\demo\report\jtl\TestReport201509141114.jtl to D:\apache-jmeter-2.13\demo\report\html\TestReport201509141114.html [xslt] Loading stylesheet D:\apache-jmeter-2.13\extras\jmeter-results-detail-report_21.xsl [copy] Copying 2 files to D:\apache-jmeter-2.13\demo\report\html BUILD SUCCESSFUL Total time: 5 seconds
3、测试报告目录:D:\apache-jmeter-2.13\demo\report\html,其中有一个红色失败的案例是我故意设置失败,以便查看的。
四:最后,说一个我在使用过程中碰到一个问题,上面build.xml文件第29行有一句必须要加上:<property name="jmeter.save.saveservice.output_format" value="xml"/>,否则会报如下的错误:
report: [xslt] Processing D:\Tools\apache-jmeter-2.13\demo\report\jtl\TestReport201509210923.jtl to D:\Tools\apache-jmeter-2.13\demo\report\html\TestReport201509210923.html [xslt] Loading stylesheet D:\Tools\apache-jmeter-2.13\extras\jmeter-results-detail-report_21.xsl [xslt] : Error! 前言中不允许有内容。 [xslt] : Error! com.sun.org.apache.xml.internal.utils.WrappedRuntimeException: 前言中不允许有内容。 [xslt] Failed to process D:\Tools\apache-jmeter-2.13\demo\report\jtl\TestReport201509210923.jtl
因为不加上这一句,生成的.jtl文件是文本文件不是xml文件,使用xsl去转换.jtl文件时就会报错。
更新补充:
上面生成的报告有如下两个问题,解决办法参见Jmeter自带报告优化(一):
1、Date report这里的时间没有正确显示出来
2、Summary里的字段Min Time和Max Time显示的是NaN,没有显示正确的时间。