英文网站建设 潍坊,招聘网站怎么做才能吸引人,网站外包公司,网站建设团队技术介绍目的 在实际项目中#xff0c;会有大量的回归测试工作#xff0c;通常会使用自动化代码的手段来实现回归#xff0c;但是对于一个庞大的系统来说#xff0c;通过自动化脚本的方式来实现回归测试#xff0c;又显得很费时费力。并且如果有定期将线上数据同步到测试环境的需求… 目的 在实际项目中会有大量的回归测试工作通常会使用自动化代码的手段来实现回归但是对于一个庞大的系统来说通过自动化脚本的方式来实现回归测试又显得很费时费力。并且如果有定期将线上数据同步到测试环境的需求的话流量回放就显得很必要了。当然流量回放并不能替代自动化对于存在上下文关联的接口流量回放的处理上就显得很复杂。 流量回放 其实流量回放主要是对某个端口的流量进行转发和存储这边用的是goreplay,mitmproxy也可以做到流量的抓取和回放。 流量回放有三种使用方式 服务-to-服务即端到端服务-to-文件即流量存储文件-to-服务即流量文件回放到服务 常用配置示例 service_to_file.yml bin:- /opt/crawl/project/flow_replay/gor
input:- --input-raw :18080 - --input-raw-track-response- --prettify-http
middle:-
output:- --output-file ./data/requests-%Y-%m-%d-%H.gor- --output-file-size-limit 100kb- --output-file-queue-limit 60 file_to_service.yml bin:- /opt/crawl/project/flow_replay/gor
input:- --input-file ./data/requests-2024-03-18-14_7.gor
middle:- --middleware /opt/crawl/project/flow_replay/middle/main.js
output:- --output-httphttp://localhost:18080- --output-http-track-response- --prettify-http 释义 gorplay的配置主要分为三个部分分别是input、output和middleware input定义需要捕获请求的一些必要条件 # 定义监听端口
--input-raw :18080
# 定义是否要捕获请求响应只有添加了这个配置回放时才会触发response事件
--input-raw-track-response
# 定义是否要美化响应这个配置是作者修复bug新加的配置必须要有
# 如果没有会造成乱码
--prettify-http
# 定义存储请求的文件位置
# 可以使用*模糊匹配批量回放相关文件如requests-2024-03-18-*.gor
--input-file ./data/requests-2024-03-18-14_7.gor
# 定义缓冲区大小单位为b
--input-raw-buffer-size 10485760 注不论是从端口读取请求或者从文件读取请求则必然会触发request事件 output定义输出请求的一些必要参数 # 定义存储请求文件的位置、格式及命名
--output-file ./data/requests-%Y-%m-%d-%H.gor
# 追踪流量回放响应只有存在这个配置回放成功后才会触发replay事件
--output-http-track-response
# 定义存储请求文件的最大size
--output-file-size-limit 100kb
# 定义单个存储文件中存储请求的数量
--output-file-queue-limit 20
# 同input
--prettify-http
# 定义请求丢弃比例分别为绝对值和百分比
# 每秒请求超过绝对值的数字则丢弃
# 只回放百分比的请求数量提升速度
--output-httphttp://localhost:18080|10
--output-httphttp://localhost:18080|10% 中间件 中间件流程示意图 中间件常用Api init - 初始化
httpPath - 获取请求URL不包含请求的域名: gor.httpPath(req.http)
httpMethod - 获取请求方法gor.httpMethod(req.http).
setHttpPath - 更新URL: req.http gor.setHttpPath(req.http, newPath)
httpPathParam - 获取URL上的参数: gor.httpPathParam(req.http, queryParam)
setHttpPathParam - 设置URL参数: req.http gor.setHttpPathParam(req.http, queryParam, value)
httpStatus - 响应状态码gor.httpStatus(rep.http)
httpHeaders - 获取所有请求头: gor.httpHeaders(req.http)
httpHeader - 获取指定请求头: gor.httpHeader(req.http, Content-Length)
setHttpHeader - 设置请求头, returns modified payload: req.http gor.setHttpHeader(req.http, X-Replayed, 1)
httpBody - 获取请求体: gor.httpBody(req.http)
setHttpBody - 设置请求体需要注意Content-Length的大小: req.http gor.setHttpBody(req.http, Buffer.from(hello!)).
httpBodyParam - 获取post请求param: gor.httpBodyParam(req.http, param)
setHttpBodyParam - 设置post请求的param: req.http gor.setHttpBodyParam(req.http, param, value)
httpCookie - 获取cookie: gor.httpCookie(req.http, SESSSION_ID)
setHttpCookie - 设置cookie, returns modified payload: req.http gor.setHttpCookie(req.http, iam, cuckoo)
deleteHttpCookie - 删除cookie, returns modified payload: req.http gor.deleteHttpCookie(req.http, iam) 事件 事件只存在于中间件中goreplay接收到某个端口的请求后会把request和response压缩成gzip,通过data.http字段转发给中间件这样会触发request事件和response事件当回放完成后会触发replay事件 中间件代码示例 #!/usr/bin/node
const gor require(goreplay_middleware);
const NodeRSA require(node-rsa);
const axios require(axios)
const {user, baseUrl, publicKey} require(./defalut)
const https require(https);
const jsonpath require(jsonpath);/*** description 对公钥进行加密* param publicKey* param {string} data 需要加密的数据* returns {string} 加密后的数据*/
function encrypt(publicKey, data) {let buffer Buffer.from(data);let key new NodeRSA(publicKey);key.setOptions({encryptionScheme: pkcs1});return key.encrypt(buffer, base64, base64);
}/**** param str* param color:string, red, green, yellow, blue, and white if the color is the other value* return {string}*/
function addStringColor(str, color) {switch (color) {case red:color 31;break;case green:color 32;break;case yellow:color 33;break;case blue:color 34;break;case pink:color 35;break;default:color 37;break;}return \x1b[ color m str \x1b[0m;
}/*** description send login request and extract sessionId* param baseUrl{string} request url* returns {string} return sessionId*/async function getCookie(baseUrl) {const data {userName: user[username],password: encrypt(publicKey, user[password])};const url baseUrl.concat(api/auth/doLogin);try {const response await axios.post(url, data, {httpsAgent: new https.Agent({rejectUnauthorized: false}),headers: {Content-Type: application/json; charsetutf-8}});return response.headers[set-cookie][0].match((?JSESSIONID)[a-f0-9-])[0];} catch (error) {console.error(error);}
}(async () {let cookie await getCookie(baseUrl);gor.init();gor.on(request, function (request) {//request.http gor.deleteHttpCookie(request.http, JSESSIONID)request.http gor.setHttpCookie(request.http, JSESSIONID, cookie)gor.on(replay, request.ID, function (replay) {try {let obj JSON.parse(gor.httpBody(replay.http).toString(utf8))if (jsonpath.query(obj, $..code)[0] 0000) {console.error(addStringColor(√\t${gor.httpMethod(request.http)}\t${gor.httpPath(request.http)}, green))} else {console.error(addStringColor(x\t${gor.httpMethod(request.http)}\t${gor.httpPath(request.http)}\n ${gor.httpBody(replay.http)} , red))}} catch (e) {console.error(addStringColor(\t${gor.httpMethod(request.http)}\t${gor.httpPath(request.http)}\n ${e}, red))}return replay;})return request})
})() 效果展示
