湖南营销型网站建设 皆来磐石网络,不建网站可不可以做cpa,微云做网站,怎么做俄语网站系列文章#xff1a;
1#xff0c;20G文件#xff0c;分类#xff0c;放入不同文件#xff0c;每个单独处理
2#xff0c;数据的归类并处理
3#xff0c;txt文件指定数据提取并可视化作图#xff08;本文#xff09;
4#xff0c;.........
一#xff0c;数据格…系列文章
120G文件分类放入不同文件每个单独处理
2数据的归类并处理
3txt文件指定数据提取并可视化作图本文
4.........
一数据格式以及需求 作为测试工程师面对这种海量的数据我们周末提取指定位置的数据并可视化其变化规律呢excel当然是首选方便快捷。但是那种几十万行甚至更多的数据的时候手动操作就捉襟见肘了。 于是我们需要python来自动化操作并完成。 1有的数据我们直接提取后不需要处理即可全部作图 2有的数据我们提取后还需要分组16256等等求最大最小以及平均值再作图
二分布实现需求
这个需求比较简单思路简单清晰。
1我们需要时间或者其他数据正则表达式提取提取方式有很多种正则表达式只是其一
2提取的数据存入python的数据结构--列表就能满足功能要求
3数据处理
4作图
三各个步骤
一提取数据后直接作图
import matplotlib.pyplot as plt# 准备存储提取数据的列表
times []# 打开文本文件并读取每一行
with open(./log/be_cycling_tBE.txt, r) as file:for line in file:# 找到Time和mS之间的字符串start_index line.find(Time)end_index line.find(mS, start_index)#start_index line.find(])#end_index line.find(mS, start_index)if start_index ! -1 and end_index ! -1:# 提取时间数据time_data line[start_index len(Time):end_index].strip()# 将时间数据转换为数字并添加到列表中try:time_value float(time_data)times.append(time_value)except ValueError:# 数据转换失败时忽略错误continue# 使用matplotlib绘制散点图
plt.scatter(range(len(times)), times, marker., colorblue)# 设置图表标题和轴标签
plt.title(Venezia_100K_blk64_time)
plt.xlabel(Line Number)
plt.ylabel(Time (ms))# 显示图表
plt.show()注释:
1打开指定文件并申明列表
2for循环读取每一行数据并作相应的数据处理
3正则表达式提取我们需要的指定数据并添加到列表中同时获取列表的长度方便后面作图
4直接用python的库函数绘制散点图没有对应库的打开终端安装
5作图时可在图上写出一些标记 二提取数据后处理后再作图 这个就是提取完数据后需要处理过后再作图比如下面的是提取完数据后以256个数据为一组求平均值和最值。
import matplotlib.pyplot as pltdef process_chunk(chunk):辅助函数用于处理和分析一个数据块 (即16个值).# 将字符串值转换为浮点数float_chunk [float(x) for x in chunk]# 计算最大值、最小值和平均值max_val max(float_chunk)min_val min(float_chunk)avg_val sum(float_chunk) / len(float_chunk)return (max_val, min_val, avg_val)# 初始化列表用于存储各个分组的最大值、最小值和平均值
max_vals, min_vals, avg_vals [], [], []# 定义计数器以跟踪当前处理的行数
counter 0
# 定义一个临时列表存储当前正在处理的值组
current_chunk []# 打开文本文件并逐行读取
with open(./log/PP_TIME.txt, r) as file:for line in file:# 查找 ] 和 mS 之间的字符串start_index line.find(])end_index line.find(mS, start_index)if start_index ! -1 and end_index ! -1:# 提取字符串并去掉空格time_data line[start_index len(]):end_index].strip()# 尝试将字符串转换为浮点数try:current_chunk.append(time_data)except ValueError:# 当转换失败时忽略这个数据continue# 检查是否已收集了16个数据if len(current_chunk) 256:max_val, min_val, avg_val process_chunk(current_chunk)max_vals.append(max_val)min_vals.append(min_val)avg_vals.append(avg_val)# 清空当前的值组为下一组数据做准备current_chunk []# 更新计数器counter 1# 如果需要可以打印进度# print(fProcessed {counter} lines...)# 散点图数据为每组的最大值、最小值和平均值
plt.scatter(range(len(max_vals)), max_vals, colorred, labelMax, markero)
plt.scatter(range(len(min_vals)), min_vals, colorblue, labelMin, markerx)
plt.scatter(range(len(avg_vals)), avg_vals, colorgreen, labelAvg, marker^)# 设置图表的标题和图例
plt.title(XXXXXXXXXXXXXXXXXXX)
plt.xlabel(Group Number)
plt.ylabel(Value)
plt.legend()# 显示图表
plt.show()
注释
1定义一个小函数子函数用来单独处理每一组的数据最大最小和平均值
2回归上面的问题中打开文件并申明定义列表循环读取每一行
3正则表达式提取指定对应数据
4用前面定义的子函数处理列表中的数据每一组处理完记得清空以便于下一组
5作图同时可以加上需要的各种坐标信息标题等。
