专业网站制作公司是如何处理一个优秀网站的,怎样做网站的快捷方式,网站建设产品中心,做旅游宣传网站的流程图今天我们分享的主要目的就是通过在 Python 中使用命令行和配置文件来提高代码的效率
Let’s go!
我们以机器学习当中的调参过程来进行实践#xff0c;有三种方式可供选择。第一个选项是使用 argparse#xff0c;它是一个流行的 Python 模块#xff0c;专门用于命令行解析有三种方式可供选择。第一个选项是使用 argparse它是一个流行的 Python 模块专门用于命令行解析另一种方法是读取 JSON 文件我们可以在其中放置所有超参数第三种也是鲜为人知的方法是使用 YAML 文件好奇吗让我们开始吧 先决条件
在下面的代码中我将使用 Visual Studio Code这是一个非常高效的集成 Python 开发环境。这个工具的美妙之处在于它通过安装扩展支持每种编程语言集成终端并允许同时处理大量 Python 脚本和 Jupyter 笔记本
数据集使用的是 Kaggle 上的共享自行车数据集可以在这里下载或者在文末获取
https://www.kaggle.com/datasets/lakshmi25npathi/bike-sharing-dataset
使用 argparse 就像上图所示我们有一个标准的结构来组织我们的小项目
包含我们数据集的名为 data 的文件夹train.py 文件用于指定超参数的 options.py 文件
首先我们可以创建一个文件 train.py在其中我们有导入数据、在训练数据上训练模型并在测试集上对其进行评估的基本程序
import pandas as pd
import numpy as np
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import mean_squared_error, mean_absolute_errorfrom options import train_optionsdf pd.read_csv(data\hour.csv)
print(df.head())
opt train_options()Xdf.drop([instant,dteday,atemp,casual,registered,cnt],axis1).values
y df[cnt].values
X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2)if opt.normalize True:scaler StandardScaler()X scaler.fit_transform(X)rf RandomForestRegressor(n_estimatorsopt.n_estimators,max_featuresopt.max_features,max_depthopt.max_depth)
model rf.fit(X_train,y_train)
y_pred model.predict(X_test)
rmse np.sqrt(mean_squared_error(y_pred, y_test))
mae mean_absolute_error(y_pred, y_test)
print(rmse: ,rmse)
print(mae: ,mae)
在代码中我们还导入了包含在 options.py 文件中的 train_options 函数。后一个文件是一个 Python 文件我们可以从中更改 train.py 中考虑的超参数
import argparsedef train_options():parser argparse.ArgumentParser()parser.add_argument(--normalize, defaultTrue, typebool, helpmaximum depth)parser.add_argument(--n_estimators, default100, typeint, helpnumber of estimators)parser.add_argument(--max_features, default6, typeint, helpmaximum of features,)parser.add_argument(--max_depth, default5, typeint,helpmaximum depth)opt parser.parse_args()return opt
在这个例子中我们使用了 argparse 库它在解析命令行参数时非常流行。首先我们初始化解析器然后我们可以添加我们想要访问的参数。
这是运行代码的示例
python train.py要更改超参数的默认值有两种方法。第一个选项是在 options.py 文件中设置不同的默认值。另一种选择是从命令行传递超参数值
python train.py --n_estimators 200我们需要指定要更改的超参数的名称和相应的值。
python train.py --n_estimators 200 --max_depth 7使用 JSON 文件 和前面一样我们可以保持类似的文件结构。在这种情况下我们将 options.py 文件替换为 JSON 文件。换句话说我们想在 JSON 文件中指定超参数的值并将它们传递给 train.py 文件。与 argparse 库相比JSON 文件可以是一种快速且直观的替代方案它利用键值对来存储数据。下面我们创建一个 options.json 文件其中包含我们稍后需要传递给其他代码的数据。
{
normalize:true,
n_estimators:100,
max_features:6,
max_depth:5
}
如上所见它与 Python 字典非常相似。但是与字典不同的是它包含文本/字符串格式的数据。此外还有一些语法略有不同的常见数据类型。例如布尔值是 false/true而 Python 识别 False/True。JSON 中其他可能的值是数组它们用方括号表示为 Python 列表。
在 Python 中使用 JSON 数据的美妙之处在于它可以通过 load 方法转换成 Python 字典
f open(options.json, rb)
parameters json.load(f)
要访问特定项目我们只需要在方括号内引用它的键名
if parameters[normalize] True:scaler StandardScaler()X scaler.fit_transform(X)
rfRandomForestRegressor(n_estimatorsparameters[n_estimators],max_featuresparameters[max_features],max_depthparameters[max_depth],random_state42)
model rf.fit(X_train,y_train)
y_pred model.predict(X_test)使用 YAML 文件 最后一种选择是利用 YAML 的潜力。与 JSON 文件一样我们将 Python 代码中的 YAML 文件作为字典读取以访问超参数的值。YAML 是一种人类可读的数据表示语言其中层次结构使用双空格字符表示而不是像 JSON 文件中的括号。下面我们展示 options.yaml 文件将包含的内容
normalize: True
n_estimators: 100
max_features: 6
max_depth: 5
在 train.py 中我们打开 options.yaml 文件该文件将始终使用 load 方法转换为 Python 字典这一次是从 yaml 库中导入的
import yaml
f open(options.yaml,rb)
parameters yaml.load(f, Loaderyaml.FullLoader)
和前面一样我们可以使用字典所需的语法访问超参数的值。
最后的想法
配置文件的编译速度非常快而 argparse 则需要为我们要添加的每个参数编写一行代码。
所以我们应该根据自己的不同情况来选择最为合适的方式
例如如果我们需要为参数添加注释JSON 是不合适的因为它不允许注释而 YAML 和 argparse 可能非常适合。
总结
外行对于程序员的认知很单一也有很多刻板印象但不管如何作为测试人员的我们自己一定要正视自己。如果我们连自嘲和自卑都分不清楚了那发展也就仅限如此了。
所以尽早规划自己朝目标发展才是上策之道而不是怨天尤人等到 30 岁后再去焦虑。
在企业你如果不想成为“工具人”就不要停下成长的步伐打造属于自己的独特价值具备不可替代的稀缺属性这样才能不被淘汰也能够在遭遇变化时随自己所愿进行选择。
下面是你需要的资料吗
↓↓ ❤学习安排上❤ 如果你不想一个人野蛮生长找不到系统的资料问题得不到帮助坚持几天便放弃的感受的话请及时加入群1150305204大家可以一起讨论交流里面会有各种软件测试资料和技术交流。
