石岩做网站的公司,电子商城网站建设的实训内容,平台推广精准客源,微信公众号怎么登录账号目录
1. L2 正则化 岭回归
1.1 L2 norm计算例子
2. L1 正则化
3. 弹性网正则化
4. Dropout 1. L2 正则化 岭回归
在 PyTorch 中#xff0c;L2 正则化通常通过设置优化器的 weight_decay 参数实现。以下是一个简单的例子#xff1a;
介绍博文#xff1a;
正则化(1)L2 正则化通常通过设置优化器的 weight_decay 参数实现。以下是一个简单的例子
介绍博文
正则化(1)通俗易懂的岭回归
import torch
import torch.nn as nn
import torch.optim as optim# 定义一个简单的模型
class Model(nn.Module):def __init__(self):super(Model, self).__init__()self.fc1 nn.Linear(10, 5)self.fc2 nn.Linear(5, 2)def forward(self, x):x torch.relu(self.fc1(x))x self.fc2(x)return x# 创建模型和数据
model Model()
inputs torch.randn(1, 10)
targets torch.tensor([1, 0], dtypetorch.float32)# 定义损失函数和优化器
criterion nn.MSELoss()
optimizer optim.SGD(model.parameters(), lr0.01, weight_decay1e-5) # L2 正则化# 训练模型
optimizer.zero_grad()
outputs model(inputs)
loss criterion(outputs, targets)
loss.backward()
optimizer.step()1.1 L2 norm计算例子
import numpy as np# 假设一些模型权重
weights np.array([1.5, -2.3, 0.7, -0.9])# 计算 L2 范数即所有权重平方的平方根
l2_norm np.sqrt(np.sum(np.square(weights)))# 计算 L2 正则化项这里使用一个正则化参数 lambda
lambda_param 0.01
l2_regularization lambda_param * 0.5 * np.sum(np.square(weights))print(L2 Norm of weights:, l2_norm)
print(L2 Regularization term:, l2_regularization)2. L1 正则化
在 PyTorch 中实现 L1 正则化需要自定义损失函数包括权重的 L1 范数
# 计算 L1 正则化损失
def l1_penalty(model):l1_norm sum(p.abs().sum() for p in model.parameters())return l1_norm# 添加 L1 正则化到总损失
lambda1 0.01
l1_loss l1_penalty(model)
total_loss loss lambda1 * l1_loss3. 弹性网正则化
弹性网正则化结合了 L1 和 L2 正则化
lambda1 0.01
lambda2 0.01l1_loss l1_penalty(model)
l2_loss sum(p.pow(2.0).sum() for p in model.parameters())elastic_net_loss lambda1 * l1_loss lambda2 * l2_loss
total_loss loss elastic_net_loss4. Dropout
Dropout 是一种在训练过程中随机丢弃网络中一部分神经元的方法
class DropoutModel(nn.Module):def __init__(self):super(DropoutModel, self).__init__()self.fc1 nn.Linear(10, 5)self.dropout nn.Dropout(0.2)self.fc2 nn.Linear(5, 2)def forward(self, x):x torch.relu(self.fc1(x))x self.dropout(x)x self.fc2(x)return x# 使用 DropoutModel 替代原始模型
model DropoutModel()
