免费网站收录提交,企业信息查询平台有哪些,中企动力做的网站被镜像,网页制作软件中文免费版一、概念
激活函数顾名思义#xff0c;就是一种可以给神经网络注入灵魂的一种方法#xff0c;也可以称之为激活层。其计算就是将线性的函数转变为非线性函数的过程#xff0c;只有这样#xff0c;我们制作的深层神经网络才能无限逼近真实值。 自神经网络发展到目前为止就是一种可以给神经网络注入灵魂的一种方法也可以称之为激活层。其计算就是将线性的函数转变为非线性函数的过程只有这样我们制作的深层神经网络才能无限逼近真实值。 自神经网络发展到目前为止已经出现了很多种激活函数。应用多的包括ReLU,Sigmoid,Tanh,Softmax等都有各自的优缺点Sigmoid和Tanh都存在梯度爆炸和梯度消失的问题RELU的收敛速度快但是存在Dead ReLU Problem我们可以再pytorch官网去查看详细的介绍这里就不做过多介绍只用简单的例子做下demo。 Softmax的公式
二、Pytorch示例
import torch
import torchvision.datasets
from torch import nn
from torch.nn import ReLU, Sigmoid, Tanh, Softmax
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriterdataset torchvision.datasets.CIFAR10(../dataset, trainFalse, downloadTrue,transformtorchvision.transforms.ToTensor())
dataloader DataLoader(dataset, batch_size64)class Wzh(nn.Module):def __init__(self):super(Wzh, self).__init__()self.relu1 ReLU()self.sigmoid1 Sigmoid()self.tanh1 Tanh()self.Softmax1 Softmax()def forward(self, input):output self.Softmax1(input)return outputwzh Wzh()
w SummaryWriter(Softmax)
i 0
for data in dataloader:imgs, targets dataoutput1 wzh(imgs)w.add_images(input, imgs, i)w.add_images(output, output1, i)i i 1w.close()运行上面的小demo我们可以分别得到不同的激活函数的图像效果。 原图
Relu: 目前使用最多的激活函数可以看出来和原图没有变化。
sigmond: 由于输出在[0,1] 之间所以图像整体会变暗。 tanh: 会稍微变暗。 softmax: 经过激活函数变换只能看出轮廓。
