湖南企业建站系统信息,判断网站开发语言,企业站系统,信息系统项目管理01.在翻译、语音识别等将一个时序数据转换为另一个时序数据的任务中#xff0c;时序数据之间常常存在对应关系
引入了Attention的概念#xff0c;介绍了Attention的注意力机制#xff1a; 困难出现#xff0c;seq2seq的问题引入#xff1a;固定化长度问题#xff08;过于…01.在翻译、语音识别等将一个时序数据转换为另一个时序数据的任务中时序数据之间常常存在对应关系
引入了Attention的概念介绍了Attention的注意力机制 困难出现seq2seq的问题引入固定化长度问题过于死板占用的资源过多 具体化实例引入就好比把衣服乱塞早晚都会出问题———衣服找不到的回到案例我们用固定化长度终将会造成信息溢出的问题。
解决方案引入编码器改进核心根据输出的隐藏层来对信息进行合理的长度规划 长度改变的策略隐藏层线索改善 问题连锁发现各个输出的向量中蕴含着各个单词的对应信息为接下来的Attention从数据中学习两个时序的对应关系埋下伏笔 讲述了编码器的改进可以根据输出的隐藏层灵活变换减少不必要的信息扩充核心简化 解码器随着编码器的改进一同改进核心目的提高机器学习seq2seq的效率优化程序。 下面核心强调了对齐对机器翻译的好处这里是专注于一个单词或者是单词集合的举个例子例如中文“猫”翻译程序就将英文“cat”与“绑定”像不像一个男孩极致去只爱一个女孩浪漫为什么我热衷于这种思维嘿嘿看过斗罗大陆的宝子们都知道答案的嘞每部都是男主只爱女主一个人无论发生什么所以这也许是斗罗留给我童年最珍贵的礼物吧O(∩_∩)O哈哈~
类比人类玩极致就是将精力全部放在一件事情上也类似于斗罗大陆的极致武魂斗罗大陆2绝世唐门霍雨浩的极致之冰冰碧帝皇蝎王秋儿的极致之光明和极致之力量金龙王马小桃的极致之火邪火凤凰斗罗大陆4终极斗罗蓝轩宇的九种元素全部极致蓝银皇武魂龙神血脉哈哈
极致就是那么无敌
也可以理解绝对的专注
一生专注做于一件事
一生专注爱一个人
一生专注于一个梦想 介绍了改进后的解码器层结构然后引出了下文Atttention的可微对下面用到的神经网络的学习核心误差反向传播法的重要性为啥重要因为不可微分的话误差反向传播法就用不了啦没错就是数学的可微分的意思宝子要相信自己 02.Attention 从数据中学习两个时序数据之间的对应关系
接下来介绍了一个实战案例日期格式转换的嘞
核心就是你随便输一个格式的日期她都会给你转换成一种固定的格式。 机器学习的本质你给他准备好一个一个好的数据集给他些时间他会自己探索其中的规律的。
这里我们给他了一个5000个日期的数据集让他学习一下。 学习结果通过终端看 学习正确率通过图像来看 通过图像对比基础状态偷窥状态和注意力状态学习的效率 03.Attention 使用向量内积方法之一计算向量之间的相似度并输出这个相似度的加权和向量 先说明向量内积计算相似度并输出加权和的核心目的就是为了帮助更好的实现之前所说的Attention的对齐也就是玩极致让每个单词都对应一个翻译后的单词提高翻译效率和准确率书上称为精度也就是精准度看你翻译的好不好的嘞。然后就没了的所以学习这部分不用害怕的。 讲述了通过加权和计算可以得到上下文的向量也就是坐标 抽象可以理解为机器理解啦翻译这个工作的嘞
偷偷说这难道不是我们小学的记答案摸索答案的规律然后蒙答案嘛真的神似说实话机器其实啥也不会的很笨很笨但是一些大牛通过让机器也就是电脑还可以称呼他为图灵机学习大量的数据从大量数据中摸索规律然后成功的让机器大概了解怎么为人类工作的对的机器就是那么笨的不怕你笑话的但是机器有几点优点不死性和可以精准学习我们人类根本难以想象的数据内容的这就决定了人类通过现有的方式是永远也没有任何胜算的但人类也有机器无法媲美的优点那就是人类不完美中绽放着完美之花熠熠生辉。人类的任何灵感和大胆的想法更加是机器所无法取代的
人类可以没有机器聪明但是可以比机器更蠢哇有时候做个可爱的小蠢货也挺好得嘞
两个极端都是一种智慧聪明与蠢蠢大智如愚嘛
未来我就做个可爱的小蠢货啦哈哈 接着再讲一下解码器的改进
核心为Attention服务
初心为了让机器翻译功能更精准优化机器翻译。 介绍了向量内积的基础概念和实战案例
然后啥是相似度 hs是个啥
使用编码器各个时刻各个单词的 LSTM 层的隐藏状态这里表示为 hs LSTM这个加工厂的隐藏层状态的加工品和另一个工厂的加工品对比一下的嘞
可以类似华强北的师傅们的copyApple的优秀产品的
向优秀者学习这可是乔布斯老爷子的至理名言
没说谎Stay hungry,stay foolish.
Good artists copy, great artists steal!
优秀者模仿伟大者剽窃
高尚是高尚者的墓志铭卑鄙是卑鄙者的通行证
--这也许就是好人难做的法则吧
做人嘛我个人还是分裂型人格的善良与邪恶都要有的
面对善良的人那就是善良的
面对恶人那就是邪恶的
用善良对待值得的人用邪恶保护善良 然后老一套softmax import sys
sys.path.append(..)
from common.layers import Softmax
import numpy as npN, T, H 10, 5, 4
hs np.random.randn(N, T, H)
h np.random.randn(N, H)
hr h.reshape(N, 1, H).repeat(T, axis1)
# hr h.reshape(N, 1, H) # 广播t hs * hr
print(t.shape)
# (10, 5, 4)s np.sum(t, axis2)
print(s.shape)
# (10, 5)softmax Softmax()
a softmax.forward(s)
print(a.shape)
# (10, 5) class Attention:def __init__(self):self.params, self.grads [], []self.attention_weight_layer AttentionWeight()self.weight_sum_layer WeightSum()self.attention_weight Nonedef forward(self, hs, h):a self.attention_weight_layer.forward(hs, h)out self.weight_sum_layer.forward(hs, a)self.attention_weight areturn outdef backward(self, dout):dhs0, da self.weight_sum_layer.backward(dout)dhs1, dh self.attention_weight_layer.backward(da)dhs dhs0 dhs1return dhs, dh TimeAttention代码实现
class TimeAttention:def __init__(self):self.params, self.grads [], []self.layers Noneself.attention_weights Nonedef forward(self, hs_enc, hs_dec):N, T, H hs_dec.shapeout np.empty_like(hs_dec)self.layers []self.attention_weights []for t in range(T):layer Attention()out[:, t, :] layer.forward(hs_enc, hs_dec[:,t,:])self.layers.append(layer)self.attention_weights.append(layer.attention_weight)return outdef backward(self, dout):N, T, H dout.shapedhs_enc 0dhs_dec np.empty_like(dout)for t in range(T):layer self.layers[t]dhs, dh layer.backward(dout[:, t, :])dhs_enc dhsdhs_dec[:,t,:] dhreturn dhs_enc, dhs_dec 解释 作者提出用一个更加简单的数据集来验证我们上述学习的正确性的 04.因为 Attention 中使用的运算是可微分的所以可以基于误差反向传播法进行学习 05.通过将 Attention 计算出的权重概率可视化可以观察输入与输出之间的对应关系 通过下图我们可以发现 机器学习出了时间格式转换的规律的 作者态度也是那样他也不理解机器是怎么最基础的学习的但是我们可以用自己所理解的方式去理解机器如何学习的 06.在基于外部存储装置扩展神经网络的研究示例中Attention 被用来读写内存
三个实际应用的介绍 证明作者教我们的知识是有用的
1.谷歌公司 机器翻译案例 2.Transformer案例取代RNN优化学习 3.NTM基于外部存储装置的扩展的光明前景 小结
本章我们学习了 Attention 的结构并实现了 Attention 层。然后我们使用 Attention 实现了 seq2seq并通过简单的实验确认了 Attention 的出色效果。另外我们对模型推理时的 Attention 的权重概率进行了可视化。从结果可知具有 Attention 的模型以与人类相同的方式将注意力放在了必要的信息上。
另外本章还介绍了有关 Attention 的前沿研究。从多个例子可知Attention 扩展了深度学习的可能性。Attention 是一种非常有效的技术具有很大潜力。在深度学习领域今后 Attention 自己也将吸引更多的“注意力”。 Deep Learning Second Book Finished!
