网站服务器端口号是什么,湖北企业模板建站信息,花都网站(建设信科网络),哪些公司用.cc做网站机器人领域#xff1a;控制#xff0c;规划#xff0c;感知等都可以用#xff0c;可以把它作为一个优化过程#xff0c;那么任何需要优化的问题都可以用它解决。
1.应用 深度学习#xff1a;智能感知#xff0c;解决智能如何理解这个世界的问题。
强化学习#xff1a… 机器人领域控制规划感知等都可以用可以把它作为一个优化过程那么任何需要优化的问题都可以用它解决。
1.应用 深度学习智能感知解决智能如何理解这个世界的问题。
强化学习智能决策解决智能体对这个世界做什么的问题。
相同点都是从数据中学习
不同点深度学习需要静态的标签数据强化学习需要动态交互的标签数据宏观上深度学习主要识别和分类目标强化学习解决最优决策问题。 2.单智能体强化学习 强化学习损失函数是回报下图第一个式中J是优化目标是state分布是在状态s时选a的概率R是在状态s时选a的回报。深度学习求解优化目标用梯度下降但强化学习的损失函数无写出解析形式所以成为一个对偶问题也就是求最优值函数用贝尔曼方程求解。 强化学习最开始是一种表格型方法常用Q(s,a)表示但很多任务中s和a是无穷尽的这就带来了维数灾难问题导致计算机无法求解后来就用CNN卷积神经网络拟合Q出现了DQN但DQN有存在过优问题后来用DDQN解决在实际应用中发现RNN循环神经网络在有些任务中效果更好所以又出现了DRQN在对数据进行学习时DQN一般是随机选择但如果有策略性的选择数据比方说用加权法有时候效果更好所以出现了Prioritized DQNDQN中评估时只有值函数后来又加入了优势值函数进行评估得到了更好的效果又出现了Dueling DQN最后一个改变略显革命性Distributioal DQN(分布式深度强化学习)DQN中我们学习优化的目标是R的期望值但累计回报误差很大而分布式是想把值函数的概率分布学习出来。 进一步对模型已知问题的求解就是对HJB方程偏微分方程求解偏微分方程一般没有数值解除非是二次可解析的用最优控制LQR求解二维以上这种方法就不能搞了同样会遇到维数灾难问题所以用神经网络逼近于是出现了自适应动态规划方法ADP。以及后面的群智能和基于模型的强化学习方法都是解决数据高维问题。 对于模型未知提出了策略搜索方法首先提出策略梯度的方法似然率但这个方法方差很大所以又出现了值梯度方法这种方法方差小(PG,PPO,SAC)。以及后面出现的基于ACDDPG,A3C基于统计的方法(MPO),所有的方法都是为了解决方法问题。
注意一下值梯度方法的公式。 3.多智能体强化学习 单智能体强化学习是多智能体强化学习的特殊形式。一种动态的马尔可夫过程一般用纳什均衡策略解决。常用方法MADDPG,CoMa,MAAC,AlphaStar,其中A代表attentionAlphaStar用了博弈理论也是一个超级工程集合了不同神经网络像卷积循环等。 4.困境和挑战 5.学习路线图 参考文献 1.深入浅出强化学习 编程实战 郭宪
2.博文视点学院
