江苏省建设执业资格中心网站,做一手房有哪些网站比较好啊,wordpress兑换卡密,深圳东门街道办事处电话序言#xff1a; 本文将以维度为主线#xff0c; 带量大家进入非线性动力学的世界。 文章数学部分不需要全部理解#xff0c; 理解思维方法为主非线性动力学#xff0c;是物理学的思维进入传统方法所不能解决的问题的一座丰碑。它可以帮助我们理解不同复杂度和时间空间尺度… 序言 本文将以维度为主线 带量大家进入非线性动力学的世界。 文章数学部分不需要全部理解 理解思维方法为主非线性动力学是物理学的思维进入传统方法所不能解决的问题的一座丰碑。它可以帮助我们理解不同复杂度和时间空间尺度的系统小到生物细胞的代谢反应 大到社会运行的规律。 并且在当下对神经网络的理解中起到越来越重要的作用。 从牛顿开始 所有动力学的核心使命是预测系统的变化非线性动力学在这点上也是一样的。一个经典的非线性动力学系统具有标准的表述形式预测一个系统的未来你需要知道它在微小时间尺度里的性质并列出动力学方程(上图)。此处X是一个向量(vector)它所具有的分量个数即系统的维度。维度是动力学系统的最基本属性 。它决定系统的复杂性及其可能具有的基本性质。 还有我们有多大把握预测系统的未来。最简单的系统是一维系统也就是x只包含一个变量的情况。 预测一个一维的非线性系统往往只需抓住一个关键性信息-定点。I 一维系统与定点(Fix Point) “反馈导致平衡”一维的系统 往往抓住反馈即可。 反馈导致平衡 非线性动力学用定点fix point来描述这种现象。 为什么fix point 普遍存在 因为负反馈的普遍存在。当一个事物像一个方向走的太远就往往有一种反方向的作用力把它拉回有点像我们所说的物极必反或阴阳相抵。一个典型的一维系统模型就是人口模型。这其实符合一个叫做Logistic Model的经典一维动力学模型, 它也因它那美妙绝伦的S曲线而闻名。这个模型说的是在没有环境压力的时候(人人吃饱饭)人口的增长率是恒定的所以如果第一年是2那么第N1年即使2的N次方(几何增长)但是一旦人口接近环境的阈值就会有人开始饿死而这个饿死的比例随着人口的增长而增大(负反馈)。这样当饿死的人等于出生的人两个此消彼长的要素就在某个点上平衡了。 所谓定点。反映在数学上就是这样一个微分方程 人口的变化取决于两个相乘的因子一个描述增长 (rN)一个描述饥饿(1-K/N)。 定点就是使微分(人口变化率)为0的点当人口数恰好处在这个点上就会不增不减。这个定点具有一个更深刻的性质无论你的人口一开始是多少只要K给定系统都会趋于一个相同的值。这个值由环境本身的容量所确定。这个微分方程的解是一条优美的S型曲线(Sigmoid Function)它的身影在自然界中比比皆是反映了自然生长的一般规律。理解动力学系统最重要的工具是相图所谓相图 是以系统的变量为坐标轴 概括了系统从任何初始状态(x0)开始演化 它的未来发展轨迹。每个箭头对应该点的dx(变化量衡量系统在该点运动趋势)。相图告诉我们系统在任何情况下的发展走势 是对世界的高度概括性表达。 注 上图为系统N随时间的变化 不同的曲线代表从不同初始位置出发的结果。箭头带表N变化的趋势。 下图是N的导数和N的关系图可以看到使得N导为0的N值即系统的定点这里是0和K。定点的稳定性动力学里最重要的概念-定点(fix point)但是定点本身却只具有系统很少的信息更关键的性质来自于对定点周围区域的分析。 或者说定点的稳定性。那在一些情况里定点好想是系统变化的宿命。起点还是什么都不重要你不需要担心输在起跑线上只要你起跑了就会到一个地方-定点。 而在另一些情况里定点虽然存在但是你只有在极特殊的条件下才能达到类似于屌丝逆袭屌丝的逆袭是有的但是要有极好的运气相当高的智慧才行。即使你达到了这样的定点稍有风吹草动也会失去它。我们用一个叫做稳定性的概念来描述这一特性。稳定性是描述当系统处在定点周边的状态它是比较容易进到定点还是离开它。一个典型的例子是单摆, 单摆的微分方程有两个取零的点但是你通常看到摆处在最低点却极少有机会看到一个处在顶点的单摆。原因很简单单摆的低谷是稳定定点而高点是不稳定的。 除非你一开始就静止在最高点而且排除任何外力否则最轻微的偏离就可以导致单摆回到稳定的最低点。在物理的角度很容易理解一个定点是稳定的还是不稳定的只需要稍微的离开定点看一下系统的运动情况看看系统在定点的相邻区域里的运动趋势怎么随位置变化。而这翻译成动力学语言就是在定点周围进行泰勒展开并取一阶线性近似(在一维得到一个线性的斜率高维就是雅可比矩阵的特征值)。如果在定点周围的运动趋势指向定点(线性的斜率为负雅可比矩阵特征值为负)则定点在局域内稳定反之则局域不稳定。注定点的稳定性取决于泰勒展开的不为零的第一项的正负。左图为稳定平衡右图为不稳定平衡虽然均为定点但周边性质迥异。稳定性换一个词叫吸引力。一个稳定性定点就像一个区域的主人它能把进入其辖区内的所有人都吸收到它的点上。它所管辖的区域称为-Basin of Attraction。它是强韧性的代表无论你怎么干扰它迫害它结局都将归于它。找到Basin of attraction 是利用定点预测系统的必备条件给定一个系统如果它的初始位置处在basin of attraction那么它必归于定点。不稳定性呢就是脆弱性的代表了。任何环境的风吹草动都能结束她表面的美丽。如同得了艾滋病的人今天看着好好的随便一个病毒就可以摧毁他。最强的定点具有全局稳定性即无论任何初始条件系统都将趋于这样的定点这样的系统就是高度可预测系统。很多系统往往具备一个稳定点和一个不稳定点成对出现。比如刚才的人口模型人口为0就是一个不稳定平衡点。当人口为0的时候它可以永远为0但只要系统的人口增长了1它就会趋于定点K掌控系统除0之外所有区域的稳定点。算命先生往往就是掌握动力学定点理论的人它们往往根据一些片段的细节做出一些“大胆”的预测比如看到一个20岁左右打扮漂亮的女士就会说你会有一个有钱的老公漂亮的房子一类看到满手老茧的老妈子就会说你一定一切为丈夫和孩子操心了一辈子一类。 它们往往知道系统有一个稳定点和一个不稳定点美丽的大姑娘找到幸福美满的婚姻呢是稳定点跟了一个穷二代是不稳定。沧桑的老妪为家庭奔波一生是稳定点风流一生是不稳定点所以有50%以上概率命中就不足为奇了。判断简单系统抓住定点就是抓住了命门。II. 二维动力学系统 - 众妙之门请先看下面几个问题为什么从自然到经济现象 振动(周期)普遍存在为什么物理中的变化往往是线性的而生命和经济社会现象里变化经常是突变的形式 为什么看似随机的神经网络可以具有非常复杂的认知功能所有这些我们都可以用非线性动力学来了解 而这一切理解的基础是二维的动力学系统。 二维可以描述比一维丰富多的现象正如通物理学从描述两个物体的相互作用开始描述了世界。这里 我们从最简单的系统-二维的线性动力学系统开始 定义为dx axbydy cx dy 可以由一个abcd组成的二维矩阵(雅可比矩阵A)刻画(dX/dt AX)。 这个两两作用的系统在自然界比比皆是 比如著名的猎手-猎物方程。对于任何动力学系统 我们都要先抓住它的定点 而整个系统的性质 由定点向外周扩散迎刃而解。 那么这个简单的线性系统有一个显而易见的定点就是x0 y0.定点的作用就像一个巨大的吸引中心 系统的演化无论多么复杂 都是以某种形式围绕它展开。 有了定点后 系统具体的演化方法则由它的雅可比矩阵决定。 在这里雅可比矩阵也就是abcd所确定的连接矩阵A 为这个矩阵里的各个元素它将确定随着时间系统将去向何方。 我们可以按照特征矩阵的行列式det A ad -bc 以及迹(traceA) a d 作为坐标轴对系统分类。为什么是这两个东西 你想一下 矩阵本身由特征值决定 在特征分解后A代表特征值的乘积trace是特征值的和 这两个量体现了特征值的性质。 矩阵的特征值是一个复数 对应复平面上的两个点。 这两个点的几何性质由刚刚说的行列式和迹决定。数学的好处在于一次得到所有的可能性。 一切可能皆由定点展开 这些情况按照定点稳定与否(演化是趋紧还是远离它) 以及趋于(或远离)定点的方式展开。 那么二维系统围绕定点有多少变化形式 我们通常用poincare diagram 来表达所有情况。 从左向右 定点从稳定到不稳定(特征值由负到正)从下到上 趋于或离开定点的方式由线性变换到旋转(特征值由实入虚 此处以deltatraceA**2 - 4* detA为界)。方程你可以把整个解析解写出来 X(xy)由如上的两个坐标轴和一个抛物线我们把平面分割成了6个区域。 你只需要记住临界态的性质 中间区域及其过渡。 抓住这个平面就抓住了所有的二维线性动力系统。而这里的每个趋于都代表系统的一个变化形式。 y轴上半 此处特征值为纯虚数 实部为0 我们既不趋近也不远离 这也就是周期运动 或被称为极限环。 系统围绕定点做圆周运动是稳定和不稳定的过度状态。 典型例子如二维谐振子 - 理解各种复杂的物理系统的毕达哥拉斯之剑。 加入一定非线性形式我们得到猎手-猎物方程 狼和羊 资本和劳动力矛盾下的振动平衡。 自然界还是人类现象中振动如此普遍 背后正是这类动力关系的体现。振动是伴随二维系统最重要的现象预测 同时它的出现往往寓意了系统的背后有两个作为主要矛盾的变量。 为什么振动的形式这么广泛的存在 其实依然是因为定点的广泛存在 所谓振动无非围绕一个却确定的状态的上下波动。 就好像那希腊神话痛苦的西西弗斯把石头推上山可它却滚下去然后他又推上山 他想叫石头停在山上不动可他就是达不到。X轴下半和det中间区域 稳定定点 代表趋势所致 稳定定点可以预测事物的一般走势(稳定不变的平衡态任何远离它的阴谋都将破灭)因为在它的管辖区域里 无论如何折腾 都回回到它 因此稳定定点也可以用来存储信息。 此处同一维系统。Y轴下半及整个下半平面鞍点(Saddle)与上半的区别在于运动方式 刚刚说的转动变成线性 然而依然是从稳定到不稳定的临界此处的效果是从一个特征向量方向你趋于定点(稳定)而另一个方向则远离(不稳定)。 这样的系统可以表示神经网络的决策或分类 从一个方向得到的结果是A 从另一些方向得到的结果是B这就是天然的分类器。鞍点也用来介导一个动力系统的相变 从一个方向你达到定点 再在另外一个方向分离 例如所有的热恋到失恋的过程。 X轴 刚刚那个图一个更加特殊的情况是X轴上(det 为0)的那些解这条线的数学含义是我们某个特征值为0的情况(此时矩阵的迹为0) 啥叫特征值为0 它意味着只要我们在这个为0的特征值所对应的特征向量我们就有也就是特征向量方向的所有解都是定点 而它导致的结果是所谓的线性吸引子 定点不在是一点而是一条线(line attractor)。 我们会看到这个解在众多的问题里意义重大比如神经编码 。这是因为线性吸引子是路径依赖的代言人 你从不同的起点出发 会停留在不同的位置上 这就好像把初刻的历史凝固了下来因为可以比单个稳定定点编码更复杂的信息-甚至是某种抽象关系。非线性的作用 刚刚求解的是一个二维线性系统我们 而一旦加入非线性就成为非线性系统 如dx f(xy)dy g(xy)f和g包含非线性 那么这个时候可能性就更多 而事实上我们依然是利用我们在线性系统的知识来研究这样的系统。 最典型的方法就是先找定点 然后在定点周围线性化。对于非线性的二维系统 最大的变化是定点不再只有一个 你去求解f(xy)0 g(xy)0 的连锁方程即可。 对于非线性的世界 几何与拓扑的思维有时候比代数更迅速的帮我找到系统的本性及大趋势。 此处引入一个体现这一思维的经典理论。 庞加莱定理 Poincare-Bendixson Theorem条件1.2D - 你有一个二维的动力学系统2.Continous - 系统连续可微3. Confined - 动力学流在一个区域内封闭4. No Fix point- 在此区域内定点不可达到结论该区域内的动力学流将收敛于一条闭合轨道(等价于圆)。翻译一下相平面的闭合轨道周期性运动振动。 这个定理告诉我们有限二维系统里的运动形式只有有两种 1. 平衡态(归于定点) 2. 周期运动。 不存在其它情况。 有限只得是系统不会无限取值或发散。由于自然中负反馈的普遍存在这一条一般是满足的。 这条定律解释了振动普遍存在的根本原因因为它是二维运动的范式。图为相平面上的闭合轨道庞加莱引理告诉我们如果整个系统是收敛的二维动力学流非流向定点即指向闭合轨道。狩猎者- 猎物系统 二维非线性系统一个最典型的例子依然是延续我们关于物种数量的故事刚才讲到一维的人口模型里人口将达到定值而事实自然界中的物种数量却是震荡变化的为什么解答这个问题就需要讨论两个物种共存的情况(二维)试问下面的问题 在一片草原里生活着狮子和羚羊狮子吃羚羊羚羊吃草(假设无限)假设一开始物种数量是均等的那么后来两个物种的数量变化会是怎么样的 显然两种物种间有相互作用 狮子的存在依赖于羊(简单的想法是羊肉变成了狮子)而羊的数量因为狮子而减少如果没有狮子羊的数量增长就符合之前的S曲线这样一个系统可以被一个Lotka-Volterra 方程的经典二维动力学系统表述:这个方程极为容易理解。系统的两个变量一个是羊的数量(x)一个是狮子的数量(y)。 第一项描述羊的自然生长率。 第二项描述羊被吃的数量x和y的乘积决定两个物种相遇的机会 所以羊被吃的速率正比于xy。相应的狮子可以理解为由羊肉转化出来的所以其增长率正比于捕获的羊数量(方程二第一项)方程二最后一项描述狮子的死亡率。那么如何预测两种物种数量变化首先进入相平面 我们看到系统的流形(每一点的微分(dxdy)构成一个向量画出箭头犹如流体力学的流速线)。 然后我们分析定点二维系统里含有两个微分方程如果一个微分方程为0例如dx0我们得到一个代数关系 xk*xy. 在相平面里这对应一条线-Nullcline在这条线上第一个变量处于平衡态。 同样的我们可以找到变量y的Nullcline 对应相平面的另一条线这两条线如果有交点即二维系统的定点或者说系统的平衡态。但是至关重要的是讨论定点的稳定性而非平衡态本身。这个问题可以很容易的找到四条Nullcline和两个定点 一个是(00)另一个第一象限中的(a,b) (00)代表的两个物种都灭绝了。 这种情况除非是羊死光了才可能出现而假如是狮子死光了羊就会无限增长(远离定点)。 在相平面上就表现为动力学流沿着y轴(对应羊死光的情况)收敛为0而沿着x轴(对应狮子死光的情况)发散。这一现象的隐含含义是(00)点在x方向上是不稳定性定点而在y方向上是稳定性定点。 这种在一定方向上收敛而在另一些方向上发散的定点被我们称为Saddle Point(鞍点)就是刚刚在线性系统介绍过的那个。 相平面的动力学流在看看第一象限内的定点(ab)它描述两个物种数量互相制约的平衡状态 看似这是一个合理的结局。狮子和羊的数量打到平衡这不就是那啥生态平衡吗 那你停留在初中生物课本了。在这个定点周围找几个点画画(dxdy)的箭头你就知它们都不是朝向这一点而是围着这点转圈。 利用我们神一样的庞加莱大法可知。 系统将永不能陷入这个点(除非它一开始别上帝设定好就在那个位置)。而是围绕这个点形成闭合轨道-即振荡。 系统的两个物种的初始数量只要不是有一个灭绝或恰好开始就匹配平衡 都将行成一个振动变化关系。狮子和羊在固定系统里的数量成周期震荡。上图为相平面下图为两个物种数量随时间变化关系。整个生态学可以用动力学语言描述。其核心议题生态系统的稳定性正是动力学最拿手的分析内容。Lotka-Volterra 系统在经济学中也有重要应用。凯恩斯学派用以解释劳动雇用率和资本的周期震荡。这一理论把资本对应为狮子而劳动雇用率是猎物两者总是不能自发的处于定点(100%雇用率)而是进入周而复始的震荡状态。III 高维系统与RNN理解了二维系统 你可以抓住它内在本质的东西 然后一级级向高维延申。 我们将在此处开启一个在人工智能和脑科学都极为重要的模型-RNN 它的线性形式非线性形式事实上RNN可以理解为一个通用的高维非线性系统 它代表了各种自然界的复杂网络的一般形式从人脑神经元网络 到生态网络 到社会经济网络。 RNN最重要的东西就是网络连接A 刻画神经元和神经元的连接 它的最一般形式被称为随机矩阵。 随机矩阵刻画一个高维动力系统 其不同单元间的连接是随机的。 如果我们假定高维系统依然是线性的 那么它一般写成A是一个nxn的方阵 由刚刚说的随机数确定。这个矩阵A如何决定系统性质呢 首先 寻找定点 这样的解有一个是肯定的就是 X0其余性质将由矩阵的特征值和特征向量决定。 我们对连接矩阵A进行特征分解 得到一系列的特征值和特征向量 我首先让你猜一下如果你把它的特征值和特征向量在复平面上展开 它们会长成什么样呢你依然从二维线性系统 一个2x2的方阵入手。 这个矩阵的特征值如果你画在复平面上长什么样呢 这一类矩阵有两个最特别的情形 一个对角线为0实对称 一个对角线为0的反对称 假定矩阵元素为a对于情况一我们得到的两个特征值是-a和a的两个实数 对于情况2我们有-ai和ai也就是把它们换到虚轴上(这正是刚刚说的谐振子解)。 由此你进行一个类推 如果我的矩阵的元素不在是这两个特殊情况而是随机的 我只保证这些矩阵元素每个的期望均是0 然后你要求出特征值的分布会是什么样的 刚刚的解一个是沿着实轴相对原点对称 一个是沿着虚轴相对原点对称。 如果综合起来呢 在实轴和虚轴组成的复平面上 我们会得到任意方向沿着原点对称的一组点 从而组成最完美的一个图形- 也就是 一个圆 具体求解请见论文(Introduction to Random Matrices-Theory and Practice)。好了 那么维度增加呢 当你的矩阵元素越来越多 这个时候我的高维矩阵的特征值个数将等于我们的矩阵维数 当这个数字达到一定程度 我们任意一个矩阵的特征值都将逼近刚刚说的那个所有可能二维矩阵的特征分布 也就是一个圆至少非常接近 好了 从这里我们可以立刻领悟到的是什么 首先 高维系统围绕定点的变化形式更加多变 因为每个特征值都对应了一种模式 而特征值的数量是无限的。 再有 特征向量和特征值携带所有矩阵的信息 那么所有的随机矩阵的性质是类似的。这里只有一个东西是变化的 就是圆的半径。 这个量有什么意义呢还回到二维情况进行对比 在我们刚刚的情况里 矩阵的trace从小于0到大于0引起整个系统从稳定定点过度到一个不稳定定点 而此处 这个圆的半径 正是起到类似的作用。那么矩阵A-I的特征值正负将决定整个系统的稳定性 这里的情况是如何呢 记得刚刚说的我的矩阵A元素都符合是一个平均值为0的高斯分布吗 A-I这个矩阵就是一个以-1为中心以A的特征圆为半径的圆形区域 如果这个圆的半径小于1 那个特征值整体在负半平面 系统会趋于稳定的解0。 而一旦半径大于1这种稳定性就被打破在高维的系统里 当你无法回到定点(或闭合轨迹) 那么登场的正是我们众所周知的混沌 高维系统的演化进行永不停止的无序运动。 那么1呢 我们说 这就是混沌和稳定的边缘 记得在二维的系统里 这个地方会催生非常多的有趣现象 比如二维谐振子 比如线性吸引子 而这些在高维系统里依然正确 我们会得到各种各样的复杂多解型 比如-振动解。 而这正是和网络有关的众多有趣现象 甚至生命本身 产生的地点。注所谓混沌 事实上是一大类不同动力学现象的统称 它们的共同特点是从某个无限接近的初始点出发 未来的轨迹是发散的也就是在某个初始位置上改变一点未来完全改变 这是一种极致的路径依赖的体现。 混沌的最简单形式是三维非线性方程的洛伦兹吸引子 在此情况下事实上我们的轨迹围绕这两个定点做某种“周期”运动 只是这个周期无限复杂 因此混沌并非等于失控 而可以是非常复杂的信息载体。 而混沌也可以普遍的存在于高维的线性系统里。 混沌可以简单 也可以复杂 取决于背后的动力系统。我们说 这个特征谱一来决定稳定性 而来决定趋于定点的方式。 实数代表线性的推进 虚数代表振动具体是哪种方式推进 则决定于你是否在某个特征值对应的特征向量方向上。 我们知道 我们是一个高维的线性系统在这个高维王国里 光坐标轴就可以建立维数N个 那么对应的就是N个特征向量方向。 由此决定了我们以不同的初始状态趋近定点 可能的结果会非常复杂多变运动模式趋于无限。基于这种理解我们可以做什么呢1 预测高维网络的一些基本性质 虽然我们比较难完全预测高维系统的未来 但是我们预测其稳定性 我们看到 当改变一个网络的一个基本属性 比如连接强度 就会让网络从稳定到不稳定从稳定平衡趋于混沌 那么对于生态系统和社会这意味着什么呢 有人说当系统的元素增加连接增强会使得系统更脆弱 更容易失衡 但这仅是理解之一。 一个趋于稳定平衡的系统也通常没有什么功能。 而混沌本身 确可以是秩序的载体。2 在混沌和稳定边缘的高维随机动力系统具有某种全能可塑性 如果加上一定的非线性 则可以包含极为丰富的动力学模式 稳定定点周期解 不稳定定点 混沌 各类复杂的吸引子 都可以在这个区域周围出现。这个区域动力学形式已经开始丰富 又不像完全混沌那样难以控制 因此是各类学习的最佳区域。3作为机器学习工具 预测其它混沌系统我们说大型的随机网络本身就具备一定的学习能力 而且在很多学习任务里可以匹配其它特定设计的机器学习模型。 这里一个比较著名的例子就是蓄水池网络。刚刚开始说的预测火焰的例子正是来自这里。蓄水池网络基于如下事实 真实的复杂系统就是我们刚刚将的各种简单系统的组成 当你的高维混沌系统RNN包含的模式足够多样它就可以像多项式拟合一样 通过自身的复杂模式组合逼近真实系统。蓄水池网络的根基正是2提到的混沌和稳定的边缘 再加上非线性的激活函数, 以及外界环境的输入I。这个微小的非线性将把系统的复杂性再推一个高度 事实上 一个非线性的二维系统就可以表达多于一个的定点 而非线性的三维系统就已经可以产生混沌。 一个非线性的高维混沌系统 其数学复杂度已经接近解析的极限。-这也就是循环神经网络RNN。制作一个蓄水池网络最重要的就是控制刚刚说的特征值的谱半径 我们要让它处于稳定到混沌的临界状态也就似乎那个谱半径接近1的状态。 在这个时候 系统的动力学属性最为复杂最为丰富。蓄水池网络具有的一种能力是 如果你给它一个复杂的时间序列输入(I) 比如股市的变化 它可以自动的抽取出这种变化背后的独立性因子并在一定程度模拟出真实过程的动力关系(因为其自身存在足够丰富的动力关系 以至于非常容易和真实的系统进行匹配)。 听着有点像PCA但是PCA是线性的不包含时间 而这里是一个非线性时间依赖的系统 复杂性不可同日而语。比如上面这个图 我们的输入是真实世界一个很复杂的波动曲线(周期解和混沌间的过度) 事实上多么复杂的波动背后催生它的因素不一定很复杂 比如洛伦茨吸引子背后就仅仅是一个三维系统。当这个波动输入到蓄水池网络里以后蓄水池网络可以找寻到这种复杂背后的根基并对这个信号的发展走势进行预测。蓄水池运算的好处是不需要改变内在连接矩阵A 我们唯一需要求解的是一个读出, 也就是就可以对时间序列进行预测, 比如文中开头提到的预测火焰形状的网络 如下图 这个过程包含两个阶段一个是训练一个是预测 在训练阶段 RNN的作用事实上相当于一个auto-encoder-自编码器 它得到一个火焰变化的输入 通过网络重现这个输入。 而在预测阶段我们不再有火焰变化的数据我们直接把RNN输出的结果输入回网络假设这个网络已经学好了 那么这个输出就是正确的预测(下图为实际信号(上)于预测信号的比对(下))。 这种预测能力的背后 正是在训练阶段RNN高维网络里的某些成分 抓住了真实系统变化背后的那些核心动因(自编码器的本质即压缩寻找主成分)。Model-Free Prediction of Large Spatiotemporally Chaotic Systems from Data: A Reservoir Computing Approach更深刻的学习(对A进行改变) 我们还可以做什么呢 在刚刚讲到的各类复杂的动力学形式里 我们看到无论是稳定定点 极限环鞍点还是线性吸引子事实上都是对世界普遍存在的信息流动形式的通用表达。 我们可以用它表达信息的提取和加工 甚至某种程度的逻辑推理(决策)那么只要我们能够掌握一种学习形式有效的改变这个随机网络的连接我们就有可能得到我们所需要的任何一种信息加工过程 用几何语言说就是在随机网络的周围 存在着从毫无意义的运动到通用智能的几乎所有可能性 打开这些可能的过程如同对随机网络进行一个微扰 而这个微扰通常代表了某种网络和外在环境的耦合过程(学习) 当网络的动力学在低维映射里包含了真实世界的动力学本身 通常学习就成功了。无论当下红极一时的鏖战星际争霸的网络还是从脑电波中解码语言的网络 无非是一种特殊的RNN(LSTM)加上一定的这种学习的结果。高维的非线性系统可以用来描述真实世界的各种复杂网络 从生物基因网络到神经网络到生态网络或经济关系网络 而这些网络的惊人之处在于内在的随机性和作为整体的强大功能。 随机连接的市场可以极为有效的调控生产资源 生态网络导致微妙的生态平衡。 脑网络产生伟大的智能 而不同的脑网络 一点点连接差距确可以导致属性的天壤之别如人和猩猩基因差异没有大的情况下智力确是天壤之别 以及类似人组成的社会受到地理条件影响的微小差异后引起的社会演化巨大差异。 这些都是看似混沌的高维系统研究可以告诉我们的同时 这种复杂的网络本身也可以帮助我们来研究其它和它类似的系统 这正是当下深度学习背后的根本 也就是以混沌克服混沌 对复杂对抗复杂的极好例子。 从低维到高维 越来越精彩。 参考文献1 Sompolinsky H, Crisanti A, Sommers H J. Chaos in random neural networks[J]. Physical review letters, 1988, 61(3): 2592 Pathak J, Hunt B, Girvan M, et al. Model-free prediction of large spatiotemporally chaotic systems from data: A reservoir computing approach[J]. Physical review letters, 2018, 120(2): 024102.3 Maass W, Natschläger T, Markram H. Real-time computing without stable states: A new framework for neural computation based on perturbations[J]. Neural computation, 2002, 14(11): 2531-2560.4 Schrauwen B, Verstraeten D, Van Campenhout J. An overview of reservoir computing: theory, applications and implementations[C]//Proceedings of the 15th european symposium on artificial neural networks. p. 471-482 2007. 2007: 471-482.
