更改了网站关键词后要怎么做,网站分类有哪些,wordpress下载5.0.3,网站需求怎么做来源#xff1a;AI科技评论作者#xff1a;Rajat Saxena et al.编译#xff1a;bluemin编辑#xff1a;陈彩娴与人类不同#xff0c;人工神经网络在学习新事物时会迅速遗忘先前学到的信息#xff0c;必须通过新旧信息的交错来重新训练#xff1b;但是#xff0c;交错全… 来源AI科技评论作者Rajat Saxena et al.编译bluemin编辑陈彩娴与人类不同人工神经网络在学习新事物时会迅速遗忘先前学到的信息必须通过新旧信息的交错来重新训练但是交错全部旧信息非常耗时并且可能没有必要。只交错与新信息有实质相似性的旧信息可能就足够了。近日美国科学院院报PNAS刊登了一篇论文“Learning in deep neural networks and brains with similarity-weighted interleaved learning”由加拿大皇家学会会士、知名神经科学家 Bruce McNaughton 的团队发表。他们的工作发现通过将旧信息与新信息进行相似性加权交错训练深度网络可以快速学习新事物不仅降低了遗忘率而且使用的数据量大幅减少。论文作者还作出一个假设通过跟踪最近活跃的神经元和神经动力学吸引子attractor dynamics的持续兴奋性轨迹可以在大脑中实现相似性加权交错。这些发现可能会促进神经科学和机器学习的进一步发展。研究背景了解大脑如何终身学习仍然是一项长期挑战。在人工神经网络ANN中过快地整合新信息会产生灾难性干扰即先前获得的知识突然丢失。互补学习系统理论 (Complementary Learning Systems TheoryCLST) 表明通过将新记忆与现有知识交错新记忆可以逐渐融入新皮质。CLST指出大脑依赖于互补的学习系统海马体 (HC) 用于快速获取新记忆新皮层 (NC) 用于将新数据逐渐整合到与上下文无关的结构化知识中。在“离线期间”例如睡眠和安静的清醒休息期间HC触发回放最近在NC中的经历而NC自发地检索和交错现有类别的表征。交错回放允许以梯度下降的方式逐步调整NC突触权重以创建与上下文无关的类别表征从而优雅地整合新记忆并克服灾难性干扰。许多研究已经成功地使用交错回放实现了神经网络的终身学习。然而在实践中应用CLST时有两个重要问题亟待解决。首先当大脑无法访问所有旧数据时如何进行全面的信息交错呢一种可能的解决方案是“伪排练”其中随机输入可以引发内部表征的生成式回放而无需显式访问先前学习的示例。类吸引子动力学可能使大脑完成“伪排练”但“伪排练”的内容尚未明确。因此第二个问题是每进行新的学习活动之后大脑是否有充足的时间交织所有先前学习的信息。相似性加权交错学习Similarity-Weighted Interleaved LearningSWIL算法被认为是第二个问题的解决方案这表明仅交错与新信息具有实质表征相似性的旧信息可能就足够了。实证行为研究表明高度一致的新信息可以快速整合到NC结构化知识中几乎没有干扰。这表明整合新信息的速度取决于其与先验知识的一致性。受此行为结果的启发并通过重新检查先前获得的类别之间的灾难性干扰分布McClelland等人证明SWIL可以在具有两个上义词类别例如“水果”是“苹果”和“香蕉”的上义词的简单数据集中每个epoch使用少于2.5倍的数据量学习新信息实现了与在全部数据上训练网络相同的性能。然而研究人员在使用更复杂的数据集时并没有发现类似的效果这引发了对该算法可扩展性的担忧。实验表明深度非线性人工神经网络可以通过仅交错与新信息共享大量表征相似性的旧信息子集来学习新信息。通过使用SWIL算法ANN能够以相似的精度水平和最小的干扰快速学习新信息同时使用的每个时期呈现的旧信息量少之又少这意味着数据利用率高且可以快速学习。同时SWIL也可应用于序列学习框架。此外学习一种新类别可以极大地提高数据利用率 。如果旧信息与之前学习过的类别有着非常少的相似性那么呈现的旧信息数量就会少得多这很可能是人类学习的实际情况。最后作者提出了一个关于SWIL如何在大脑中实现的理论模型其兴奋性偏差与新信息的重叠成正比。应用于图像分类数据集的DNN动力学模型McClelland等人的实验表明在具有一个隐藏层的深度线性网络中SWIL可以学习一个新类别类似于完全交错学习 (Fully Interleaved LearningFIL)即将整个旧类别与新类别交错但使用的数据量减少了40%。然而网络是在一个非常简单的数据集上训练的只有两个上义词类别这就对算法的可扩展性提出了疑问。首先针对更复杂的数据集如Fashion-MNIST探索不同类别的学习在具有一个隐藏层的深度线性神经网络中如何演变。移出了“boot”“靴子”和“bag”“纸袋”类别后该模型在剩余的8个类别上的测试准确率达到了87%。然后作者团队重新训练模型在两种不同的条件下学习新的“boot”类每个条件重复10次1集中学习(Focused Learning FoL)即仅呈现新的“boot”类2完全交错学习 (FIL)即所有类别新类别以前学过的类别以相等的概率呈现。在这两种情况下每个epoch总共呈现180张图像每个epoch中的图像相同。该网络在总共9000张从未见过的图像上进行了测试其中测试数据集由每类1000张图像组成不包括“bag”类别。当网络的性能达到渐近线时训练停止。不出所料FoL对旧类别造成了干扰而FIL克服了这一点图1第2列。如上所述FoL对旧数据的干扰因类别而异这是SWIL最初灵感的一部分并表明新“boot”类别和旧类别之间存在分级相似关系。例如“sneaker”“运动鞋”和“sandals”“凉鞋”的召回率比“trouser”“裤子”下降得更快图1第2列可能是因为整合新的“boot”类会选择性地改变代表“sneaker”和“sandals”类的突触权重从而造成更多的干扰。图1预训练网络在两种情况下学习新“boot”类的性能对比分析FoL上和 FIL下。从左到右依次为预测新“boot”类别的召回率橄榄色、现有类别的召回率用不同颜色绘制、总准确度高分意味着低误差和交叉熵损失总误差的度量曲线是保留的测试数据集上与epoch数有关的函数。计算不同类别之间的相似度FoL在学习新类别的时候在相似的旧类别上的分类性能会大幅下降。之前已经探讨了多类别属性相似度和学习之间的关系并且表明深度线性网络可以快速获取已知的一致属性。相比之下在现有类别层次结构中添加新分支的不一致属性需要缓慢、渐进、交错的学习。在当前的工作中作者团队使用已提出的方法在特征级别计算相似度。简言之计算目标隐藏层通常是倒数第二层现有类别和新类别的平均每类激活向量之间的余弦相似度。图2A显示了基于Fashion MNIST数据集的新“boot”类别和旧类别作者团队根据预训练网络的倒数第二层激活函数计算的相似度矩阵。类别之间的相似性与我们对物体的视觉感知一致。例如在层次聚类图图2B中我们可以观察到“boot”类与“sneaker”和“sandal”类之间、以及“shirt”“衬衫”和“t-shirt”“T恤”类之间具有较高的相似性。相似度矩阵图2A与混淆矩阵图2C完全对应。相似度越高越容易混淆例如“衬衫”类与“T恤”、“套头衫”和“外套”类图像容易混淆这表明相似性度量预测了神经网络的学习动态。在上一节的FoL结果图图1中旧类别的召回率曲线中存在相近的类相似度曲线。与不同的旧类别“trouser”等相比FoL学习新“boot”类的时候会快速遗忘相似的旧类别“sneaker” 和 “sandal”。图2( A ) 作者团队根据预训练网络的倒数第二层激活函数计算的现有类别和新“boot”类的相似度矩阵其中对角线值同一类别的相似性绘制为白色被删除。( B ) 对A中的相似矩阵进行层次聚类。( C ) FIL算法在训练学习“boot”类后生成的混淆矩阵。为了缩放清晰删除了对角线值。深度线性神经网络实现快速和高效学习新事物接下来在前两个条件基础上增加了3种新条件研究了新的分类学习动态其中每个条件重复10次1FoL共计n6000张图像/epoch2) FIL共计n54000张图像/epoch6000张图像/类3) 部分交错学习 (Partial Interleaved LearningPIL)使用了很小的图像子集共计n350张图像/epoch大约39张图像/类每一类别新类别现有类别的图像以相等的概率呈现4) SWIL每个epoch使用与PIL 相同的图像总数进行重新训练但根据与新“boot”类别的相似性对现有类别图像进行加权5等权交错学习Equally Weighted Interleaved LearningEqWIL使用与SWIL相同数量的“boot”类图像重新训练但现有类别图像的权重相同图3A。作者团队使用了上述相同的测试数据集共有n9000张图像。当在每种条件下神经网络的性能都达到渐近线时停止训练。尽管每个epoch使用的训练数据较少预测新“boot”类的准确率需要更长的时间达到渐近线与FILH7.27P0.05相比PIL的召回率更低图3B第1列和表1“New class”列。对于SWIL相似度计算用于确定要交错的现有旧类别图像的比例。在此基础上作者团队从每个旧类别中随机抽取具有加权概率的输入图像。与其他类别相比“sneaker”和“sandal”类最相似从而导致被交错的比例更高图3A。根据树状图图2B作者团队将“sneaker”和“sandal”类称为相似的旧类其余则称为不同的旧类。与PILH5.44P0.05相比使用SWIL时模型学习新“boot”类的速度更快对现有类别的干扰也相近。此外SWILH0.056P0.05的新类别召回率图3B第1列和表1“New class”列、总准确率和损失与FIL相当。EqWILH10.99P0.05中新“boot”类的学习与SWIL相同但对相近的旧类别有更大程度的干扰图3B第2列和表1“Similar old class”列。作者团队使用以下两种方法比较SWIL和FIL1) 内存比即FIL和SWIL中存储的图像数量之比表示存储的数据量减少2) 加速比即在FIL和SWIL中呈现的内容总数的比率以达到新类别回忆的饱和精度表明学习新类别所需的时间减少。SWIL可以在数据需求减少的情况下学习新内容内存比154.3x (54000/350)并且速度更快加速比77.1x (54000/(350×2))。即使和新内容有关的图像数量较少该模型也可以通过使用SWIL利用模型先验知识的层次结构实现相同的性能。SWIL在PIL和EqWIL之间提供了一个中间缓冲区允许集成一个新类别并将对现有类别的干扰降到最低。图3 ( A ) 作者团队在五种不同的学习条件下预训练神经网络学习新的“boot”类橄榄绿直到性能平稳1FoL共计n6000张图像/epoch2FIL共计n54000张图像/epoch3) PIL共计n350张图像/epoch4) SWIL共计n350张图像/epoch和 5) EqWIL共计n350张图像/epoch。BFoL黑色、FIL蓝色、PIL棕色、SWIL洋红色和 EqWIL金色预测新类别、相似旧类别“sneaker”和“sandals”和不同旧类别的召回率预测所有类别的总准确率以及在测试数据集上的交叉熵损失其中横坐标都是epoch数。基于CIFAR10使用SWIL在CNN中学习新类别接下来为了测试SWIL是否可以在更复杂的环境中工作作者团队训练了一个具有全连接输出层的6层非线性CNN图4A以识别CIFAR10数据集中剩余8个不同类别“cat”和“car”除外的图像。他们还对模型进行了重新训练在之前定义的5种不同训练条件FoL、FIL、PIL、SWIL和EqWIL下学习“cat”“猫”类。图4C显示了5种情况下每类图像的分布。对于SWIL、PIL和EqWIL条件每个epoch的总图像数为2400而对于FIL和FoL每个epoch的总图像数分别为45000和5000。作者团队针对每种情况对网络分别进行训练直到性能趋于稳定。他们在之前未见过的总共9000张图像1000张图像/类不包括“car”“轿车”类上对该模型进行了测试。图4B是作者团队基于CIFAR10数据集计算的相似性矩阵。“cat”类和“dog”“狗”类更类似而其他动物类属于同一分支图4B左。根据树状图图4B将“truck” “货车”、“ship”“轮船” 和 “plane”“飞机” 类别称为不同的旧类别除“cat”类外其余的动物类别称为相似的旧类别。对于FoL模型学习了新的“cat”类但遗忘了旧类别。与Fashion-MNIST数据集结果类似“dog”类与“cat”类相似性最大和“truck”类与“cat”类相似性最小均存在干扰梯度其中“dog”类的遗忘率最高而“truck”类遗忘率最低。如图4D所示FIL算法学习新的“cat”类时克服了灾难性的干扰。对于PIL算法模型在每个epoch使用18.75倍的数据量学习新的“cat”类但“cat”类的召回率比FILH5.72P0.05低。对于SWIL在新类别、相似和不同旧类别上的召回率、总准确率和损失与FIL相当H0.42P0.05见表2和图4D。SWIL对新“cat”类的召回率高于PILH7.89P0.05。使用EqWIL算法时新“cat”类的学习情况与SWIL和FIL相似但对相似旧类别的干扰较大H24.77P0.05见表2。FIL、PIL、SWIL和EqWIL这4种算法预测不同旧类别的性能相当H0.6P0.05)。SWI比PIL更好地融合了新的“cat”类并有助于克服EqWIL中的观测干扰。与FIL相比使用SWIL学习新类别速度更快加速比31.25x (45000×10/(2400×6))同时使用更少的数据量 (内存比18.75x)。这些结果证明即使在非线性CNN和更真实的数据集上SWIL也可以有效学习新类别事物。图4( A ) 作者团队使用具有全连接输出层的6层非线性CNN学习CIFAR10数据集中的8类事物。( B ) 相似度矩阵 右是在呈现新的“cat”类之后作者团队根据最后一个卷积层的激活函数计算获得。对相似矩阵应用层次聚类左在树状图中显示动物橄榄绿和交通工具蓝色两个上义词类别的分组情况。( C ) 作者团队在5种不同的条件下预训练CNN学习新的“cat”类橄榄绿直到性能平稳1FoL共计n5000张图像/epoch2FIL共计n45000张图像/epoch3) PIL共计n2400张图像/epoch4) SWIL共计n2400张图像/epoch5) EqWIL共计n2400张图像/epoch。每个条件重复10次。DFoL黑色、FIL蓝色、PIL棕色、SWIL洋红色和 EqWIL金色预测新类别、相似旧类别CIFAR10数据集中的其他动物类和不同旧类别“plane” 、“ship” 和 “truck”的召回率预测所有类别的总准确率以及在测试数据集上的交叉熵损失其中横坐标都是epoch数。新内容与旧类别的一致性对学习时间和所需数据的影响如果一项新内容可以添加到先前学习过的类别中而不需要对网络进行较大更改则称二者具有一致性。基于此框架与干扰多个现有类别低一致性的新类别相比学习干扰更少现有类别高一致性的新类别可以更容易地集成到网络中。为了测试上述推断作者团队使用上一节中经过预训练的CNN在前面描述的所有5种学习条件下学习了一个新的“car”类别。图5A显示了“car”类别的相似性矩阵与其他现有类别相比“car”和“truck”、“ship”和“plane”在同一层次节点下说明它们更相似。为了进一步确认作者团队在用于相似性计算的激活层上进行了t-SNE降维可视化分析图5B。研究发现“car”类与其他交通工具类“truck”、“ship”和“plane”有显著重叠而“cat”类与其他动物类“dog”、 “frog”“青蛙”、“horse”“马”、“bird”“鸟”和“deer”“鹿”有重叠。和作者团队预期相符FoL学习“car”类别时会产生灾难性干扰对相近的旧类别干扰性更强而使用FIL克服了这一点图5D。对于PIL、SWIL和EqWIL每个epoch总共有n2000张图像图5C。使用SWIL算法模型学习新的“car”类别可以达到和FILH0.79P0.05相近的精度而对现有类别包括相似和不同类别的干扰最小。如图5D第2列所示使用EqWIL模型学习新“car”类的方式与SWIL相同但对其他相似类别例如“truck”的干扰程度更高H53.81P0.05。与FIL相比SWIL可以更快地学习新内容加速比48.75x45000×12/(2000×6)内存需求减少内存比22.5x。与“cat”48.75x vs.31.25x相比“car”可以通过交错更少的类如“truck”、“ship”和“plane”更快地学习而“cat”与更多的类别如“dog” 、“frog” 、“horse” 、“frog” 和“deer”重叠。这些仿真实验表明交叉和加速学习新类别所需的旧类别数据量取决于新信息与先验知识的一致性。图 5( A ) 作者团队根据倒数第二层激活函数计算获得相似度矩阵左以及呈现新的“car”类别后对相似度矩阵进行层次聚类后的结果图右。( B ) 模型分别学习新的“car”类别和“cat”类别经过最后一个卷积层过激活函数后作者团队进行t-SNE降维可视化的结果图。( C ) 作者团队在5种不同的条件下预训练CNN学习新的“car”类橄榄绿直到性能平稳1FoL共计n5000张图像/epoch2FIL共计n45000张图像/epoch3) PIL共计n2000张图像/epoch4) SWIL共计n2000张图像/epoch5) EqWIL共计n2000张图像/epoch。DFoL黑色、FIL蓝色、PIL棕色、SWIL洋红色和 EqWIL金色预测新类别、相似旧类别“plane” 、“ship” 和 “truck”和不同旧类别CIFAR10数据集中的其他动物类的召回率预测所有类别的总准确率以及在测试数据集上的交叉熵损失其中横坐标都是epoch数。每张图显示的是重复10次后的平均值阴影区域为±1 SEM。利用SWIL进行序列学习接下来作者团队测试是否可以使用SWIL学习序列化形式呈现的新内容序列学习框架。为此他们采用了图4中经过训练的CNN模型在FIL和SWIL条件下学习CIFAR10数据集中的“cat”类任务1只在CIFAR10的剩余9个类别上训练然后在每个条件下训练模型学习新的“car”类任务2。图6第1列显示了SWIL条件下学习“car”类别时其他各项类别的图像数量分布情况共计n2500张图像/epoch。需要注意的是预测“cat”类时也交叉学习新的“car”类。由于在FIL条件下模型性能最佳SWIL仅与FIL进行了结果比较。如图6所示SWIL预测新、旧类别的能力与FIL相当H14.3P0.05)。模型使用SWIL算法可以更快地学习新的“car”类别加速比为45x50000×20/(2500×8)每个epoch的内存占用比FIL少20倍。模型学习“cat”和“car”类别时在SWIL条件下每个epoch使用的图像数量内存比和加速比分别为18.75x 和 20x少于在FIL条件下每个epoch使用的整个数据集内存比和加速比分别为31.25x 和45x并且仍然可以快速学习新类别。扩展这一思想随着学过的类别数目不断增加作者团队预期模型的学习时间和数据存储会成倍减少从而更高效地学习新类别这或许反映了人类大脑实际学习时的情况。实验结果表明SWIL可在序列学习框架中集成多个新类使神经网络能够在不受干扰的情况下持续学习。图6作者团队训练6层CNN学习新的“cat”类任务1然后学习“car”类任务2直到性能在以下两种情况下趋于稳定1FIL包含所有旧类别以不同颜色绘制和以相同概率呈现的新类别“cat”/“car”图像2) SWIL根据与新类别“cat”/“car”的相似性进行加权并按比例使用旧类别示例。同时将任务1中学习的“cat”类包括在内并根据任务2中学习“car”类的相似性进行加权。第1张子图表示每个epoch使用的图像数量分布情况其余各子图分别表示FIL蓝色和SWIL洋红色预测新类别、相似旧类别和不同旧类别的召回率预测所有类别的总准确率以及在测试数据集上的交叉熵损失其中横坐标都是epoch数。利用SWIL扩大类别间的距离减少学习时间和数据量作者团队最后测试了SWIL算法的泛化性验证其是否可以学习包括更多类别的数据集以及是否适用于更复杂的网络架构。他们在CIFAR100数据集训练集500张图像/类测试集100张图像/类上训练了一个复杂的CNN模型-VGG19共有19层学习了其中的90个类别。然后对网络进行再训练学习新类别。图7A显示了基于CIFAR100数据集作者团队根据倒数第二层的激活函数计算的相似性矩阵。如图7B所示新“train”“火车”类与许多现有的交通工具类别如“bus” “公共汽车”、“streetcar” “有轨电车”和“tractor”“拖拉机”等很相似。与FIL相比SWIL可以更快地学习新事物加速比95.45x (45500×6/(1430×2))并且使用的数据量 (内存比31.8x) 显著减少而性能基本相同(H8.21, P0.05) 。如图7C所示在PILH10.34P0.05和EqWILH24.77P0.05条件下模型预测新类别的召回率较低并且产生的干扰较大而SWIL克服了上述不足。同时为了探索不同类别表征之间的较大距离是否构成了加速模型学习的基本条件作者团队另外训练了两种神经网络模型16层CNN与基于CIFAR10的图4和图5相同2VGG1111层学习CIFAR100数据集中的90个类别仅在FIL和SWIL两个条件下对新的“train”类进行训练。如图7B所示对于上述两种网络模型新的“train”类和交通工具类别之间的重叠度更高但与VGG19模型相比各类别的分离度较低。与FIL相比SWIL学习新事物的速度与层数的增加大致呈线性关系斜率0.84。该结果表明类别间表征距离的增加可以加速学习并减少内存负载。图7( A ) VGG19学习新的“train”类后作者团队根据倒数第二层激活函数计算的相似性矩阵。“truck” 、“streetcar” 、“bus” 、“house” 和 “tractor”5种类别与“train”的相似性最大。从相似度矩阵中排除对角元素相似度 1。B左作者团队针对6层CNN、VGG11和VGG19网络经过倒数第二层激活函数后进行t-SNE降维可视化的结果图。B右纵轴表示加速比FIL/SWIL横轴表示3个不同网络的层数相对于6层CNN的比率。黑色虚线、红色虚线和蓝色实线分别代表斜率 1的标准线、最佳拟合线和仿真结果。( C ) VGG19模型的学习情况FoL黑色、FIL蓝色、PIL棕色、SWIL洋红色和 EqWIL金色预测新“train”类、相似旧类别交通工具类别和不同旧类别除了交通工具类别的召回率预测所有类别的总准确率以及在测试数据集上的交叉熵损失其中横坐标都是epoch数。每张图显示的是重复10次后的平均值阴影区域为±1 SEM。( D ) 从左到右依次表示模型预测Fashion-MNIST“boot”类图3、CIFAR10“cat”类图4、CIFAR10“car”类图5和CIFAR100“train”类的召回率是SWIL洋红色和FIL蓝色使用的图像总数对数比例的函数。“N”表示每种学习条件下每个epoch使用的图像总数包括新、旧类别。如果在更多非重叠类上训练网络并且各表征之间的距离更大速度是否会进一步提升为此作者团队采用了一个深度线性网络用于图1-3中的Fashion-MNIST示例并对其进行训练以学习由8个Fashion-MNIST类别不包括“bags”和“boot”类和10个Digit-MNIST类别形成的组合数据集然后训练网络学习新的“boot”类别。和作者团队的预期相符“boot”与旧类别“sandals”和“sneaker”相似度更高其次是其余的Fashion-MNIST类主要包括服饰类图像最后Digit-MNIST类主要包括数字类图像。基于此作者团队首先交织了更多相似的旧类别样本再交织Fashion-MNIST和Digit-MNIST类样本共计n350张图像/epoch。实验结果表明与FIL类似SWIL可以快速学习新类别内容而不受干扰但使用的数据子集要小得多内存比为325.7x (114000/350) 加速比为162.85x (228000/1400)。作者团队在当前结果中观察到的加速比为2.1x (162.85/77.1)与Fashion-MNIST数据集相比类别数目增加了 2.25倍 (18/8)。本节的实验结果有助于确定SWIL可以适用于更复杂的数据集 (CIFAR100) 和神经网络模型(VGG19)证明了该算法的泛化性。同时证明了扩大类别之间的内部距离或增加非重叠类别的数量可能会进一步提高学习速度并降低内存负载。总结人工神经网络在持续学习方面面临重大挑战通常表现出灾难性干扰。为了克服此问题许多研究都使用了完全交错学习FIL即新旧内容交叉学习联合训练网络。FIL需要在每次学新信息时交织所有现有信息使其成为一个生物学意义上不可信且耗时的过程。最近有研究表明FIL可能并非必需仅交错与新内容具有实质表征相似性的旧内容即采用相似性加权交错学习SWIL的方法可以达到相同的学习效果。然而有人对SWIL的可扩展性表示了担忧。本文扩展了SWIL算法并基于不同的数据集Fashion-MNIST、CIFAR10 和 CIFAR100和神经网络模型深度线性网络和CNN对其进行了测试。在所有条件下与部分交错学习PIL相比相似性加权交错学习SWIL和等权交错学习EqWIL在学习新类别方面的表现更好。这和作者团队的预期相符因为与旧类别相比SWIL和EqWIL增加了新类别的相对频率。本文同时还证明与同等子抽样现有类别即EqWIL方法相比仔细选择和交织相似内容减少了对相近旧类别的灾难性干扰。在预测新类别和现有类别方面SWIL的性能与FIL类似却显著加快了学习新内容的速度图7D)同时大大减少了所需的训练数据。SWIL可以在序列学习框架中学习新类别进一步证明了其泛化能力。最后与许多旧类别具有相似性的新类别相比如果其与之前学过的类别重叠更少距离更大可以缩短集成时间并且数据效率更高。总体来说实验结果提供了一种可能的见解即大脑事实上通过减少不切实际的训练时间克服了原始CLST模型的一项主要弱点。原文链接https://www.pnas.org/doi/10.1073/pnas.2115229119未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
