烟台专业做网站,怎么建立企业网站免费的,企业网站开发费用包括哪些,网站开发及企业推广原文链接#xff1a;Boundary attention:: Learning to Find Faint Boundaries at Any Resolution
本文提出的模型泛化性好#xff0c;即使只在合成的图案简单的图片上训练#xff0c;在复杂的真实图上做检测也能得到较好的边界。
细节部分#xff1a;
不同于viT把图片切…原文链接Boundary attention:: Learning to Find Faint Boundaries at Any Resolution
本文提出的模型泛化性好即使只在合成的图案简单的图片上训练在复杂的真实图上做检测也能得到较好的边界。
细节部分
不同于viT把图片切成小patch然后映射为token而是每个像素都有一个token。 文章说的densestride-1的token
每个像素的token设计为表达局部几何结构的特征空间表征以自己为中心的正方形区域内的局部结构。
提出bottleneck将图像的token映射到低维空间这里设计这个空间为junction space。
junction space
用一些参数代表了一些可能的几何边缘结构。比如什么都没有边角T结Y结。这些几何结构够了吗能不能通过kmeans聚类得到最佳的参数空间大小 这些参数3.1 包括点位置uuv点是相对patch中的中心像素的线的方向theta线顺时针旋转产生另外两条线夹角依次为o1、2、3因为最多产生三条线所以最多表达三部分比如T、Y结。 ⁃ 这些参数表达的几何结构种类是有限的每一种文中叫做 wedge。
f-n代表输入图像 s-nj代表像素x在像素n的领域内且属于第j个wedge就1.j能离散具体函数在附录代表 d-n代表像素x离最近的边界的欧式距离。这里的边界就是jspace中的线。
每个像素的region的大小设计成自适应的。这里能用那个blur-scale改合理吗用函数window functionw-n表示。这个函数定义为一个凸函数分三个级别衡量sizeD3917。如果距离中心像素的大小小于某个size就加上对应的系数。 ⁃ 大小由regionsize决定同时结果又决定了region size boundry attention是neighborhood corss-attetnioncross-attention的一种变体。
结构先把token用训练好的线性映射patch FFN变到junction space。
gather operator对patch进行计算wedge feature。新的fkj在图f上patch包括的像素值每个像素的window function作为权f作为值的加权平均。 ⁃ inputfeature图、window function图p、wedge图g。 ⁃ output更新的feature
slice operator对每个像素进行计算。算包含他的所有region的某个值的meanvariance。这个值有两个distance map和wedge feature。 在这里对每个patchk要进行加权计算对他有贡献的是包含这个patch中心点n的所有patches不只他自己。 ⁃ inputdistance map dwindow function图pwedge图gfeature map一样的 ⁃ outputdistance map d的均值、方差feature map的均值、方差。 这两个operator得到distance map、feature的方差。
期望输出 期望重叠区每个pixel又一个region的边界是一样的。所以让上面得到的两个输出方差很小。
对上面distance map和wedge feature经过attention输出的均值的 ⁃ 像素n的feature mean是对包含他的领域中每个wedge feature的权重求和。attention是对邻居的不同的注意力
图片解释 ⁃ 第二行的图对应选取的区域颜色都一样所以他的第一个window function很大对应window中的边缘第二张图是快到花瓣边缘了。
整个网络要迭代gp表示。迭代window function的系数和junction 空间的表示。为什么不能直接计算因为直接计算太难了不是因为根本无法计算只能让网络迭代得到最好的g关注该范围的参数是多少最好的p关注多大的范围以及考虑邻居信息的feature
网络输入像素经过MLPmix输出hidden state。 然后attention8次迭代g和pwedge feature和window size参数
每个boundry attention
使用跳跃连接 把hidden state copy两份一份window tokenpai林一份global feature f。分别经过MLP。 window tkoen作为Qglobal feature作为KV。 window tokensize 1前面提到过每个pixel n都作为query。 global feature分割为11大小的patch两者做cross-ttetnion每个像素nquery的考虑了邻居的特征的新特征是什么
还给global feature的patch加了positional encoding。
attention输出的hidden state得最后8维是window token。他们两个经过线性层映射回junciton space的参数表示g。得到的g可以进行gather和slice opartor。
训练过程 一共有一个MLPmix两个boundry attention。总共进行8次迭代。 第一阶段迭代4次线MLP-mixer和第一个attention一起训练在第34迭代使用loss 第二阶段在迭代4次然后再加第二个attention进行端到端的训练。在第78迭代使用loss 最后一次迭代的loss比前几次迭代的都权重大。 一开始输入-MLPmixerattention-再返回给attention-在返回给attention此时计算loss1-在返回给attention此时计算loss2加上第二个attetnion返回头部端到端输出-在返回头部端到端输出-在返回头部端到端输出此时计算loss3-在返回头部端到端输出此时计算loss4最后loss应该是loss1-4的和 可能因为全部端到端训练太难了
loss12是监督loss包括feature和distance map的GT这个他怎么得到的
每个loss包括像素级和patch级别的feature loss和distance map loss。让输入接近GT。还有他们对应的方差loss让其尽量为0.
实验细节 合成有15-20种几何图形的图片变成灰度图参见裁剪25*125大小作为输入。 数据集10^590%作为训练。 ⁃ 给图片加noise让网络实现得到和无噪声一样的feature mapdistance map。
结果 1. 验证对噪声的抗干扰性能 和EDTRE、去噪的EDTRE对比 和类似原理但不是深度学习的filed of junction做对比。
2. 验证去噪检测时仍然存在的亚像素精度在小image上检测上采样放大边缘也很好。
3. 可视化hidden state发现确实学到了junction space。而且直接对值进行差值能得到连续的junction可视化就是直接把hiddenstate值作为参数进行画4. 在真实图像上没和其他网络比较对真实图像的检测而是比较了加噪声后的表现。
5. 推理时间等等补充材料 1. junction space junction空间的几何表示可以有M种本文用的是M3
参数空间有一些等价表示。 这里没看懂
Mjunction是更大的M‘的子集训练时还可以提高M试一试
在Mjucntion参数空间中能直接计算出central 方向和边界boundary方向
和filed of junction那篇在junction space上的比较参数空间多了oemga这样就不用限制fai的范围。
这个参数空间的表示允许线性插值
2. 训练数据合成数据集Kaleidoshapes
3. 模型细节输入3通道图像每个像素映射为64维。 经过一个zero-padding处理补充边界。 然后MLPmix两个neighbor mixing blocks每个包括空间patch mixer和channelmixer。前者是用两个3*3空间卷积GELU实现。 channelmixer是每个像素输入的MLP。 最后剪掉包含了原图之外信息的patches。
训练细节 第一阶段 训练只用kal数据集的简化版100*100大小加了高斯噪声用等式910的loss。让网络学到有意义的hidden state gamma避免jucntion的collapse。让网络关注边界一致性loss方差loss-0学习无边界patch。
数据存在不平衡只有一部分有边界信息。所以加一个额外的空间importance mask给有边界的区域更多关注。用过gaussian产生这个mask把mask以常数C加在loss上。
第二阶段 加另一个block用全部iamge和loss。 也用了空间importance mask
