博客网站源码带后台,什么网站专做店铺,网站备案关闭影响排名,wordpress设置html代码Note:本博客更多是关于自己的感悟#xff0c;没有翻阅文件详细查证#xff0c;如果存在错过#xff0c;也请提出指正。
1. 半监督回归
相比于半监督分类#xff0c;半监督回归相对冷门。回归和分类之间有着难以逾越的天谴#xff0c;预测精度。分类中的类别是可数的没有翻阅文件详细查证如果存在错过也请提出指正。
1. 半监督回归
相比于半监督分类半监督回归相对冷门。回归和分类之间有着难以逾越的天谴预测精度。分类中的类别是可数的有限的而在回归中可以认为类别是无限的可以通过离散化将回归任务转化成分类任务但是这样回归精度就会极具下降。BEL 试图打破分类与回归之间的天谴参见。Deep Imbalanced Regression 认为回归任务中同样存在不平衡的问题。其实这一点在半监督语境下的回归任务中更加突出。
半监督回归则是想要利用无标记数据来提升模型性能。一种简单且有效的方法是打伪标签。值得注意的是半监督分类中的伪标签包含的噪声更小。可以考虑在一个猫狗分类的任务中随机标记一个伪标签都有百分之五十的概率标记正确。而在一个预测西瓜甜度假设范围是 [ 0 , 1 ] [0, 1] [0,1], 很难预测一个一摸一样的标签。
正是因为伪标签很难预测正确所以需要一个量化置信度的策略。图1. 伪标签策略在分类和回归任务中的差异图。来自《Semi-Supervised Deep Regression with Uncertainty Consistency and Variational Model Ensembling via Bayesian Neural Networks》 目前的工作中提出的是启发式策略即不能证明这样一定是对的但是感觉是对的。 COREG 提供了一个量化置信度, δ x u ∑ x i ∈ Ω u ( ( y i − h ( x i ) ) 2 − ( y i − h ′ ( x i ) ) 2 ) \delta_{\mathbf{x}_u} \sum_{\mathbf{x}_i \in \Omega_u}((y_i-h(\mathbf{x}_i))^2-(y_i - h(\mathbf{x}_i))^2) δxuxi∈Ωu∑((yi−h(xi))2−(yi−h′(xi))2)。师兄的论文也基于这样的一个启发式置信度策略来设计。 MSSRA 也提供了一个置信度由多个回归器对于样本预测的极值最大值减去最小值确定。其实这里还有一个问题伪标签应该添加多少呢COREG 设计了一个最大的迭代次数如果没有能带来正提升的无标记样本则提前停止。这里涉及到数量与质量的权衡其实可以设计一个伪标签数量控制的策略。
其实还有一种量化伪标签置信度的方法不确定性。在聊不确定性之前可以先了解一下点估计与区间估计。分类问题其实可以相当于点估计那么回归问题相当于区间估计。 图2. 3σ准则 68% 的数据会落在 μ ± σ \mu \pm \sigma μ±σ 内即数据分布在处于 ( μ − σ , μ σ ) (\mu−\sigma, \mu\sigma) (μ−σ,μσ)中的概率是 0.6895% 的数据会落在 μ ± 2 σ \mu \pm 2\sigma μ±2σ 内即数据分布在处于 ( μ − 2 σ , μ 2 σ ) (\mu−2\sigma, \mu2\sigma) (μ−2σ,μ2σ)中的概率是 0.9599% 的数据会落在 μ ± 3 σ \mu \pm 3\sigma μ±3σ 内即数据分布在处于 ( μ − 3 σ , μ 3 σ ) (\mu−3\sigma, \mu3\sigma) (μ−3σ,μ3σ)中的概率是 0.99 图3. 不确定性。来自《A review ofuncertainty quantification in deep learning: Techniques, applications and challenges》 这里就不细讲下去了内容太多了。
除了刚刚讲到的伪标签在半监督分类问题中一致性正则表现优秀。目前还没有找到有基于一致性正则的半监督回归工作。 C ( D u , w ) 1 ∣ D u ∣ ∑ x i ∈ D u d ( f ( x i , w ) , T ( x ^ i ) ) \mathcal{C}(D_u, \mathbf{w}) \frac{1}{|D_u|} \sum_{x_i \in D_u}d(f(x_i,\mathbf{w}), T(\hat{x}_i)) C(Du,w)∣Du∣1xi∈Du∑d(f(xi,w),T(x^i)) 其中 T ( x ^ i ) T(\hat{x}_i) T(x^i) 我更喜欢称为锚点其实也相当于是伪标签但是没有置信度的概念相对于质量更倾向于使用所有的无标记数据。由于 C ( D u , w ) \mathcal{C}(D_u, \mathbf{w}) C(Du,w) 没有携带标签信息所有称之为正则。
2. 读论文技巧
三不读
水刊论文不读太难的论文也不读同门师兄的论文不读
Trick1: 精读摘要。有时候只需要读完摘要就够了。 Trick2:Introduction 一般不用读毕竟老板的八股指南说 Introduction 是摘要的详细描述读了摘要就没必要读了。 Trick3:读完摘要带着问题去读。 Trick4:读最新的论文即使和自己课题不是太相关。这一点主要是找idea的时候可以挂靠的理论。我们的创新主要是缝合e.g. 李师兄就是将自步学习和协同训练结合在一起。
3. 写论文技巧 老板的八股指南。 我的经验 写论文最大的难点就是有话说其实我觉得老板说的对先写下来即使是废话。不用担心是废话在论文的打磨过程会逐渐消失的。 每话说还有一个就是对自己处理的问题理解不够深刻。这一点可能有点解决方案 可以读综述论文增加对课题的整体了解。组内讨论。每周读一篇高质量论文厚积薄发。 写论文时间安排不要阻塞。在实际情况中跑实验会持续两周不用等着实验结果在开始写论文。毕竟实验结果并不影响你描述你的算法可以在编写算法描述章节边跑实验。
4. 代码工具
Experiment_SSR_k_fold 断电重跑解决实验室每天晚上断点问题持久化实验跑的进度。StaticTestUtil.py fridman 检验FileUtil.py/summaryCSVFilePlus 汇总多个对比算法的实验结果。FileUtil.py/csv2LatexTablePlusPlus 生成latex表格代码剩去手动填写数据的时间。对比算法COREG, SAFER,MSSRA,BHD,Self-kNN,S3VR
代码比较乱主要是日常自己使用后续没有考虑维护的问题。
5. 杂项 怎么给论文guanshui? 可以细读一下老板的八股指南。老板认为写论文就像是填写模板一样每个地方都有应该要填写的东西。主要是有一个理论自洽的方案比如说半监督学习就是有一个利用无标记数据的方案。至于三点贡献这也可以让老板帮你找抱紧大腿总是没有问题的。 写论文需要公式自己创造存在困难 实际上是不用自己创造的。自己创造很难那一般是前沿学者的工作。如果确实要到创造公式的地步怀疑一下自己是不是没有挂靠成熟的理论。抛开前面的那些写公式要先看别人的在别人的基础上进行改动。存在一种情况自己想表达的意思很简单用语言两三句话就表述出来了但是用数学语言表达困难这就需要老板帮助了。
6. 总结
研究生生涯时间过得很快有效时间其实只有研二的一年。最开始入学的时候很迷茫不知道做些什么伴随着还有很多课程考试留给自己的学习时间很少。最主要的是迷茫没有目标体现出来就是这也想做那也想做结果什么都没有做。这很可怕研一应该快速的确定自己的课题最好的是跟着老师不然就是师兄自己一个人单干难度加加我就是这种情况该踩的坑一个也没少。研二就主要靠自觉了早上的时间不能荒废睡懒觉可不好多读与课题相关的论文同时写博客不然容易忘记白读。尽量研二上学期就把小论文初稿写出来但是这很难但是不逼自己一把可不行。如果实在没有也应该放松心态急也没用只有慢慢的积累没有人能帮你写。研三就要考虑自己的就业或者继续深造同样充满了焦虑。如果没出意外应该有修改意见了当然如果已经中了那就太好了压力骤降。一个普遍的认知是有了修改意见那么机会就很大要紧紧地抓住即使是大修机会也很大。我在写下这篇博客的时候在研三的最后阶段了找工作也很难毕竟时间和努力都用在小论文上都没时间锻炼编程能力了可恶
