wap网站定位,颍泉网站建设,吴江市中云建设监理有限公司网站,网络营销公司模拟创建实训联邦学习#xff1a;密码学 机器学习 分布式 提出背景#xff1a;数据不出本地#xff0c;又能合力干大事联邦学习的问题 分布式机器学习#xff1a;解决大数据量处理的问题横向联邦学习#xff1a;解决跨多个数据源学习的问题纵向联邦学习#xff1a;解决数据分散在多… 联邦学习密码学 机器学习 分布式 提出背景数据不出本地又能合力干大事联邦学习的问题 分布式机器学习解决大数据量处理的问题横向联邦学习解决跨多个数据源学习的问题纵向联邦学习解决数据分散在多个参与者但部分特征重叠的问题联邦 迁移学习不同任务间共享知识让模型适应新环境医疗 联邦学习跨多个医疗机构共享模型学习同时保护患者隐私大模型 联邦学习 提出背景数据不出本地又能合力干大事
这联邦学习呢就是让不同的地方一起弄一个学习的模型但重要的是大家的数据都是自己家的不用给别人。
这样一来人家的秘密就不会到处乱跑数据不出本地又能合力干大事。 没有联邦学习的情况
在没有联邦学习的情况下医院面临的一个主要问题是数据隔离。
每个医院只能依赖自己收集的数据来训练疾病诊断如糖尿病模型。
这意味着模型的有效性和准确性受限于各自医院的数据量和多样性。
对于罕见病例或特殊种群数据量可能不足以准确训练模型。
此外由于患者隐私和数据保护的关切医院之间共享详细的患者数据存在法律和道德障碍。 引入联邦学习后的情况
在这种模式下不同医院可以合作训练一个共享的疾病诊断如糖尿病模型。
每个医院使用自己的患者数据本地训练模型然后将模型的更新而不是敏感的患者数据分享给其他医院。 初始模型共享首先所有参与的医院都从一个初始模型开始。这个初始模型可以是一个基础的、未经过大量训练的模型。 本地训练然后每个医院使用自己的患者数据在本地独立训练这个模型。由于每个医院的患者构成可能不同这意味着每个医院训练出的模型会稍有不同反映了它们各自独特的患者数据特征。 模型更新共享训练完成后每个医院不是共享其患者数据而是只共享其模型训练的更新。这些更新可以是模型权重的调整或其他形式的技术细节。 集成学习最后这些来自不同医院的模型更新被集成到初始模型中。这样模型就能从每个医院的数据中学习而不需要直接访问这些数据。
通过这种方式联邦学习允许每个医院贡献它们的专业知识和数据见解同时保护患者数据的隐私。 优势在于
增强模型的准确性和泛化能力由于模型是基于更广泛和多样化的数据集训练的因此联邦学习模型性能比只使用本地数据训练的好性能趋近于低于使用全部数据训练的模型保护患者隐私患者数据不离开原医院降低了隐私泄露的风险。而且模型参数是加密的无法反推其他参与方的原始数据跨医院合作即使面临法律和伦理限制医院仍能通过共享模型更新而非数据本身来实现合作。
因此联邦学习解决了数据孤岛问题提高了诊断模型的准确性和可靠性同时保障了患者数据的隐私安全。
当需要多个参与方共同完成一件事每个参与方都有其他方不具备的数据同时也不能共享就能使用联邦学习。 联邦学习的问题
联邦学习的问题源于数据的特性和分布。
一、非独立同分布Non-IID的数据
不同的机构或个人持有的数据往往在统计特性上有所不同。
这意味着数据可能不是独立的一个病人得了糖尿病还有高血压或者具有不同的分布山区的医院多心脏病而海边的医院多糖尿病。
这种差异可能导致模型在某些数据属主上表现良好而在其他数据属主上表现不佳。
例子
假设一个联邦学习系统用于不同地区医院的病例数据分析。每个医院的病例分布可能因地理位置、患者人群和医院专长等因素而有所不同。某个地区可能有更高的糖尿病发病率而另一个地区可能有更多心脏疾病案例。这些差异会影响学习模型的整体性能。 二、数据不平衡
一些机构可能拥有大量的数据而其他机构只有少量数据。
在聚合模型参数时数据量较大的属主可能对模型的训练结果有更大的影响这可能会导致模型偏向于这些数据多机构的特点忽视其他数据少机构。 三、通信、计算的效率
同态加密会导致高的计算量。
混淆电路会导致高的通信量。 四、信任问题 信任问题 在联邦学习中不同的数据属主例如医院和集中式服务器之间存在信任问题。因为参与者或服务器中的任何一方都有可能不完全可靠甚至可能有攻击者。 潜在的攻击者 参与者或服务器中的某些人可能是恶意攻击者他们可能试图窃取私人信息或干扰训练算法。 交换模型参数而非原始数据 联邦学习通过交换模型参数如局部梯度而不是原始数据来保护每个数据属主的隐私。这意味着参与者不会共享他们的原始数据只分享用于模型训练的信息如权重更新、梯度等。 梯度泄露风险 即使是这些模型参数如果被恶意分析也可能泄露原始数据的敏感信息。例如通过对交换的梯度进行分析攻击者可能推断出一些原始数据特征。
假设有一个联邦学习项目涉及多家医院旨在通过共享学习提高疾病诊断的准确性。
每家医院都有自己的患者数据但由于隐私问题这些数据不能直接共享。因此医院们只分享用于模型训练的梯度信息。
现在假设其中一个医院或服务器被一个攻击者控制了。
这个攻击者可能通过分析从其他医院来的梯度信息推断出某些患者的敏感信息比如他们可能患有某种特定的疾病。
即使梯度本身不包含直接的患者数据但通过复杂的分析方法攻击者仍然可能获得关于原始数据的有价值信息。
为了防止这种隐私泄露可以采取一些措施 差分隐私通过在数据或梯度中添加随机噪声使得从共享的梯度中推断出任何个人数据变得非常困难。 安全多方计算SMC这是一种加密技术允许多个方协作计算一个函数而无需暴露各自的输入数据。 鲁棒的聚合机制设计鲁棒的聚合算法可以减少恶意参与者对模型的影响。
这些方法可以提高联邦学习系统在医学等敏感领域的安全性和隐私保护。 分布式机器学习解决大数据量处理的问题 横向联邦学习解决跨多个数据源学习的问题
横向联邦学习同领域不同数据。
比如有三家医院每家医院都有大量糖尿病视网膜病变的数据但由于隐私法规他们无法共享这些数据。
阳光医院的数据科学家提出使用横向联邦学习。
在这个模式下每个医院在本地训练模型然后只共享模型的更新而不是患者的实际数据。
这样三家医院共同建立了一个强大的DR预测模型而不违反隐私法规。
通过这种合作医院间的模型学习到了不同患者群体的特点大大提高了诊断的准确性。 纵向联邦学习解决数据分散在多个参与者但部分特征重叠的问题
相关但不同的领域跨领域关联。
药物公司“生命源泉”持有大量关于糖尿病药物的效果数据而保险公司“安全盾”拥有糖尿病患者的医疗历史数据。
为了更全面地研究DR医院与这两家公司展开合作
采用纵向联邦学习。不同于横向联邦学习纵向联邦学习允许不同领域的机构在保持数据私有性的同时共同改进模型。
通过这种方式研究者能够结合药物效果和病历数据对糖尿病视网膜病变的发展和治疗效果进行更深入的分析。 联邦 迁移学习不同任务间共享知识让模型适应新环境
这个城市的模型尝试在相邻城市应用时研究人员发现效果并不理想。
为了解决这个问题他们采用了联邦迁移学习。通过这种方法他们能够调整已有模型使其更适应新的环境和患者特征而无需从头开始收集和训练数据。
通过联邦迁移学习模型迅速适应了新环境。 医疗 联邦学习跨多个医疗机构共享模型学习同时保护患者隐私 大模型 联邦学习
