广州网站建设类岗位,甘肃临夏州建设局网站,wordpress导航图标哪里找,传奇999发布网新开服背景
论文给出基于决策树估计实验对不同用户的不同影响。并提出Honest#xff0c;variance Penalty算法旨在改进CART在tree growth过程中的过拟合问题。
我们举个例子#xff1a;科研人员想衡量一种新的降血压药对病人的效果#xff0c;发现服药的患者有些血压降低但有些血…背景
论文给出基于决策树估计实验对不同用户的不同影响。并提出Honestvariance Penalty算法旨在改进CART在tree growth过程中的过拟合问题。
我们举个例子科研人员想衡量一种新的降血压药对病人的效果发现服药的患者有些血压降低但有些血压升高。于是问题可以抽象成我们希望预测降压药会对哪些病人有效相似的问题经常出现在经济政治决策医疗研究以及当下的互联网AB测试中。
Treatment effect之所以比通常的预测问题要更难解决因为groud-truth在现实中是无法直接观测到的一个人在同一时刻要么吃药要不么吃药所以你永远无法知道吃药的人要是没吃药血压会不会也降低或者没吃药的人要是吃了药血压会不会降低。
既然个体的treatment effect无法估计只能退而求其次去估计群体的treatment effect- ATE (Average treatment effect),既全部用户中服药效果- 未服药效果。 但是当出现个体效果差异时ATE无法反应局部效果E.g.样本稀释。这时我们需要估计相似群体的treatment effect-CATEConditional average treatment effect
用数学抽象一下上述问题 模型
这里寻找相似用户的方式是通过决策树。树相较线性模型的优点毫无疑问是它对特征类型的兼容尤其考虑到实际情况中会存在大量离散特征如性别地域等等。
那究竟怎样grow tree来找到局部用户群, 取决于cost function的定义。一般决策/回归树是对Y的拟合例如RMSE或者cross-entropy等等。这里作者选择最大化(Y(1)-Y(0))作为cost Function 既我们通过树划分出的局部人群可以实现局部实验效果最大化正向或负向。 cost function 如下 熟悉决策树的朋友也就知道后续split criterion就是去寻找最大化CATE增长的特征和阈值。
模型优化
决策树最大的问题就是过拟合因为每一次split都一定可以带来Information Gain。这里就涉及到ML里最经典的Bias-variance trade off。树划分的节点越小对样本的估计偏差(Bias)越小但方差(Variance)越大。
传统决策树一般通过几个方法来解决过拟合的问题
cross-validation来确定树深度min_leaf, min_split_gain 用叶节点的最小样本量等参数来停止growth
作者在文章中给出另外两种解决过拟合的方法
Honest approachVariance Penalty
Honest approach是把训练样本分成train和est两部分用train来训练模型用est来给出每个叶节点的估计 Variance Penaly则是直接把叶节点的方差加到cost function中最终的cost function如下 如何系统的去学习大模型LLM
作为一名热心肠的互联网老兵我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。
但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
有需要的小伙伴可以V扫描下方二维码免费领取 一、全套AGI大模型学习路线
AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能 二、640套AI大模型报告合集
这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。 三、AI大模型经典PDF籍
随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。 四、AI大模型商业化落地方案 阶段1AI大模型时代的基础理解
目标了解AI大模型的基本概念、发展历程和核心原理。内容 L1.1 人工智能简述与大模型起源L1.2 大模型与通用人工智能L1.3 GPT模型的发展历程L1.4 模型工程L1.4.1 知识大模型L1.4.2 生产大模型L1.4.3 模型工程方法论L1.4.4 模型工程实践L1.5 GPT应用案例
阶段2AI大模型API应用开发工程
目标掌握AI大模型API的使用和开发以及相关的编程技能。内容 L2.1 API接口L2.1.1 OpenAI API接口L2.1.2 Python接口接入L2.1.3 BOT工具类框架L2.1.4 代码示例L2.2 Prompt框架L2.2.1 什么是PromptL2.2.2 Prompt框架应用现状L2.2.3 基于GPTAS的Prompt框架L2.2.4 Prompt框架与ThoughtL2.2.5 Prompt框架与提示词L2.3 流水线工程L2.3.1 流水线工程的概念L2.3.2 流水线工程的优点L2.3.3 流水线工程的应用L2.4 总结与展望
阶段3AI大模型应用架构实践
目标深入理解AI大模型的应用架构并能够进行私有化部署。内容 L3.1 Agent模型框架L3.1.1 Agent模型框架的设计理念L3.1.2 Agent模型框架的核心组件L3.1.3 Agent模型框架的实现细节L3.2 MetaGPTL3.2.1 MetaGPT的基本概念L3.2.2 MetaGPT的工作原理L3.2.3 MetaGPT的应用场景L3.3 ChatGLML3.3.1 ChatGLM的特点L3.3.2 ChatGLM的开发环境L3.3.3 ChatGLM的使用示例L3.4 LLAMAL3.4.1 LLAMA的特点L3.4.2 LLAMA的开发环境L3.4.3 LLAMA的使用示例L3.5 其他大模型介绍
阶段4AI大模型私有化部署
目标掌握多种AI大模型的私有化部署包括多模态和特定领域模型。内容 L4.1 模型私有化部署概述L4.2 模型私有化部署的关键技术L4.3 模型私有化部署的实施步骤L4.4 模型私有化部署的应用场景
学习计划
阶段11-2个月建立AI大模型的基础知识体系。阶段22-3个月专注于API应用开发能力的提升。阶段33-4个月深入实践AI大模型的应用架构和私有化部署。阶段44-5个月专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
有需要的小伙伴可以Vx扫描下方二维码免费领取
