网站友情链接要加什么用,图片制作pdf文件,wordpress 禁用wpjson,网站投票活动怎么做雷音是阿里巴巴研究员、淘系技术部 FashionAI 负责人#xff0c;在淘系技术嘉年华硅谷站#xff0c;他分享了《时尚电商新赛道— FashionAI 中的技术》 #xff0c;旨在揭秘#xff1a;从面向机器学习的知识重建切入#xff0c;提出了在 AI 能力的推动下#xff0c;让人值…
雷音是阿里巴巴研究员、淘系技术部 FashionAI 负责人在淘系技术嘉年华硅谷站他分享了《时尚电商新赛道— FashionAI 中的技术》 旨在揭秘从面向机器学习的知识重建切入提出了在 AI 能力的推动下让人值得期待的未来。究竟在阿里巴巴研究员眼中未来是什么样的接下来我们一起探秘。
1、从推荐技术说起
用户行为
从推荐技术说起首先是基于用户行为的推荐包括用户的点击行为、浏览行为、购买行为。推荐技术提升了用户找商品的效率也带来了公司收益的增长。当推荐的效率提高到一定程度的时候会出现瓶颈比如说你买了一件上衣之后还继续给你推上衣这个问题这些年一直被诟病。如果是基于用户行为的话会朝着这个问题的改善方向发展。
用户画像
第二个是用户画像。很多人在做用户洞察描述用户精准画像。但我始终对用户画像保持怀疑态度比如说买衣服你拿的可能都是用户的行为数据浏览、点击、购买。可是如果你知道用户肤色的色号、身高、体重、三围这个用户画像比前者精准多少呢所以说所谓的用户洞察、用户画像今天来看其实还是非常粗糙的。
知识图谱
第三个我们还可以做知识图谱来帮助做关联推荐。比如买鱼竿推荐其他的渔具买了车灯给你推其他的汽车配件。但是到今天为止关联推荐的效果还不够好还有很多困难。
以上是推荐技术通常会考虑的事。那么我们用服饰推荐领域来看一下还有什么其他的可能。一个服装的线下店我们对一个导购员的核心考量指标是什么是关联购买。顾客买了一件衣服这是不计入导购员贡献的而导购员通过让用户买另外的关联衣服才是计入导购员的绩效所以重要的是关联购买。关联购买里面的重要逻辑是搭配。当我们把推荐做到具体某一个领域的时候我们就有了专属于这个领域的一些推荐逻辑这就是在日常里面在发生的逻辑。
2、为什么要做行业知识重建
接下来我们看看怎样才能做好搭配。大部分用户搭配不好的原因是穿搭需要相当多的知识和经验。衣服的属性设计元素是抓手它的准确率和丰富性一定要足够不够的话做不出可靠的搭配来。
知识图谱的典型情况就是通过人的经验或用户数据把很多的知识点关联起来。知识图谱里知识点的生成更多是通过常识的方式。比如说我是一个人我的朋友是谁我上级是谁。“我”这个知识点是通过常识产生的。
还有一类方法叫专家系统比如说我们有很多红人把他理解成专家他所沉淀下的专业经验。每个领域都会有一些专家比如医疗系统里就是医生专家系统大概是在知识图谱兴起之前人工智能普遍采用的方式。
除此之外还有一层是知识点是更基础的部分如果知识点本身有问题的话在这上面构建出来的知识关系都会有问题。在这个基础上去做 AI 算法效果就不够好这可能是人工智能难以落地的原因之一。要有勇气去重新构建这个知识点体系。
引用一个淘宝的例子下图的上半部分是我们运营或者设计师的知识体系这是个“领型”的例子有圆领、斜领、海军领可以看出结构是平铺的、散乱的。以前知识是在人和人之间传播的。尤其是在小的圈子里像设计师群体知识可能非常含混只要能沟通就行。再比如医生写的草书医生之间可以看的懂但是病人都看不懂。很多知识用于人和人的沟通有大量的二义性不完备性。比如说服装风格一个标签叫做“职场风”另一个叫“中性风”。职场风跟中性风从视觉上无法区分如果人类视觉都难以区分而机器识别准确率超过80%那肯定哪里出错了。 还有一类打标签的人可能本身理解就有问题。举个极端的例子曾经有一段时间淘宝商家给衣服打标签有一半的女装上都被商家打上了韩版的标签。然而它根本不是韩版只是因为韩版卖的好这说明商家打的标签不是完全正确有必要通过图像直接得出判断。
3、面向机器学习的知识重建
前几年我们找了淘宝、天猫的服饰运营综合了几版的运营知识做了规整不过还是不够好。去年我们做 FashionAI 大赛和港理工的服装系合作后来和北京服装学院、浙理工都有合作。其实直接由服饰专家们给出的知识体系是不行的因为我们需要的是一个面向机器学习的知识体系机器是要分0和1完备性、二义性问题、视觉不可分等这几个我们总结出来的原则这些都要尽量满足。
我们把曾经散落的知识按照划分逻辑去组织比如说领部我们会根据它布料去分、设计手法去分、颈线边缘去分从几个维度总结散落的知识点。原先是一盘散沙最终会看到树状知识。我们把常用的女装属性整理出来一共有206种这还不包括“流行的设计手法”这种开放性的不断扩充变化的属性。这个“整理”比大家想象的复杂得多花了3到4年时间除了考虑知识本身还要进一步考察知识点所对应的数据收集难度必要性。比如说女装的西装领还可以再细分9种接近视觉不可分这时停留在女装西装领这个粒度就够了就不再做细分。
有时很难事先判断一个属性是否能学出好的模型来这时属性的定义还要做多轮的迭代。我发现我的属性定义有问题我倒回去重新定义然后再重新收集数据、训练模型直到模型可以达到要求。等做完知识重建曾经十几个属性识别准确率普遍提高了20%这个提升是非常大的。
我们现在有206种女装样式有166种语义颜色还有材质、场景、温度等知识体系。怎么定义颜色在时尚行业里黄色几乎是没有意义的讲“柠檬黄”是有意义的去年女装就流行柠檬黄。我们知道RGB颜色256256256在潘通色表里跟服饰相关的一共有2310种颜色但这个色表里都是色号消费者没法理解我们在上面再建了一层560种有语义对应的颜色这是跟北京服装学院一起定的用来做按颜色给衣服聚类又显得过细就又再建一个166种的就是大家看到类似于“柠檬黄”、“芥末绿”这种语义颜色到这个阶段消费者才能理解。
还有很多的技术细节比如说怎么处理光照问题、色差问题等等也有很多的难的地方在这里我会主要讲面向机器学习的知识重建。 4、AI 使知识重建的大工程变得可行
接下来问题就来了我有206种女装样式收集数据训练模型的话怎样才能做得完呢更何况一个定义还可能要多轮迭代修正
比如下图中的袖子款式叫风铃袖一个合格的数据集大概需要3000到4000张图片。收集足够多的高质量的图片是一个很大的挑战在2016年为了做一个3000到4000张图片的高质量数据集大概需要标注超过十万张图片当时的标注留存率只有1.5%。当时的方法就类似学术界做的先用一个词去搜回很多图然后找人标注。更可能是始终找不到足够多的图片旁边写着风铃袖它都没有标注所以你是搜不到的。因此知识重建确实是一个巨大的挑战。以前根本没有人有勇气去做因为你根本做不了。
2016年我们完成一项属性识别要200天这个时间包括了定义迭代花的时间。2017年我们用40天2018年我们用2.5天现在我们大概用15个小时到2019年底我们计划是缩减到0.5天。这是一个巨大的改变我们提出“少样本学习”。大概是在三年前当时学术界还没很多人提这个问题但是我们已经看到了因为我们痛苦的就是这个不得不开始上手解决它了。
学术界提到“few-short learing”、小数据学习更多是偏重如何从少量样本直接得到一个好的模型我们选的路不大一样我们是从旁边绕路。 今天我们把常用的96种女装属性完成了就是利用我们的少样本学习工具SECTSmall、Enough、Comprehensive从“少”到“足够多”到“足够好”最重要的是 SECT 不仅在 FashionAI 业务里发生了作用它还可以做泛内容识别讲得严谨一点在“简单内容分类”这类任务上表现得不错。
在泛内容识别上我们利用 SECT 系统已经完成70多个标签识别例如“插画、阳台、上脚”等标签我们已经开始改变业务人员和算法人员的工作模式大家知道在深度学习出来之前那时候我们的业务人员都不大敢提让算法人员给出个识别模型因为开发周期太长了为了去识别一个东西我要找算法人员跟他商量然后算法人员手工去设计特征。为了做一个能够上线的、工业界能用的一个模型最少花上半年、一年的时间这是以前的模式。2013年深度学习开始流行之后这个问题发生了转化。算法人员会说今天有了深度学习业务人员你收集足够多图片就行了我给你设计个好模型出来。如果这个模型不好的话那是你收集的数据质量不行。这时候运营想去收集5000张图片发现还是成本很高。
我们今天还很难用 SECT 去解决机器视觉中的“检测”问题或者说检测任务在我们的理解里不是一个“少样本”的问题在检测任务下应该叫做“弱监督”问题弱监督跟少样本也有所不同。 5、对未来的展望
我理解大数据应该分两种一种是说你的商业洞察也好模式分析也好只有在大规模的数据上才能完成这是真的大数据还有一种是说今天的机器学习能力不行必须有那么多的数据才能出来一个模型这个叫做伪大数据因为随着 AI 的能力越来越强需要的样本肯定越来越少。
以前有公司标榜自己有特别多的数据比如说人脸数据或什么的把数据看成了资产。这个说法一定会慢慢落下去因为 AI 能力越来越强我们需要的数据量越来越少。SECT 再演变下去会到什么程度可能中层的跟浅层的算法人员不再需要了业务人员直接上去提供十几张图不会超过50张图交给系统很快模型就会返回来你再测试一下是否好用如果不行就再迭代学习直到模型好用为止。它已经不是以前的标注阶段、训练阶段、测试阶段间隔得那么远。今天整个迭代越来越快如果说迭代可以减少到小时级、分钟级的话这实际上已经变成了一个人机交互的学习系统这是未来会带来巨大改变的东西。
淘宝内容平台的运营人员说过去两个月产出了比之前三年还多的模型。我们自己组的算法同学自己也用来解决属性识别之外的各类问题比如说我来硅谷之前组里同学想识别照片里的人是正身还是背身的是站姿还是坐姿是一个深色人种还是一个黄皮肤等等我们需要在很短的时间里出6个判别模型。今天我们可以一两周内让模型上线准确率、召回率、泛化能力全都能达到要求。放在以前这个事情没有一年半载是不可能的。
业界里有很多人总结深度学习的局限比如需要大数据、缺乏可解释性我觉得在未来几年我们对于什么叫“样本”、什么叫“可解释性”会有一个新的理解。我们去年在朱松纯老师主编的《视觉探索》上发了一篇文章叫《如何做一个实用的图像数据集》今年我们有计划写个续篇就是《如何做一个实用的图像数据集二》会重点聊一聊我们在少样本学习上的体会和展望。
原文链接 本文为云栖社区原创内容未经允许不得转载。
