凡科建站代理商,电子商务网站建设预算表,免费搜索引擎推广方法有哪些,互联网推广公司排名1.背景 第13届“国际网络搜索与数据挖掘会议”(WSDM 2020)于2月3日在美国休斯敦召开#xff0c;该会议由SIGIR、SIGKDD、SIGMOD和SIGWEB四个专委会共同协调筹办#xff0c;在互联网搜索、数据挖掘领域享有很高学术声誉。本届会议论文录用率仅约15%#xff0c;并且WSDM历来注… 1.背景 第13届“国际网络搜索与数据挖掘会议”(WSDM 2020)于2月3日在美国休斯敦召开该会议由SIGIR、SIGKDD、SIGMOD和SIGWEB四个专委会共同协调筹办在互联网搜索、数据挖掘领域享有很高学术声誉。本届会议论文录用率仅约15%并且WSDM历来注重前沿技术的落地应用每届大会设有的WSDM Cup环节提供工业界真实场景中的数据和任务用以研究和评测。 今年的WSDM Cup设有3个评测任务吸引了微软、华为、腾讯、京东、中国科学院、清华大学、台湾大学等众多国内外知名机构的参与。美团搜索与NLP部继去年获得了WSDM Cup 2019第二名后今年继续发力拿下了WSDM Cup 2020 Task 1Citation Intent Recognition榜单的第一名。 本次参与的是由微软研究院提出的Citation Intent Recognition评测任务该任务共吸引了全球近600名研究者的参与。本次评测中我们引入高校合作参评团队Ferryman由搜索与NLP部-NLP中心的刘帅朋、江会星及电子科技大学、东南大学的两位科研人员共同组建。团队提出了一种基于BERT和LightGBM的多模融合检索排序解决方案该方案同时被WSDM Cup 2020录用为专栏论文。 2.任务简介 本次参与的任务一WSDM Cup 2020 Task 1: Citation Intent Recognition由微软研究院发起任务要求参赛者根据论文中对某项科研工作的描述从论文库中找出与该描述最匹配的Top3论文。举例说明如下 某论文中对科研工作[1]和[2]的描述如下 An efficient implementation based on BERT [1] and graph neural network (GNN) [2] is introduced. 参赛者需要根据这段科研描述从论文库中检索与[1][2]相关工作最匹配论文。 在本例中 与工作[1]最匹配的论文题目应该是 [1] BERT: Pre-training of deep bidirectional transformers for language understanding. 与工作[2]最匹配的论文题目应该是 [2] Relational inductive biases, deep learning, and graph networks. 由上述分析可知该任务是经典的检索排序任务即根据文本Query从候选Documents中找出Top N个最相关的Documents核心技术包括文本语义理解和搜索排序。 2.1 评测数据 本次评测数据分为论文候选集、训练集、验证集和测试集四个部分各部分数据的表述如表1所示 对本次评测任务及数据分析可以发现本次评测存在以下特点 与工业界的实际场景类似本次任务数据量规模比较大要求制定方案时需要同时考虑算法性能和效果因此相关评测方案可以直接落地应用或有间接参考的价值为了保证方案具有一定落地实用价值本任务要求测试集的结果需要在48小时内提交这也对解决方案的整体效率提出了更高的要求像常见的使用非常多模型的融合提升方案在本评测中就不太适用跟自然语言处理领域的一般任跟自然语言处理领域的一般任务不同本次评测任务中数据多来源于生命科学领域存在较多的专有词汇和固定表述模式因此一些常见的方法模型例如在通用语料上预训练的BERT、ELMo等预训练模型在该任务上的直接应用是不合适的这也是本次任务的难点之一。2.2 评测指标 评测使用的评价指标为Mean Average Precision 3 (MAP3), 形式如下 其中|U|是需要预测的description总个数P(k)是在k处的精度n是paper个数。举例来说如果在第一个位置预测正确得分为1第二个位置预测正确得分为1/2第三个位置预测正确得分为1/3。 3.模型方法 通过对评测数据、任务和评价指标等分析综合考量方案的效率和精准性后本次评测中使用的算法架构包括“检索召回”和“精准排序”两个阶段。其中检索召回阶段负责从候选集中高效快速地召回候选Documents从而缩减问题规模降低排序阶段的复杂度此阶段注重召回算法的效率和召回率精准排序阶段负责对召回数据进行重排序采用Learning to Rank相关策略进行排序最优解求解。 3.1 检索召回 目标任务使用高效的匹配算法对候选集进行粗筛为后续精排阶段缩减候选排序的数据规模。 性能要求召回阶段的方案需要权衡召回覆盖率和算法效率两个指标一方面召回覆盖率决定了后续精排算法的效果上限另一方面单纯追求覆盖率而忽视算法效率则不能满足评测时效性的要求。 检索召回方案比赛过程中对比实验了两种召回方案基于“文本语义向量表征“和“基于空间向量模型 Bag-of-Ngram”。由于本任务文本普遍较长且专有名词较多等数据特点实验表明“基于空间向量模型 Bag-of-Ngram”的召回方案效果更好下表中列出了使用的相关模型及其实验结果recall200。可以看到相比于传统的BM25和TFIDF等算法F1EXP、F2EXP等公理检索模型Axiomatic Retrieval Models可以取得更高的召回覆盖率该类模型增加了一些公理约束条件例如基本术语频率约束术语区分约束和文档长度归一化约束等等。 F2EXP定义如下 其中Q表示查询query ,D表示候选文档C(t, Q)是词t在Q中的频次|D|表示文档长度avdl为文档的平均长度N为文档总数df(t)为词t的文档频率。 为了提升召回算法的效果我们使用倒排索引技术对数据进行建模然后在此基础上实现了F1EXP、DFR、F2EXP、BM25、TFIDF等多种检索算法极大了提升了召回部分的运行效率。为了平衡召回率和计算成本最后使用F1EXP、BM25、TFIDF 3种算法各召回50条结果融合作为后续精排候选数据在验证集上测试召回覆盖率可以到70%。 3.2 精准排序 精排阶段基于Learning to Rank的思想进行方案设计提出了两种解决方案一种是基于Pairwise-BERT的方案另一种是基于LightGBM的方案下面分别进行介绍 1)基于BERT的排序模型 BERT是近年来NLP领域最重大的研究进展之一本次评测中我们也尝试引入BERT并对原始模型使用Pointwise Approach的模式进行改进引入Pairwise Approach模式在排序任务上取得了一定的效果提升。原始BERT 使用Pointwise模式把排序问题看做单文档分类问题Pointwise优化的目标是单条Query与Document之间的相关性即回归的目标是label。而Pairwise方法的优化目标是两个候选文档之间的排序位次匹配程度更适合排序任务的场景。具体来说对原始BERT主要有两点改进如下图中所示 改进训练样本构造形式Pointwise模式下样本是按照 形式构造输入Pairwise模式下样本按照 形式进行构造其中Query与Doc1的匹配程度大于与Doc2的匹配程度。 doc1,doc2 ,doc,label 改进模型优化目标Pointwise模式下模型使用的Cross Entropy Loss作为损失函数优化目标是提升分类效果而Pairwise模式下模型使用Hing Loss作为损失函数优化目标是加大正例和负例在语义空间的区分度。 在基于BERT进行排序的过程中由于评测数据多为生命科学领域的论文我们还使用了SciBERT和BioBERT等基于特定领域语料的预训练BERT模型相比Google的通用BERT较大的效果提升。 2)基于LightGBM的排序模型 不过上面介绍的基于BERT的方案构建的端到端的排序学习框架仍然存在一些不足。首先BERT模型的输入最大为512个字符对于数据中的部分长语料需要进行截断处理这就损失了文本中的部分语义信息其次本任务中语料多来自科学论文跟已有的预训练模型还是存在偏差这也在一定程度上限制了模型对数据的表征能力。此外BERT模型网络结构较为复杂在运行效率上不占优势。综合上述三方面的原因我们提出了基于LightGBM的排序解决方案。 LightGBM是微软2017年提出比Xgboost更强大、速度更快的模型。LightGBM在传统的GBDT基础上有如下创新和改进 采用Gradient-based One-Side Sampling(GOSS)技术去掉很大部分梯度很小的数据只使用剩下的去估计信息增益避免低梯度长尾部分的影响 采用Exclusive Feature Bundling(EFB)技术以减少特征的数量 传统GBDT算法最耗时的步骤是使用Pre-Sorted方式找到最优划分点其会在排好序的特征值上枚举所有可能的特征点而LightGBM中会使用histogram算法替换了GBDT传统的Pre-Sorted牺牲一定精度换取了速度。 LightGBM采用Leaf-Wise生长策略每次从当前所有叶子中找到分裂增益最大的一个叶子然后分裂如此循环。因此同Level-Wise相比在分裂次数相同的情况下Leaf-Wise可以降低更多的误差得到更好的精度。 基于Light GBM的方案需要特征工程的配合。在我们实践中特征主要包括Statistic Semantic Features包括F1EXP、F2EXP、TFIDF、BM25等、Distributed Semantic Features包括Glove、Doc2vec等和Ranking Features召回阶段的排序序列特征并且这些特征分别从标题、摘要、关键词等多个维度进行抽取最终构建成特征集合配合LightGBM的pairwise模式进行训练。该方法的优点是运行效率高可解释性强缺点是特征工程阶段比较依赖人工对数据的理解和分析。 4.实验结果 我们分别对比实验了不同方案的效果可以发现无论是基于BERT的排序方案还是基于LightGBM的排序方案Pairwise的模式都会优于Pointwise的模式具体实验数据如表2所示 5.总结与展望 本文主要介绍了美团搜索与NLP部在WSDM Cup 2020 Task 1评测中的实践方案我们构建了召回排序的整体技术框架。在召回阶段引入多种召回策略和倒排索引保证召回的速度和覆盖率在排序阶段提出了基于Pairwise模式的BERT排序模型和基于LightGBM的排序模型。最终美团也非常荣幸地取得了榜单第一名的成绩。 当然在对本次评测进行复盘分析后我们认为该任务还有较大提升的空间。首先在召回阶段当前方案召回率为70%左右可以尝试新的召回方案来提高召回率其次在排序阶段还可以尝试基于Listwise的模式进行排序模型的训练相比Pairwise的模式Listwise模式下模型输入空间变为Query跟全部Candidate Doc理论上可以使模型学习到更好的排序能力。后续我们还会再不断进行优化追求卓越。 6.落地应用 本次评测任务与搜索与NLP部智能客服、搜索排序等业务中多个关键应用场景高度契合。目前我们正在积极试验将获奖方案在智能问答、FAQ推荐和搜索核心排序等场景进行落地探索用最优秀的技术解决方案来提升产品质量和服务水平努力践行“帮大家吃得更好生活更好”的使命。 参考文献 [1]Fang H, Zhai C X. An exploration of axiomatic approaches to information retrieval[C]//Proceedings of the 28th annual international ACM SIGIR conference on Research and development in information retrieval. 2005: 480-487. [2]Wang Y, Yang P, Fang H. Evaluating Axiomatic Retrieval Models in the Core Track[C]//TREC. 2017. [3]Devlin J, Chang M W, Lee K, et al. Bert: Pre-training of deep bidirectional transformers for language understanding[J]. arXiv preprint arXiv:1810.04805, 2018. [4]Lee J, Yoon W, Kim S, et al. BioBERT: a pre-trained biomedical language representation model for biomedical text mining[J]. Bioinformatics, 2020, 36(4): 1234-1240. [5]Beltagy I, Lo K, Cohan A. SciBERT: A pretrained language model for scientific text[C]//Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). 2019: 3606-3611. [6]Chen W, Liu S, Bao W, et al. An Effective Approach for Citation Intent Recognition Based on Bert and LightGBM. WSDM Cup 2020, Houston, Texas, USA, February 2020. [7]Ke G, Meng Q, Finley T, et al. Lightgbm: A highly efficient gradient boosting decision tree[C]//Advances in neural information processing systems. 2017: 3146-3154. 作者简介 帅朋美团AI平台搜索与NLP部。 会星美团AI平台搜索与NLP部NLP中心对话平台负责人研究员。 仲远美团AI平台搜索与NLP部负责人高级研究员、高级总监。 招聘信息 美团-AI平台-搜索与NLP部-NLP中心在北京/上海长期招聘NLP算法专家/研究员、对话平台研发工程师/技术专家、知识图谱算法专家欢迎感兴趣的同学发送简历至techmeituan.com邮件标题注明NLP中心-北京/上海。
