太原 网站建设,在线做漫画的网站好,wordpress 页面 分类目录,网站建设费计入无形资产来源#xff1a;量子位摘要#xff1a;2018#xff0c;仍是AI领域激动人心的一年。这一年成为NLP研究的分水岭#xff0c;各种突破接连不断#xff1b;CV领域同样精彩纷呈#xff0c;与四年前相比GAN生成的假脸逼真到让人不敢相信#xff1b;新工具、新框架的出现#… 来源量子位摘要2018仍是AI领域激动人心的一年。这一年成为NLP研究的分水岭各种突破接连不断CV领域同样精彩纷呈与四年前相比GAN生成的假脸逼真到让人不敢相信新工具、新框架的出现也让这个领域的明天特别让人期待……近日Analytics Vidhya发布了一份2018人工智能技术总结与2019趋势预测报告原文作者PRANAV DAR。量子位在保留这个报告架构的基础上对内容进行了重新编辑和补充。这份报告总结和梳理了全年主要AI技术领域的重大进展同时也给出了相关的资源地址以便大家更好的使用、查询。报告共涉及了五个主要部分自然语言处理NLP计算机视觉工具和库强化学习AI道德下面我们就逐一来盘点和展望嘿喂狗~自然语言处理NLP2018年在NLP历史上的特殊地位已经毋庸置疑。这份报告认为这一年正是NLP的分水岭。2018年里NLP领域的突破接连不断ULMFiT、ELMo、最近大热的BERT……迁移学习成了NLP进展的重要推动力。从一个预训练模型开始不断去适应新的数据带来了无尽的潜力甚至有“NLP领域的ImageNet时代已经到来”一说。■ ULMFiT这个缩写代表“通用语言模型的微调”出自ACL 2018论文Universal Language Model Fine-tuning for Text Classification。正是这篇论文打响了今年NLP迁移学习狂欢的第一枪。论文两名作者一是Fast.ai创始人Jeremy Howard在迁移学习上经验丰富一是自然语言处理方向的博士生Sebastian Ruder他的NLP博客几乎所有同行都在读。两个人的专长综合起来就有了ULMFiT。想要搞定一项NLP任务不再需要从0开始训练模型拿来ULMFiT用少量数据微调一下它就可以在新任务上实现更好的性能。他们的方法在六项文本分类任务上超越了之前最先进的模型。详细的说明可以读他们的论文https://arxiv.org/abs/1801.06146Fast.ai网站上放出了训练脚本、模型等http://nlp.fast.ai/category/classification.html■ ELMo这个名字当然不是指《芝麻街》里那个角色而是“语言模型的词嵌入”出自艾伦人工智能研究院和华盛顿大学的论文Deep contextualized word representationsNLP顶会NAACL HLT 2018的优秀论文之一。ELMo用语言模型language model来获取词嵌入同时也把词语所处句、段的语境考虑进来。这种语境化的词语表示能够体现一个词在语法语义用法上的复杂特征也能体现它在不同语境下如何变化。当然ELMo也在试验中展示出了强大功效。把ELMo用到已有的NLP模型上能够带来各种任务上的性能提升。比如在机器问答数据集SQuAD上用ELMo能让此前最厉害的模型成绩在提高4.7个百分点。这里有ELMo的更多介绍和资源https://allennlp.org/elmo■ BERT说BERT是2018年最火的NLP模型一点也不为过它甚至被称为NLP新时代的开端。它由Google推出全称是Bidirectional Encoder Representations from Transformers意思是来自Transformer的双向编码器表示也是一种预训练语言表示的方法。从性能上来看没有哪个模型能与BERT一战。它在11项NLP任务上都取得了最顶尖成绩到现在SQuAD 2.0前10名只有一个不是BERT变体如果你还没有读过BERT的论文真的应该在2018年结束前补完这一课https://arxiv.org/abs/1810.04805另外Google官方开源了训练代码和预训练模型https://github.com/google-research/bert如果你是PyTorch党也不怕。这里还有官方推荐的PyTorch重实现和转换脚本https://github.com/huggingface/pytorch-pretrained-BERT■ PyTextBERT之后NLP圈在2018年还能收获什么惊喜答案是一款新工具。就在上周末Facebook开源了自家工程师们一直在用的NLP建模框架PyText。这个框架每天要为Facebook旗下各种应用处理超过10亿次NLP任务是一个工业级的工具包。Facebook开源新NLP框架简化部署流程大规模应用也OKPyText基于PyTorch能够加速从研究到应用的进度从模型的研究到完整实施只需要几天时间。框架里还包含了一些预训练模型可以直接拿来处理文本分类、序列标注等任务。想试试开源地址在此https://github.com/facebookresearch/pytext■ Duplex如果前面这些研究对你来说都太抽象的话Duplex则是NLP进展的最生动例证。名字有点陌生不过这个产品你一定听说过它就是Google在2018年I/O开发者大会上展示的“打电话AI”。它能主动打电话给美发店、餐馆预约服务全程流畅交流简直以假乱真。Google董事长John Hennessy后来称之为“非凡的突破”还说“在预约领域这个AI已经通过了图灵测试。”Duplex在多轮对话中表现出的理解能力、合成语音的自然程度都是NLP目前水平的体现。如果你还没看过它的视频……■ 2019年展望NLP在2019年会怎么样我们借用一下ULMFiT作者Sebastian Ruder的展望预训练语言模型嵌入将无处不在不用预训练模型从头开始训练达到顶尖水平的模型将十分罕见。能编码专业信息的预训练表示将会出现这是语言模型嵌入的一种补充。到时候我们就能根据任务需要把不同类型的预训练表示结合起来。在多语言应用、跨语言模型上将有更多研究。特别是在跨语言词嵌入的基础上深度预训练跨语言表示将会出现。计算机视觉今年无论是图像还是视频方向都有大量新研究问世有三大研究曾在CV圈掀起了集体波澜。■ BigGAN今年9月当搭载BigGAN的双盲评审中的ICLR 2019论文现身行家们就沸腾了简直看不出这是GAN自己生成的。在计算机图像研究史上BigGAN的效果比前人进步了一大截。比如在ImageNet上进行128×128分辨率的训练后它的Inception ScoreIS得分166.3是之前最佳得分52.52分3倍。除了搞定128×128小图之外BigGAN还能直接在256×256、512×512的ImageNet数据上训练生成更让人信服的样本。在论文中研究人员揭秘BigGAN的惊人效果背后真的付出了金钱的代价最多要用512个TPU训练费用可达11万美元合人民币76万元。不止是模型参数多训练规模也是有GAN以来最大的。它的参数是前人的2-4倍批次大小是前人的8倍。相关地址研究论文https://openreview.net/pdf?idB1xsqj09Fm■ Fast.ai 18分钟训练整个ImageNet在完整的ImageNet上训练一个模型需要多久各大公司不断下血本刷新着记录。不过也有不那么烧计算资源的平民版。今年8月在线深度学习课程Fast.ai的创始人Jeremy Howard和自己的学生用租来的亚马逊AWS的云计算资源18分钟在ImageNet上将图像分类模型训练到了93%的准确率。前前后后Fast.ai团队只用了16个AWS云实例每个实例搭载8块英伟达V100 GPU结果比Google用TPU Pod在斯坦福DAWNBench测试上达到的速度还要快40%。这样拔群的成绩成本价只需要40美元Fast.ai在博客中将其称作人人可实现。相关地址Fast.ai博客介绍https://www.fast.ai/2018/08/10/fastai-diu-imagenet/■ vid2vid技术今年8月英伟达和MIT的研究团队高出一个超逼真高清视频生成AI。只要一幅动态的语义地图就可获得和真实世界几乎一模一样的视频。换句话说只要把你心中的场景勾勒出来无需实拍电影级的视频就可以自动P出来除了街景人脸也可生成这背后的vid2vid技术是一种在生成对抗性学习框架下的新方法精心设计的生成器和鉴别器架构再加上时空对抗目标。这种方法可以在分割蒙版、素描草图、人体姿势等多种输入格式上实现高分辨率、逼真、时间相干的视频效果。好消息vid2vid现已被英伟达开源。相关地址研究论文https://tcwang0509.github.io/vid2vid/paper_vid2vid.pdfGitHub地址https://github.com/NVIDIA/vid2vid■ 2019趋势展望Analytics Vidhya预计明年在计算机视觉领域对现有方法的改进和增强的研究可能多于创造新方法。在美国政府对无人机的限令可能会稍微“松绑”开放程度可能增加。而今年大火的自监督学习明年可能会应用到更多研究中。Analytics Vidhya对视觉领域也有一些期待目前来看在CVPR和ICML等国际顶会上公布最新研究成果在工业界的应用情况还不乐观。他希望在2019年能看到更多的研究在实际场景中落地。Analytics Vidhya预计视觉问答Visual Question AnsweringVQA技术和视觉对话系统可能会在各种实际应用中首次亮相。工具和框架哪种工具最好哪个框架代表了未来这都是一个个能永远争论下去的话题。没有异议的是不管争辩的结果是什么我们都需要掌握和了解最新的工具否则就有可能被行业所抛弃。今年机器学习领域的工具和框架仍在快速的发展下面就是这方面的总结和展望。■ PyTorch 1.0根据10月GitHub发布的2018年度报告PyTorch在增长最快的开源项目排行上名列第二。也是唯一入围的深度学习框架。作为谷歌TensorFlow最大的“劲敌”PyTorch其实是一个新兵2017年1月19日才正式发布。2018年5月PyTorch和Caffe2整合成为新一代PyTorch 1.0竞争力更进一步。相较而言PyTorch速度快而且非常灵活在GitHub上有越来越多的开码都采用了PyTorch框架。可以预见明年PyTorch会更加普及。至于PyTorch和TensorFlow怎么选择在我们之前发过的一篇报道里不少大佬站PyTorch。实际上两个框架越来越像。前Google Brain深度学习研究员Denny Britz认为大多数情况下选择哪一个深度学习框架其实影响没那么大。相关地址PyTorch官网https://pytorch.org/■ AutoML很多人将AutoML称为深度学习的新方式认为它改变了整个系统。有了AutoML我们就不再需要设计复杂的深度学习网络。今年1月17日谷歌推出Cloud AutoML服务把自家的AutoML技术通过云平台对外发布即便你不懂机器学习也能训练出一个定制化的机器学习模型。不过AutoML并不是谷歌的专利。过去几年很多公司都在涉足这个领域比方国外有RapidMiner、KNIME、DataRobot和H2O.ai等等。除了这些公司的产品还有一个开源库要介绍给大家Auto Keras这是一个用于执行AutoML任务的开源库意在让更多人即便没有人工智能的专家背景也能搞定机器学习这件事。这个库的作者是美国德州农工大学Texas AM University助理教授胡侠和他的两名博士生金海峰、Qingquan Song。Auto Keras直击谷歌AutoML的三大缺陷第一还得付钱。第二因为在云上还得配置Docker容器和Kubernetes。第三服务商(Google)保证不了你数据安全和隐私。相关地址官网https://autokeras.com/GitHubhttps://github.com/jhfjhfj1/autokeras■ TensorFlow.js今年3月底的TensorFlow开发者会峰会2018上TensorFlow.js正式发布。这是一个面向JavaScript开发者的机器学习框架可以完全在浏览器中定义和训练模型也能导入离线训练的TensorFlow和Keras模型进行预测还对WebGL实现无缝支持。在浏览器中使用TensorFlow.js可以扩展更多的应用场景包括展开交互式的机器学习、所有数据都保存在客户端的情况等。实际上这个新发布的TensorFlow.js就是基于之前的deeplearn.js只不过被整合进TensorFlow之中。谷歌还给了几个TensorFlow.js的应用案例。比如借用你的摄像头来玩经典游戏吃豆人Pac-Man。相关地址官网https://js.tensorflow.org/■ 2019趋势展望在工具这个主题中最受关注的就是AutoML。因为这是一个真正会改变游戏规则的核心技术。在此引用H2O.ai的大神Marios MichailidisKazAnova对明年AutoML领域的展望。以智能可视化、提供洞见等方式帮助描述和理解数据为数据集发现、构建、提取更好的特征快速构建更强大、更智能的预测模型通过机器学习可解释性弥补黑盒建模带来的差距推动这些模型的产生强化学习强化学习还有很长的路要走。除了偶尔成为头条新闻之外目前强化学习领域还缺乏真正的突破。强化学习的研究非常依赖数学而且还没有形成真正的行业应用。希望明年可以看到更多RL的实际用例。现在我每个月都会特别关注一下强化学习的进展以期看到未来可能会有什么大事发生。■ OpenAI的强化学习入门教程全无机器学习基础的人类现在也可以迅速上手强化学习。11月初OpenAI发布了强化学习 (RL) 入门教程Spinning Up。从一套重要概念到一系列关键算法实现代码再到热身练习每一步都以清晰简明为上全程站在初学者视角。团队表示目前还没有一套比较通用的强化学习教材RL领域只有一小撮人进得去。这样的状态要改变啊因为强化学习真的很有用。相关地址教程入口https://spinningup.openai.com/en/latest/index.htmlGitHub传送门https://github.com/openai/spinningup■ 谷歌的强化学习新框架「多巴胺」Dopamine多巴胺这是谷歌今年8月发布的强化学习开源框架基于TensorFlow。新框架在设计时就秉承着清晰简洁的理念所以代码相对紧凑大约是15个Python文件基于Arcade Learning Environment (ALE)基准整合了DQN、C51、 Rainbow agent精简版和ICML 2018上的Implicit Quantile Networks。为了让研究人员能快速比较自己的想法和已有的方法该框架提供了DQN、C51、 Rainbow agent精简版和Implicit Quantile Networks的玩ALE基准下的那60个雅达利游戏的完整训练数据。另外还有一组Dopamine的教学colab。相关地址Dopamine谷歌博客https://ai.googleblog.com/2018/08/introducing-new-framework-for-flexible.htmlDopamine github下载https://github.com/google/dopamine/tree/master/docs#downloadscolabshttps://github.com/google/dopamine/blob/master/dopamine/colab/README.md游戏训练可视化网页https://google.github.io/dopamine/baselines/plots.html■ 2019趋势展望DataHack Summit 2018发言人、ArxivInsights创始人Xander Steenbrugge也是一名强化学习专家以下是来自他的总结和展望。1、由于辅助学习任务越来越多增加了稀疏的外在奖励样本的复杂性将继续提高。在非常稀疏的奖励环境中效果非常好。2、正因如此直接在物理世界训练将越来越可行替代当前大多先在虚拟环境中训练的方法。我预测2019年会出现第一个只由深度学习训练没有人工参与而且表现出色的机器人demo出现。3、在DeepMind把AlphaGo的故事延续到生物领域之后AlphaFold我相信强化学习将逐步在学术领域外创造实际的商业价值。例如新药探索、电子芯片架构优化、车辆等等……4、强化学习会有一个明显的转变以前在训练数据上测试智能体的行为将不再视为“允许”。泛化指标将成为核心就像监督学习一样。AI道德AI被滥用事故在2018年被频频爆出Facebook AI助特朗普当选美国总统、Goggle与美国军方联手开发AI武器、微软为移民和海关执法局ICE提供云计算和人脸识别服务……每一次事故都会重新掀起一波对AI道德准则的讨论高潮一些硅谷科技公司也再次期间制定了企业AI准则。Analytics Vidhya认为AI道德现在还是一个灰色地带目前还没有所有人可以遵循的框架2019年将有更多企业和政府制定相关条例。AI道德规范的制定现在才刚刚起步。未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能互联网和脑科学交叉研究机构。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
