福州建设工程协会网站查询,如网站性质为公司 请以企业备案,wordpress私信功能,如何设计优秀的公司网站同学你好#xff01;本文章于2021年末编写#xff0c;获得广泛的好评#xff01;
故在2022年末对本系列进行填充与更新#xff0c;欢迎大家订阅最新的专栏#xff0c;获取基于Pytorch1.10版本的理论代码(2023版)实现#xff0c;
Pytorch深度学习理论篇(2023版)目录地址…同学你好本文章于2021年末编写获得广泛的好评
故在2022年末对本系列进行填充与更新欢迎大家订阅最新的专栏获取基于Pytorch1.10版本的理论代码(2023版)实现
Pytorch深度学习·理论篇(2023版)目录地址为
CSDN独家 | 全网首发 | Pytorch深度学习·理论篇(2023版)目录本专栏将通过系统的深度学习实例从可解释性的角度对深度学习的原理进行讲解与分析通过将深度学习知识与Pytorch的高效结合帮助各位新入门的读者理解深度学习各个模板之间的关系这些均是在Pytorch上实现的可以有效的结合当前各位研究生的研究方向设计人工智能的各个领域是经过一年时间打磨的精品专栏https://v9999.blog.csdn.net/article/details/127587345欢迎大家订阅(2023版)理论篇 以下为2021版原文~~~~ Transfomers库是一个支持TensorFiow2.×和PyTorch的NLP库。它将BERTology系列的所有模型融合到一起并提供统一的使用接口和预训练模型为人们使用BERTology系列模型提供方便。 1 Transformers库定义
transfomersF中包括自然语言理解和自然语言生成两大类任务提供了先进的通用架构其中有超2个预训练模型细分为100多种语言的版本)。 1.1 Transformers 快速完成的任务
1.1.1 通过执行脚本使用训练好的SOTA模型完成NLP任务
Transformers库附带一些脚本和在基准NLP数据集上训练好的SOTA模型。其中基准NLP数据集包括SQuAD2.0和GLUE数据集。不需要训练直接将这些训练好的SOTA模型运用到实际的NLP任务中就可以取得很好的效果。
TipSOTA(Siate-Of-The-Art)是指目前应用于某项任务中“最好的”算法或技术。
1.1.2 调用API实现NLP任务的预处理与微调
Transformers库提供了一个简单的API它用于执行这些模型所需的所有预处理和微调步骤。
在预处理方面通过使用Transformers库的API可以实现对文本数据集的特征提取并能够使用自己搭建的模型对提取后的特征进行二次处理完成各种定制任务。
在微调方面通过使用Transformers库的APl可以对特定的文本数据集进行二次训练使模型可以在Transformers库中已预训练的模型的基础之上通过少量训练来实现特定数据集的推理任务。
1.1.3 方便导入RensorFlow模型
Transfomers库提供了转换接口,可以轻松将TensorFlow训练的checkpoints模型导入PyTorch并使用.
1.1.4 转换为端计算模型
Transformers库还有一个配套的工具swift-coreml-transfomers可以将使用TensorFlow 2.X或Pytorch训练好的Transformer模型转换成能够在iOS操作系统下使用的端计算模型。
1.2 Transformers库的安装方法
1.2.1 使用conda命令进行安装版本相对滞后
conda install transformers
使用这种方式安装的Transformers库与Anaconda软件包的兼容性更好但所安装的Transformers库版本会相对滞后。
1.2.2 使用pip命令进行安装版本最新
pip install transformers
使用这种方式可以将Transformers库发布的最新版本安装到本机。
1.3 查看Transformers库的版本信息
Transfomers库会随着当前NLP领域中主流的技术发展而实时更新。目前Transfomers库的更新速度非常快可以通过Transfomers库安装路径下的transfomers\__init__.py文件找到当前安装的版本信息。 1.4 Transformers库的三层结构 管道方式高度集成的极简使用方式只需要几行代码即可实现一个NLP任务。自动模型方式可以将任意的BERTology系列模型载入并使用。具体模型方式在使用时需要明确指定具体的模型并按照每个BERTology系列模型中的特定参数进行调用该方式相对复杂但具有较高的灵活度。2 Transformers库中的AutoModel类
为了方便使用Transformers库在Transformers库中提供了一个AutoModel该类用来管理Transformers库中处理相同NLP任务的底层具体模型为上层应用管道方提供了统一的接口。
通过AutoModel类可以实现对BERTology系列模型中的任意一个模型载入并应用。
2.1 AutoModel类的子类
AutoModel类与BERTOlogy系列模型中的具体模型是一对多的关系。
在Transformers库的modeling_auto.Py源码文件中可以找到每种AutoModel类所管理的具体BERTology系列模型。
Anaconda3\envs\python38\Lib\site-packages\transformers\models\auto
MODEL_WITH_LM_HEAD_MAPPING对象代表AutoMcdeWthLMHead类与BERTology系列模型中的具体模型之间的映射关系。
在MODEL_WITHLM_HEAD_MAPPING 对象中所列出的每个元素都可以实现AutoModeWithLMHead类所完成的完形填空任务. 2.1.1 AutoModel
基本模型的载入类适用于Transformers库中的任何模型也可以用于特征提取任务.
2.1.2 AutoModelForPreTraining
特征提取任务的模型载入类适用于Transfomes库中所有的特征提取模型。
2.1.3 AutoModelForSequenceClassification
文本分类任务的模型载入类适用于Transfomers库中所有的文本分类模型。
2.1.4 AutoModelForQuestionAnswering
阅读理解任务的模型载入类适用于Trans-formers库中所有的阅读理解模型。
2.1.5 AutoModelWithLMHead
完形填空任务的模型载入类适用于Transformers库中所有的遮蔽语言模型。
2.1.6 AutoModelForTokenClassification
实体词识别任务的模型载入类适用于Transformers库中所有的实体词识别模型。 2.2 AutoModel类的模型加载机制
MODEL_WITH_LM_HEAD_MAPPING对象中每个元素由两部分组成具体模型的配置文件和具体模型的实现类。每一个具体模型的实现类会通过不同的数据集被训练成多套预训练模型文件。
每套预训练模型文件都由3或4个子文件组成词表文件、词表扩展文件可选、配置文件及权重文件。它们共用一个统一的字符串标识。
在使用自动加载方式调用模型时系统会根据统一的预训练模型标识字符串找到其对应的预训练模型文件并通过网络进行下载然后载入内存。
2.2.2 完形填空模型的调用过程如图所示。 每一个AutoModel类所对应的具体BERTology系列模型都是可以互相替换的。例如在注意SUPPORTED_TASKS对象里完形填空任务所对应的模型标识字符串为“distilroberta-base“即默认加载RobertaForMaskedLM类。 3 Transformers库中的预训练模型
Transformers库中集成了非常多的预训练模型方便用户在其基础上进行微调这些模型统一放在model_cards分支下。
更多模型https://huggingface.co/models
