广州白云网站建设公司,丽水市住房和城乡建设局网站,推荐几个好的网址,有做电动车修车的网站吗课程地址#xff1a;【HuggingFace简明教程,BERT中文模型实战示例.NLP预训练模型,Transformers类库,datasets类库快速入门.】
什么是huggingface#xff1f; huggingface是一个开源社区#xff0c;提供了先进的NLP模型、数据集以及工具。
主要模型#xff1a; 安装环境【HuggingFace简明教程,BERT中文模型实战示例.NLP预训练模型,Transformers类库,datasets类库快速入门.】
什么是huggingface huggingface是一个开源社区提供了先进的NLP模型、数据集以及工具。
主要模型 安装环境推荐pip安装 字典和分词工具
简单的编码
大于max_length截断小于padding 返回列表包括max_length长度的数字 bert_chinese对中文处理时每个字作为一个词token
增强的编码函数
增强编码返回的input_ids和简单编码相同 多输出了几个mask
批量编码句子
函数名字加上了plus参数传入的方式也改变了 批量成对编码 结果
字典操作
以字为词每个字对应了一个词
数据集操作
加载一个情感分类的数据集 数据集有很多操作函数但大多比较简单也不是重点
使用评价函数
有很多评价指标 计算正确率和f1
使用管道函数
使用pipeline可以解决一些简单的NLP任务。不需要训练模型就能调用的工具。但是实用价值不高
如情感分类 阅读理解。答案需要在文本中 完型填空 文本生成 命名实体识别识别城市名公司名人名等等 文本总结 翻译
实战任务1中文分类
定义数据集
数据集包括酒店评价、书籍评价等分为好评和差评二分类 训练集9600句话 加载tokenizer
即加载字典和分词工具 采用bert-base-chinese分词工具需要与预训练模型相匹配
定义批处理函数
数据一条一条的转化为一批进行分词和编码并将分词的结果取出来
定义数据加载器 加载bert中文模型
不调整预训练模型的参数直接应用于下游的任务中 定义每句话500个词的长度768是词编码的维度将每个词编码为768维度的向量
定于下游任务模型
只是一个单层的全连接网路。 将预训练模型输出的数据特征放到全连接网络中运算只取第0个词的特征来进行分类这与bert模型的设计有关
训练
简单算一个交叉熵损失
迁移学习利用bert预训练模型迁移到下游任务中可以在非常短的时间上得到非常高的正确率。以后的NLP任务都应该是基于预训练模型来抽取特征极大节约训练的时间和精力
