三合一网站搭建价格,机械网站源码 php,免费软文网站,软件商店正版下载TOC
一、ModelScope社区
ModelScope是一个“模型即服务”(MaaS)平台#xff0c;由阿里推出维护#xff0c;旨在汇集来自AI社区的最先进的机器学习模型#xff0c;并简化在实际应用中使用AI模型的流程。ModelScope库使开发人员能够通过丰富的API设计执行推理、训练和评估TOC
一、ModelScope社区
ModelScope是一个“模型即服务”(MaaS)平台由阿里推出维护旨在汇集来自AI社区的最先进的机器学习模型并简化在实际应用中使用AI模型的流程。ModelScope库使开发人员能够通过丰富的API设计执行推理、训练和评估从而促进跨不同AI领域的最先进模型的统一体验。
ModelScope Library为模型贡献者提供了必要的分层API以便将来自 CV、NLP、语音、多模态以及科学计算的模型集成到ModelScope生态系统中。所有这些不同模型的实现都以一种简单统一访问的方式进行封装用户只需几行代码即可完成模型推理、微调和评估。同时灵活的模块化设计使得在必要时也可以自定义模型训练推理过程中的不同组件。
除了包含各种模型的实现之外ModelScope Library还支持与ModelScope后端服务进行必要的交互特别是与Model-Hub和Dataset-Hub的交互。这种交互促进了模型和数据集的管理在后台无缝执行包括模型数据集查询、版本控制、缓存管理等。
GitHub地址ModelScope
二、使用
ModelScope针对不同任务提供了统一的使用接口 使用pipeline进行模型推理、使用Trainer进行微调和评估。
对于任意类型输入图像、文本、音频、视频…的任何任务只需3行代码即可加载模型并获得推理结果如下所示 from modelscope.pipelines import pipelineword_segmentation pipeline(word-segmentation,modeldamo/nlp_structbert_word-segmentation_chinese-base)word_segmentation(今天天气不错适合出去游玩)
{output: 今天 天气 不错 适合 出去 游玩}给定一张图片你可以使用如下代码进行人像抠图. import cv2from modelscope.pipelines import pipeline portrait_matting pipeline(portrait-matting)result portrait_matting(https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/image_matting.png)cv2.imwrite(result.png, result[output_img])对于微调和评估模型 你需要通过十多行代码构建dataset和trainer调用trainer.train()和trainer.evaluate()即可。 例如我们利用gpt3 1.3B的模型加载是诗歌数据集进行finetune可以完成古诗生成模型的训练。 from modelscope.metainfo import Trainersfrom modelscope.msdatasets import MsDatasetfrom modelscope.trainers import build_trainer train_dataset MsDataset.load(chinese-poetry-collection, splittrain). remap_columns({text1: src_txt})eval_dataset MsDataset.load(chinese-poetry-collection, splittest).remap_columns({text1: src_txt})max_epochs 10tmp_dir ./gpt3_poetry kwargs dict(modeldamo/nlp_gpt3_text-generation_1.3B,train_datasettrain_dataset,eval_dataseteval_dataset,max_epochsmax_epochs,work_dirtmp_dir) trainer build_trainer(nameTrainers.gpt3_trainer, default_argskwargs)trainer.train()三、总结 针对不同任务、不同模型抽象了统一简洁的用户接口3行代码完成推理10行代码完成模型训练方便用户使用ModelScope社区中多个领域的不同模型开箱即用便于AI入门和教学。 构造以模型为中心的开发应用体验支持模型训练、推理、导出部署方便用户基于ModelScope Library构建自己的MLOps. 针对模型推理、训练流程进行了模块化的设计并提供了丰富的功能模块实现方便用户定制化开发来自定义自己的推理、训练等过程。 针对分布式模型训练尤其是大模型提供了丰富的训练策略支持包括数据并行、模型并行、混合并行等。
