做网站需要好多钱,网站预算怎么做,管理系统登录,网站开发的技术手段有哪些深度学习技术栈 —— Pytorch之TensorDataset、DataLoader 前言一、TensorDataset、DataLoader的用法#xff1f;二、从.csv文件--tensor张量总结 前言
简单来说#xff0c;TensorDataset与DataLoader这两个类的作用#xff0c; 就是将数据读入并做整合#xff0c;以便… 深度学习技术栈 —— Pytorch之TensorDataset、DataLoader 前言一、TensorDataset、DataLoader的用法二、从.csv文件--tensor张量总结 前言
简单来说TensorDataset与DataLoader这两个类的作用 就是将数据读入并做整合以便交给模型处理。就像石油加工厂一样你不关心石油是如何采集与加工的你关心的是自己去哪加油油价是多少对于一个模型而言DataLoader就是这样的一个予取予求的数据服务商。
参考文章或视频链接[1] How to use TensorDataset, Dataloader (pytorch) 一、TensorDataset、DataLoader的用法
# coding:utf-8
# Time: 2024/1/23 上午9:57
# Author: 键盘国治理专家
# File: __init__.py.py
# Description: import numpy as np
import torch
from torch.utils.data import TensorDataset
from torch.utils.data import DataLoaderdef test_TensorDataset():input np.random.rand(4, 2) # Input datacorrect np.random.rand(4, 1) # Correct answer datainput torch.FloatTensor(input) # Change to an array that can be handled by pytorchcorrect torch.FloatTensor(correct) # Same as aboveprint(input)print(correct)dataset TensorDataset(input, correct) # set the data注意是TensorDataset而不是DatasetDataset是个abstract class不能实例化print(dataset) # 打印地址print(vars(dataset)) # vars prints the contents of the objectreturn datasetdef test_DataLoader(dataset):train_load DataLoader(dataset, batch_size3, shuffleFalse) # Data shuffle with shuffleTruefor x, t in train_load:print(x--, x)print(t--, t)if __name__ __main__:dataset test_TensorDataset()print()test_DataLoader(dataset)
二、从.csv文件–tensor张量
一般说来大部分Kaggle比赛的数据都是以.csv为格式的而Pytorch处理的是tensor张量所以我们要了解如何将.csv文件的数据变成tensor张量数据。 步骤如下
(1) xx.csv -- 经由pandas 变成 numpy 数组
(2) numpy 变成 tensor 张量
(3) tensor张量经过TensorDataset的组合
(4) dataset再经过DataLoader的处理进而保证数据可用以上为清洗过程
.csv -- numpy -- tensor -- dataset -- dataloader 四个过程五个数据中转形式。# coding:utf-8
# Time: 2024/1/23 下午1:01
# Author: 键盘国治理专家
# File: csv2tensor.py
# Description:import numpy
import pandas as pd
import numpy as np
import torch
import torch.nn as nn
from torch.utils.data import TensorDataset
from torch.utils.data import DataLoaderdef csv2numpy(csv_path):data pd.read_csv(csv_path, dtypenp.float64)# numpy_data data.iloc[:, data.columns ! xx] # 另一种用法data.columns ! xx 可以过滤掉你不想读入的字段numpy_data data.iloc[:].valuesreturn numpy_datadef numpy2tensor(numpy_data):tensor_data torch.from_numpy(numpy_data)return tensor_datadef tensor2DataLoader(tensor_data): # 一步到位直接变成DataLoader。最简单的实现方式这个func还有改进空间DataSet可以接收多个tensor数据dataset torch.utils.data.TensorDataset(tensor_data)data_loader torch.utils.data.DataLoader(dataset, shuffleFalse)return data_loader# 你甚至可以直接将.csv处理成DataLoader了把这几个过程简单组合下形成一个新函数
def csv2DataLoader(csv_path):numpy_data csv2numpy(csv_path)tensor_data numpy2tensor(numpy_data)data_loader tensor2DataLoader(tensor_data)return data_loaderif __name__ __main__:numpy_data csv2numpy(./test.csv)# print(type(numpy_data))# print(numpy_data.shape)# print(numpy_data)tensor_data numpy2tensor(numpy_data)# print(type(tensor_data))# print(tensor_data.shape)# print(tensor_data)data_loader tensor2DataLoader(tensor_data)# print(type(data_loader))# print(data_loader)# print(data_loader.dataset)# # 用遍历的方式才能输出data_loader里的数据# for data_item in data_loader:# print(data_item--, data_item)# # 把数据的索引也一起输出# for i, data_item in enumerate(data_loader):# print(i, i)# print(data_item--, data_item)总结
本篇工作虽然简单但确是进阶的一个不大不小的绊脚石功夫虽小也不能不练。
