阿里云备案 网站备案域名,计算机专业学做网站吗,wordpress数据库写文章,做视频网站需要哪些证我正在尝试将瓶颈值保存到新创建的hdf5文件中.瓶颈值分批形成(120,10,10,2048).保存一个单独的批次占用超过16个演出,python似乎在那一批冻结.根据最近的调查结果(见更新,似乎hdf5占用大内存是可以的,但冻结部分似乎是一个小故障.我只是试图保存前两批用于测试目的,而且仅用于测…我正在尝试将瓶颈值保存到新创建的hdf5文件中.瓶颈值分批形成(120,10,10,2048).保存一个单独的批次占用超过16个演出,python似乎在那一批冻结.根据最近的调查结果(见更新,似乎hdf5占用大内存是可以的,但冻结部分似乎是一个小故障.我只是试图保存前两批用于测试目的,而且仅用于测试训练数据集(再次,这是一个测试运行),但我甚至无法通过第一批.它只是在第一批停止并且不循环到下一次迭代.如果我尝试检查hdf5,资源管理器将变得缓慢,Python将冻结.如果我试图杀死Python(即使没有检查hdf5文件),Python也无法正常关闭并强制重启.这是相关的代码和数据总数据点约为90,000 ish,分批发布120个.Bottleneck shape is (120,10,10,2048)所以我试图保存的第一批是(120,10,10,2048)以下是我尝试保存数据集的方法with h5py.File(hdf5_path, modew) as hdf5:hdf5.create_dataset(train_bottle, train_shape, np.float32)hdf5.create_dataset(train_labels, (len(train.filenames), params[bottle_labels]),np.uint8)hdf5.create_dataset(validation_bottle, validation_shape, np.float32)hdf5.create_dataset(validation_labels,(len(valid.filenames),params[bottle_labels]),np.uint8)#this first part above works finecurrent_iteration 0print(created_datasets)for x, y in train:number_of_examples len(train.filenames) # number of imagesprediction model.predict(x)labels yprint(prediction.shape) # (120,10,10,2048)print(y.shape) # (120, 12)print(start,current_iteration*params[batch_size]) # 0print(end,(current_iteration1) * params[batch_size]) # 120hdf5[train_bottle][current_iteration*params[batch_size]: (current_iteration1) * params[batch_size],...] predictionhdf5[train_labels][current_iteration*params[batch_size]: (current_iteration1) * params[batch_size],...] labelscurrent_iteration 1print(current_iteration)if current_iteration 3:break这是print语句的输出(90827, 10, 10, 2048) # print(train_shape)(6831, 10, 10, 2048) # print(validation_shape)created_datasets(120, 10, 10, 2048) # print(prediction.shape)(120, 12) #label.shapestart 0 #start of batchend 120 #end of batch# Just stalls here instead of printing print(current_iteration)它只是在这里暂停(20分钟),并且hdf5文件的大小逐渐增大(现在大约20演出,在我强行杀死之前).实际上我甚至不能用任务管理器强制杀死,我必须重新启动操作系统,在这种情况下实际杀死Python.更新在玩了我的代码之后,似乎有一个奇怪的错误/行为.相关部分在这里hdf5[train_bottle][current_iteration*params[batch_size]: (current_iteration1) * params[batch_size],...] predictionhdf5[train_labels][current_iteration*params[batch_size]: (current_iteration1) * params[batch_size],...] labels如果我运行其中任何一行,我的脚本将完成迭代,并按预期自动中断.因此,如果我运行 – 或者没有冻结.它发生得相当快 – 不到一分钟.如果我跑第一行(‘train_bottle’),我的记忆大约需要69-72个演出,即使它只有几个批次.如果我尝试更多批次,内存是相同的.所以我假设train_bottle根据我分配数据集的大小参数决定存储,而不是实际填充时.所以尽管有72场演出,它的运行速度相当快(一分钟).如果我运行第二行train_labels,我的内存占用几兆字节.迭代没有问题,并且执行break语句.但是,现在问题就出现了,如果我尝试运行这两行(在我的情况下是必要的,因为我需要同时保存’train_bottle’和’train_labels’),我在第一次迭代时遇到冻结,并且它即使在20分钟后,也不会继续第二次迭代. Hdf5文件正在慢慢增长,但是如果我尝试访问它,Windows资源管理器会慢慢变成蜗牛而我无法关闭Python – 我必须重新启动操作系统.所以我不确定在尝试运行这两行时问题是什么 – 好像我运行内存饥饿的train_data行,如果工作完美并在一分钟内结束.
