网站建设实践报告绪论,关键词优化排名的步骤,昆明小程序开发报价,做一个网站的步骤ILSVRC2012数据集处理 解压图像处理标签和图像 解压图像
先解压
tar -xvf ILSVRC2012_img_train.tar 解压之后其实还是1000个tar压缩包#xff08;对应1000个类别#xff09;#xff0c;需要再次解压#xff0c;解压脚本unzip.sh如下#xff08;PS#xff1a;可能需要自… ILSVRC2012数据集处理 解压图像处理标签和图像 解压图像
先解压
tar -xvf ILSVRC2012_img_train.tar 解压之后其实还是1000个tar压缩包对应1000个类别需要再次解压解压脚本unzip.sh如下PS可能需要自己改一下目录 dir 这里也可以用解压软件一键解压 批量解压脚本
dir./train
for x in ls $dir/*tar do filenamebasename $x .tar mkdir $dir/$filename tar -xvf $x -C $dir/$filename
done
rm *.tar执行 sh 脚本
chmod 777 unzip.sh
./ unzip.sh报错:./unzip.sh: line 3: syntax error near unexpected token filenamebasename $x .tar’
直接使用指令ls *.tar | xargs -n1 tar xvf
将当前文件夹下的tar解压linux批量解压方法
或者
python批量解压zip文件
import os
import shutil
import zipfile# 首先引入需要的工具包
# shutil为后期移动文件所需可以忽略此项
# 路径改这里
#parent_path r输入路径会解压该路径下的所有zip压缩文件
parent_path rE:\py\python3.7\test\test99\zip
# 文件类型选择
# 可以自行更改压缩文件类型需要引入其它工具包如tarfile等
# 这里是因为在自己的windows上zip比较常见其他类型请自行更改
file_flag .zip #修改需解压的格式 例如.rar
# 删除已解压的zip文件
# 不建议初次使用在确定程序无误后可以添加使用
def del_old_zip(file_path):os.remove(file_path)
# 解压
def decompress(file_path, root):# 开始# zipfile打开zip文件z zipfile.ZipFile(f{file_path}, r) # 解压z.extractall(pathf{root}) # path为解压路径解包后位于该路径下 # 判断是否需要重复解包for names in z.namelist():if names.endswith(file_flag):z.close()return 1 # 结束z.close() return 0# 因为我在使用过程中发现有些zip解包后会混在一起
# 在平时大家手动解压时可能也会遇到提示是否覆盖的问题
# 下面的两个函数解决这一问题
# 开始要先创建一个大文件夹 与压缩包名字相同
# 避免后期混乱和麻烦
def start_dir_make(root, dirname):os.chdir(root)os.mkdir(dirname)return os.path.join(root, dirname)
# 去除多余文件夹
def rem_dir_extra(root, father_dir_name):# 递归要注意信息的正常处理 搞不好上一个调用已经改变了东西 而下面的调用还是使用之前的数据 try: # 判断文件夹重名 开始for item in os.listdir(os.path.join(root, father_dir_name)): # 第一步判断是不是一个文件夹如果不是则跳过本次循环if not os.path.isdir(os.path.join(root, father_dir_name, item)):continue # 判断是否要脱掉一层目录结构# 文件夹名字要相同且子目录中只有单独的一个文件夹if item father_dir_name and len(os.listdir(os.path.join(root, father_dir_name))) 1: # 改变工作目录os.chdir(root) # 将无用文件夹重命名因为直接移动会有重名错误os.rename(father_dir_name, father_dir_name -old) # 移动文件后删除空文件夹shutil.move(os.path.join(root, father_dir_name -old, item), os.path.join(root))os.rmdir(os.path.join(root, father_dir_name -old)) # 将去掉一层目录结构后的文件夹继续作为父本递归处理下去# 这里要注意上面已经发生过数据的改动所以下面递归传参一定要正确rem_dir_extra(root, item) else: # 处理那些不满足上面条件的文件夹rem_dir_extra(os.path.join(root, father_dir_name), item) except Exception as e: # 打印错误信息print(清除文件夹出错 str(e))
# 入口
if __name__ __main__: flag 1 while flag: # 循环遍历文件夹for root, dirs, files in os.walk(parent_path): # 读取文件名for name in files:if name.endswith(file_flag): # 创建文件夹new_ws start_dir_make(root, name.replace(file_flag, )) # zip文件地址zip_path os.path.join(root, name) # 解压flag decompress(zip_path, new_ws) # 删除解压后的文件# 有点危险# 但不删除又可能会重复运行# 一定要备份或先测试不然可能会凉自己选择修改del_old_zip(zip_path) # 去掉多余的文件结构rem_dir_extra(root, name.replace(file_flag, )) print(f{root}\\{name}.join([文件, \n解压完成\n]))# 由于解压可能解了好几次 所以可能会有已经解压好的父级目录重名无法处理 这里要再处理一次rem_dir_extra(os.path.split(parent_path)[0], os.path.split(parent_path)[1]) print(解压完成啦记得检查有没有zip格式之外的呀!\n\n其他格式需要自己改一下了)
查看文件夹下文件数量
ls -l|grep ^- |wc -l统计文件名中包含某个名称n15075141_的文件的文件总数
find -name n15075141_* | wc -l这里我使用这官方提供的脚本文件
#!/bin/bash
#
# script to extract ImageNet dataset
# ILSVRC2012_img_train.tar (about 138 GB)
# ILSVRC2012_img_val.tar (about 6.3 GB)
# make sure ILSVRC2012_img_train.tar ILSVRC2012_img_val.tar in your current directory
#
# Adapted from:
# https://github.com/facebook/fb.resnet.torch/blob/master/INSTALL.md
# https://gist.github.com/BIGBALLON/8a71d225eff18d88e469e6ea9b39cef4
#
# imagenet/train/
# ├── n01440764
# │ ├── n01440764_10026.JPEG
# │ ├── n01440764_10027.JPEG
# │ ├── ......
# ├── ......
# imagenet/val/
# ├── n01440764
# │ ├── ILSVRC2012_val_00000293.JPEG
# │ ├── ILSVRC2012_val_00002138.JPEG
# │ ├── ......
# ├── ......
#
#
# Make imagnet directory
#
mkdir imagenet
#
# Extract the training data:
#
# Create train directory; move .tar file; change directory
mkdir imagenet/train mv ILSVRC2012_img_train.tar imagenet/train/ cd imagenet/train
# Extract training set; remove compressed file
tar -xvf ILSVRC2012_img_train.tar rm -f ILSVRC2012_img_train.tar
#
# At this stage imagenet/train will contain 1000 compressed .tar files, one for each category
#
# For each .tar file:
# 1. create directory with same name as .tar file
# 2. extract and copy contents of .tar file into directory
# 3. remove .tar file
find . -name *.tar | while read NAME ; do mkdir -p ${NAME%.tar}; tar -xvf ${NAME} -C ${NAME%.tar}; rm -f ${NAME}; done
#
# This results in a training directory like so:
#
# imagenet/train/
# ├── n01440764
# │ ├── n01440764_10026.JPEG
# │ ├── n01440764_10027.JPEG
# │ ├── ......
# ├── ......
#
# Change back to original directory
cd ../..
#
# Extract the validation data and move images to subfolders:
#
# Create validation directory; move .tar file; change directory; extract validation .tar; remove compressed file
mkdir imagenet/val mv ILSVRC2012_img_val.tar imagenet/val/ cd imagenet/val tar -xvf ILSVRC2012_img_val.tar rm -f ILSVRC2012_img_val.tar
# get script from soumith and run; this script creates all class directories and moves images into corresponding directories
wget -qO- https://raw.githubusercontent.com/soumith/imagenetloader.torch/master/valprep.sh | bash
#
# This results in a validation directory like so:
#
# imagenet/val/
# ├── n01440764
# │ ├── ILSVRC2012_val_00000293.JPEG
# │ ├── ILSVRC2012_val_00002138.JPEG
# │ ├── ......
# ├── ......
#
#
# Check total files after extract
#
# $ find train/ -name *.JPEG | wc -l
# 1281167
# $ find val/ -name *.JPEG | wc -l
# 50000
#参考文章
具体类别如下1000类信息
处理标签和图像
因为标签很少图像较多只有部分图像有标签对应所以需要删除多余的图像。
数据集目录结构如下
数据集介绍 数据集介绍
