吉首网站建设,营口网站seo,竞价排名是什么,二手房公司网站源码从Eumetsat批量下载哨兵数据等各种数据 那些最好的程序员不是为了得到更高的薪水或者得到公众的仰慕而编程#xff0c;他们只是觉得这是一件有趣的事情#xff01; 批量下载Sentinel数据脚本2023 从Eumetsat批量下载哨兵数据等各种数据#x1f33f;前言#x1f340;脚本构成…从Eumetsat批量下载哨兵数据等各种数据 那些最好的程序员不是为了得到更高的薪水或者得到公众的仰慕而编程他们只是觉得这是一件有趣的事情 批量下载Sentinel数据脚本2023 从Eumetsat批量下载哨兵数据等各种数据前言脚本构成ClassEumdac.pyEUMETSATMain.py 使用教程设置products_url设置用户参数运行程序 结语 Date: 2024年1月6日 Author: 小 y 同 学 Language: Python 批量下载Eumetsat官网的数据(Sentinel-3、Sentinel-6等数据产品以及一些气象数据产品) 前言 脚本介绍使用Python科学上网多进程批量下载Eumetsat官网的数据(Sentinel-3、Sentinel-6等数据产品以及一些气象数据产品) Eumetsat官网https://data.eumetsat.int/search? Eumetsat简介EUMETSAT(European Organisation for the Exploitation of Meteorological Satellites) 是欧洲气象卫星开发组织其主要宗旨是建立、维护和运行欧洲的气象卫星系统其官网不仅仅提供有Sentinel-3、Sentinel-6、Jason-3等卫星数据还包括其他气象数据产品。具体可以进入官网进行查看。 **敬请关注项目Github仓库地址**https://github.com/cyloveyou/Eumetsat_Download若后续脚本有更新将同步到Github。
脚本构成
ClassEumdac.py
包含了UserPrint、ProductsInfoFile、SaveParam、UserInfo、ProductInfo四个类。
UserPrint包含了一些个性化打印提示函数。ProductsInfoFile主要是从获取的JSON数据提取下载链接、读取下载链接等功能。SaveParam保存参数包含缓存文件路径和保存路径的创建。UserInfo用户个人信息customer_key、customer_secret、token等ProductInfo对单个产品进行下载。 EUMETSATMain.py 程序入口包含了一些参数设置具体设置教程见下文。
使用教程 主要包括设置products_url设置用户参数。 设置products_url 获取products_url进入EUMETSATM官网https://data.eumetsat.int/search?选择需要的产品数据文件进行检索(脚本将会下载检索得到的所有结果)。 获取JSON url 将JSON url复制粘贴到products_url.txt文件中 至此products_url设置完成。
设置用户参数 consumer_key和consumer_secret参数设置 登录EUMETSAT点击API Key随后即可看到参数复制替换到脚本 products_url_path、products_file_path以及download_path参数设置 products_url_path是存放JSON url的文件这里默认为products_url.txt也就是第一步的.txt文件。 products_file_path用于存放脚本从JSON url获取的产品下载链接文件同时也用于下载脚本的输入数据。 download_path产品保存文件夹程序会自动以该路径创建缓存文件夹(temp)和完成文件夹(finish)下载完整的数据会被保存到finish文件夹中。 IPPort参数设置 IPPort为本地代理参数开启科学上网具体八仙过海此处做不赘述。值得注意的是需要保证代理流量足够 Windows自带搜索框搜索Internet属性按下图操作。 需要注意的是程序中IPPort写法应为替换位置一:替换位置二 multiN参数设置 multiN为多进程个数参数一般小于CPU核数不可过大 运行程序
经过上述参数设置完成后可以运行程序会出现以下提示 对于下载出错的文件会提示并随机等待几十秒后重新下载 对于已经存在的文件会跳过下载 对于Token过期会重新获取Token并重新下载这里目前还未遇到不便截图
结语 项目源码已托管与Github仓库公众号回复关键字“240101”获取~ 就目前而言脚本对于断网、token过期等常见现象抵抗能力良好还遇到过异常情况欢迎邮箱私信。 对于本脚本还有很多可以优化的地方希望大家可以多给些建议不忘收藏关注 本人也是测绘遥感方向的学习者愿意结交志同道合的伙伴对于脚本的相关问题可在一定程度上提供帮助。 脚本进程数不宜设置过大若修改脚本进程过大放在多核服务器上执行导致对EUMETSAT服务器的攻击行为本站不承担任何责任。 …最终解释权归作者所有。作者邮箱3232076199qq.com烦请说明来意。 路虽远行则将至事虽难做则必成。希望认真学习的你能够有所收获~ 本公众号的原创成果在未经允许的情况下请勿用于任何商业用途 如果本文有幸可以帮到您欢迎您的点赞、收藏与关注您的点赞、收藏与关注是我创作的最大动力~
