网页制作与网站设计代码,中小学生作文网,建筑咨询公司是做什么的,10个免费自学网目录 前言
基础运维技能
3种常用的字符编码#xff0c;编码间的切换
简述文件的操作流程#xff0c;三个常用的文件操作方法
open函数中的mode参数表示什么#xff0c;mode的四个取值
阐述配置文件的格式#xff0c;解析配置文件主要用到哪个模块的哪个类#xff0c…目录 前言
基础运维技能
3种常用的字符编码编码间的切换
简述文件的操作流程三个常用的文件操作方法
open函数中的mode参数表示什么mode的四个取值
阐述配置文件的格式解析配置文件主要用到哪个模块的哪个类简述该类的三种方法
简述json模块中解析josn常用的四个函数
如何安装psutil模块简述使用psutil可以监控系统的哪些信息
阐述使用watchdog监控指定目录/文件变化的工作原理
在subprocess.Popen类构造函数的参数中stdin、stdout、stderr的默认取值、含义、如何将子进程的输出传给父进程处理
简述日志的作用通过日志记录事件时通常需要记录哪些方面
在logging模块中的日志级别和排序
在logging模块中什么是记录器、处理器、格式化器他们之间的关系相关语句
简述xmltodict如何处理XML数据
使用pyftp模块一行命令快速搭建FTP服务器可以进行哪些设置列举三个使用pyftpdlib API编程比一行命令更丰富的功能
简述编程实现邮件发送的步骤并具体说明使用了哪些类或方法
进程、线程、协程
multiprocessing模块实现进程同步的类及其主要的方法
multiprocessing模块实现进程通信的类及其主要方法
threading模块实现线程同步的类及其主要方法
threading模块实现多线程通信的类及其主要方法
多进程和多线程分别适用于什么类型的作业
协程的概念
进程、线程、协程的对比
协程的应用场景
自动化运维工具 ansible
ansible实现主机管理的安装要求
定义主机清单
ansible免密登录
ansible ad-hoc模式的常用命令
YMAL文件格式
编写简单的playbook
定时任务模块 APScheduler 远程执行命令 Paramiko 分布式任务队列 Celery
APScheduler
Paramiko
Celery 前言 该篇文章是网络运维课程总复习的结构希望能够为进行期末复习或者对网络运维感兴趣的同学或专业人员提供一定的帮助。 基础运维技能 3种常用的字符编码编码间的切换 ASCII UTF-8 UTF-16 简述文件的操作流程三个常用的文件操作方法 打开文件open( ) 对文件进行操作写、删、读、追加、修改 write方法向文件中写入内容 read方法读取文件中的字符 seek方法移动文件指针到某个位置 关闭文件close open函数中的mode参数表示什么mode的四个取值 表示打开文件的模式如读取、写入、追加、二进制 ‘w’模式只可写不可读 ‘r’模式只可读不可写 ‘a’模式读取和追加 ‘b’模式使用二进制进行读取或写入操作 阐述配置文件的格式解析配置文件主要用到哪个模块的哪个类简述该类的三种方法 文件格式是指用于存储应用程序或系统配置参数的文件包含键值对包括INI、YAML、JSON等格式 主要用到了Configparser模块中的configparser类 read读取配置文件 get获取指定的配置项的值 set修改指定的配置项的值 简述json模块中解析josn常用的四个函数 josn.loads() 该函数用于将JOSN字符串解析为python对象接受一个字符串作为输入输出一个python数据结构 josn.load() 该函数用于从文件中读取json数据并解析为python对象接受一个文件对象作为输入将文件对象中的josn数据输出一个python数据结构 josn.dumps() 该函数用于将python对象转换为josn字符串接受一个python对象作为输入并返回一个对应的josn字符串 josn.dump() 该函数用于将python对象转换为josn格式并将其写入到文件中它接受一个python对象和文件对象作为输入将python对象转换为josn字符串并写入到文件中 如何安装psutil模块简述使用psutil可以监控系统的哪些信息 安装psutil pip install psutil pip3 install psutil easy_install psutil 可以监控的信息 CPU占用率 内存容量和占用率 磁盘分区和磁盘占用率 网络连接信息本机IP地址、远程IP地址、连接状态等 系统用户信息用户ID、用户组、用户名等 系统进程信息进程ID、进程启动时间、进程状态、进程内存使用情况 阐述使用watchdog监控指定目录/文件变化的工作原理 watchdog是一个python库用于监控文件系统上的文件变化从而可以监听指定目录或文件的变化并发出通知使用了操作系统的文件监控机制 原理 Step1创建监控对象使用watchdog.observers.Observers对象来创建监控对象 Step2开始监控调用observer.start()开始监控目录或文件变化。 Step3处理事件当监控到目录或文件发生变化时Myhander类中重载的回调函数将被调用 Step4结束监控调用observer.stop()停止并使用observer.join()等待任务完成 在subprocess.Popen类构造函数的参数中stdin、stdout、stderr的默认取值、含义、如何将子进程的输出传给父进程处理 默认取值都是none表示子进程的输入、输出、错误流都会继承父类的标注I/O流 如果要将子进程的输出传给父进程处理可以使用Popen对象的communicate()方法该方法将等待子进程完成并返回一个元组其中包括子进程的stdout和stderr输出 简述日志的作用通过日志记录事件时通常需要记录哪些方面 概念 日志是一个记录系统或应用程序运行时发生时间的重要工具通过记录事件我们可以理解应用程序在运行过程中发生的情况并快速发现和解决潜在问题 作用 故障排除 性能分析 安全监控 业务分析 需要记录的方面 时间戳 事件级别 事件内容 上下文信息 其他 在logging模块中的日志级别和排序 CriticalErrorWarninginfodebugnotset 在logging模块中什么是记录器、处理器、格式化器他们之间的关系相关语句 记录器 将日志事件发送到日志系统的接口提供对日志系统配置和状态的访问 logger logging.getLogger‘’ 处理器 决定将日志记录发送到哪个位置 #创建处理器 handler logging.FileHandler‘mylog.txt’ #添加处理器 logger.addHandler(handler) 格式化器 决定了记录日志事件的样式使用setFormatter方法来添加格式化器 # 创建格式化器 formatter logging.Formatter ( ) # 添加格式化器 handler.setFormatterformatter 关系 记录器可以有多个处理器、每个处理器可以有多个格式化器、每个格式化器可以有一个格式化字符串 简述xmltodict如何处理XML数据 xmltodict是一个python库可以将xml数据转换为python字典形式使得xml数据可以更加方便地处理。 具体而言xmtodict可以将xml数据转换为嵌套python字典和列表的组合在字典中xml元素的tag和属性被转换为字典的键和值而xml元素中的文本内容成为字典的值如果xml中存在子元素他们将被转换为一个新的字典并被赋值给其父元素的键。 使用pyftp模块一行命令快速搭建FTP服务器可以进行哪些设置列举三个使用pyftpdlib API编程比一行命令更丰富的功能 python -m pyftpdlib 启动一个默认的FTP服务器监听IP为0.0.0.0 端口号为21 -p 端口号 -P 密码 -a 用户名和密码 -w 指定ftp的工作目录 API更丰富的功能 ① 文件上传和下载的事件处理 ② 权限和用户管理 ③ 自定义命令和响应 简述编程实现邮件发送的步骤并具体说明使用了哪些类或方法 Step1导入相关模块 smtplib模块使用”from smtplib import SMTP“ Step2创建SMTP对象 使用SMTP类的构造函数创建SMTP对象 smtp SMTP‘ ’port Step3连接SMTP服务器使用SMTP对象的connect方法连接SMTP服务器 smtp.connect ( ) Step4登录SMTP服务器使用SMTP对象的login()方法登录SMTP服务器 smtp.login( , ) Step5创建邮件对象。使用SMTP的email模块来创建邮件消息对象可以使用MIMEText、MIMEImage、MIMEMultipart等类 Step6发送邮件。使用SMTP对象的sendmail()方法发送邮件 smtp.sendmail() Step7退出SMTP服务器。使用SMTP对象的‘quit’方法退出SMTP服务器 smtp.quit() 进程、线程、协程 multiprocessing模块实现进程同步的类及其主要的方法 Lock acquire release Condition acquire release wait notify Semaphore acquire release Event set clear is_set wait multiprocessing模块实现进程通信的类及其主要方法 Pipe Pipe sendobj recv close Queue Queue put get empty full qsize Manager Manager Value Array Namespace dict list threading模块实现线程同步的类及其主要方法 Lock acquire release RLock Condition acquire release wait notify Semaphore acquire release Event set clear is_set wait threading模块实现多线程通信的类及其主要方法 Queue Queue put get empty full qsize Condition acquire release wait notify Event set clear is_set wait 多进程和多线程分别适用于什么类型的作业 多进程CPU密集型需要大量CPU计算的操作 因为多进程能够充分利用多核CPU带来的优势将任务拆分为多个进程并行处理能够大大地提高程序运行的效率 多线程I/O密集型需要大量I/O操作的任务 因为I/O操作相对于计算操作而言计算时间短、等待时间长多线程能够在等待I/O操作的时候切换到其他线程进行操作从而提高程序的相应速度 协程的概念 协程指的是一种用户态的轻量级线程也成为微线程。相比于传统的线程协程的创建和销毁成本更低占用的内存资源更少、可以支持更高的并发量 进程、线程、协程的对比 进程 操作系统分配资源的基本单位每个进程都有自己独立的地址空间、数据栈、代码段、堆栈等互相之间不能直接访问和共享数据需要通过IPC机制传递数据。进程是操作系统提供的一种强制抢占的并发方式进程的调度和切换由操作系统负责 优点 可以充分利用多核CPU的计算能力提高处理效率 可以实现强隔离不同进程之间数据安全可靠 缺点 进程切换过程中需要保存和恢复当前进程的所有信息开销较大 进程间通信开销较大 线程 在同一个进程中运行的执行单元是操作系统调度的最小单位。 共享进程的内存空间和资源可以相互访问和修改共享数据。 切换不需要切换地址空间开销较小。 调度和切换由操作系统负责 优点 比进程更轻量级切换开销相对较小 共享进程的内存空间和资源可以方便地共享数据 缺点 线程之间的并发控制较为复杂需要使用锁、信号量等机制实现同步和互斥 容易出现死锁、竞争等问题 协程 一种轻量级的线程也成为微线程。 协程的创建和销毁成本更低占用的内存资源更少可以支持更高的并发量。 协程的任务切换在程序内部完成不需要操作系统的支持因此协程的开销很小。 Python中协程一般通过生成函数实现 优点 创建和销毁成本低占用的内存资源少 没有线程的上下文切换开销比线程更高效 协程可以避免线程之间的共享状态问题 缺点 不能利用多核CPU只能实现单线程的并发 协程的应用场景 适用于需要高并发、高性能、高流量的网络编程场景特别是I/O密集型程序 高并发爬虫 异步网络编程 高并发Web服务器 实时消息处理 自动化运维工具 ansible ansible实现主机管理的安装要求 安装ansible yum install -y release yum install -y ansible 配置ssh免密 ssh-keygen ssh-copy-id userhosts ssh userhosts 配置主机清单 vim inventory [组] 用户名 定义主机清单 vim inventory [组] 用户名 ansible免密登录 ssh-keygen ssh-copy-id userhosts ssh userhosts ansible ad-hoc模式的常用命令 ping模块 shell模块 command模块 apt模块 yum模块 copy模块 fetch模块 YMAL文件格式 注释 YAML文件可以包含注释行以#字符开头可以对文件或特定部分进行说明。 # 这是一个示例 YAML 文件 键值对 YAML文件使用键: 值的格式表示键值对冒号后面可以有一个或多个空格。 name: John Doe age: 30 列表 使用-符号开头表示一个列表项。列表项可以包含键值对或简单的值 fruits: - apple - orange - banana 嵌套结构 YAML文件可以使用缩进来表示嵌套结构。缩进使用空格而不是制表符。 person: name: John Doe age: 30 address: street: 123 Main St city: New York 多行文本 多行文本 YAML文件支持多行文本可以使用管道符号|或折叠符号表示。 description: | This is a multi-line description. 编写简单的playbook 复制文件 创建用户 使用循环创建多个用户 执行playbook ansible-playbook -i 主机 xxx.yml 定时任务模块 APScheduler 远程执行命令 Paramiko 分布式任务队列 Celery APScheduler 概念 是一款Python的任务调度框架可以在指定的事件或间隔内执行任务 功能 定时任务调度 循环任务调度 异步任务调度 分布式任务调度 多种任务执行方式 Paramiko 概念 是Python编写的SSH2协议的实现库能够实现SSH客户端和服务器的连接、SFTP传输等功能 功能 SSH客户端和服务器的连接 SFTP传输 加密和解密 协议支持 可扩展性 Celery 概念 基于python的任务队列框架用于实现异步处理、定时任务调度和分布式任务处理等功能适合处理高并发、需要异步执行、定期执行或分布式执行的任务可以极大地提升系统性能和扩展性 功能 异步处理 定时任务调度 分布式任务处理 延迟任务处理 多个任务队列 如何实现不同的队列执行不同的任务 方法 在Celery的配置文件中设置任务队列 在定义任务时指定队列 启动worker并指定队列 原理 Celery通过定义不同的任务队列实现了不同队列执行不同任务的功能。 支持使用任务队列分类不同的任务以及优先策略任务队列与任务的关系是一对多的关系一个任务可以在多个队列中运行
