成都建设厅网站首页,营销推广方案案例,中铁建设门户加长版,网易暴雪最新消息Day20-磁盘管理 1. cut 切:2. 磁盘历史和内外部物理结构介绍2.1 磁盘发展趋势和实现措施2.2 磁盘知识的体系结构2.3 机械磁盘的外部结构2.4 SSD固态硬盘的外部结构2.5 固态硬盘内部结构2.6 缓存在服务器各硬件上的速度和大小对比另类维度图解#xff0c;从上到下由高速到低速从上到下由高速到低速量从小到大2.7 企业生产环境主流磁盘的相关信息对2.8 SATA 磁盘与 SAS 磁盘区别2.9 SSD 固态磁盘接口信息对比2.10 SSD 固态磁盘与传统机械磁盘优劣势对比2.11 企业生产工作中磁盘的选型2.11.1 企业级 SAS 硬盘2.11.2 企业级 SATA 硬盘:2.11.3 SSD 固态盘:2.11.4 磁盘选购小结: 2.12 特别注意:老男孩老师企业故障案例:09年2.13 淘宝网 CDN 缓存对象分级存储策略案例2.14 磁道track2.15. 扇区Sector2.16. 柱面Cylinder2.17 记忆要点 1. cut 切:
-d 指定分隔符awk -F -f 数字指定哪列多列可用逗号或- -c 按字符取内容
指定冒号为分隔符取第一列
cut -d: -f1 /etc/passwd取多列
cut -d : -f1,6,7 /etc/passwd取连续多列1-3列
cut -d : -f1-3 /etc/passwd取出的列带有分隔符??? 按字符取
[rootoldboy ~]# echo oldboy|cut -c 1-3 #取1-3个字符
old
[rootoldboy ~]# echo oldboy oldgirl|cut -c 1-3,8-10 #取1-3以及8-10字符
oldold
[rootoldboy ~]# echo oldboy oldgirl|cut -c 1-3,7-10
old old
[rootoldboy ~]# echo oldboy oldgirl|cut -c 1-3,7-
old oldgirl2. 磁盘历史和内外部物理结构介绍
2.1 磁盘发展趋势和实现措施
发展趋势实现措施体积更小存储密度更高速度更快读写更灵敏的磁头主轴转数更高接口更先进容量更大存储密度更高、介质更好使用更安全数据保持保护技术
2.2 磁盘知识的体系结构 2.3 机械磁盘的外部结构 2.4 SSD固态硬盘的外部结构 2.5 固态硬盘内部结构 2.6 缓存在服务器各硬件上的速度和大小对比另类维度图解从上到下由高速到低速量从小到大 2.7 企业生产环境主流磁盘的相关信息对
企业生产场景普及程度SASSSDSATA 单位容量对比性能和价格SSDSASSATA(一块 SSD和一块 SATA) 单位价格购买磁盘容量SATASASSSD
2.8 SATA 磁盘与 SAS 磁盘区别
协议方面: SATA(Serial Advanced Technology Attachment)串行高级技术附件SAS(Serial AttachedSCSI)串行 SCSI,SAS 是新一代 SCSI技术。 SAS 接口兼容 SATA实现 SAS 控制器直接操控SATA 硬盘。 速率方面: SAS 接口理论传输速度为12Gb/s(300-500MB/S)SATA 理论传输速度为6Gb/s(90-150MB/s)。 硬盘方面: SAS 硬盘内部盘面采用玻璃材料基板玻璃基板平整度高可实现高转速SAS硬盘转速有两种:10000或 15000转每分钟但玻材料存储密度低一般常见容量规格有300GB、600GB、900GB、1.2T、1.8T. SATA 硬盘内部采用盘面采用铝材料基板有点事存储密度高但材料表面平整度差,故 SATA 盘容量比较大常见容量有 1T、2T、4T、6T、8T、10T但转速较低有两种5400 转或 7200 转每分钟。
2.9 SSD 固态磁盘接口信息对比
磁盘接口速率用途SATA 固态6Gbps企业应用SAS 固态6Gbps企业应用msata固态6Gbps为超极本设计m.2 固态10-32Gbps笔记本电脑NVMEPCI-E 固态20-32Gbps传输协议通道 AHCI 2.10 SSD 固态磁盘与传统机械磁盘优劣势对比
项目固态磁盘传统机械磁盘容量较小大价格高低随机存取极快一般写入次数100-500W 次无限制盘内阵列可极难工作噪音无有工作温度极低较明显防震很好较差数据恢复难可以重量轻重
上表是对固态磁盘和传统磁盘特性的一个比较。从中可以看出固态盘的优势和缺点 重要优势:随机存取速度功耗防震重量方面优势很大特别是存取性能。 重要缺点:容量、价格、写如寿命数据恢复难。
2.11 企业生产工作中磁盘的选型
磁盘当前服务器市场主流磁盘为SAS、SATA、SSD硬盘。
2.11.1 企业级 SAS 硬盘
当下企业里常见SAS硬盘是10000转或15000转/分。当前主流 300G、600G、1T、1.8T、2.4T从具体的业务需求及性价比考虑老男孩老师在早期工作中多用 300G、600G、1T 的SAS 硬盘比如选 6*300G6*600G单盘容量不要太大除非纯备份!
单盘容量小*多块盘满足需求。
至少3块盘一组 1.5T 单盘 总容量 1.5T,不可以坏一块盘读速度1块盘速度。 6*300G raid5 总容量 1.5T可以坏一块盘。读速度小于6块之和。Web服务器 5*300G raid0 总容量 1.5T不可以坏一块盘。读速度6块之和。Web服务器、应用服务器(没有单点集群模式)缺点:维护麻烦。 10*300G raid10 总容量 1.5T可以坏2块盘。读速度 10 块之和。数据库服务器存储服务器 根据需求:性能、成本、冗余度
做好RAID满足容量的基础上尽量保持4块磁盘以上。
用途用于提供生产线上的普通对外提供服务的业务服务器: 例如:生产线上的数据库业务、存储业务、图片业务及相关高并发业务(web httpcache服务)总的来说如果没有特殊业务需求SAS磁盘是生产环境首选的的磁盘配置。
2.11.2 企业级 SATA 硬盘:
企业级 SATA 硬盘7200 转/分常见的容量为 1T 和 2T、4T、8T优点是经济实惠容量大从具体的业务需求及性价比考虑老男孩老师在工作中多用SATA 磁盘做线下不提供服务的数据存储或者并发业务访问不是很大的业务应用比如站点程序及数据库、图片的线下备份等。 特性容量性价比高一般2T的SATA 磁盘较佳。 选择 SATA 理由 1、没钱。 2、数据量少数据不需要给用户提供服务。 3、用于备份。 邮箱邮件:sata百度云盘:sata
2.11.3 SSD 固态盘:
特点容量小价格贵速度快。一般用于数据量小并且有超大规模高并发的业务(这不是唯一的办法还可以通过磁盘加内存缓存的技术方式解决这个大规模并发的问题) 数据库适合使用固态盘。 百度、腾讯、360 核心业务都会采用SSD磁盘应用层也必须做各种缓存。 大公司如 taobao某些业务可能会根据数据的热度来综合使用分层存储以达到性价比最佳的情况。80G SSD500GSATA
2.11.4 磁盘选购小结:
1线上业务用 SAS 磁盘比如常规业务Web 服务及应用服务。 2线下业务用 SATA磁盘备份数据给用户提供邮箱、下载(百度云) 3线上高并发、数据小容量的业务SSD磁盘比如数据库服务。 4成本控制思想:根据数据的访问热度智能分析分层存储。SATASSD
2.12 特别注意:老男孩老师企业故障案例:09年
不要用 SATA 磁盘来做在线高并发服务的数据存储或数据库业务这是血的教训的。 某公司采用 SATA 做数据库的存储盘结果导致数据库连续宕机一个月。 5 台服务器一堆 SATA 盘RAID5。 解决:重新买5台把磁盘从SATA(RAID5)换成SAS(RAID10)。6个月内没事数据库集群。 1、主库改选择用 SAS RAID10(写)从库 SAS Raid(读)。 2、数据库使用的引擎是 MySAM 引擎改成 Innodb 引擎。
2.13 淘宝网 CDN 缓存对象分级存储策略案例
提出问题: 在存储数据中18KB以下的对象数量占总数量的80%而其存储量占总量不到40%同时80%经常被访问的对象所占用的存储空间不到总量的20%。 分析问题: 以上的问题意味着“热点数据”(即访问频次高的内容)需要更快的性能而占的空间并不大而“冷数据”(访问频次低的内容)所需存储量很大对性能要求不需要高。 解决问题: 因此服务器引入分层存储机制单台服务器(实际会多台)的盘可由一块80GB的 SSD 磁盘和两块 500GB 的 SATA 盘组成。然后把“热数据”存放在 SSD 盘上“冷数据”存放在 SATA 盘上冷热数据可以动态调度从而兼顾性能、容量与成本。另分层存储调度软件由淘宝开发。 上面的策略是高效低成本方案这是我们运维工作需要重视的实际工作中不可能不考虑成本而无限制的去提升性能 2.14 磁道track
磁盘在格式化时被划分成许多同心圆这些同心圆的轨迹叫做磁道Track。磁道由盘面从外向内依次从0开始顺序编号。磁盘的每一个盘面一般有3001024个磁道有多个扇区组成的。磁道大小扇区大小*扇区数
2.15. 扇区Sector
盘面由圆心向四周画直线不同的磁道被直线分成许多扇形弧形的区域每个弧形的区域叫做扇区。每个扇区大小一般为512字节。扇区看起来就是圆弧或扇形。磁盘存放数据的最小单位。扇区是磁道上一段圆弧。
扇区三维地址的三个数字
扇区所在的磁头、磁道以及扇区号。存放数据的数据段专门存放数据。
2.16. 柱面Cylinder
柱面是相同半径不同盘面的磁道组成。柱面的编号和磁道编号一样。。0磁道组成的柱面叫做0柱面。柱面大小磁道大小*磁头数 为磁盘相关名词说明
英文:汉语Disk磁盘Head磁头Sector扇区Track磁道Cylinder柱面Units单元块(一个柱面的大小)Block数据块Inode索引书点
2.17 记忆要点
一块磁盘有2-14个盘片每个盘片有两个面每个面对应一个读写磁头用磁头号来区分盘面即盘面数就是磁头数盘片数*2磁头数盘面数。不同盘面的磁道被划分为多个扇形区域每个区域就是一个扇区Sector。同一个盘面以盘片中心为圆心每个不同半径的圆行轨迹就是一个磁道Track。不同盘面相同半径的磁道组成一个圆柱面就是柱面Cylinder。一个柱面包含多个磁道这些磁道的半径相同一个磁道包含多个扇区。数据信息记录可表示为某磁头某磁道柱面某扇区。
一句话概括 磁道 每个盘片有两个面都可记录信息。盘片表面以盘片中心为圆心用于记录数据的不同半径的圆形磁化轨迹就称为磁道。磁化轨迹是磁化区域是看不见的。磁道看起来是一个平面圆周形。 扇区: 盘面由圆心向四周画直线不同的磁道被直线分成许多扇形弧形的区域每个弧形的区域叫做扇区每个扇区大小一般为512字节扇区看起来就是圆弧或扇形。 柱面: 磁盘中不同的盘片或盘面相同半径的磁道轨迹从上到下所组成的圆柱型区域就称为柱面柱面看起来是一个圆柱形。
今天内容 问答题全是了解。。。没有重点 1.什么是Disk磁盘 2.机械磁盘哪些类型和接口 3.机械磁盘内部结构 4.固态磁盘接口类型 5.固态磁盘内部结构 6.什么是Head磁头 7.什么是磁道Track 8.什么是Sector扇区? 9.什么是柱面Cylinder 10.什么是Units单元块? (就是一个柱面的大小) 11.什么是Block 12.什么是Inode 13.生产环境如何选择磁盘类型 14.磁盘的容量计算。 15.磁盘读写数据的原理。
磁盘大小计算 方法1 磁盘大小柱面大小*柱面数 磁盘大小柱面大小*磁道数 柱面大小磁道大小*磁头数 磁盘大小磁道大小*磁头数磁道数 磁道大小扇区大小*扇区数 **磁盘大小512字节*扇区数*磁头数磁道数**
方法2 磁道大小扇区大小*扇区数 盘面大小磁道数*磁道大小 盘面大小磁道数*扇区大小*扇区数 磁盘大小盘面大小*磁头数 磁盘大小512字节*扇区数*磁头数*磁道数
磁盘容量的计算算法 每个盘片有两个面每个面有一个读写磁头因此一般我们习惯用磁头号来区分盘面。扇区磁道或柱面和磁头数构成了磁盘结构的基本参数通过这些参数可以得到磁盘的容量 基计算公式为 计算方法一 存储容量磁头数×磁道数或柱面数×每磁道的扇区数×每扇区的字节数 计算方法二 存储容量柱面大小每磁道的扇区数×每扇区的字节数×磁头数*柱面数(磁道数) 提示一块磁盘的磁道数和柱面数的数量是永远相等的。 举个生产环境MYSQL数据库的磁盘大小计算例子
[rootmysql-1-2 ~]# fdisk -l
Disk /dev/sda: 598.8 GB, 598879502336 bytes
255 heads, 63 sectors/track, 72809 cylindersUnits cylinders of 16065255*63 * 512 8225280 bytes#单元Units柱面单位255heads*63sectors/track 16065*512bytes 8225280bytes 盘面数*(每磁道扇区数)
#达到容量的磁盘这个数都是固定的目前测试1G以上是这个结果。
#总容量Units * 72809cylinders 8225280 bytes * 72809 598874411520bytes/(1000*1000)598874.41152M598.87441152G
#总容量柱面大小255heads磁头数*63sectors/track\*柱面数计算实践
[rootoldboy ~]# echo scale2;(63*512*255*1305)/1000000000.00|bc
10.73
[rootoldboy ~]# awk BEGIN{print (63*512*255*1305)/1000000000.00}
10.734
[rootoldboy ~]# echo 512 63 2610 255|awk {print $1*$2*$3*$4/1000000000}
21.468疑问不同磁道上的扇区大小看起来不一样大的。直观感觉越靠外面的磁道扇区越大。 可能有两个原因 1数据的存储密度在不同的磁道内可能不同。 2磁道间隙的密度可能不同外面小里面大。 3现代的硬盘技术更新很快分布算法已升级。
磁盘大小 方法1 512字节*扇区数/每磁道一个磁道的大小 512字节*扇区数*磁道数一个盘面的大小 512字节*扇区数*磁道数*磁头数磁盘的大小 磁盘的大小磁道数*磁头数*512字节*扇区数
磁盘显示 磁盘大小柱面数*柱面大小 磁盘大小磁道数*磁道大小*磁头数 磁盘大小磁道数*磁头数*512字节*扇区数
磁盘是机械式磁盘 1盘片的旋转靠马达带动主轴机械运动。 2磁头的径向移动也是靠步进电机来完成的机械运动。 3所有的磁头同时同向移动的。 磁盘再读写数据时尽可能让磁头不动或者少移动磁头就能读到更多或全部的数据 机械磁盘读写磁盘数据的原理小结: 1磁盘是按照柱面为单位读写数据的即先读取同一个盘面的某一个磁道读完之后如果数据没有读完磁头也不会切换其他的磁道而是选择切换磁头读取下一个盘面的相同半径的磁道直到所有盘面的相同半径的磁道读取完成之后如果数据还没有读写完成才会切换其他不同半径的磁道这个切换磁道的过程称为寻道。 2不同磁头间的切换是电子切换而不同磁道间的切换需要磁头做径向运动这个径向运动需要步进电机调节这个动作是机械的切换。 磁头寻道是机械运动切换磁头是电子切换。
今日内容 1.什么是Disk磁盘 2.机械磁盘哪些类型和接口 3.机械磁盘内部结构 4.固态磁盘接口类型 5.固态磁盘内部结构 6.什么是Head磁头 7.什么是磁道Track 8.什么是Sector扇区? 9.什么是柱面Cylinder 10.什么是Units单元块? (就是一个柱面的大小) 11.什么是Block 12.什么是Inode 13.生产环境如何选择磁盘类型 14.磁盘的容量计算。 15.磁盘读写数据的原理。
