网站建设文献综述范文,旅游商务网站开发,个人怎么交社保,学校网站建设实训总结戳蓝字“CSDN云计算”关注我们哦#xff01;当前世界形势千变万化#xff0c;各种技术创新层出不穷#xff0c;新兴业务模式也是波谲云诡#xff0c;企业的信息化建设如何紧跟业务#xff0c;适应业务乃至驱动业务转型是各级管理者的头等题目。对于底层执行者#xff0c;… 戳蓝字“CSDN云计算”关注我们哦当前世界形势千变万化各种技术创新层出不穷新兴业务模式也是波谲云诡企业的信息化建设如何紧跟业务适应业务乃至驱动业务转型是各级管理者的头等题目。对于底层执行者如何能够快速满足企业的要求如何紧跟当前业界技术发展趋势对其也提出了明确且紧张的学习要点。对于企业业务发展所适配技术而言根据时间发展技术更新络绎不绝涌现了多种经典组合。早期是单台设备PC Server加上操作系统Linux、Windows等直接运行没有什么高可用的概念数据直接存放到服务器磁盘上数据保护方式和技术更是简陋。在企业发展中期技术便涌现了许多选择更因为单台硬件设备能容纳的资源越来越多最恰当得解释便是摩尔定律出现了各种虚拟化技术包括UNIX虚拟化技术例如PowerVM、vPar等非常好用基于Linux的虚拟化技术KVM、XEN、ESXI等基于Windows的虚拟化技术Hyper-v等存储更是诞生了各种集中存储技术IBM DS、EMC VMAX、HP EVA等这些技术为企业业务的发展保驾护航无后顾之忧。后期企业业务发展不甚明了各种成本的投入产出比ROI要求更加严格此时急切需要“物美价廉”的技术为发展“添砖加瓦”。基于IAAS的云计算产品组合OpenStackCeph基于PAAS的云计算产品组合DockerKubernetesCephGlusterfs等都构成了某些层级的事实性标准这些组合为业务发展循环不断贡献力量。从技术角度分类其中包含两个方面计算和存储计算是解决运行时的问题把业务形式进行串联使其运转更加高效。存储是解决状态保持的问题需把业务语言翻译成计算机语言然后进行加工并保存分析使其产生巨大价值甚者更是可以驱动业务。今天我们要讨论的就是如何利用这个价值价值是如何接入的又是如何反馈的。在经过多种类Ceph、GlusterFS和HDFS和多维度选型之后我们选择以Ceph为基础进行云存储建设。在分析了业务特点和使用场景后也确定了要自开发的功能。愿景是将云存储建设成为一站式服务平台所有与数据相关得服务均可在该平台完成也包括存储空间的生命周期流转实现有求即有来之即用用完即走得愿景。如下从基础设施层面我们首先对存储集群节点之间的连通性进行优化。从存储节点的物理分布上要尽可能分散在不同的机柜中避免因为单机柜掉电影响存储对外提供服务其次存储节点应连接到同一层级的交换机上链路越长经过节点越多出问题可能性越高性能也越差。同时要充分考虑存储的主要应用场景和平台尽量将它们与存储放在同一C段保证最优。第三连接管道要足够粗存储节点和交换机全部做成聚合存储节点不同网卡不同端口捆绑成bond4模式保证出现问题时不影响服务。交换机与之相连端口也需要做成捆绑否则会形成回路造成网络风暴。如果希望增大存储吞吐量还需要设置网络包的巨型帧。项目可能出现的所有问题一定要扼杀在摇篮里否则墨菲定律会被一次又一次被证明。例如网络连接为什么要用bond4模式而没用bond1呢在网络连接出现问题时bond1模式在节点空载情况下是不丢包的但是在高负载情况下一般会丢1-2个包再加上软件系统出错进行纠正的时间即使有应用系统的重试机制SLO也是无法满足的所以bond1是不够的。在存储物理架构上存储集群实现了3monitorNOSD2client的建设形式实现角色隔离功能分离互不影响。3个monitor节点配置有monitor和mgr服务作为存储的大脑和监控使用。在N数量可以线性扩展所以未明确个OSD节点上进行了一些优化首先是磁盘的IO调度策略上。SSD磁盘采用NOOP IO调度策略NOOP遵循先入先出FIFO原则对请求进行了简单的队列处理NOOP对bio进行了后向合并最大程度保证相邻bio进行合并处理提高了效率。SAS磁盘采用默认的DeadLine IO调度策略Deadline调度策略对读和写进行区分执行FIFO策略每个请求会被分配一个时间戳在读优先的情况下可以知道哪个写请求已经长时间没有被调度进行优先调度避免了写饿死的情况发生。其次基于存储的读写策略设置我们进行了OSD硬盘类型的混插SSD硬盘和SAS硬盘按照12的比例配置保证每次读操作都落在性能较好的SSD硬盘上同时每次写操作也会相应提高效率。第三我们对读、写缓存和bluestore缓存进行了优化增加了预读缓存、写缓存和bluestore缓存的大小对整体性能表现提高很多。以下是预读缓存大小的一个性能测试第四我们对Bucket index进行了重新配置修改crushmap将其全部放置在ssd高速磁盘上。单个桶索引大概是200 bytes当单个桶存放大量对象数据时索引不进行单独分离或存放在高速磁盘上会造成性能下降。因此我们对crushmap进行导出反编译修改、重新编译注入操作使索引全部放置到ssd磁盘上减少延迟提高性能。最后我们为存储设计了一个网关由两个节点组成将我们的使用场景和存储本身完全解耦即使存在配置失误或损坏完全不会影响整个存储的健壮性和数据完整性。在网关节点上安装了Ceph rgw、Nginx和Pacemaker。由于业务对全局共享文件系统读写得需求需利用高可用软件管理文件系统并对外暴露供多个容器对同一文件系统进行挂载读写数据。所以我们选择Pacemaker高可用软件对外提供唯一IP地址保证服务唯一可访问性。众所周知rgw单实例在可用性、扩展性和性能上存在低效问题所以我们利用Nginx负载均衡改善效果。我们对外提供三种类型的基础存储服务即对象存储、块存储、全局共享存储。在存储性能优化设计方面我们大概做了以上五点。当然还有一些小的优化在这里就不详细介绍了比如TCMalloc参数调整ulimit参数调整kernel pid_max参数调整等。在存储数据保护方面我们应用了Ceph原生的multisite数据同步技术。在同城另一个机房建立一套分布式存储作为主机房分布式存储的备份。两机房间通过10GB数据专线进行连接保证数据传输带宽。在设计和实施上没有进行特别优化基本根据社区要求进行。这里我想重点说一下multisite的后期运行和维护问题。在上线后multisite的运行中我们发现大部分桶中的数据是实时进行同步的在主从存储中基本一致但是少部分桶数据不是实时同步的而且有可能会相差很大。为此我们在运维平台上专门设计了一个功能用以实现文件同步状态的检查并且当单桶对象文件数量在主从存储端差异量10时会自动触发数据同步从而保证了数据的安全性和完整性。从存储适配方面我们根据S3 API开发了一整套完整功能的、适用我们的crud API和SDK包括对象存储和块存储。其中对象存储API直接开放给开发人员使用支持文件以目录形式进行存储。块存储API开放给容器云平台在容器云平台可以直接操作云存储块设备进行创建、查看和删除等操作。同时针对金融行业的特点我们自研了文件加密功能与上传下载FTP和SFTP功能。对于文件加密功能金融行业涉及很多资质文件、身份证和银行卡信息所以为了符合监管要求必须要进行加密。在开发加密功能的过程中我们调研了两种方法一种是开启https进行加密rgw_crypt_require_ssl值默认设置为true利用openssl生成crt和key证书然后加载到ceph.conf的rgw_frontends选项中同时需要在API加载该私钥证书予以生效。第二种方法是关闭rgw_crypt_require_ssl不启用https加密而是在http下采用Server-side Encryption官方文档有明确说明http://docs.ceph.com/docs/master/radosgw/encryption/根据Amazon SSE-C规范在S3中实现。在调研了两种方法之后我们选择了第二种方式实现。因为业务场景要求我们利用开源的Apache Commons VFS和Ftp Server自研了FTP和SFTP Server功能连接对象存储和文件系统。在访问入口处部署了路由功能让广大商户有选择的从存储某区域上传下载文件最终达到控制用户使用哪种协议FTP或SFTP在哪些区域文件系统或桶进行指定操作上传或下载的目的。在管理便捷性方面我们开发了云存储管理平台在该平台上可以很便捷的为用户创建FTPSFTP服务登录用户赋权上传或下载。支持在线浏览文件内容下载文件。开发了静态资源托管的功能在创建静态资源桶的时候会利用我们开发的API自动将桶设置为公共读然后使用API或云存储管理平台上传HTML、CSS、JS等文件支持单个文件和zip包上传。存储桶具备健康检查功能方便开发人员自测。支持Ceph用户属性查看和配置支持桶属性和配额的在线查看和配置。另外一个最重要功能是自服务功能。众所周知云计算的要义是在线横向扩展功能全面自服务。我们的自服务支持存储的申请自动创建自动扩容等配置存储形成的工单可以显示审批状态审批中、完成、被驳回创建和扩容存储支持按用户要求设置quota根据需求扩展。以上介绍了我们建设云存储的一点技术历程下面对我们建设云存储的一些心路历程进行一些总结。首先上级的支持。其包括人员和资源的支持也包括项目进度与范围的控制审视这些都是非常重要的。例如良好完备的人员配置。我们的项目由一个项目负责人总体负责把控项目进度和需求两个开发人员负责程序前后端开发两个运维人员负责基础设施运维、需求收集和功能测试一个项目管理师负责辅助项目的进度安排构成其中角色包括开发、运维、需求、项目管理、测试一一齐全这让项目能够顺利有序开展如虎添翼。其次项目成员的团结协作。在Google SRE的书里形容运维和开发之间的关系是”regid boundaries are couterproductive”但在我们项目里开发同事从来没有因为害怕增加工作量而不推卸功能实现相反而是积极提出并实现某些新功能每个人都尽职尽责多做一丝。项目管理师在其他部门参加会议时听到关于可能会使用云存储的需求时会主动推荐云存储并跟踪需求最终使其数据全部上云。这样即帮助兄弟部门又很好的推介云存储一举两得。第三用户的支持。用户是产品的最终使用者是一个产品好坏的定论者是一个产品成功推广使用的推介者。我们需要将产品推广给尽可能多的用户使用发现其中的问题进行修改补充再发布从而形成一个良性循环。在公司内部发动所有人通过各种渠道和会议不断的宣传云存储是什么它的优势它的特点。用户支持才是战胜波特五力的根本。第四详细完备的解决方案。在进行产品推广时需要有一个完善的解决方案使其形成闭环生态。对于我们云存储而言需要提供数据接入接口、数据高效运行平台、数据安全存放技术、数据灾难备份方案等使用户不为业务外的任何事情担心。 文章转自云技术实践1.微信群添加小编微信color_ld备注“进群姓名公司职位”即可加入【云计算学习交流群】和志同道合的朋友们共同打卡学习2.征稿投稿邮箱liudancsdn.net微信号color_ld。请备注投稿姓名公司职位。推荐阅读程序员怒了阿里 Antd 圣诞彩蛋害我被离职了云计算到底是怎么玩的面向对象编程再见AI女性界的“扛把子”凭一己之力迫使NIPS改名00后也会「玩」区块链你对「朝阳」行业焦虑啥 | 圣诞特辑20k~65k, 2018年最后一波热门技术岗位, 立刻投简历, 跳槽才是加薪的捷径可替代Android的6大开源移动操作系统程序员求助被领导强行要求写Bug该怎么办网友的回答让我笑翻点击“阅读原文”打开 CSDN App 阅读更贴心喜欢就点击“好看”吧
