制作网站 服务器配置,网页制作与网站开发从入门到精通 下载,网站域名选择,扬州高邮网站建设什么是计算、分布式计算#xff1f;
计算#xff1a;对数据进行处理#xff0c;使用统计分析等手段得到需要的结果 分布式计算#xff1a;多台服务器协同工作#xff0c;共同完成一个计算任务
分布式计算常见的2种工作模式
分散-汇总(MapReduce就是这种模式)中心调…什么是计算、分布式计算
·计算对数据进行处理使用统计分析等手段得到需要的结果 ·分布式计算多台服务器协同工作共同完成一个计算任务
分布式计算常见的2种工作模式
分散-汇总(MapReduce就是这种模式)中心调度-步骤执行大数据体系的Spark、Flink等是这种模式
hadoop分布式计算框架-MapReduce
MapReduce是“分散-汇总”模式的分布式计算框架可供开发人员开发相关程序进行分布式数据计算。 MapReduce提供了2个编程接口 ·Map ·Reduce 其中 ·Map功能接口提供了“分散”的功能由服务器分布式对数据进行处理 ·Reduce.功能接口提供了“汇总聚合”的功能将分布式的处理结果汇总统计 用户如需使用MapReduce框架完成自定义需求的程序开发 只需要使用Java、Python等编程语言实现Map Reduce.功能接口即可。 目前map reduce框架代码开发已经逐渐淘汰但由于hive分布式sql框架底层是map reduce实现的所以map reduce仍活跃在一线。 MapReduce是基于YARN运行的99%场景下map reduce都是集成在yarn集群中运行的
YARN的资源调度
YARN管控整个集群的资源进行调度那么应用程序在运行时就是在YARN的监管管理下去运行的。 这就像全部资源都是公司(YARN)的由公司分配给个人具体的程序去使用。 比如一个具体的MapReduce程序。 我们知道MapReduce程序会将任务分解为若干个Map任务和Reduce任务。 假设有一个MapReduce程序分解了3个Map任务和1个Reduce任务每个map任务需要2GB运行内存每个reduce任务需要4GB运行内存那么如何在YARN的监管管理下运行呢
map程序和reduce程序会告诉yarn所需的资源情况向yarn申请资源yarn则会根据资源情况分配具体的任务运行 YARN的核心架构
YARN,主从架构有2个角色 ·主(Master)角色ResourceManager 整个集群的资源调度者负责协调调度各个程序所需的资源。 ·从(Slave)角色NodeManager 单个服务器的资源调度者负责调度单个服务器上的资源提供给应用程序使用 如上图某个程序告知yarn我需要的资源情况yarn的resource manager查看资源情况并通知到node managernode manager会通过容器技术创建容器来占用对应的资源然后再分配具体的程序来运行。yarn能抢占资源及精准分配资源是通过容器技术实现的。
YARN辅助角色
YARN的架构中除了核心角色即 ·ResourceManager:集群资源总管家 ·NodeManager:单机资源管家 还可以搭配2个辅助角色使得YARN集群运行更加稳定 。代理服务器(ProxyServer):Web Application Proxy Web应用程序代理 。历史服务器(obHistoryServer):应用程序历史信息记录服务
Web应用代理(Web Application Proxy)
代理服务器即W2b应用代理是YARN的一部分。默认情况下它将作为资源管理器(RM)的一部分运行但是可以配置为在独立模式下运行。使用代理的原 因是为了减少通过YARN进行基于网络的攻击的可能性。 这是因为YARN在运行时会提供一个WEB UI站点同HDFS的WEB UIS站点一样可供用户在浏览器内查看YARN的运行信息 对外提供WEB站点会有安全性问题而代理服务器的功能就是最大限度保障对WEB UIE的访问是安全的。比如
警告用户正在访问一个不受信任的站点剥离用户访问的Cookie等
代理服务器默认集成在了ResourceManager中 也可以将其分离出来单独启动如果要分离代理服务器
在yarn-site.xml中配置yarn.web-proxy.address参数即可部署环节会使用到
2.并通过命令启动它即可$HADOOP_YARN_HOME/sbin/yarn-daemon.sh start proxyserver
JobHistoryServer历史服务器
历史服务器的功能很简单记录历史运行的程序的信息以及产生的日志并提供WEBU站点供用户使用浏览器查看。它可以收集各个服务器的日志数据并统一汇总到hdfs上方便用户查看
开启历史服务器需要配置 开启日志聚合允许从容器中抓取日志到hdfs中集中存储 配置历史服务器端口和主机
