私募基金网站开发流程图,简单免费模板,东平房产网,分发平台Hadoop实战1 Hadoop简介1.1 什么是Hadoop1.1.1 Hadoop概述1.1.2 Hadoop的历史1.1.3 Hadoop的功能与作用1.1.4 Hadoop的优势1.1.5 Hadoop的应用现状和发展趋势1.2 Hadoop项目及其结构1.3 Hadoop的体系结构1.3.1 HDFS的体系结构1.3.2 MapReduce的体系结构1.4 Hadoop与分布式开发1…Hadoop实战1 Hadoop简介1.1 什么是Hadoop1.1.1 Hadoop概述1.1.2 Hadoop的历史1.1.3 Hadoop的功能与作用1.1.4 Hadoop的优势1.1.5 Hadoop的应用现状和发展趋势1.2 Hadoop项目及其结构1.3 Hadoop的体系结构1.3.1 HDFS的体系结构1.3.2 MapReduce的体系结构1.4 Hadoop与分布式开发1.5 Hadoop计算模型—MapReduce1.6 Hadoop的数据管理1.6.1 HDFS的数据管理1.6.2 HBase的数据管理1.6.3 Hive的数据管理1.7 小结2 Hadoop的安装与配置2.1 在Linux上安装与配置Hadoop2.1.1 安装JDK 1.62.1.2 配置SSH免密码登录2.1.3 安装并运行Hadoop2.2 在Windows上安装与配置Hadoop2.2.1 安装Cygwin2.2.2 配置环境变量2.2.3 安装和启动sshd服务2.2.4 配置SSH免密码登录2.3 安装和配置Hadoop集群2.3.1 网络拓扑2.3.2 定义集群拓扑2.3.3 建立和安装Cluster2.4 日志分析及几个小技巧2.5 小结3 Hadoop应用案例分析3.1 Hadoop在Yahoo的应用3.2 Hadoop在eBay的应用3.3 Hadoop在百度的应用3.4 Hadoop在Facebook的应用3.5 Hadoop平台上的海量数据排序3.6 小结4 MapReduce计算模型4.1 为什么要用MapReduce4.2 MapReduce计算模型4.2.1 MapReduce Job4.2.2 Hadoop中的Hello World程序4.2.3 MapReduce的数据流和控制流4.3 MapReduce任务的优化4.4 Hadoop流4.4.1 Hadoop流的工作原理4.4.2 Hadoop流的命令4.4.3 实战案例添加Bash程序和Python程序到Hadoop流中4.5 Hadoop Pipes4.6 小结5 开发MapReduce应用程序5.1 系统参数的配置5.2 配置开发环境5.3 编写MapReduce程序5.3.1 Map处理5.3.2 Reduce处理5.4 本地测试5.5 运行MapReduce程序5.5.1 打包5.5.2 在本地模式下运行5.5.3 在集群上运行5.6 网络用户界面5.6.1 JobTracker页面5.6.2 工作页面5.6.3 返回结果5.6.4 任务页面5.6.5 任务细节页面5.7 性能调优5.8 MapReduce工作流5.8.1 将问题分解成MapReduce工作5.8.2 运行相互依赖的工作5.9 小结6 MapReduce应用案例6.1 单词计数6.1.1 实例描述6.1.2 设计思路6.1.3 程序代码6.1.4 代码解读6.1.5 程序执行6.1.6 代码结果6.2 数据去重6.2.1 实例描述6.2.2 设计思路6.2.3 程序代码6.3 排序6.3.1 实例描述6.3.2 设计思路6.3.3 程序代码6.4 单表关联6.4.1 实例描述6.4.2 设计思路6.4.3 程序代码6.5 多表关联6.5.1 实例描述6.5.2 设计思路6.5.3 程序代码6.6 小结7 MapReduce工作机制7.1 MapReduce作业的执行流程7.1.1 MapReduce任务的执行总流程7.1.2 提交作业7.1.3 初始化作业7.1.4 分配任务7.1.5 执行任务7.1.6 更新任务执行进度和状态7.1.7 完成作业7.2 错误处理机制7.2.1 硬件故障7.2.2 任务失败7.3 作业调度机制7.4 shuffle和排序7.4.1 map端7.4.2 reduce端7.4.3 shuffle过程的优化7.5 任务执行7.5.1 推测式执行7.5.2 任务JVM重用7.5.3 跳过坏记录7.5.4 任务执行环境7.6 小结8 Hadoop I/O操作8.1 I/O操作中的数据检查8.2 数据的压缩8.2.1 Hadoop对压缩工具的选择8.2.2 压缩分割和输入分割8.2.3 在MapReduce程序中使用压缩8.3 数据的I/O中序列化操作8.3.1 Writable类8.3.2 实现自己的Hadoop数据类型8.4 针对MapReduce的文件类8.4.1 SequenceFile类8.4.2 MapFile类8.5 小结9 HDFS详解9.1 Hadoop的文件系统9.2 HDFS简介9.3 HDFS体系结构9.3.1 HDFS的相关概念9.3.2 HDFS的体系结构9.4 HDFS的基本操作9.4.1 HDFS的命令行操作9.4.2 HDFS的Web界面9.5 HDFS常用Java API详解9.5.1 使用Hadoop URL读取数据9.5.2 使用FileSystem API读取数据9.5.3 创建目录9.5.4 写数据9.5.5 删除数据9.5.6 文件系统查询9.6 HDFS中的读写数据流9.6.1 文件的读取9.6.2 文件的写入9.6.3 一致性模型9.7 HDFS命令详解9.7.1 通过distcp进行并行复制9.7.2 HDFS的平衡9.7.3 使用Hadoop归档文件9.7.4 其他命令9.8 小结10 Hadoop的管理10.1 HDFS文件结构10.2 Hadoop的状态监视和管理工具10.2.1 审计日志10.2.2 监控日志10.2.3 Metrics10.2.4 Java管理扩展10.2.5 Ganglia10.2.6 Hadoop管理命令10.3 Hadoop集群的维护10.3.1 安全模式10.3.2 Hadoop的备份10.3.3 Hadoop的节点管理10.3.4 系统升级10.4 小结11 Hive详解11.1 Hive简介11.1.1 Hive的数据存储11.1.2 Hive的元数据存储11.2 Hive的基本操作11.2.1 在集群上安装Hive11.2.2 配置Hive11.3 Hive QL详解11.3.1 数据定义(DDL)操作11.3.2 数据操作(DML)11.3.3 SQL操作11.3.4 Hive QL的使用实例11.4 Hive的网络(WebUI)接口11.5 Hive的JDBC接口11.6 Hive的优化11.7 小结12 HBase详解12.1 HBase简介12.2 HBase的基本操作12.2.1 HBase的安装12.2.2 运行HBase12.2.3 HBase Shell12.2.4 HBase配置12.3 HBase体系结构12.4 HBase数据模型12.4.1 数据模型12.4.2 概念视图12.4.3 物理视图12.5 HBase与RDBMS12.6 HBase与HDFS12.7 HBase客户端12.8 Java API12.9 HBase编程实例之MapReduce12.10 模式设计12.10.1 学生表12.10.2 事件表12.11 小结13 Mahout详解13.1 Mahout简介13.2 Mahout的安装和配置13.3 Mahout API简介13.4 Mahout中的聚类和分类13.4.1 什么是聚类和分类13.4.2 Mahout中的数据表示13.4.3 将文本转化成向量13.4.4 Mahout中的聚类、分类算法13.4.5 算法应用实例13.5 Mahout应用建立一个推荐引擎13.5.1 推荐引擎简介13.5.2 使用Taste构建一个简单的推荐引擎13.5.3 简单分布式系统下基于产品的推荐系统简介13.6 小结14 Pig详解14.1 Pig简介14.2 Pig的安装和配置14.2.1 Pig的安装条件14.2.2 Pig的下载、安装和配置14.2.3 Pig运行模式14.3 Pig Latin语言14.3.1 Pig Latin语言简介14.3.2 Pig Latin的使用14.3.3 Pig Latin的数据类型14.3.4 Pig Latin关键字14.4 用户定义函数14.4.1 编写用户定义函数14.4.2 使用用户定义函数14.5 Pig实例14.5.1 Local模式14.5.2 MapReduce模式14.6 Pig进阶14.6.1 数据实例14.6.2 Pig数据分析14.7 小结15 ZooKeeper详解15.1 ZooKeeper简介15.1.1 ZooKeeper的设计目标15.1.2 数据模型和层次命名空间15.1.3 ZooKeeper中的节点和临时节点15.1.4 ZooKeeper的应用15.2 ZooKeeper的安装和配置15.2.1 在集群上安装ZooKeeper15.2.2 配置ZooKeeper15.2.3 运行ZooKeeper15.3 ZooKeeper的简单操作15.3.1 使用ZooKeeper命令的简单操作步骤15.3.2 ZooKeeper API的简单使用15.4 ZooKeeper的特性15.4.1 ZooKeeper的数据模型15.4.2 ZooKeeper会话及状态15.4.3 ZooKeeper Watches15.4.4 ZooKeeper ACL15.4.5 ZooKeeper的一致性保证15.5 ZooKeeper的Leader选举15.6 ZooKeeper锁服务15.6.1 ZooKeeper中的锁机制15.6.2 ZooKeeper提供的一个写锁的实现15.7 使用ZooKeeper创建应用程序15.8 小结16 Avro详解16.1 Avro简介16.1.1 模式声明16.1.2 数据序列化16.1.3 数据排列顺序16.1.4 对象容器文件16.1.5 协议声明16.1.6 协议传输格式16.1.7 模式解析16.2 Avro的C/C实现16.3 Avro的Java实现16.4 GenAvro(Avro IDL)语言16.5 Avro SASL概述16.6 小结17 Chukwa详解17.1 Chukwa简介17.2 Chukwa架构17.2.1 客户端(Agent)及其数据模型17.2.2 收集器(Collector)和分离解析器(Demux)17.2.3 HICC17.3 Chukwa的可靠性17.4 Chukwa集群搭建17.4.1 基本配置要求17.4.2 安装Chukwa17.5 Chukwa数据流的处理17.6 Chukwa与其他监控系统比较17.7 小结18 Hadoop的常用插件与开发18.1 Hadoop Studio简介和使用18.1.1 Hadoop Studio的安装和配置18.1.2 Hadoop Studio的使用举例18.2 Hadoop Eclipse简介和使用18.2.1 Hadoop Eclipse安装和配置18.2.2 Hadoop Eclipse的使用举例18.2.3 Hadoop Eclipse插件开发18.3 Hadoop Streaming简介和使用18.3.1 Hadoop Streaming的使用举例18.3.2 使用Hadoop Streaming时常见的问题18.4 Hadoop Libhdfs简介和使用18.4.1 Hadoop Libhdfs安装和配置18.4.2 Hadoop Libhdfs API简介18.4.3 Hadoop Libhdfs的使用举例18.5 小结附录A 云计算在线检测平台A.1 平台介绍A.2 结构和功能A.2.1 前台用户接口的结构和功能A.2.2 后台程序运行的结构和功能A.3 检测流程A.4 使用A.4.1 功能使用A.4.2 返回结果介绍A.4.3 使用注意事项A.5 小结思维导图防止博客图床图片失效防止图片源站外链思维导图在线编辑链接
