返回首页
当前位置: 主页 > Linux书籍下载 >

HADOOP实战(中文第二版)pdf清晰完整电子版

官方网站:http:// 软件热度: 报告:报告问题
软件介绍

HADOOP实战(中文第二版)介绍

有人书这本书是hadoop实战这本书是进行Hadoop学习的不二之选,让读者可以从一个初学者逐步深入;但 也有人觉得hadoop实战这本书虽然讲了很多Hadoop的框架,但是都讲得不够透彻,有的地方还有一些错误;有人说这本书也适合有一定基础的用户加深 进步了解;但也有人觉这本书很“臃肿”,对于有Hadoop基础的人来说,看看Hadoop权威指南或许会更好……仁者见仁智者见智,小编要说的是本节内 容东坡小编为大家整理带来的是一份pdf格式清晰完整电子版中文第二版HADOOP实战,需要查阅这本书的朋友点击本文相应的下载地址进行下载即可查阅!

hadoop实战第2版目录

前言

第1章 Hadoop简介/1

1.1 什么是Hadoop/2

1.1.1 Hadoop概述/2

1.1.2 Hadoop的历史/2

1.1.3 Hadoop的功能与作用/2

1.1.4 Hadoop的优势/3

1.1.5 Hadoop应用现状和发展趋势/3

1.2 Hadoop项目及其结构/3

1.3 Hadoop体系结构/6

1.4 Hadoop与分布式开发/7

1.5 Hadoop计算模型—MapReduce/10

1.6 Hadoop数据管理/10

1.6.1 HDFS的数据管理/10

1.6.2 HBase的数据管理/12

1.6.3 Hive的数据管理/13

1.7 Hadoop集群安全策略/15

1.8 本章小结/17

第2章 Hadoop的安装与配置/19

2.1 在Linux上安装与配置Hadoop/20

2.1.1 安装JDK 1.6/20

2.1.2 配置SSH免密码登录/21

2.1.3 安装并运行Hadoop/22

2.2 在Mac OSX上安装与配置Hadoop/24

2.2.1 安装Homebrew/24

2.2.2 使用Homebrew安装Hadoop/25

2.2.3 配置SSH和使用Hadoop/25

2.3 在Windows上安装与配置Hadoop/25

2.3.1 安装JDK 1.6或更高版本/25

2.3.2 安装Cygwin/25

2.3.3 配置环境变量/26

2.3.4 安装sshd服务/26

2.3.5 启动sshd服务/26

2.3.6 配置SSH免密码登录/26

2.3.7 安装并运行Hadoop/26

2.4 安装和配置Hadoop集群/27

2.4.1 网络拓扑/27

2.4.2 定义集群拓扑/27

2.4.3 建立和安装Cluster /28

2.5 日志分析及几个小技巧/34

2.6 本章小结/35

第3章 MapReduce计算模型/36

3.1 为什么要用MapReduce/37

3.2 MapReduce计算模型/38

3.2.1 MapReduce Job/38

3.2.2 Hadoop中的Hello World程序/38

3.2.3 MapReduce的数据流和控制流/46

3.3 MapReduce任务的优化/47

3.4 Hadoop流/49

3.4.1 Hadoop流的工作原理/50

3.4.2 Hadoop流的命令/51

3.4.3 两个例子/52

3.5 Hadoop Pipes/54

3.6 本章小结/56

第4章 开发MapReduce应用程序/57

4.1 系统参数的配置/58

4.2 配置开发环境/60

4.3 编写MapReduce程序/60

4.3.1 Map处理/60

4.3.2 Reduce处理/61

4.4 本地测试/62

4.5 运行MapReduce程序/62

4.5.1 打包/64

4.5.2 在本地模式下运行/64

4.5.3 在集群上运行/64

4.6 网络用户界面/65

4.6.1 JobTracker页面/65

4.6.2 工作页面/65

4.6.3 返回结果/66

4.6.4 任务页面/67

4.6.5 任务细节页面/67

4.7 性能调优/68

4.7.1 输入采用大文件/68

4.7.2 压缩文件/68

4.7.3 过滤数据/69

4.7.4 修改作业属性/71

4.8 MapReduce工作流/72

4.8.1 复杂的Map和Reduce函数/72

4.8.2 MapReduce Job中全局共享数据/74

4.8.3 链接MapReduce Job/75

4.9 本章小结/77

第5章 MapReduce应用案例/79

5.1 单词计数/80

5.1.1 实例描述/80

5.1.2 设计思路/80

5.1.3 程序代码/81

5.1.4 代码解读/82

5.1.5 程序执行/83

5.1.6 代码结果/83

5.1.7 代码数据流/84

5.2 数据去重/85

5.2.1 实例描述/85

5.2.2 设计思路/86

5.2.3 程序代码/86

5.3 排序/87

5.3.1 实例描述/87

5.3.2 设计思路/88

5.3.3 程序代码/89

5.4 单表关联/91

5.4.1 实例描述/91

5.4.2 设计思路/92

5.4.3 程序代码/92

5.5 多表关联/95

5.5.1 实例描述/95

5.5.2 设计思路/96

5.5.3 程序代码/96

5.6 本章小结/98

第6章 MapReduce工作机制/99

6.1 MapReduce作业的执行流程/100

6.1.1 MapReduce任务执行总流程/100

6.1.2 提交作业/101

6.1.3 初始化作业/103

6.1.4 分配任务/104

6.1.5 执行任务/106

6.1.6 更新任务执行进度和状态/107

6.1.7 完成作业/108

6.2 错误处理机制 /108

6.2.1 硬件故障/109

6.2.2 任务失败/109

6.3 作业调度机制/110

6.4 Shuffle和排序/111

6.4.1 Map端/111

6.4.2 Reduce端/113

6.4.3 shuffle过程的优化/114

6.5 任务执行/114

6.5.1 推测式执行/114

6.5.2 任务JVM重用/115

6.5.3 跳过坏记录/115

6.5.4 任务执行环境/116

6.6 本章小结/117

第7章 Hadoop I/O操作/118

7.1 I/O操作中的数据检查/119

7.2 数据的压缩 /126

7.2.1 Hadoop对压缩工具的选择/126

7.2.2 压缩分割和输入分割/127

7.2.3 在MapReduce程序中使用压缩/127

7.3 数据的I/O中序列化操作/128

7.3.1 Writable类/128

7.3.2 实现自己的Hadoop数据类型/137

7.4 针对Mapreduce的文件类/139

7.4.1 SequenceFile类/139

7.4.2 MapFile类/144

7.4.3 ArrayFile、SetFile和BloomMapFile/146

7.5 本章小结/148

第8章 下一代MapReduce:YARN/149

8.1 MapReduce V2设计需求/150

8.2 MapReduce V2主要思想和架构/151

8.3 MapReduce V2设计细节/153

8.4 MapReduce V2优势/156

8.5 本章小结/156

第9章 HDFS详解/157

9.1 Hadoop的文件系统/158

9.2 HDFS简介/160

9.3 HDFS体系结构/161

9.3.1 HDFS的相关概念/161

9.3.2 HDFS的体系结构/162

9.4 HDFS的基本操作/164

9.4.1 HDFS的命令行操作/164

9.4.2 HDFS的Web界面/165

9.5 HDFS常用Java API详解/166

9.5.1 使用Hadoop URL读取数据/166

9.5.2 使用FileSystem API读取数据/167

9.5.3 创建目录/169

9.5.4 写数据/169

9.5.5 删除数据/171

9.5.6 文件系统查询/171

9.6 HDFS中的读写数据流/175

9.6.1 文件的读取/175

9.6.2 文件的写入/176

9.6.3 一致性模型/178

9.7 HDFS命令详解/179

9.7.1 通过distcp进行并行复制/179

9.7.2 HDFS的平衡/180

9.7.3 使用Hadoop归档文件/180

9.7.4 其他命令/183

9.8 WebHDFS/186

9.8.1 WebHDFS的配置/186

9.8.2 WebHDFS命令/186

9.9 本章小结/190

第10章 Hadoop的管理/191

10.1 HDFS文件结构/192

10.2 Hadoop的状态监视和管理工具/196

10.2.1 审计日志/196

10.2.2 监控日志/196

10.2.3 Metrics/197

10.2.4 Java管理扩展 /199

10.2.5 Ganglia/200

10.2.6 Hadoop管理命令/202

10.3 Hadoop集群的维护/206

10.3.1 安全模式/206

10.3.2 Hadoop的备份/207

10.3.3 Hadoop的节点管理/208

10.3.4 系统升级/210

10.4 本章小结/212

第11章 Hive详解/213

11.1 Hive简介/214

11.1.1 Hive的数据存储/214

11.1.2 Hive的元数据存储/216

11.2 Hive的基本操作/216

11.2.1 在集群上安装Hive/216

11.2.2 配置MySQL存储Hive元数据/218

11.2.3 配置Hive/220

11.3 Hive QL详解/221

11.3.1 数据定义(DDL)操作/221

11.3.2 数据操作(DML)/231

11.3.3 SQL操作/233

11.3.4 Hive QL使用实例/235

11.4 Hive网络(Web UI)接口/237

11.4.1 Hive网络接口配置/237

11.4.2 Hive网络接口操作实例/238

11.5 Hive的JDBC接口//241

11.5.1 eclipse环境配置/241

11.5.2 程序实例/241

11.6 Hive的优化/244

11.7 本章小结/246

第12章 HBase详解/247

12.1 HBase简介/248

12.2 HBase的基本操作/249

12.2.1 HBase的安装/249

12.2.2 运行HBase /253

12.2.3 HBase Shell/255

12.2.4 HBase配置/258

12.3 HBase体系结构/260

12.3.1 HRegion/260

12.3.2 HRegion服务器/261

12.3.3 HBase Master服务器/262

12.3.4 ROOT表和META表/262

12.3.5 ZooKeeper/263

12.4 HBase数据模型/263

12.4.1 数据模型/263

12.4.2 概念视图/264

12.4.3 物理视图/264

12.5 HBase与RDBMS/265

12.6 HBase与HDFS/266

12.7 HBase客户端/266

12.8 Java API /267

12.9 HBase编程 /273

12.9.1 使用Eclipse开发HBase应用程序/273

12.9.2 HBase编程/275

12.9.3 HBase与MapReduce/278

12.10 模式设计/280

12.10.1 模式设计应遵循的原则/280

12.10.2 学生表/281

12.10.3 事件表/282

12.11 本章小结/283

第13章 Mahout详解/284

13.1 Mahout简介/285

13.2 Mahout的安装和配置/285

13.3 Mahout API简介/288

13.4 Mahout中的频繁模式挖掘/290

13.4.1 什么是频繁模式挖掘/290

13.4.2 Mahout中的频繁模式挖掘/290

13.5 Mahout中的聚类和分类/292

13.5.1 什么是聚类和分类/292

13.5.2 Mahout中的数据表示/293

13.5.3 将文本转化成向量/294

13.5.4 Mahout中的聚类、分类算法/295

13.5.5 算法应用实例/299

13.6 Mahout应用:建立一个推荐引擎/304

13.6.1 推荐引擎简介/304

13.6.2 使用Taste构建一个简单的推荐引擎/305

13.6.3 简单分布式系统下基于产品的推荐系统简介/307

13.7 本章小结/309

第14章 Pig详解/310

14.1 Pig简介/311

14.2 Pig的安装和配置 /311

14.2.1 Pig的安装条件/311

14.2.2 Pig的下载、安装和配置/312

14.2.3 Pig运行模式/313

14.3 Pig Latin语言/315

14.3.1 Pig Latin语言简介/315

14.3.2 Pig Latin的使用/316

14.3.3 Pig Latin的数据类型/318

14.3.4 Pig Latin关键字/319

14.4 用户定义函数 /323

14.4.1 编写用户定义函数/324

14.4.2 使用用户定义函数/325

14.5 Zebra简介 /326

14.5.1 Zebra的安装/326

14.5.2 Zebra的使用简介/327

14.6 Pig实例 /328

14.6.1 Local模式/328

14.6.2 MapReduce模式/330

14.7 Pig进阶/331

14.7.1 数据实例/331

14.7.2 Pig数据分析/332

14.8 本章小结/336

第15章 ZooKeeper详解/337

15.1 ZooKeeper简介/338

15.1.1 ZooKeeper的设计目标/338

15.1.2 数据模型和层次命名空间/339

15.1.3 ZooKeeper中的节点和临时节点/339

15.1.4 ZooKeeper的应用/340

15.2 ZooKeeper的安装和配置/340

15.2.1 安装ZooKeeper /340

15.2.2 配置ZooKeeper/346

15.2.3 运行ZooKeeper/348

15.3 ZooKeeper的简单操作/350

15.3.1 使用ZooKeeper命令的简单操作步骤/350

15.3.2 ZooKeeper API的简单使用/352

15.4 ZooKeeper的特性/355

15.4.1 ZooKeeper的数据模型/355

15.4.2 ZooKeeper会话及状态/356

15.4.3 ZooKeeper watches/357

15.4.4 ZooKeeper ACL/358

15.4.5 ZooKeeper的一致性保证/359

15.5 使用ZooKeeper进行Leader选举/359

15.6 ZooKeeper锁服务/360

15.6.1 ZooKeeper中的锁机制/360

15.6.2 ZooKeeper提供的一个写锁的实现/361

15.7 使用ZooKeeper创建应用程序 /363

15.7.1 使用Eclipse开发ZooKeeper应用程序/363

15.7.2 应用程序实例/365

15.8 BooKeeper/369

15.9 本章小结/371

第16章 Avro详解/372

16.1 Avro介绍/373

16.1.1 模式声明/374

16.1.2 数据序列化/378

16.1.3 数据排列顺序/380

16.1.4 对象容器文件 /381

16.1.5 协议声明/382

16.1.6 协议传输格式/383

16.1.7 模式解析/386

16.2 Avro的C/C++实现/387

16.3 Avro的Java实现/398

16.4 GenAvro(Avro IDL)语言/402

16.5 Avro SASL概述/406

16.6 本章小结/407

第17章 Chukwa详解/409

17.1 Chukwa简介/410

17.2 Chukwa架构/411

17.2.1 客户端及其数据模型/412

17.2.2 收集器/413

17.2.3 归档器和分离解析器/414

17.2.4 HICC/415

17.3 Chukwa的可靠性/415

17.4 Chukwa集群搭建/416

17.4.1 基本配置要求/416

17.4.2 Chukwa的安装/416

17.4.3 Chukwa的运行/419

17.5 Chukwa数据流的处理/424

17.6 Chukwa与其他监控系统比较/425

17.7 本章小结/426

本章参考资料/426

第18章 Hadoop的常用插件与开发/428

18.1 Hadoop Studio的介绍和使用/429

18.1.1 Hadoop Studio的介绍/429

18.1.2 Hadoop Studio的安装配置/430

18.1.3 Hadoop Studio的使用举例/430

18.2 Hadoop Eclipse的介绍和使用/436

18.2.1 Hadoop Eclipse的介绍/436

18.2.2 Hadoop Eclipse的安装配置/437

18.2.3 Hadoop Eclipse的使用举例/438

18.3 Hadoop Streaming的介绍和使用/440

18.3.1 Hadoop Streaming的介绍/440

18.3.2 Hadoop Streaming的使用举例/444

18.3.3 使用Hadoop Streaming常见的问题/446

18.4 Hadoop Libhdfs的介绍和使用/448

18.4.1 Hadoop Libhdfs的介绍/448

18.4.2 Hadoop Libhdfs的安装配置/448

18.4.3 Hadoop Libhdfs API简介/448

18.4.4 Hadoop Libhdfs的使用举例/449

18.5 本章小结/450

第19章 企业应用实例/452

19.1 Hadoop在Yahoo!的应用/453

19.2 Hadoop在eBay的应用/455

19.3 Hadoop在百度的应用/457

19.4 即刻搜索中的Hadoop/460

19.4.1 即刻搜索简介/460

19.4.2 即刻Hadoop应用架构/460

19.4.3 即刻Hadoop应用分析/463

19.5 Facebook中的Hadoop和HBase/463

19.5.1 Facebook中的任务特点/464

19.5.2 MySQL VS Hadoop+HBase/466

19.5.3 Hadoop和HBase的实现/467

19.6 本章小结/472

本章参考资料/472

附录A 云计算在线检测平台/474

附录B Hadoop安装、运行与使用说明/484

附录C 使用DistributedCache的MapReduce程序/491

附录D 使用ChainMapper和ChainReducer的MapReduce程序/495


链接:http://pan.baidu.com/s/1qXkXVgK 密码:yawc

下载地址
下载必看
所有发行版iso镜像文件来自官方镜像站,请放心使用!
本站所有资源均来源于互联网,不对版权纠纷承担任何责任!
如有侵犯,请与发邮件到我们客服QQ邮箱3132702442@qq.com,即删!