课程大纲：

Hadoop 核心组件基础培训

1 Hadoop 基础概念

2 Hadoop 伪分布式模式部署

3 HDFS 的初始化方法

4 HDFS 基本操作

5 MapReduce 应用的编写和编译方法

6 YARN 配置文件的作用

7 HBase 的数据模型和基本操作

8 Sqoop 的数据传输方法

9 向 Solr 添加数据的方法

10 Hive 架构及部署

11 Flume 的架构和数据流模型

12 Flume Agent 配置方法

13 Kafka 的架构及部署

14 Flume 与 Kafka 的连接方法

15 Pig 使用方法

16 HDFS 的基本使用

17 Hadoop 各配置项的作用

18 HDFS 架构

19 MapReduce 核心思想及架构

20 YARN 核心思想及架构

21 YARN 应用开发方式

22 Sqoop 的体系结构

23 Solr 特性及部署

24 Solr 检索数据的方式

25 Hive HQL 语言

26 多数据源下配置和启动 Agent 的方法

27 Hive 导入外部数据的方法

28 Kafka Connect 的用法

29 Pig 架构及部署

1
Hadoop 简介与安装部署

1.Hadoop的体系结构

2.Hadoop的主要模块

3.Hadoop伪分布式模式部署

4.HDFS的基本使用

5.WordCount测试用例

1
Hadoop 系统部署

1.Hadoop各个配置项的作用

2.启动Hadoop守护进程的方法

3.HDFS的初始化方法

2
HDFS 架构与操作

1.HDFS架构

2.HDFS基本操作

3.Web管理界面 4.WebHDFSAPI的使用

3
MapReduce 原理与实践

1.MapReduce核心思想

2.MapReduce编程框架的结构

3.MapReduce应用的编写和编译方法

2
使用 MapReduce 进行日志分析

1.Hadoop服务的启动

2.MapReduce应用的编写

3.生成Jar包的方法

4.HDFS的基本操作

4
YARN 架构

1.YARN核心思想及架构

2.YARN配置文件的作用

3.YARN应用开发方式

4.YARNWebUI的使用

3
用 Hadoop 计算圆周率

1.HadoopMapReduce任务执行

2.Hadoop示例程序的使用

3.Bash输出重定向

5
HBase 基础

1.关系型数据库与非关系型数据库的联系和区别

2.HBase的安装部署方法

3.HBase的数据模型和基本操作

4
HBase 数据导入

1.HBase创建表的方法

2.HBase导入外部数据的方法

3.HDFS的基本操作

6
Sqoop 数据迁移

1.待迁移数据源的配置

2.Sqoop的体系结构

3.Sqoop的数据传输方法

5
HBase 实现 Web 日志场景数据处理

1.HBase过滤器的用法

2.HBase导入数据的方式

3.HBase表操作

4.Bash输出重定向

7
Solr 基础实战

1.Solr的特性

2.Solr的部署方法

3.向Solr添加数据的方法

4.Solr检索数据的方式

8
Hive 基础实战

1.Hive的架构

2.Hive的基本数据单位

3.部署Hive的方法

4.HiveHQL语言

6
导入数据到 Hive

1.在Hive中创建表的方法

2.导入CSV数据到Hive表的方法

3.在Hive中执行SQL查询的方法

4.Bash输出重定向

9
Flume 基础实战

1.Flume的架构和数据流模型

2.Flume的安装部署方法

3.多数据源下配置和启动Agent的方法

10
Flume、HDFS和Hive实现日志收集和分析

1.FlumeAgent配置方法

2.Hive启动方法

3.Hive中创建表的方式

4.Hive导入外部数据的方法

5.在Hive命令行运行HQL查询

7
用Flume和MapReduce进行日志分析

1.FlumeAgent配置

2.MapReduce框架的编写

3.MapReduce任务的执行

11
Kafka 基础实战

1.Kafka的应用场景

2.Kafka的架构

3.Kafka与Flume的区别

4.Kafka的安装部署方法

5.Kafka的故障恢复能力

6.KafkaConnect的用法

8
按需部署 Kafka

1.KafkaZooKeeper的配置

2.KafkaServer的用法

3.Kafka创建主题的方法

4.KafkaConnect的配置和使用

12
使用 Flume 和 Kafka 实现实时日志收集

1.模拟日志的生成方法

2.FlumeAgent的配置方法

3.Kafka的配置方法

4.Flume与Kafka的连接方法

13
Pig 基础实战

1.Pig的特性

2.Pig的架构

3.Pig的安装部署方法

4.Pig的启动模式

5.PigLatin