大数据处理与优化最佳实践培训
  大数据处理与优化最佳实践培训
课程安排
 
 
主题
内容见要
第一部分
海量数据处理系统
的架构设计
这个部分主要讲解海量数据处理的架构设计，针对海量数据的问题设计海量数据的架构解决方案。
Ø  海量数据处理的系统场景
Ø  大数据时代的数据架构解决方案
Ø  海量数据处理的架构汇总
Ø  8种海量数据处理的架构设计比较
Ø  分布式系统架构的海量数据处理设计
Ø  海量数据处理设计
典型案例分析：
NoSQL的实践应用
        NoSQL综述解决的实际问题
        关系数据库暴露的问题
n  High performance并发要求
n  Huge Storage的存取
n  High Scalability的服务器分布要求
n  High Availability的服务器健壮要求
        关系型数据库失效的场景
        NoSQL与关系型数据库设计理念比较
        NoSQL设计模型分析
n  K-V模型的Column设计
n  Document模型的B Tree设计
n  Object模型的基于Object数据访问设计
        NoSQL实例分析
n  Apache Hbase架构解析
n  Facebook Cassandra架构解析
n  Google BigTable架构解析
典型案例分析：
进入Hadoop的精彩世界
        文件存储-HDFS
        HDFS-工作原理
        数据计算MapReduce
        MapReduce工作原理
        SQL分析-Hive
        海量实时读写-HBase
        工作流调度-Ooize
        分布式协调系统—Zookeeper
第二部分
Hadoop部署与编程
        Hadoop版本介绍与选择
        Hadoop部署实践
        Hadoop安装文件构成与配置体系
        机器硬件建议配置
        系统环境配置
        基本参数配置与说明
        进程分布规划与启动
        Hadoop基本使用操作
        HDFS
        权限
        MapReduce
        HDFS编程
        开发环境准备
        读文件
        写文件
        Hadoop系统容灾策略
        Hadoop资源调度策略
        Hadoop安全
        Hadoop系统监控与报警策略
Hive架构及实践案例沙盘演练
        Hive系统部署与搭建
        Hive工作机制
        基于Hive的网站日志分析示例
        Hive的用户自定义函数开发
        Hive底层数据文件与数据压缩选择
n  gzip
n  bz2
n  lzo
n  rcfile
        Hive运行参数调优
        Hive程序编写性能建议
n  MapJoin
n  数据倾斜
n  Join顺序
n  UDF编写注意事项
n  快速获取结果TopN
        通过Explain观察Hive行为
        典型案例分析
第三部分
Hadoop集群架构搭建及实践案例沙盘演练
        Hadoop集群架构搭建方法
        Hadoop集群架构性能管理
        HDFS，NameNode，DataNode的调优和节点扩展最佳实践
        主要调优工具和性能监控工具
        Hadoop集群对于硬件的要求和选型
        Hadoop集群中对硬件、操作系统的调优方法
        实际案例分析
        基于Hadoop的集群解决方案
        典型案例分析：
MapReduce架构及实践案例沙盘演练
        MapReduce剖析
n  MapReduce的原理和运行过程
n  构建MapReduce的开发环境
        MapReduce案例实战
n  使用MapReduce的Java接口实现经典的WordCount
n  wordcount运行过程解析
n  MapReduce实现数据去重操作
n  MapReduce实现数据排序
n  MapReduce实现数据平均数据的计算
        典型案例分析：
HBase架构及实践案例沙盘演练
        为什么实用Hadoop/HBase
        Hadoop的架构体系与HBase的应用关系
        HBase的核心设计机制
        HBase的使用场景？什么情况下使用HBase，为什么使用HBase，HBase使用带来的实践价值
        关系型数据库与HBase
        HBase的Client端
        HBase架构分析
        基于HBase项目架构设计
        HBase开发环境搭建
        入库和查询的设计与实现
        统计功能的设计与实现
        案例演练HBase的主体特性
n  Features:Scalability实现
n  HBaseFeatures:Column-Oriented实现
n  High Performance Random R/W实现
n  HBase Features: Scan Search实现
n  HBase Features: High‐Availability实现
典型案例分析：