课程大纲：

Spark 实时电商数据分析及可视化培训

Spark 实时电商数据分析可视化系统是一个经典的大数据应用项目，

技术栈主要有 Flume、Kafka、Spark Streaming、Flask 等，

帮助大家了解和运用一些当前热门的大数据处理组件来亲自动手搭建一套大数据处理平台框架和熟悉大数据项目的基础开发流程。

1 Spark Streaming 与 Kafka 的对接

2 Kafka 消费者和生产者的应用

3 Echarts 数据展示

4 SocketIO 的使用

5 Dstream 中使用 Redis

6 Kafka 主题创建及数据存储

7 Kafka 整合 Flume

8 Flask 与 Kafka 对接

9 Flask 整合 SocketIO

10 Spark Streaming 高级函数应用

1
数据采集与传输

1.Flume和Kafka基本操作命令

2.Kafka中Topic的创建

3.Flume作为Kafka数据源的配置

4.Zookeeper、Kafka、Flume整合使用

5.Flume与Kafka整合的优点

6.数据消费

2
数据处理之 Spark 对接 Kafka

1.Sparkshell应用

2.Scala在项目中的使用

3.SparkStreaming对接Kafka

4.SparkDstream的创建

5.消费Kafka中Topic的数据

6.样例类的创建

7.数据预处理

3
数据处理之 Spark 函数应用

1.Sparkstreaming中map、updateStateBy等函数的应用

2.KafkaSink工具类创建

3.KafkaProducer的创建及使用

4.累加函数的编写

5.Sparkstreaming中的全局状态

4
数据可视化之 Flask 对接 Kafka

1.Flask简单应用

2.项目框架配置

3.kafkaConsumer的创建

4.Flask与Kafka对接

5.消费Kafka中Topic的数据

5
数据可视化之 SocketIO 数据推送

1.SocketIO应用

2.Flask视图函数

3.Socket对象创建

4.线程回调函数编写

5.JavaScript应用

6
Echarts 应用

1.Echarts引入及应用

2.Echarts常用属性

3.Echarts加载SocketIO数据

4.Echarts图表对象创建

7

1.Redis简介及应用

2.滑动窗口的应用

3.Redis数据存储

4.Redis工具类创建

8

1.Flink简介及应用

2.项目中使用Flink替代Spark

3.Canal简介及应用

4.HBase简介及应用

5.基于Flink的实时数仓