大数据企业项目类友盟案例培训

章节1
大数据企业项目第1章
第1节
01.业务模型说明
第2节
02.架构描述
第3节
03.术语解释-新增-活跃-用户等等
第4节
04.初始化weblog收集模块-公共模块-配置模块

第5节
05.初始化收集端模块-编程模拟上传json数据

第6节
06.通过firefox的poster插件测试web程序

第7节
07.创建client数据生成程序 不断发送数据给server

第8节
08.client上传log时，将client系统时间写入request的header中

第9节
09.编写工具类，使用内省实现属性复制

第10节
10.处理server收到的日志

章节2
大数据企业项目第2章
第1节
01.时间修正

第2节
02.属性复制

第3节
03.通过GeoLite提取ip地址的真实区域

第4节
04.工具类封装地理信息获取

第5节
05.startuplog对象的地址设置

第6节
06.地理信息进行缓存处理

第7节
07.将日志信息转换成json格式发送给kafka主题

第8节
08.准备kafka集群和zk集群并创建主题

第9节
09.启动kakfa集群-web程序-phone程序测试数据收集

第10节
10.分析flume收集kafka消息-分区手段

第11节
11.自定义拦截器-添加logType和log创建时间的头信息

第12节
12.导出flumejar文件部署到flume lib下

第13节
13.配置flume

第14节
14.添加自定义拦截器给配置文件

第15节
15.使用maven命令导出工件需要的所有第三方类库

第16节
16.联动测试-收集数据到hdfs

第17节
17.使用json serse作为hive表的串行化处理工具

章节3
大数据企业项目第3章
第1节
01.使用当前线程类加载解决公共模块的加载问题

第2节
02.修改flume配置文件原生类型-避免大量小文件

第3节
03.使用脚本创建仓库表

第4节
04.调度导入分区表数据分析

第5节
05.时间导入数据分析

第6节
06.使用sed编辑器处理时间问题

第7节
07.编写exec.sh文件和exportData.sql文件

第8节
08.使用hive命令测试导入hdfs数据到hive分区表

第9节
09.修改手机端数据生成时间戳

第10节
10.实现调度周期导入hdfs数据到hive分区表

第11节
11.centos安装tomcat

第12节
12.部署web程序到centos的tomcat下

第13节
13.分析统计用户和新增用户数

第14节
14.计算一天的起始和结束时间片

第15节
15.计算指定天所在的周和月的时间线

第16节
16.自定义UDF实现天起始和天结束时间提取

第17节
17.注册UDF函数-测试

章节4
大数据企业项目第4章
第1节
01.DateUtil通过偏移量定位时间-统一时间访问

第2节
02.注册函数-测试函数-选定库

第3节
03.查询日新增-周新增-月新增-用户总数

第4节
04.一次性统计一周内每天的新增用户

第5节
05.通过分区查询日活-月活-周活数

第6节
06.可视化web模块初始化

第7节
07.添加hive-jdbcclient驱动到可视化模块-测试

第8节
08.测试jdbc查询hive的自定义函数

第9节
09.测试SSM连接查询hive数据库

第10节
10.关闭spring管理的事务-修改mybatis映射文件中大于小于比较符转义处理

第11节
11.查询指定的app今天新增用户数

第12节
12.嵌套子查询-查询一周内每天新增用户

第13节
13.连接web的ui程序-测试

第14节
14.通过链接访问新增用户-提交job给hive-执行查询

第15节
15.dubbo概述

第16节
16.可视化web项目拆分-统计服务提供者模块初始化

第17节
17.配置dubbo服务提供方-检查zk

第18节
18.配置dubbo消费者方集成-1

章节5
大数据企业项目第5章
第1节
01.在hive使用using jar方式注册hdfs上的库函数

第2节
02.dubbo连接超时修改-消费者可视化程序测试

第3节
03.dubbo实现当前周内每天新增用户数

第4节
04.dubbo测试通过web可视化-provider-Hiveserver实现周内用户新增统计

第5节
05.改造dubbo模块公共资源抽取

第6节
06.echart集成基础

第7节
07.echart使用ajax访问服务端数据-回传回调-刷新echart图表

第8节
08.echart集成json回传数据-配置web程序

第9节
09.echart集成json-pom中json配置调整

第10节
10.echart动态刷新图表-ajax访问controller方法

第11节
11.过去五周周活跃用户数-过去六月活跃用户数

第12节
12.沉默用户数

第13节
13.启动次数

第14节
14.版本分布

第15节
15.本周回流用户-1.版本分布

第16节
16.本周回流用户-2sql实现

第17节
17.连续n周活跃-忠诚用户-连续活跃用户

第18节
18.近期流失用户

第19节
19.留存用户

第20节
20.新鲜度分析

章节6
大数据企业项目第6章
第1节
01.python-包-import-fromimport

第2节
02.python-爬虫

第3节
03.python-爬虫2

第4节
04.python-爬虫3

第5节
05.python-集成hbase

第6节
06.spark使用python实现wordcount-lambda表达式

章节7
大数据企业项目第7章
第1节
01.分析spark streaming实现用户行为的实时更新

第2节
02.编程实现DStream聚合-firstTime-lastTime

第3节
03.编程测试数据生成-聚合结果

第4节
04.聚合结果再分组-插入phoenix表中

第5节
05.聚合结果再分组-插入phoenix表中2

第6节
06.使用phoenix-core maven依赖

第7节
07.定义phoenix-udf函数

第8节
08.stat服务provider和phoenix交互查询统计结果

第9节
09.自定义phoenix函数

章节8
大数据企业项目第8章
第1节
01.phoenix UDF定义

第2节
02.定义to_int函数将bigint转换成integer(针对-1)

第3节
03.客户单代码测试udf函数

第4节
04.phoenix UDF投影列表达式处理

第5节
05.phoenix处理Day-week-month

第6节
06.phoenix处理Day-week-month2

第7节
07.phoenix查询周新增用户统计

第8节
08.phoenix查询周活跃用户

第9节
09.使用MR实现用户画像

第10节
10.知识点总结

第11节
11.简历指导