【Spark入门概述】
本套视频教程介绍了Spark基础开发环境，完全分布式系统各个进程的作用以及关系,Spark系统如何启动，Spark重点分为两部分: hdfs 和 spark sql分析hdfs的文件, 为此我们精心准备了相应的数据, 通过两种方式上传hdfs文件系统: 命令行方式 + java代码上传，这两种方式都比较常用，都要全部熟练掌握, 最后我们精心准备了七个Spark的实例程序,以Hive为数据源,并且把相应的结果信息导入到本地数据库Mysql以备其它业务使用, 本套代码的开发基础语言为java, 采用的框架为Springboot+Mybatis, 这样跟mysql数据库的交互更加简单, 在Springboot的基础上融入Spark Sql,代码可扩展性更高
【Spark项目结构图】
【Spark入门概述】
1.Spark环境介绍
2.Hadoop环境介绍
3.Hadoop环境启停命令
4.Hive进程以及启停
5.Hive命令行客户端及相应命令
6.DataGrip的使用
7.入门数据准备
8.Mysql数据库基础准备
9.代码基础准备
10.上传数据文件到hdfs
11.创建Spark库表并导入数据
12.Spark统计每个商品点击次数
13.Spark统计每个商品下单次数
14.Spark统计每个商品销售额度
15.Spark统计每个用户消费额度
16.Spark统计每个用户收藏商品数量
17.Spark统计区域销售额度
18.自定义UDF分词函数
19.Spark统计搜索关键词热度(集合函数)Hive UDF函数
20.Spark统计搜索关键词热度(集合函数)Spark UDF函数
【项目包含内容】
【手把手视频教程】
【代码截图】
下载全套