Spark大数据技术与应用

课程大纲

• 第1章Spark概述
•     第1节Spark简介
•     第2节Spark环境搭建
•     第3节Spark的运行架构与原理

• 第2章Scala基础
•     第1节Scala简介
•     第2节Scala的安装与运行
•     第3节数据类型、变量、常量
•     第4节表达式、数组
•     第5节函数
•     第6节案例：手机号码识别
•     第7节循环控制结构
•     第8节List、Set、Map、元组
•     第9节函数组合器
•     第10节案例：根据归属地信息分组
•     第11节Scala类
•     第12节伴生类和伴生对象
•     第13节模式匹配
•     第14节apply方法
•     第15节文件的读写

• 第3章Spark编程
•     第1节RDD的创建
•     第2节转换操作和行动操作
•     第3节案例：查看成绩前五的学生
•     第4节案例：成绩为100分的学生ID
•     第5节键值对RDD
•     第6节案例：计算学生两门学科成绩的总分
•     第7节RDD聚合操作
•     第8节案例：求学生成绩平均值
•     第9节数据的读取与存储

• 第4章Spark编程进阶
•     第1节RDD持久化
•     第2节RDD分区

• 第5章结构化数据文件处理Spark SQL
•     第1节Spark SQL介绍
•     第2节RDD和DataFrame的区别
•     第3节DataFrame的创建
•     第4节DataFrame的保存
•     第5节DataFrame的常用操作
•     第6节将RDD转换成DataFrame
•     第7节MariaDB的安装
•     第8节使用SparkSQL读写数据库

• 第6章实时计算框架Spark Streaming
•     第1节Spark Streaming概述
•     第2节DStream的工作机制
•     第3节编写SparkStreaming程序
•     第4节DStream读取文件流
•     第5节DStream转换操作
•     第6节DStream窗口操作
•     第7节DStream读取套接字流
•     第8节DStream输出操作
•     第9节DStream写入数据库
•     第10节案例：窗口操作实现用户命令的接收