- 课程概览
- 授课讲师
- 课程大纲
- 课程概览
- 授课讲师
- 课程大纲
Spark是当前热门的大数据处理技术，本课程重点介绍Spark的技术原理与编程方法。课程由全国高校知名大数据教师厦门大学林子雨老师主讲，采用林子雨等编著的《Spark编程基础（Scala版）》作为课程教材。Spark支持采用Scala、Java、Python和R语言进行编程，本课程采用Scala语言编写Spark应用程
课程概览
本课程的具体章节如下：
（1）第1章-大数据技术概述（2020年2月17日发布）
（2）第2章-Scala语言基础（2020年2月24日发布，本章内容较多，学习时长是3周）
（3）第3章-Spark的设计与运行原理（2020年3月16日发布）
（4）第4章-Spark环境搭建和使用方法（2020年3月23日发布）
（5）第5章-RDD编程（2020年3月30日发布，本章学习内容较多，学习时长是2周）
（6）第6章-Spark SQL（2020年4月13日发布）
（7）第7章-Spark Streaming（2020年4月20日发布，本章学习内容较多，学习时长是2周）
（8）第8章-Spark MLlib（2020年5月4日发布）
授课讲师
课程大纲
- 第1章大数据技术概述
- 第1节大数据时代
- 第2节大数据概念
- 第3节大数据的影响
- 第4节大数据关键技术
- 第5节大数据计算模式
- 第6节代表性大数据技术
- 第2章Scala语言基础
- 第1节Scala语言概述
- 第2节Scala基础知识
- 第3节面向对象编程基础
- 第4节函数式编程基础
- 第3章Spark的设计与运行原理
- 第1节Spark概述
- 第2节Spark生态系统
- 第3节Spark运行架构
- 第4节Spark的部署和应用方式
- 第4章Spark环境搭建和使用方法
- 第1节安装Spark
- 第2节在spark-shell中运行代码
- 第3节开发Spark独立应用程序
- 第4节Spark集群环境搭建
- 第5节在集群上运行Spark应用程序
- 第5章RDD编程
- 第1节RDD编程基础
- 第2节键值对RDD
- 第3节数据读写
- 第4节综合案例
- 第6章SparkSQL
- 第1节SparkSQL简介
- 第2节DataFrame
- 第3节从RDD转换得到DataFrame
- 第4节使用SparkSQL读写数据库
- 第7章SparkStreaming
- 第1节流计算概述
- 第2节SparkStreaming
- 第3节DStream操作概述
- 第4节基本输入源
- 第5节高级数据源
- 第6节转换操作
- 第7节输出操作
- 第8节StructuredStreaming
- 第8章SparkMLlib
- 第1节SparkMLlib简介
- 第2节机器学习流水线
- 第3节特征抽取、转化和选择
- 第4节分类与回归
| 节数 | 上课时间 | 星期一 | 星期二 | 星期三 | 星期四 | 星期五 | 星期六 | 星期天 |
|---|---|---|---|---|---|---|---|---|
| 第1节 | 08:00 - 08:40 | |||||||
| 第2节 | 09:00 - 09:40 | |||||||
| 第3节 | 10:00 - 10:40 | |||||||
| 第4节 | 11:00 - 11:40 | |||||||
| 第5节 | 14:00 - 14:40 | |||||||
| 第6节 | 15:00 - 15:40 | |||||||
| 第7节 | 16:00 - 16:40 | |||||||
| 第8节 | 17:00 - 17:40 |
| 天数 | 上课日期 | 上课时间 | 内容 |
|---|
相关课件 更多
-
srt
[8.4.2]--8.4.2决策树分类器
大小：19.44KB
2020-02-28
-
srt
[8.4.1]--8.4.1逻辑斯蒂回归分类器
大小：32.45KB
2020-02-28
-
srt
[8.3.3]--8.3.3特征抽取：CountVectorizer
大小：13.35KB
2020-02-28
-
srt
[8.3.2]--8.3.2特征抽取：Word2Vec
大小：12.42KB
2020-02-28
-
srt
[8.3.1]--8.3.1特征抽取：TF-IDF
大小：38.95KB
2020-02-28
-
srt
[8.2.2]--8.2.2构建一个机器学习流水线
大小：34.82KB
2020-02-28
020-38289118 转 171
971957201