- 课程概览
- 授课讲师
- 课程大纲
- 课程概览
- 授课讲师
- 课程大纲
腾科大数据实验室长期经验总结的结晶，名师名企打造大数据领域精品力作。本课程采用了以知识点和案例为导向的教学模式，按照解决实际任务的工作流程路线，逐步展开学习相关的理论知识点，推导生成可行的解决方案，最后落实在任务实现环节。深入浅出，有效降低spark技术学习门槛；资源全面，构建全方位一站式在线服务体系。
课程概览
第1章Spark概述，第2章Scala基础，第3章RDD编程，第4章Spark编程进阶，第5章结构化数据文件处理Spark SQL，第6章实时计算框架Spark Streaming
授课讲师
伍老师有10年的Java开发、大数据开发工作经验，精通Java、Scala、js、Python、sql等编程语言。熟练运用Java，运用各级框架的组合开发。并能熟悉基于Oracle、MySQL等多种数据库编程，有千万级的电信大数据处理经验；曾带领团队主导研发CRM大型项目。熟悉linux/unix平台；熟悉redis、solr、nginx、apache集群、负载均衡等等技术解决系统多并发的问题。精通Hadoop、hive、Spark等大数据组件，及华为大数据平台与数据挖掘知识体系。 项目经验： 1、广东电信营业厅效能评估子系统 2、广东电信渠道绩效业务支撑系统 3、某银行定期存款业务预测项目 4、某电商日志数据消费行为分析项目 5、AFC地铁售票机管理系统 6、广东移动销售绩效评估系统
曾老师
5年开发及2年教育经验，熟悉JavaSE、JavaWEB、MySQL、MyBatis、Spring、SpringMVC、Springboot、SpringCloud、Solr、Redis等等技术。 大数据组件：hadoop、hive、spark、Kafaka、sqoop、flume 、es 等多个大数据组件的环境的安装与使用。 授课风格：由浅入深，善于与学生互动，注重实战。 广州网耀科技有限公司 部门:教学部 职位:Java高级讲师 熟悉系统架构原理，探讨底层源码技术。负责给学生上课,辅导学生及带领学生开发项目。 广州扩普科技发展有限公司 部门:研发部 职位:项目负责人 工作描述:对新技术的探讨，研发新技术的整合。如何把新技术应用到实际的开发问题，如何把新技术向产品化转变。 广州网特优网络有限公司 职位:运营部 工作描述:除项目技术开发，同时把项目运营兼顾。一定要有良好的运营才能支撑与推动项目的发展。 项目经验： 丰富的项目经验、各种技术框架的结合。 中咨OA办公系统、中咨项目管理系统、SIC延续护理系统、众杰房产管理系统、黑品电子商城
课程大纲
- 第1章Spark概述
- 第1节Spark简介
- 第2节Spark环境搭建
- 第3节Spark的运行架构与原理
- 第2章Scala基础
- 第1节Scala简介
- 第2节Scala的安装与运行
- 第3节数据类型、变量、常量
- 第4节表达式、数组
- 第5节函数
- 第6节案例：手机号码识别
- 第7节循环控制结构
- 第8节List、Set、Map、元组
- 第9节函数组合器
- 第10节案例：根据归属地信息分组
- 第11节Scala类
- 第12节伴生类和伴生对象
- 第13节模式匹配
- 第14节apply方法
- 第15节文件的读写
- 第3章Spark编程
- 第1节RDD的创建
- 第2节转换操作和行动操作
- 第3节案例：查看成绩前五的学生
- 第4节案例：成绩为100分的学生ID
- 第5节键值对RDD
- 第6节案例：计算学生两门学科成绩的总分
- 第7节RDD聚合操作
- 第8节案例：求学生成绩平均值
- 第9节数据的读取与存储
- 第4章Spark编程进阶
- 第1节RDD持久化
- 第2节RDD分区
- 第5章结构化数据文件处理Spark SQL
- 第1节Spark SQL介绍
- 第2节RDD和DataFrame的区别
- 第3节DataFrame的创建
- 第4节DataFrame的保存
- 第5节DataFrame的常用操作
- 第6节将RDD转换成DataFrame
- 第7节MariaDB的安装
- 第8节使用SparkSQL读写数据库
- 第6章实时计算框架Spark Streaming
- 第1节Spark Streaming概述
- 第2节DStream的工作机制
- 第3节编写SparkStreaming程序
- 第4节DStream读取文件流
- 第5节DStream转换操作
- 第6节DStream窗口操作
- 第7节DStream读取套接字流
- 第8节DStream输出操作
- 第9节DStream写入数据库
- 第10节案例：窗口操作实现用户命令的接收
| 节数 | 上课时间 | 星期一 | 星期二 | 星期三 | 星期四 | 星期五 | 星期六 | 星期天 |
|---|---|---|---|---|---|---|---|---|
| 第1节 | 08:00 - 08:40 | |||||||
| 第2节 | 09:00 - 09:40 | |||||||
| 第3节 | 10:00 - 10:40 | |||||||
| 第4节 | 11:00 - 11:40 | |||||||
| 第5节 | 14:00 - 14:40 | |||||||
| 第6节 | 15:00 - 15:40 | |||||||
| 第7节 | 16:00 - 16:40 | |||||||
| 第8节 | 17:00 - 17:40 |
| 天数 | 上课日期 | 上课时间 | 内容 |
|---|
相关课件 更多
-
pptx
第6章 Spark Streaming——实时计算框架
大小：2.63MB
2022-12-26
-
pptx
第5章 Spark SQL——结构化数据文件处理
大小：3.49MB
2022-12-26
-
pptx
第4章 Spark编程进阶
大小：2.82MB
2022-12-26
-
pptx
第3章 Spark编程基础
大小：1.75MB
2022-12-26
-
pptx
第2章 Scala基础
大小：1.48MB
2022-12-26
-
pptx
第1章 Spark概述
大小：2.73MB
2022-12-26
020-38289118 转 171
971957201