大数据-复制修改

课程大纲

• 第1章Linux相关技术
•     第1节课程大纲介绍
•     第2节安装redhat
•     第3节redhat自动分配ip设置
•     第4节xshell连接虚拟机
•     第5节linux系统结构讲解
•     第6节文件系统介绍
•     第7节chmod修改文件权限
•     第8节chown&chgrp
•     第9节常用命令
•     第10节安装jdk
•     第11节yum配置
•     第12节安装mysql

• 第2章Hadoop入门
•     第1节hadoop概述
•     第2节hadoop应用
•     第3节离线数据分析流程

• 第3章搭建Hadoop集群
•     第1节准备linux环境
•     第2节安装hadoop集群
•     第3节配置ssh免登陆

• 第4章Hadoop集群配置常用参数HDFS工作机制
•     第1节hdfs概述和结构
•     第2节hdfs命令基本使用
•     第3节hdfs写数据过程讲解
•     第4节hdfs读数据过程讲解
•     第5节namenode工作机制总体原则
•     第6节secondnamenode checkpoint机制
•     第7节datanode工作机制
•     第8节java client操作hdfs
•     第9节yarn框架介绍
•     第10节定时调度器使用讲解
•     第11节定时采集数据作业需求介绍
•     第12节shell采集脚本讲解

• 第5章MAPREDUCE详解
•     第1节为什么要使用mapreduce
•     第2节mapreduce核心思想和运行机制
•     第3节mapreduce并行度决定机制
•     第4节mr实现单词统计例子讲解
•     第5节wordcount运行过程分析
•     第6节mr的shuffle机制
•     第7节mapreduce全过程简单分析

• 第6章zookeeper
•     第1节zookeeper概述
•     第2节zookeeper集群机制
•     第3节Zookeeper安装
•     第4节zookeeper结构和命令
•     第5节zookeeper原理

• 第7章Hbase
•     第1节hbase简介
•     第2节habse安装
•     第3节hbase依赖zookeeper
•     第4节hbase开发
•     第5节hbase原理
•     第6节MapReduce操作Hbase

• 第8章HIVE详解
•     第1节Hive简介
•     第2节Hive架构
•     第3节HIVE的安装部署 
•     第4节Hive基本操作
•     第5节Hive函数

• 第9章辅导工具
•     第1节flume简介
•     第2节flume采集网络数据
•     第3节flume采集目录日志文件
•     第4节flume采集文件和发送到另一个agent
•     第5节sqoop工具使用介绍

• 第10章Spark基础
•     第1节spark概述
•     第2节spark安装
•     第3节使用Spark
•     第4节scala
•     第5节创建和运行spark应用
•     第6节Spark RDD
•     第7节统计访问网站次数
•     第8节SparkSQL概述及简单使用
•     第9节SparkSQL编程
•     第10节Spark streaming概述
•     第11节Spark streaming编程

• 第11章kafka
•     第1节kafka简介
•     第2节kafka安装及常用命令
•     第3节kafka的使用
•     第4节redis

• 第12章项目实战
•     第1节spark环境搭建
•     第2节点击流项目之采集功能
•     第3节点击流项目之移动数据到预处理目录
•     第4节点击流项目之清洗数据
•     第5节点击流项目之导入清理之后的数据
•     第6节点击流项目之数据统计