本課程從實(shí)時(shí)數(shù)據(jù)產(chǎn)生和流向的各個(gè)環(huán)節(jié)出發(fā)，通過集成主流的分布式日志收集框架Flume、分布式消息隊(duì)列Kafka、分布式列式數(shù)據(jù)庫HBase、及當(dāng)前最火爆的Spark Streaming打造實(shí)時(shí)流處理項(xiàng)目實(shí)戰(zhàn)，讓你掌握實(shí)時(shí)處理的整套處理流程，達(dá)到大數(shù)據(jù)中級(jí)研發(fā)工程師的水平！
第1章 課程介紹
課程介紹
第2章 初識(shí)實(shí)時(shí)流處理
本章節(jié)將從一個(gè)業(yè)務(wù)場(chǎng)景分析出發(fā)引出實(shí)時(shí)流處理的產(chǎn)生背景，對(duì)比離線處理和實(shí)時(shí)處理的區(qū)別，了解常用的實(shí)時(shí)流處理框架有哪些，實(shí)時(shí)流處理在企業(yè)級(jí)應(yīng)用中各個(gè)環(huán)節(jié)的架構(gòu)以及技術(shù)選型
第3章 分布式日志收集框架Flume
本章節(jié)將從通過一個(gè)業(yè)務(wù)場(chǎng)景出發(fā)引出Flume的產(chǎn)生背景，將講解Flume的架構(gòu)及核心組件，F(xiàn)lume環(huán)境部署以及Flume Agent開發(fā)實(shí)戰(zhàn)讓大家學(xué)會(huì)如何使用Flume來進(jìn)行日志的采集
第4章 分布式發(fā)布訂閱消息系統(tǒng)Kafka
本章節(jié)將講解Kafka的架構(gòu)以及核心概念，Kafka環(huán)境的部署及腳本的使用，Kafka API編程，并通過Kafka容錯(cuò)性測(cè)試讓大家體會(huì)到Kakfa的高可用性，并將Flume和Kafka整合起來開發(fā)一個(gè)功能
第5章 實(shí)戰(zhàn)環(huán)境搭建
工欲善其事必先利其器，本章將講解Hadoop、ZooKeeper、HBase、Spark的安裝，以及如何使用IDEA整合Maven/Spark/HBase/Hadoop來搭建我們的開發(fā)環(huán)境
第6章 Spark Streaming入門
本章節(jié)將講解Spark Streaming是什么，了解Spark Streaming的應(yīng)用場(chǎng)景及發(fā)展史，并從詞頻統(tǒng)計(jì)案例入手帶大家了解Spark Streaming的工作原理
第7章 Spark Streaming核心概念與編程
本章節(jié)將講解Spark Streaming中的核心概念、常用操作，通過Spark Streaming如何操作socket以及HDFS上的數(shù)據(jù)讓大家進(jìn)一步了解Spark Streaming的編程
第8章 Spark Streaming進(jìn)階與案例實(shí)戰(zhàn)
本章節(jié)將講解Spark Streaming如何處理帶狀態(tài)的數(shù)據(jù)，通過案例讓大家知道Spark Streaming如何寫數(shù)據(jù)到MySQL，Spark Streaming如何整合Spark SQL進(jìn)行操作
第9章 Spark Streaming整合Flume
本章節(jié)將講解Spark Streaming整合Flume的兩種方式，講解如何在本地進(jìn)行開發(fā)測(cè)試，如何在服務(wù)器上進(jìn)行測(cè)試
第10章 Spark Streaming整合Kafka
本章節(jié)將講解Spark Streaming整合Kafka的兩種方式，講解如何在本地進(jìn)行開發(fā)測(cè)試，如何在服務(wù)器上進(jìn)行測(cè)試
第11章 Spark Streaming整合Flume&Kafka打造通用流處理基礎(chǔ)
本章節(jié)將通過實(shí)戰(zhàn)案例徹底打通Spark Streaming和Flume以及Kafka的綜合使用，為后續(xù)項(xiàng)目實(shí)戰(zhàn)打下堅(jiān)實(shí)的基礎(chǔ)
第12章 Spark Streaming項(xiàng)目實(shí)戰(zhàn)
本章節(jié)將通過一個(gè)完整的項(xiàng)目實(shí)戰(zhàn)讓大家學(xué)會(huì)大數(shù)據(jù)實(shí)時(shí)流處理的各個(gè)環(huán)境的整合，如何根據(jù)業(yè)務(wù)需要來設(shè)計(jì)HBase的rowkey
第13章 可視化實(shí)戰(zhàn)
本章節(jié)將通過兩種方式來實(shí)現(xiàn)實(shí)時(shí)流處理結(jié)果的可視化操作，一是使用Spring Boot整合Echarts實(shí)現(xiàn)，二是使用更加炫酷的阿里云產(chǎn)品DataV來實(shí)現(xiàn)
第14章 Java拓展
本章節(jié)作為擴(kuò)展內(nèi)容，將帶領(lǐng)大家使用Java來開始Spark應(yīng)用程序，使得大家對(duì)于使用Scala以及Java來開發(fā)Spark應(yīng)用程序都有很好的認(rèn)識(shí)
最新
名師講座視頻網(wǎng)
電腦辦公軟件教程
