158資源整合網(wǎng) > 電腦辦公軟件教程 > 語言匯編教程

【在線網(wǎng)課】Spark Streaming學(xué)習(xí)實(shí)時(shí)流處理項(xiàng)目實(shí)戰(zhàn)

Spark Streaming實(shí)時(shí)流處理項(xiàng)目實(shí)戰(zhàn)

本課程從實(shí)時(shí)數(shù)據(jù)產(chǎn)生和流向的各個(gè)環(huán)節(jié)出發(fā)，通過集成主流的分布式日志收集框架Flume、分布式消息隊(duì)列Kafka、分布式列式數(shù)據(jù)庫(kù)HBase、及當(dāng)前最火爆的Spark Streaming打造實(shí)時(shí)流處理項(xiàng)目實(shí)戰(zhàn)，讓你掌握實(shí)時(shí)處理的整套處理流程，達(dá)到大數(shù)據(jù)中級(jí)研發(fā)工程師的水平！

第1章課程介紹

課程介紹

第2章初識(shí)實(shí)時(shí)流處理

本章節(jié)將從一個(gè)業(yè)務(wù)場(chǎng)景分析出發(fā)引出實(shí)時(shí)流處理的產(chǎn)生背景，對(duì)比離線處理和實(shí)時(shí)處理的區(qū)別，了解常用的實(shí)時(shí)流處理框架有哪些，實(shí)時(shí)流處理在企業(yè)級(jí)應(yīng)用中各個(gè)環(huán)節(jié)的架構(gòu)以及技術(shù)選型

第3章分布式日志收集框架Flume

本章節(jié)將從通過一個(gè)業(yè)務(wù)場(chǎng)景出發(fā)引出Flume的產(chǎn)生背景，將講解Flume的架構(gòu)及核心組件，F(xiàn)lume環(huán)境部署以及Flume Agent開發(fā)實(shí)戰(zhàn)讓大家學(xué)會(huì)如何使用Flume來進(jìn)行日志的采集

第4章分布式發(fā)布訂閱消息系統(tǒng)Kafka

本章節(jié)將講解Kafka的架構(gòu)以及核心概念，Kafka環(huán)境的部署及腳本的使用，Kafka API編程，并通過Kafka容錯(cuò)性測(cè)試讓大家體會(huì)到Kakfa的高可用性，并將Flume和Kafka整合起來開發(fā)一個(gè)功能

第5章實(shí)戰(zhàn)環(huán)境搭建

工欲善其事必先利其器，本章將講解Hadoop、ZooKeeper、HBase、Spark的安裝，以及如何使用IDEA整合Maven/Spark/HBase/Hadoop來搭建我們的開發(fā)環(huán)境

第6章 Spark Streaming入門

本章節(jié)將講解Spark Streaming是什么，了解Spark Streaming的應(yīng)用場(chǎng)景及發(fā)展史，并從詞頻統(tǒng)計(jì)案例入手帶大家了解Spark Streaming的工作原理

第7章 Spark Streaming核心概念與編程

本章節(jié)將講解Spark Streaming中的核心概念、常用操作，通過Spark Streaming如何操作socket以及HDFS上的數(shù)據(jù)讓大家進(jìn)一步了解Spark Streaming的編程

第8章 Spark Streaming進(jìn)階與案例實(shí)戰(zhàn)

本章節(jié)將講解Spark Streaming如何處理帶狀態(tài)的數(shù)據(jù)，通過案例讓大家知道Spark Streaming如何寫數(shù)據(jù)到MySQL，Spark Streaming如何整合Spark SQL進(jìn)行操作

第9章 Spark Streaming整合Flume

本章節(jié)將講解Spark Streaming整合Flume的兩種方式，講解如何在本地進(jìn)行開發(fā)測(cè)試，如何在服務(wù)器上進(jìn)行測(cè)試

第10章 Spark Streaming整合Kafka

本章節(jié)將講解Spark Streaming整合Kafka的兩種方式，講解如何在本地進(jìn)行開發(fā)測(cè)試，如何在服務(wù)器上進(jìn)行測(cè)試

第11章 Spark Streaming整合Flume&Kafka打造通用流處理基礎(chǔ)

本章節(jié)將通過實(shí)戰(zhàn)案例徹底打通Spark Streaming和Flume以及Kafka的綜合使用，為后續(xù)項(xiàng)目實(shí)戰(zhàn)打下堅(jiān)實(shí)的基礎(chǔ)

第12章 Spark Streaming項(xiàng)目實(shí)戰(zhàn)

本章節(jié)將通過一個(gè)完整的項(xiàng)目實(shí)戰(zhàn)讓大家學(xué)會(huì)大數(shù)據(jù)實(shí)時(shí)流處理的各個(gè)環(huán)境的整合，如何根據(jù)業(yè)務(wù)需要來設(shè)計(jì)HBase的rowkey

第13章可視化實(shí)戰(zhàn)

本章節(jié)將通過兩種方式來實(shí)現(xiàn)實(shí)時(shí)流處理結(jié)果的可視化操作，一是使用Spring Boot整合Echarts實(shí)現(xiàn)，二是使用更加炫酷的阿里云產(chǎn)品DataV來實(shí)現(xiàn)

第14章 Java拓展

本章節(jié)作為擴(kuò)展內(nèi)容，將帶領(lǐng)大家使用Java來開始Spark應(yīng)用程序，使得大家對(duì)于使用Scala以及Java來開發(fā)Spark應(yīng)用程序都有很好的認(rèn)識(shí)

158資源整合網(wǎng)：提供各類學(xué)習(xí)資源，名師講座視頻，培訓(xùn)課程視頻，音頻，文檔等···各類教程下載觀看。

大小：9.6 GB
百度網(wǎng)盤觀看下載
點(diǎn)數(shù)：15 點(diǎn)數(shù)
咨詢QQ：1686059668

立即下載

好消息：為了回饋廣大用戶能學(xué)習(xí)更多知識(shí)。

現(xiàn)只需98開通終身VIP會(huì)員

就可以終身免費(fèi)下載所有資源！

機(jī)會(huì)難得錯(cuò)過就沒有了

【點(diǎn)我咨詢，開通免費(fèi)下載！】

提示：在電腦上打開本站 yuandun520.cn 下載更方便。