“Spark大數(shù)據(jù)處理與案例分析高級(jí)工程師” 實(shí)戰(zhàn)培訓(xùn)班其它上課時(shí)間：

各地政府云計(jì)算物聯(lián)網(wǎng)產(chǎn)業(yè)相關(guān)負(fù)責(zé)人，各類 IT/軟件企業(yè)和研發(fā)機(jī)構(gòu)的軟件架構(gòu)師、軟件設(shè)計(jì)師、程序員。對(duì)于懷有設(shè)計(jì)疑問和問題，需要梳理解答的團(tuán)隊(duì)和個(gè)人

課程收益:

本課程將為大家全面而又深入的介紹Spark、Hadoop平臺(tái)的構(gòu)建流程，涉及Spark、系統(tǒng)基礎(chǔ)知識(shí)，概念及架構(gòu)，Spark實(shí)戰(zhàn)技巧，Spark經(jīng)典案例等。
通過本課程實(shí)踐，幫助學(xué)員對(duì)Spark生態(tài)系統(tǒng)有一個(gè)清晰明了的認(rèn)識(shí)；理解Spark、系統(tǒng)適用的場(chǎng)景；掌握Spark等初中級(jí)應(yīng)用開發(fā)技能；搭建穩(wěn)定可靠的Spark集群，滿足生產(chǎn)環(huán)境的標(biāo)準(zhǔn)；了解和清楚大數(shù)據(jù)應(yīng)用的幾個(gè)行業(yè)中的經(jīng)典案例，包括阿里巴巴等

培訓(xùn)頒發(fā)證書:

參加相關(guān)培訓(xùn)并通過考試的學(xué)員，可以獲得：
1.工業(yè)和信息化部頒發(fā)的《Spark大數(shù)據(jù)處理高級(jí)工程師證書》該證書可作為專業(yè)技術(shù)人員職業(yè)能力考核的證明，以及專業(yè)技術(shù)人員崗位聘用、任職、定級(jí)和晉升職務(wù)的重要依據(jù)。
注：請(qǐng)學(xué)員帶一寸彩照2張（背面注明姓名）、身份證復(fù)印件一張。

課程大綱:

課程模塊課程主題主要內(nèi)容(內(nèi)容可以根據(jù)學(xué)員的要求可以現(xiàn)場(chǎng)調(diào)整）模塊一
Spark
生態(tài)介紹 Mapreduce、storm和spark模型的比較和使用場(chǎng)景介紹
Spark產(chǎn)生背景
Spark（內(nèi)存計(jì)算框架）
SparkSteaming（流式計(jì)算框架）
SparkSQL（ad-hoc）
Mllib（MachineLearning）
GraphX（bagel將被代）
DlinkDB介紹
SparkR介紹 模塊二
Spark
安裝部署 Spark安裝簡(jiǎn)介
Spark的源碼編譯
SparkStandalone安裝
Spark應(yīng)用程序部署工具spark-submit
Spark的高可用性部署 模塊三
Spark
運(yùn)行架構(gòu)和解析 Spark的運(yùn)行架構(gòu)
基本術(shù)語
運(yùn)行架構(gòu)
SparkonStandalone運(yùn)行過程
SparkonYARN運(yùn)行過程
Spark運(yùn)行實(shí)例解析
SparkonStandalone實(shí)例解析
SparkonYARN實(shí)例解析 比較Standalone與YARN模式下的優(yōu)缺點(diǎn)模塊四
Spark
scala編程 Scala基本語法與高階語法 Scala基本語法
Scala開發(fā)環(huán)境搭建
Scala開發(fā)Spark應(yīng)用程序
使用java編程
使用scala編程
使用python編程模塊五
Spark
編程模型和解析 Spark的編程模型
Spark編程模型解析
RDD的特點(diǎn)、操作、依賴關(guān)系
Spark應(yīng)用程序的配置 Spark的架構(gòu) spark的容錯(cuò)機(jī)制 數(shù)據(jù)的本地性 緩存策略介紹寬依賴與窄依賴 模塊六Spark數(shù)據(jù)挖掘 Mllib的介紹
graphX核心原理
tableoperator和graphoperator區(qū)別
vertices、edges和triplets介紹
構(gòu)建一個(gè)graph
SparkR原理
SparkR實(shí)戰(zhàn) 模塊七
SparkStreaming原理和實(shí)踐 SparkStreaming與Strom的區(qū)別
Kafka的部署
Kafka與SparkStreaming的整合
SparkStreaming原理
Spark流式處理架構(gòu)
DStream的特點(diǎn)
Dstream的操作和RDD的區(qū)別 帶狀態(tài)的transformation與無狀態(tài)transformation
SparkStreaming的優(yōu)化
SparkStreaming實(shí)例 Streaming的容錯(cuò)機(jī)制 streaming在yarn模式下的注意事項(xiàng)對(duì)于需結(jié)合第三方存儲(chǔ)機(jī)制的與流式處理方案
文本實(shí)例
網(wǎng)絡(luò)數(shù)據(jù)處理
Kafka+SparkStreaming實(shí)現(xiàn)日志的實(shí)時(shí)分析案例 模塊八Spark的優(yōu)化 序列化優(yōu)化——Kryo
Spark參數(shù)優(yōu)化實(shí)戰(zhàn)
Spark任務(wù)的均勻分布策略
Partitionkey傾斜的解決方案
Spark任務(wù)的監(jiān)控
GC的優(yōu)化
SparkStreaming吞吐量優(yōu)化
SparkRDD使用內(nèi)存的優(yōu)化策略
Spark在使用中的感想分享 模塊九Spark的數(shù)據(jù)源 Spark與HDFS的整合
HDFSRDD原理和實(shí)現(xiàn)
Spark與Hbase的整合
Spark與Cassendera整合
HbaseRDD的分區(qū)讀取
HbaseRDD的原理和實(shí)現(xiàn)
SparkparallelismRDD的工作機(jī)制 模塊十SparkStreaming應(yīng)用及案例分析 SparkStreaming產(chǎn)生動(dòng)機(jī)
SparkStreaming程序設(shè)計(jì)
（1）創(chuàng)建DStream
（2）基于DStream進(jìn)行流式處理
SparkStreaming容錯(cuò)與性能優(yōu)化
（1）SparkStreaming容錯(cuò)機(jī)制
（2）如何對(duì)sparkStreaming進(jìn)行優(yōu)化
SparkStreaming案例分析
基于SparkStreaming的用戶標(biāo)簽系統(tǒng)，內(nèi)容包括項(xiàng)目背景，項(xiàng)目架構(gòu)以及實(shí)施方法 模塊十一典型項(xiàng)目
案例實(shí)戰(zhàn) 基于spark日志分析
個(gè)性化推薦系統(tǒng)：帶你揭開其神秘面紗
在線投放引擎
揭開淘寶點(diǎn)擊推薦系統(tǒng)的神秘面紗
淘寶數(shù)據(jù)服務(wù)架構(gòu)—實(shí)時(shí)計(jì)算平臺(tái)

培訓(xùn)師介紹：

張老師：阿里大數(shù)據(jù)高級(jí)專家，國內(nèi)資深的Spark、Hadoop技術(shù)專家、虛擬化專家，對(duì)HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態(tài)系統(tǒng)中的技術(shù)進(jìn)行了多年的深入的研究，更主要的是這些技術(shù)在大量的實(shí)際項(xiàng)目中得到廣泛的應(yīng)用，因此在Hadoop開發(fā)和運(yùn)維方面積累了豐富的項(xiàng)目實(shí)施經(jīng)驗(yàn)。近年主要典型的項(xiàng)目有：某電信集團(tuán)網(wǎng)絡(luò)優(yōu)化、中國移動(dòng)某省移動(dòng)公司請(qǐng)賬單系統(tǒng)和某省移動(dòng)詳單實(shí)時(shí)查詢系統(tǒng)、中國銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺(tái)、某大型銀行大數(shù)據(jù)記錄系統(tǒng)、某大型通信運(yùn)營商全國用戶上網(wǎng)記錄、某省交通部門違章系統(tǒng)、某區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用項(xiàng)目、互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)和構(gòu)建游戲云(WebGameDaas)平臺(tái)項(xiàng)目等。