培訓(xùn)內(nèi)容:
課程大綱:
時(shí)間內(nèi)容
第一天第1個(gè)主題：Hadoop三問(wèn)（徹底理解Hadoop）
1、Hadoop為什么是云計(jì)算分布式大數(shù)據(jù)的事實(shí)開(kāi)源標(biāo)準(zhǔn)軟件框架
2、Hadoop的具體是如何工作
3、Hadoop的生態(tài)架構(gòu)和每個(gè)模塊具體的功能是什么
第2個(gè)主題：Hadoop集群與管理（具備構(gòu)建并駕馭Hadoop集群能力）
1、 Hadoop集群的搭建
2、 Hadoop集群的監(jiān)控
3、 Hadoop集群的管理
4、集群下運(yùn)行MapReduce程序
第3個(gè)主題：徹底掌握HDFS(具備開(kāi)發(fā)自己網(wǎng)盤(pán)的能力)
1、HDFS體系架構(gòu)剖析
2、NameNode、DataNode、SecondaryNameNode架構(gòu)
3、保證NodeName高可靠性最佳實(shí)踐
4、DataNode中Block劃分的原理和具體存儲(chǔ)方式
5、修改Namenode、DataNode數(shù)據(jù)存儲(chǔ)位置
6、使用CLI操作HDFS
7、使用Java操作HDFS
第4個(gè)主題：徹底掌握HDFS(具備修改HDFS具體源碼實(shí)現(xiàn)的能力)
1、RPC架構(gòu)剖析
2、源碼剖析Hadoop構(gòu)建于RPC之上
3、源碼剖析HDFS的RPC實(shí)現(xiàn)
4、源碼剖析客戶(hù)端與與NameNode的RPC通信
第5個(gè)主題：徹底掌握MapReduce（從代碼的角度剖析MapReduce執(zhí)行的具體過(guò)程并具備開(kāi)發(fā)MapReduce代碼的能力）
1、MapReduce執(zhí)行的經(jīng)典步驟
2、wordcount運(yùn)行過(guò)程解析
3、Mapper和Reducer剖析
4、自定義Writable
5、新舊API的區(qū)別以及如何使用就API
6、把MapReduce程序打包成Jar包并在命令行運(yùn)行
第6個(gè)主題：徹底掌握MapReduce（具備掌握Hadoop如何把HDFS文件轉(zhuǎn)化為Key-Value讓供Map調(diào)用的能力）
1、Hadoop是如何把HDFS文件轉(zhuǎn)化為鍵值對(duì)的
2、源碼剖析Hadoop讀取HDFS文件并轉(zhuǎn)化為鍵值對(duì)的過(guò)程實(shí)現(xiàn)
3、源碼剖析轉(zhuǎn)化為鍵值對(duì)后供Map調(diào)用的過(guò)程實(shí)現(xiàn)
第7個(gè)主題：徹底掌握MapReduce（具備掌握MapReduce內(nèi)部運(yùn)行和實(shí)現(xiàn)細(xì)節(jié)并改造MapReduce的能力）
1、Hadoop內(nèi)置計(jì)數(shù)器及如何自定義計(jì)數(shù)器
2、Combiner具體的作用和使用以及其使用的限制條件
3、Partitioner的使用最佳實(shí)踐
4、 Hadoop內(nèi)置的排序算法剖析
5、自定義排序算法
6、 Hadoop內(nèi)置的分組算法
7、自定義分組算法
8、 MapReduce常見(jiàn)場(chǎng)景和算法實(shí)現(xiàn)
第8個(gè)主題：某知名電商公司Hadoop實(shí)施全程揭秘（具備掌握商業(yè)級(jí)別Hadoop的分析、開(kāi)發(fā)、部署的全過(guò)程的能力）
通過(guò)電商公司現(xiàn)場(chǎng)案例展示商業(yè)級(jí)別一個(gè)完整項(xiàng)目的分析、開(kāi)發(fā)、部署的全過(guò)程
時(shí)間內(nèi)容
第二天第9個(gè)主題：YARN（具備理解和使用YARN的能力）
1、YARN的設(shè)計(jì)思想
2、YARN的核心組件
3、YARN的共組過(guò)程
4、YARN應(yīng)用程序編寫(xiě)
第10個(gè)主題：ResourceManager深度剖析（具備深刻理解ResourceManager的能力）
1、ResourceManager的架構(gòu)
2、ClientRMService 與AdminService
3、NodeManager
4、 Container
5、 Yarn的 HA機(jī)制
第11個(gè)主題：NodeManager深度剖析（具備掌握NodeManager及Container的能力）
1、NodeManager架構(gòu)
2、Container Management
3、Container lifecycle
4、資源管理與隔離
第12個(gè)主題：MapReduce的經(jīng)典案例純代碼實(shí)戰(zhàn)（初級(jí)）
1 MapReduce通過(guò)采集的氣息溫度數(shù)據(jù)分析每年的最高溫度代碼實(shí)戰(zhàn)
2 MapReduce數(shù)據(jù)去重案例代碼案例實(shí)戰(zhàn)
3 MapReduce數(shù)據(jù)排序代碼案例實(shí)戰(zhàn)
4MapReduce平均成績(jī)代碼案例實(shí)戰(zhàn)
第13個(gè)主題：MapReduce的經(jīng)典案例純代碼實(shí)戰(zhàn)（進(jìn)階1）
1 MapReduce求最大最小值案例代碼實(shí)戰(zhàn)
2 MapReduce TopN案例實(shí)戰(zhàn)
3 MapReduce日志分析案例實(shí)戰(zhàn)
第14個(gè)主題：MapReduce的經(jīng)典案例純代碼實(shí)戰(zhàn)（進(jìn)階2）
1 MapReduce Join操作案例代碼實(shí)戰(zhàn)
2 MapReduce Join優(yōu)化案例實(shí)戰(zhàn)
3 MapReduce 二次排序代碼案例實(shí)戰(zhàn)
第15個(gè)主題：MapReduce的經(jīng)典案例純代碼實(shí)戰(zhàn)（高級(jí)1）
1 MapReduce 自動(dòng)連接操作案例代碼實(shí)戰(zhàn)
2 MapReduce 倒排索引案例實(shí)戰(zhàn)
3 MapReduce 多維度排序代碼案例實(shí)戰(zhàn)
第16個(gè)主題：MapReduce的經(jīng)典案例純代碼實(shí)戰(zhàn)（高級(jí)2）
1 MapReduce MultipleInputs案例代碼實(shí)戰(zhàn)
2 MapReduce MultipleOutputs案例實(shí)戰(zhàn)
3 MapReduce ChainMaper、ChainReducer代碼案例實(shí)戰(zhàn)
第12個(gè)主題：Spark的架構(gòu)設(shè)計(jì)
1 Spark生態(tài)系統(tǒng)剖析
2 Spark的架構(gòu)設(shè)計(jì)剖析
3 RDD計(jì)算流程解析
4 Spark的出色容錯(cuò)機(jī)制
培訓(xùn)師介紹：
Spark、Docker、Android技術(shù)中國(guó)區(qū)布道師。
Spark亞太研究院院長(zhǎng)和首席專(zhuān)家，移動(dòng)互聯(lián)網(wǎng)、云計(jì)算和大數(shù)據(jù)技術(shù)領(lǐng)域集大成者。
當(dāng)今云計(jì)算領(lǐng)域最火爆的技術(shù)Docker源碼級(jí)專(zhuān)家和Docker技術(shù)在中國(guó)的最早實(shí)踐者之一。
Cassandra和H技術(shù)在中國(guó)的最早實(shí)踐者之一。
在Spark、Hadoop、Android、Docker等方面有豐富的源碼、實(shí)務(wù)和性能優(yōu)化經(jīng)驗(yàn)。徹底研究了Spark從0.5.0到1.1.0共18個(gè)版本的Spark源碼。Spark最佳暢銷(xiāo)書(shū)《大數(shù)據(jù)spark企業(yè)級(jí)實(shí)戰(zhàn)》作者，電子書(shū)《Spark GraphX大規(guī)模圖計(jì)算和圖挖掘》、《Spark實(shí)戰(zhàn)高手之路》的作者，從2014年6月24日開(kāi)始，在網(wǎng)上開(kāi)啟了免費(fèi)的Spark公開(kāi)課《決勝大數(shù)據(jù)時(shí)代Spark100期公益大講堂》。
Hadoop源碼級(jí)專(zhuān)家，曾負(fù)責(zé)某知名公司的類(lèi)Hadoop框架開(kāi)發(fā)工作，專(zhuān)注于Hadoop一站式解決方案的提供，同時(shí)也是云計(jì)算分布式大數(shù)據(jù)處理的最早實(shí)踐者之一，Hadoop的狂熱愛(ài)好者，不斷的在實(shí)踐中用Hadoop解決不同領(lǐng)域的大數(shù)據(jù)的高效處理和存儲(chǔ)，現(xiàn)在正負(fù)責(zé)Hadoop在搜索引擎中的研發(fā)等，著有《云計(jì)算分布式大數(shù)據(jù)Hadoop實(shí)戰(zhàn)高手之路---從零開(kāi)始》《云計(jì)算分布式大數(shù)據(jù)Hadoop實(shí)戰(zhàn)高手之路---高手崛起》《云計(jì)算分布式大數(shù)據(jù)Hadoop。實(shí)戰(zhàn)高手之路---高手之巔》等；
國(guó)內(nèi)最早（2007年）從事于Android系統(tǒng)移植、軟硬整合、框架修改、應(yīng)用程序軟件開(kāi)發(fā)以及Android系統(tǒng)測(cè)試和應(yīng)用軟件測(cè)試的技術(shù)專(zhuān)家和技術(shù)創(chuàng)業(yè)人員之一。
多款瀏覽器定制者，中國(guó)大陸HTML5的技術(shù)引領(lǐng)者。